JP6734325B2 - ダイナミックハプティック効果のコード化 - Google Patents

ダイナミックハプティック効果のコード化 Download PDF

Info

Publication number
JP6734325B2
JP6734325B2 JP2018117601A JP2018117601A JP6734325B2 JP 6734325 B2 JP6734325 B2 JP 6734325B2 JP 2018117601 A JP2018117601 A JP 2018117601A JP 2018117601 A JP2018117601 A JP 2018117601A JP 6734325 B2 JP6734325 B2 JP 6734325B2
Authority
JP
Japan
Prior art keywords
haptic effect
keyframe
haptic
dynamic
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018117601A
Other languages
English (en)
Other versions
JP2018163691A (ja
Inventor
コスタ ヘンリー ダ
コスタ ヘンリー ダ
フェン ティアン アン
フェン ティアン アン
クリストファー ジェイ. ウルリッチ
クリストファー ジェイ. ウルリッチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2018163691A publication Critical patent/JP2018163691A/ja
Application granted granted Critical
Publication of JP6734325B2 publication Critical patent/JP6734325B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems

Description

一実施形態は概して、ハプティック効果、より具体的にはダイナミックハプティック効果のコード化に関する。
電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的および聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「ハプティックフィードバック(触覚フィードバック)」または「ハプティック効果(触覚的効果)」として知られる、運動感覚フィードバック(作用力および抵抗力フィードバック等)および/またはタクタイル(触知的)フィードバック(振動、触感、および熱等)もまた、ユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを強化および単純化するきっかけを提供し得る。具体的に、振動効果、すなわち振動ハプティック効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、またはシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。
ハプティックフィードバックはまた、携帯電話、携帯情報端末(「PDA」)、スマートフォン、およびポータブルゲーム機器などの「携帯用デバイス」または「ポータブルデバイス」と称される、携帯用電子機器に次第に組み込まれている。例えば、一部のポータブルゲームアプリケーションは、ハプティックフィードバックを提供するように構成される、より大きなスケールのゲームシステムと共に使用されるコントロールデバイス(例えばジョイスティックなど)と同じように振動できる。さらに、携帯電話およびスマートフォンなどのデバイスは、振動により種々のアラートをユーザに提供できる。例えば、携帯電話は、振動により、かかってきた電話の呼び出しをユーザにアラートできる。同様に、スマートフォンは、予定したカレンダーアイテムをユーザにアラートできるか、または「to do」リストのアイテムもしくはカレンダーアポイントメントについてのリマインダーをユーザに提供できる。さらに、ハプティック効果は、ビデオゲームにおいて跳ね返るボールの感覚などの「現実世界」のダイナミックイベント(動的事象)をシミュレーションするために使用できる。
一実施形態はハプティック信号をコード化するシステムである。そのシステムは1つ以上のキーフレームを受信する。各キーフレームは補間値およびハプティック効果を有する。そのシステムはさらに、1つ以上のキーフレームを使用してハプティック効果信号を生成する。そのシステムはさらに、ハプティック効果ファイル内にハプティック効果信号を記憶する。
別の実施形態はダイナミック(動的)ハプティック効果をコード化するシステムである。そのシステムは、1つ以上のキーフレームを含むようにダイナミックハプティック効果を定義する。各キーフレームは補間値および対応するハプティック効果を含み、その補間値は、対応するハプティック効果について補間が発生する場合を特定する値である。そのシステムはさらに、ハプティック効果ファイルを生成する。そのシステムはさらに、ハプティック効果ファイル内にダイナミックハプティック効果を記憶する。
さらなる実施形態、詳細、利点および修飾は、添付の図面と併せて、好ましい実施形態の以下の詳細な説明から明らかになるであろう。
図1は、本発明の一実施形態に係るシステムのブロック図を示す。 図2は、本発明の一実施形態に係る、一例のダイナミックハプティック効果の定義を示す。 図3は、本発明の一実施形態に係る、一例のキーフレームの定義を示す。 図4は、本発明の一実施形態に係る、一例の基礎ハプティック効果記憶ブロックを示す。 図5は、本発明の一実施形態に係る、一例のフレームリストブロックを示す。 図6は、本発明の一実施形態に係る、ハプティックコード化モジュールの機能性のフローチャートを示す。 図7は、本発明の別の実施形態に係る、ハプティックコード化モジュールの機能性のフローチャートを示す。
以下に記載するように、「ダイナミックハプティック効果」とは、それが1つ以上の入力パラメータに応答する場合、時間と共に変化するハプティック効果を指す。ダイナミックハプティック効果は所与の入力信号の状態の変化を表すためにハプティックデバイス上に表示されるハプティックまたは振動触覚効果である。入力信号は、位置、加速度、圧力、配向、もしくは近接性などの、ハプティックフィードバックを有するデバイス上でセンサによりキャプチャされる信号、または他のデバイスによりキャプチャされる信号であってもよく、ハプティック効果の生成に影響を与えるようにハプティックデバイスに送信できる。
ダイナミック効果信号は任意の種類の信号であってもよいが、複雑である必要はない。例えば、ダイナミック効果信号は、入力パラメータを効果信号の変化特性にマッピングするマッピングスキーマに従って時間と共に変化するかまたはリアルタイムで応答する位相、周波数、または振幅などの一部の特性を有する簡単な正弦波であってもよい。入力パラメータは、デバイスにより提供できる任意の種類の入力であってもよく、典型的には、デバイスセンサ信号などの任意の種類の信号であってもよい。デバイスセンサ信号は任意の手段により生成されてもよく、典型的には、ユーザジェスチャをデバイスでキャプチャすることにより生成されてもよい。ダイナミック効果はジェスチャインターフェースに非常に有用であり得るが、ダイナミック信号を生成するためにジェスチャまたはセンサの使用は必ずしも必要でなくてもよい。
ジェスチャを直接含まない1つの一般的なシナリオは、動画のウィジェットのダイナミックハプティック挙動を定義することである。例えば、ユーザがリストをスクロールする場合、それは典型的には、最も直感的に感じるジェスチャの触覚経験(haptification)ではなくて、ジェスチャに応じたウィジェットの動きである。このスクロールリストの例では、リストをそっとスライドすることで、スクロールの速度に従って変化する動的なハプティックフィードバックを生成し得るが、スクロールバーを荒々しく触ると、ジェスチャが終わった後でもダイナミックハプティックを生成し得る。これはウィジェットが一部の物理的な特性を有する錯視(イリュージョン)を生成し、かつ、ウィジェットの状態について、例えば速度、またはそれが動いている最中かどうかなどの情報をユーザに提供する。
ジェスチャは、意味またはユーザの意図を伝える身体の任意の動きである。単純なジェスチャはより複雑なジェスチャを形成するために結合されてもよいことは認識される。例えば、指をタッチ感応表面に持っていくことを「フィンガーオン」ジェスチャと言う場合があり、他方で、タッチ感応表面から指を離すことを別の「フィンガーオフ」ジェスチャと言う場合がある。「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が相対的に短い場合、結合されたジェスチャは「タッピング」と呼ばれてよく、「フィンガーオン」ジェスチャと「フィンガーオフ」ジェスチャとの間の時間が相対的に長い場合、結合されたジェスチャは「ロングタッピング」と呼ばれてよく、「フィンガーオン」ジェスチャおよび「フィンガーオフ」ジェスチャの二次元(x,y)位置の間の距離が相対的に大きい場合、結合されたジェスチャは「スワイピング(swiping)」と呼ばれてよく、「フィンガーオン」ジェスチャおよび「フィンガーオフ」ジェスチャの二次元(x,y)位置の間の距離が相対的に小さい場合、結合されたジェスチャは「スミアリング(smearing)」、「スマッジング(smudging)」、または「フリッキング(flicking)」と呼ばれてよい。任意の数の二次元または三次元のシンプルまたは複雑なジェスチャは、複数の指の接触、手のひらまたはこぶしの接触、あるいは、デバイスへの近接性を含む(それらに限定されない)任意の数の他のジェスチャを形成するようにして結合されてよい。ジェスチャはまた、加速度計、ジャイロスコープ、または他の運動センサを有するデバイスによって認識され、かつ電気信号に変換される任意の形態の手の動きであってよい。そのような電気信号は、例えばバーチャルなサイコロを振動させるなど動的効果を起動することができ、ここでセンサは動的効果を生成するユーザの意図をキャプチャする。
一実施形態は、ディスク、メモリ、または任意のコンピュータ可読記憶媒体上で1つ以上のダイナミックハプティック効果をコード化できるシステムである。1種類のダイナミックハプティック効果は、第1の補間値と第2の補間値との間の値であるダイナミック値に基づいて第1のハプティック効果および第2のハプティック効果を補間することによって生成され得るハプティック効果である。第1の補間値または第2の補間値のいずれかと等しいダイナミック値は、「第1の補間値と第2の補間値との間」とみなされる。より具体的には、ダイナミックハプティック効果の各パラメータについての値は、補間関数を使用して、第1のハプティック効果のパラメータの値を第2のハプティック効果のパラメータの値に補間することによって計算される。ダイナミックハプティック効果の各パラメータ値の補間は、ダイナミック値が、第1の補間値と第2の補間値との間の範囲内である場合に基づいてもよい。ダイナミックハプティック効果はさらに、「GENERATING HAPTIC EFFECTS FOR DYNAMIC EVENTS」という発明の名称である、2012年7月11日に出願された米国特許出願第13/546,351号(その内容は本明細書に参照として組み込まれている)に記載されている。ダイナミックハプティック効果は、ハプティック効果信号がダイナミックハプティック効果を表す場合、ハプティック効果信号を使用してコード化されてもよい。ハプティック効果信号は、ディスク、メモリ、または任意のコンピュータ可読記憶媒体に存続してもよい。
実施形態によれば、システムは、各々のキーフレームがハプティック効果および対応する値を含み得る場合、1つ以上のキーフレームとして各々のダイナミックハプティック効果を定義できる。したがって、システムは1つ以上のダイナミックハプティック効果の定義を生成できる。システムは、ハプティック効果ファイル内に1つ以上のダイナミックハプティック効果の定義を記憶できる。システムはさらに、ハプティック効果ファイルから1つ以上のダイナミックハプティック効果の定義を読み出すことができる。システムはさらに、ダイナミック値を受信でき、受信したダイナミック値に基づいて、1つ以上のダイナミックハプティック効果を生成するために1つ以上のダイナミックハプティック効果の定義を解釈できる。
別の実施形態によれば、システムは、各々のキーフレームがハプティック効果および値を含み得る場合、1つ以上のキーフレームを受信できる。そのシステムは1つ以上のキーフレームを使用してハプティック効果信号を生成できる。そのシステムはさらに、ハプティック効果ファイル内にハプティック効果信号を記憶できる。そのシステムはさらに、ハプティック効果ファイルからハプティック効果信号を読み出すことができる。そのシステムはさらに、ハプティック効果信号に従って駆動信号をハプティック出力デバイスに適用できる。そのシステムはさらに、ハプティック出力デバイスを使用して駆動信号を生成できる。この実施形態において、1つ以上のキーフレームは、ハプティック効果信号により生成されるダイナミックハプティック効果の1つ以上の入力パラメータを含んでもよい。
図1は、本発明の一実施形態に係るシステム10のブロック図を示す。一実施形態において、システム10はデバイスの一部であり、システム10はデバイスのためのハプティックコード化機能を提供する。単一のシステムとして示されるが、システム10の機能は分散システムとして実装されてもよい。システム10は、情報を通信するためのバス12または他の通信機構、および情報を処理するためのバス12に連結されるプロセッサ22を含む。プロセッサ22は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム10はさらに、情報を記憶するためのメモリ14およびプロセッサ22により実行される命令を含む。メモリ14は、ランダムアクセスメモリ(「RAM」)、リードオンリメモリ(「ROM」)、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。
コンピュータ可読媒体は、プロセッサ22によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリメモリ(「EPROM」)、電気的消去可能プログラマブルリードオンリメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ(「CD−ROM」)、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。
一実施形態において、メモリ14は、プロセッサ22により実行される場合、機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム10のためのオペレーティングシステム機能を提供するオペレーティングシステム15、ならびに一実施形態におけるモバイルデバイスの残りを含む。モジュールはさらに、以下により詳細に開示されるようにダイナミックハプティック効果をコントロールするハプティックコード化モジュール16を含む。特定の実施形態において、ハプティックコード化モジュール16は複数のモジュールを含んでもよく、各個々のモジュールはダイナミックハプティック効果をコード化するための特定の個々の機能を提供する。システム10は典型的に、Immersion CorporationによるIntegrator(商標)アプリケーションなどの追加の機能を含むように1つ以上の追加のアプリケーションモジュール18を含む。
リモートソースからデータを送信および/または受信する実施形態において、システム10はさらに、赤外線、無線、Wi−Fi、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス20を含む。他の実施形態において、通信デバイス20は、イーサネット(登録商標)接続またはモデムなどの有線ネットワーク接続を提供する。
プロセッサ22はさらに、バス12を介して、グラフィック描写を表示するための液晶ディスプレイ(「LCD」)などのディスプレイ24またはユーザに対するユーザインターフェースに接続される。ディスプレイ24は、プロセッサ22から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。プロセッサ22はさらに、マウスまたはタッチペンなどのユーザがシステム10と相互作用できるキーボードまたはカーソルコントロール28に接続されてもよい。
一実施形態において、システム10はさらに、アクチュエータ26を含む。プロセッサ22は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ26に送信してもよく、次いで振動触覚ハプティック効果などのハプティック効果を出力する。アクチュエータ26はアクチュエータ駆動回路を含む。アクチュエータ26は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転質量モータ(「ERM」)、線形共鳴アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム10は、アクチュエータ26に加えて1つ以上の追加のアクチュエータを含んでもよい(図1に示さず)。他の実施形態において、システム10とは別個のデバイスが、ハプティック効果を生成するアクチュエータを含み、システム10は、生成されたハプティック効果信号を、通信デバイス20を介して、そのデバイスに送信する。アクチュエータ26はハプティック出力デバイスの一例であり、ハプティック出力デバイスは、駆動信号に応答して振動触覚ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。
システム10はさらにデータベース30に作動可能に接続されてもよく、そのデータベース30は、モジュール16および18により使用されるデータを記憶するように構成されてもよい。データベース30は、操作可能なデータベース、分析的データベース、データウェアハウス、分散データベース、エンドユーザデータベース、外部データベース、ナビゲーションデータベース、インメモリデータベース、ドキュメント指向性データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向性データベース、または当該技術分野において公知の任意の他のデータベースであってもよい。
図2は、本発明の一実施形態に係る、一例のダイナミックハプティック効果の定義200を示す。一実施形態によれば、ダイナミックハプティック効果は1つ以上のキーフレームを含むように定義されてもよい。キーフレームは、ダイナミックハプティック効果を定義するように使用され得る基礎ハプティック効果の表示である。また、一実施形態によれば、ハプティック効果信号は1つ以上のキーフレームを使用して生成されてもよく、ハプティック効果信号は1つ以上のキーフレームを記憶できる信号である。1つ以上のキーフレームを使用してハプティック効果信号を生成することによって、1つ以上のキーフレームが生成され、続いてハプティック効果信号内に記憶される。ハプティック効果信号は、ハプティック効果ファイル内に記憶されてもよく、ハプティック効果ファイルから読み出されてもよい。
キーフレームは基礎ハプティック効果の定義を含んでもよい。基礎ハプティック効果は、ハプティック効果の特徴(より具体的には、ハプティック効果により生成される運動感覚フィードバックおよび/または触覚フィードバックの特徴)を定義する1つ以上のパラメータを含み得るハプティック効果であり、ハプティック効果は、例えば振動ハプティック効果であってもよい。1つ以上のパラメータの例としては、振幅パラメータ、周波数パラメータ、および持続時間パラメータが挙げられ得る。基礎ハプティック効果の例としては、「MagSweepハプティック効果」、および「周期的ハプティック効果」が挙げられ得る。MagSweepハプティック効果は、運動感覚フィードバックおよび/または触覚フィードバック(振動など)を生成するハプティック効果である。周期的ハプティック効果は、反復運動感覚フィードバックおよび/または触覚フィードバック(振動パターンなど)を生成するハプティック効果である。反復パターンの例としては、正弦波、矩形、三角形、鋸歯の上側(sawtooth−up)および鋸歯の下側(sawtooth−down)などの特定の形状の反復パルスが挙げられる。
キーフレームは補間値を含み得る。補間値は、現在の補間が発生する場合を特定する値である。一実施形態において、補間値は最小値から最大値までの整数値であってもよい。一例として、補間値は0〜10,000であってもよい。しかしながら、これは単なる例であり、補間値は任意の最小値から任意の最大値までの任意の値であってもよい。例えば、他の実施形態において、補間値は固定小数点または浮動小数点の数値であってもよい。補間値は1つ以上のビット内に記憶されてもよい。
キーフレームはまた、必要に応じて、反復ギャップ値を含んでもよい。反復ギャップ値は、基礎ハプティック効果が連続してプレイされた場合、基礎ハプティック効果の2つの連続したインスタンスの間の時間周期を示す値である。一実施形態において、反復ギャップは基礎ハプティック効果の2つの連続したインスタンスの間のミリ秒数を示してもよい。
例示した実施形態において、ダイナミックハプティック効果の定義200は、4つのキーフレーム、キーフレーム210、220、230、および240を含む。しかしながら、これは単なる一例の実施形態であり、代替の実施形態において、ダイナミックハプティック効果の定義は任意の数のキーフレームを含んでもよい。キーフレーム210は、「周期1」の基礎ハプティック効果の参照、「0」の補間値、および「10ms」の反復ギャップ値を含む。基礎ハプティック効果の参照「周期1」とは基礎ハプティック効果260を指し、これはまた、ダイナミックハプティック効果の定義200内に含まれる。このように、キーフレーム210は、「0」の補間値についての基礎ハプティック効果として基礎ハプティック効果260を定義する。キーフレーム210はさらに、基礎ハプティック効果260が連続してプレイされる場合、基礎ハプティック効果260の各々の連続したインスタンスの間に10msの時間周期が存在することを示す。同様に、キーフレーム220は、「周期3」の基礎ハプティック効果の参照、「10」の補間値、および「15ms」の反復ギャップ値を含む。基礎ハプティック効果の参照「周期3」とは、基礎ハプティック効果270を指し、これはまた、ダイナミックハプティック効果の定義200内に含まれる。このように、キーフレーム220は、「10」の補間値についての基礎ハプティック効果として基礎ハプティック効果270を定義する。キーフレーム220はさらに、基礎ハプティック効果270が連続してプレイされる場合、基礎ハプティック効果270の各々の連続したインスタンスの間に15msの時間周期が存在することを示す。
同様に、キーフレーム230は、「周期1」の基礎ハプティック効果の参照、「20」の補間値、および「5ms」の反復ギャップ値を含む。以前に記載したように、基礎ハプティック効果の参照「周期1」とは、基礎ハプティック効果260を指し、これはまた、ダイナミックハプティック効果の定義200内に含まれる。このように、キーフレーム230は、「20」の補間値についての基礎ハプティック効果として基礎ハプティック効果260を定義する。このことは、基礎ハプティック効果が1つより多い補間値についての基礎ハプティック効果と定義され得ることを示す。キーフレーム230はさらに、基礎ハプティック効果260が連続してプレイされる場合、基礎ハプティック効果260の各々の連続したインスタンスの間に5msの時間周期が存在することを示す。同様に、キーフレーム240は、「周期2」の基礎ハプティック効果の参照、「30」の補間値、および「20ms」の反復ギャップ値を含む。基礎ハプティック効果の参照「周期2」とは、基礎ハプティック効果280を指し、これはまた、ダイナミックハプティック効果の定義200内に含まれる。このように、キーフレーム240は、「30」の補間値についての基礎ハプティック効果として基礎ハプティック効果280を定義する。キーフレーム240はさらに、基礎ハプティック効果280が連続してプレイされた場合、基礎ハプティック効果280の各々の連続したインスタンスの間に20msの時間周期が存在することを示す。
一実施形態によれば、ダイナミックハプティック効果は、ダイナミックハプティック効果の終了の指標も含むように定義されてもよい。ダイナミックハプティック効果の終了の指標により、ダイナミックハプティック効果が追加のキーフレームを1つも含まないことを示す。以下に非常に詳細に記載するように、ダイナミックハプティック効果の定義を解釈するデバイスは、ダイナミックハプティック効果の定義のコンテンツを連続して解釈するように構成されてもよい。このように、指標はデバイスにダイナミックハプティック効果の定義の終了を示してもよい。一実施形態において、ダイナミックハプティック効果の終了の指標は追加のキーフレームを考慮されてもよい。例示した実施形態において、ダイナミックハプティック効果の定義200は、ダイナミックハプティック効果の定義200の終了を示すダイナミックハプティック効果の定義の終了250を示す。
図3は、本発明の一実施形態に係る、一例のキーフレームの定義300を示す。以前に記載したように、ダイナミックハプティック効果の定義は1つ以上のキーフレームを含む。その実施形態によれば、キーフレームの定義は1つ以上の特性を含んでもよい。1つ以上の特性の各特性は値を含んでもよい。
キーフレームの定義はタイプ特性を含んでもよい。一実施形態において、タイプ特性はキーフレームの定義の第1の特性である。タイプ特性は、キーフレームが、ダイナミックハプティック効果の定義についての基礎ハプティック効果を含むキーフレームまたはダイナミックハプティック効果の定義の終了を示すキーフレームであるかどうかを示してもよい。例示した実施形態において、キーフレームの定義300はキーフレームの定義300により定義されるキーフレームのタイプを示すタイプ特性310を含む。
キーフレームの定義はまた、基礎ハプティック効果の特性も含んでもよい。基礎ハプティック効果の特性はキーフレームについての基礎ハプティックに対する参照を記憶できる。例示した実施形態において、キーフレームの定義300は、キーフレームの定義300により定義されるキーフレームについての基礎ハプティック効果に対する参照を含む基礎ハプティック効果特性320(「効果ネーム」として図3において識別した)を含む。
キーフレームの定義はまた、補間特性を含んでもよい。補間特性は補間値を記憶でき、その補間値は、現在の補間が発生する場合を特定する。一実施形態において、補間値は最小値から最大値までの整数値であってもよい。一例として、補間値は0〜10,000であってもよい。補間値は1つ以上のビット内に記憶できる。例示した実施形態において、キーフレームの定義300はキーフレームの定義300により定義されるキーフレームについての補間値を含む補間特性330を含む。
キーフレームの定義はまた、任意選択に反復ギャップ特性(図3に例示せず)を含んでもよい。反復ギャップ特性は、基礎ハプティック効果が連続してプレイされる場合、キーフレームについての基礎ハプティック効果の2つの連続したインスタンスの間の時間周期を示す反復ギャップ値を記憶できる。一実施形態において、反復ギャップはキーフレームについての基礎ハプティック効果の2つの連続したインスタンスの間のミリ秒数を示してもよい。
一実施形態において、ハプティック効果ファイルは1つ以上のダイナミックハプティック効果を記憶するように構成されるコンピュータファイルであり、そのハプティック効果ファイルは、ディスク、メモリ、または任意のコンピュータ可読記憶媒体上に存続されてもよい。その実施形態によれば、ハプティック効果ファイルは、基礎ハプティック効果記憶ブロックおよびフレームリストブロックを使用して1つ以上のダイナミックハプティック効果の定義を記憶できる。基礎ハプティック効果記憶ブロックは、ダイナミックハプティック効果が参照できる1つ以上の基礎ハプティック効果を記憶するように使用されてもよい。フレームリストブロックはダイナミックハプティック効果の定義に対応する1つ以上のキーフレームの定義を記憶するように使用されてもよい。基礎ハプティック効果記憶ブロックおよびフレームリストブロックをここで非常に詳細に記載する。
図4は、本発明の一実施形態に係る、一例の基礎ハプティック効果記憶ブロック400を示す。以前に記載したように、ダイナミックハプティック効果の定義は1つ以上の基礎ハプティック効果を含んでもよく、少なくとも1つの記憶された基礎ハプティック効果は、ダイナミックハプティックの定義の少なくとも1つのキーフレームにより参照される。一実施形態において、1つ以上の基礎ハプティック効果は基礎ハプティック効果記憶ブロック400などの基礎ハプティック効果記憶ブロック内に記憶されてもよく、基礎ハプティック効果記憶ブロックはダイナミックハプティック効果の定義内に記憶される。
その実施形態によれば、1つ以上の基礎ハプティック効果が基礎ハプティック効果記憶ブロック400内にメッセージストリームとして記憶されてもよい。一例のメッセージフォーマットは、「コードネームz2」プロトコルメッセージフォーマットである。例示した実施形態において、基礎ハプティック効果は、必要に応じてSetPeriodicModifierメッセージが先行するSetPeriodicメッセージにより定義される。このように、基礎ハプティック効果が関連したエンベロープを有する場合、SetPeriodicModifierメッセージが、ブロックにおけるSetPeriodicメッセージ前に現れ得る。そうでなければ、SetPeriodicメッセージのみがブロックにおいて現れ得る。このように、この実施形態によれば、基礎ハプティック効果記憶ブロック(図4の基礎ハプティック効果記憶ブロック400など)に記憶される場合、基礎ハプティック効果は、(a)単一のSetPeriodicメッセージにおける8バイトのメモリ(デフォルトエンベロープを仮定する);または(b)第1のSetPeriodicModifierメッセージにおける16バイトのメモリ、続いてその後のSetperiodicメッセージを取ってもよい。
この実施形態によれば、基礎ハプティック効果記憶ブロック(図4の基礎ハプティック効果記憶ブロック400など)は1つ以上の基礎ハプティック効果の定義を含んでもよく、各々の基礎ハプティック効果の定義は基礎ハプティック効果に対応する。1つ以上の基礎ハプティック効果の定義は基礎ハプティック効果記憶ブロック内で連続的であってもよく、各々、インデックスと関連されてもよい。
示した実施形態において、基礎ハプティック効果記憶ブロック400は、5つの基礎ハプティック効果:効果0、効果1、効果2、効果3、および効果4を含む。効果0は基礎ハプティック効果記憶ブロック400内に位置する第1の基礎ハプティック効果であり、効果1は基礎ハプティック効果記憶ブロック400内に位置する第2の基礎ハプティック効果であり、効果2は基礎ハプティック効果記憶ブロック400内に位置する第3の基礎ハプティック効果であり、効果3は基礎ハプティック効果記憶ブロック400内に位置する第4の基礎ハプティック効果であり、効果4は基礎ハプティック効果記憶ブロック400内に位置する第5の基礎ハプティック効果である。第5の基礎ハプティック効果(すなわち効果0、効果1、効果2、効果3、および効果4)の各々は、単一のSetPeriodicメッセージまたはSetPeriodicModifierメッセージおよびSetPeriodicメッセージの組み合わせのいずれかを含む基礎ハプティックの定義を含む。
図5は、本発明の一実施形態に係る、一例のフレームリストブロック500を示す。以前に記載したように、ダイナミックハプティック効果の定義は1つ以上のキーフレームを含んでもよく、各々のキーフレームは基礎ハプティック効果を参照してもよい。一実施形態において、1つ以上のキーフレームはフレームリストブロック500などのフレームリストブロック内に記憶されてもよく、そのフレームリストブロックはダイナミックハプティック効果の定義内に記憶されてもよい。
この実施形態によれば、フレームリストブロック500などのフレームリストブロックは第1のキーフレームの定義についてのタイプ特性を含む。タイプ特性に応じて、フレームリストブロックはさらに、基礎ハプティック効果特性、補間特性、反復ギャップ特性、またはそれらの組み合わせなどの第1のキーフレームの定義に関連する1つ以上の特定を含む。フレームリストブロックはさらに、第2のキーフレームの定義についてのタイプ特性を含み、その第2のキーフレームの定義は第1のキーフレームの定義の終了を示す。タイプ特性に応じて、フレームリストブロックはさらに、基礎ハプティック効果特性、補間特性、反復ギャップ特性、またはそれらの組み合わせなどの第2のキーフレームの定義に関連する1つ以上の特性を含む。これは、フレームリストブロックの各々のキーフレームの定義にわたって継続する。フレームリストブロックはさらに、ダイナミックハプティック効果の終了を示すタイプ特性を含む。この実施形態によれば、フレームリストブロックのキーフレームの定義は順次的である。つまり、フレームリストブロックのイベントは、それらがフレームリストブロック内に位置する順序で処理される。
この実施形態によれば、フレームリストブロックの1つ以上の特性が、単一のヘッダーバイト、続いて任意選択のデータバイトを使用してコード化されてもよい。フレームリストブロックの1つ以上の特性の一例のコード化スキームは以下の通りである:
Figure 0006734325
この実施形態によれば、キーフレームタイプ特性およびダイナミックハプティック効果タイプ特性の終了はキーフレームの定義のタイプ特性に対応し、EffectNameAsOffSetU8特性はキーフレームの定義の基礎ハプティック効果特性に対応し、InterpolantU16特性はキーフレームの定義の補間特性に対応し、RepeatGapU16特性はキーフレームの定義の反復ギャップ特性に対応する。
示した実施形態において、フレームリストブロック500はキーフレームの定義510、520、および530を含む。キーフレームの定義510および520は各々、基礎ハプティック効果キーフレームについての定義である。キーフレームの定義530はフレームリストブロック内に記憶されたダイナミックハプティック効果の終了の指標である。フレームリストブロック500の左の欄は、キーフレームの定義510、520、および530の各々についてメモリ内に見出されるバイトストリームを示す。フレームリストブロックの右の列は、キーフレームの定義510、520、および530の各々についての各々の特性の意味を示す。
示した実施形態によれば、キーフレームの定義510は、キーフレームの定義510の開始を示すキーフレームのタイプ特性(図5に示した「キーフレームイベント(KeyFrame Event)」)を含む。キーフレームの定義510はさらに、キーフレームの定義510についての基礎ハプティック効果に対する参照を記憶する基礎ハプティック効果特性(図5に示した「EffectNameAsOffsetU8」)を含み、基礎ハプティック効果特性はヘッダーバイトおよびオフセットバイトを含む。キーフレームの定義510はさらに、現在の補間が発生する場合を特定する補間値を記憶する補間特性(図5に示した「InterpolantU16」)を含み、補間特性は、ヘッダーバイト、最上位ビット(「MSB」)および最下位ビット(「LSB」)を含む。キーフレームの定義510はさらに、キーフレームについての基礎ハプティック効果の2つの連続したインスタンスの間の時間周期を示す反復ギャップ値を記憶する反復ギャップ特性(図5に示した「RepeatGapU16」)を含み、反復ギャップ特性はヘッダーバイト、MSB、およびLSBを含む。
さらに、キーフレームの定義520はまた、キーフレームの定義520の開始を示すキーフレームのタイプ特性(図5に示した「キーフレームイベント(KeyFrame Event)」)を含む。キーフレームの定義520はさらに、キーフレームの定義520についての基礎ハプティック効果に対する参照を記憶する基礎ハプティック効果特性(図5に示した「EffectNameAsOffsetU16」)を含み、基礎ハプティック効果特性はヘッダーバイト、基礎ハプティック効果の定義MSB、および基礎ハプティック効果の定義LSBを含む。キーフレームの定義520はさらに、現在の補間が発生する場合を特定する補間値を記憶する補間特性(図5に示した「InterpolantU16」)を含み、補間特性はヘッダーバイト、MSB、およびLSBを含む。図5に示したように、キーフレームの定義510と対照的に、キーフレームの定義520は反復ギャップ特性を含まない。最終的に、キーフレームの定義530は、ダイナミックハプティック効果の定義の終了を示すダイナミックハプティック効果のタイプ特性(図5に示した「EndofDynamicHapticEffect」)の終了を含む。
一実施形態によれば、ダイナミックハプティック効果の定義(図2のダイナミックハプティック効果の定義200など)はハプティック効果ファイル内に保存されてもよい。以前に記載したように、ハプティック効果ファイルは、1つ以上のダイナミックハプティック効果を保存するように構成されるコンピュータファイルである。ダイナミックハプティック効果の定義はハプティック効果ファイル内に保存されてもよく、ハプティック効果ファイルはディスクまたはメモリなどのコンピュータ可読媒体内に存続されてもよい。ダイナミックハプティック効果の定義は、後でハプティック効果から読み出され、解釈されてもよい。ダイナミックハプティック効果の定義の解釈に基づいて、ダイナミックハプティック効果は、第1の補間値と第2の補間値との間の値であるダイナミック値に基づいて第1のハプティック効果および第2のハプティック効果を補間することによって生成されてもよい。より具体的には、ダイナミックハプティック効果の各パラメータについての値は、補間関数を使用して、第1のハプティック効果のパラメータの値を第2のハプティック効果のパラメータの値に補間することにより計算されてもよい。ダイナミックハプティック効果の各パラメータ値の補間は、ダイナミック値が、第1の補間値と第2の補間値との間の範囲内である場合に基づいてもよい。例えば、第1の補間値が「0」であり、第2の補間値が「100」である場合、「50」のダイナミック値により、「0」の第1の補間値に関連する第1のハプティック効果は、「100」の第2の補間値に関連する第2のハプティック効果と補間でき、ダイナミックハプティック効果を生成する。第1のハプティック効果の各パラメータ値は補間関数に基づいて第2の値のパラメータ値と補間されてもよく、それにより、ダイナミックハプティック効果のパラメータ値は、第1のハプティック効果のパラメータ値および第2のハプティック効果のパラメータ値の両方に基づく。ダイナミックハプティック効果の生成に関する更なる詳細は、「GENERATING HAPTIC EFFECTS FOR DYNAMIC EVENTS」という発明の名称の2012年7月11日に出願された米国特許出願第13/546,351号に更に記載されている。
一実施形態によれば、ダイナミックハプティック効果の定義(図2のダイナミックハプティック効果の定義200など)はハプティック効果信号を生成するために使用されてもよく、そのハプティック効果信号はハプティック効果ファイル内に保存されてもよい。ハプティック効果信号は、後でハプティック効果ファイルから読み出されてもよい。さらに、駆動信号がハプティック効果信号に従ってハプティック出力デバイスに適用されてもよい。駆動信号はさらに、ハプティック出力デバイスを使用して生成されてもよい。
ハプティック効果ファイルは多くの異なるフォーマットのうちの1つを有してもよい。特定の実施形態において、ハプティック効果ファイルは拡張マークアップ言語(「XML」)フォーマットを有してもよい。特定の他の実施形態において、ハプティック効果ファイルはバイナリフォーマットを有してもよい。
XMLフォーマットを有するハプティック効果ファイルの一例はImmersion Vibration Source(「IVS」)ハプティック効果ファイルである。ダイナミックハプティック効果の定義を含む一例のIVSハプティック効果ファイルを以下に与える:
Figure 0006734325
上記に与えた例のIVSハプティック効果ファイルにおいて、第1のタグ、<interpolated−effect name>は、IVSハプティック効果ファイル内に保存されるダイナミックハプティック効果のネームを識別する。例のIVSハプティック効果ファイルにおける次の3つのタグは一連のキーフレーム(key−frame)タグであり、その各々のキーフレームタグはダイナミックハプティック効果のキーフレームを表す。各々のキーフレームタグは、2つのパラメータ、キーフレーム補間パラメータおよび効果パラメータを含んでもよい。キーフレーム補間パラメータはキーフレームについての補間値を表す。効果パラメータはキーフレームについての基礎ハプティック効果のネームを表す。さらに、各々のキーフレームタグは必要に応じて、第3のパラメータ、反復ギャップパラメータを含んでもよい。反復ギャップパラメータはキーフレームについての反復ギャップを表す。キーフレームタグが反復ギャップパラメータを含まない場合、キーフレームは反復ギャップを含まず、このことはキーフレームについての基礎ハプティック効果が反復されないことを意味する。例のIVSハプティック効果ファイルにおいて、第1のキーフレームタグは、「0」の値を有するキーフレーム補間パラメータ、「basis−effect−0−name」の値を有する効果パラメータ、および「0」の値を有する反復ギャップパラメータを含む。第2のキーフレームタグは、「0.5」の値を有するキーフレーム補間パラメータ、「basis−effect−1−name」の値を有する効果パラメータ、および「15」の値を有する反復ギャップパラメータを含む。第3のキーフレームタグは、「1」の値を有するキーフレーム補間パラメータ、および「basis−effect−2−name」の値を有する効果パラメータを含み、反復ギャップパラメータを含まない。その後のタグ、「</interpolated−effect>」は、IVSハプティック効果ファイル内に保存されるダイナミックハプティック効果の終了を識別する。
一実施形態によれば、デバイスは、上記に与えた例のIVSハプティック効果ファイルなどのIVSハプティック効果ファイルを読み出すことができ、IVSハプティック効果ファイル内に保存されるダイナミックハプティック効果の定義を解釈でき、ダイナミックハプティック効果を生成するためにIVSハプティック効果ファイル内に保存される値を使用できる。例えば、デバイスはランタイムにおいて補間値を与えてもよく、デバイスは、IVSハプティック効果ファイル内に保存されるダイナミックハプティック効果の定義を解釈してもよく、キーフレーム補間値が間に存在することを決定してもよい。次いでデバイスは、ダイナミックハプティック効果を生成するために2つのキーフレームの基礎ハプティック効果の間で補間してもよい。
バイナリフォーマットを有するハプティック効果ファイルの別の例はImmersion Vibration Target(「IVT」)ハプティック効果ファイルである。ダイナミックハプティック効果の定義を含む例のIVTハプティック効果ファイルを以下に与える。
Figure 0006734325
上記に与えた例のIVTハプティック効果ファイルは2つのキーフレームの定義を含み、その各キーフレームの定義は16進数「0xC1」により識別される。一実施形態によれば、16進値、例えば「0xCy」(ここで「y」は任意のゼロでない16進数の1桁である)はIVTハプティック効果ファイル内に保存されるキーフレームの開始を識別できる。さらに、この実施形態によれば、16進値「0xCy」が、IVTハプティック効果ファイル内の最初のこのような16進値である場合、16進値はまた、IVTハプティック効果ファイル内に保存されるダイナミックハプティック効果の開始を示してもよく、ダイナミックハプティック効果は1つ以上のキーフレームを含む。上記に与えた例のIVTハプティック効果ファイルにおいて、「0xC1」の第1の例は保存されたダイナミックハプティック効果の開始を示し、また、保存されたダイナミックハプティック効果内の第1のキーフレーム、「KeyFrame1」の開始を示す。また、例のIVTハプティック効果ファイルにおいて、「0xC1」の第2の例は、保存されたダイナミックハプティック効果内の第2のキーフレーム、「KeyFrame2」の開始を示す。
各キーフレームに関して、例のIVTハプティック効果ファイルはさらに、キーフレームを定義するデータを含む。例えば、一実施形態によれば、例のIVTハプティック効果ファイルはさらに、16進値、例えば、キーフレームについての基礎ハプティック効果特性、および基礎ハプティック効果特性についての値を識別する「0xE0」または「0xE1」を含む。例のIVTハプティック効果ファイルにおいて、第1のキーフレームについて、「0xE0」の例は、第1のキーフレームについての基礎ハプティック効果特性を識別し、「0」の値は、第1のキーフレームの基礎ハプティック効果特性についての第1の基礎ハプティック効果を識別する。同様に、第2のキーフレームについて、「0xE0」の例は、第2のキーフレームについての基礎ハプティック効果特性を識別し、「1」の値は、第2のキーフレームの基礎ハプティック効果特性についての第2の基礎ハプティック効果を識別する。
その実施形態に係る、キーフレームを定義するデータの一部として、例のIVTハプティック効果ファイルはさらに、16進値、例えば、キーフレームについての補間特性を識別する「0xE6」、および補間特性についての値を含む。例のIVTハプティック効果ファイルにおいて、第1のキーフレームについて、「0xE6」の例は、第1のキーフレームについての補間特性を識別し、「0」の値は、第1のキーフレームの補間特性についての補間値を識別する。同様に、第2のキーフレームについて、「0xE6」の例は、第2のキーフレームについての補間特性を識別し、「100」の値は第2のキーフレームの補間特性についての補間値を識別する。
その実施形態に係る、キーフレームを定義するデータの一部として、例のIVTハプティック効果ファイルはさらに必要に応じて、16進値、例えば、キーフレームについての反復ギャップ特性を識別する「0xE2」、および反復ギャップ特性についての1つ以上の値を含む。例のIVTハプティック効果ファイルにおいて、第1のキーフレームについて、「0xE2」の例は、第1のキーフレームについての反復ギャップ特性を識別し、「50」の値は、第1のキーフレームの反復ギャップ特性についての「LSB」反復ギャップ値を識別し、「0」の値は、第1のキーフレームの反復ギャップ特性についての「MSB」反復ギャップ値を識別する。同様に、第2のキーフレームについて、「0xE2」の例は、第2のキーフレームについての反復ギャップ特性を識別し、「150」の値は、第2のキーフレームの反復ギャップ特性についてのLSB反復ギャップ値を識別し、「0」の値は、第2のキーフレームの反復ギャップ特性についてのMSB反復ギャップ値を識別する。
例のIVTハプティック効果ファイルはさらに、16進値、例えば、IVTハプティック効果ファイル内に保存されるダイナミックハプティック効果の終了を識別する「0xCF」を含む。例のIVTハプティック効果ファイルにおいて、「0XCF」の例は保存されたダイナミックハプティック効果の終了を識別する。
一実施形態によれば、デバイスは、上記に与えた例のIVTハプティック効果ファイルなどのIVTハプティック効果ファイルを読み取ることができ、IVTハプティック効果ファイル内に保存されるダイナミックハプティック効果の定義を解釈でき、ダイナミックハプティック効果を生成するためにIVTハプティック効果ファイル内に保存される値を使用できる。例えば、デバイスはランタイムにおいて補間値を与えてもよく、デバイスは、IVTハプティック効果ファイル内に保存されるダイナミックハプティック効果の定義を解釈してもよく、キーフレーム補間値が間に存在することを決定してもよい。次いでデバイスはダイナミックハプティック効果を生成するために2つのキーフレームの基礎ハプティック効果の間で補間してもよい。
一実施形態において、IVTハプティック効果ファイルは、ダイナミックハプティック効果の定義に加えて、基礎ハプティック効果などの他のハプティック効果の定義を含んでもよい。例えば、IVTハプティック効果ファイルは、MagSweepハプティック効果の定義、周期的ハプティック効果の定義、または他の種類の基礎ハプティック効果の定義、例えば「波形ハプティック効果」の定義を含んでもよい。「波形ハプティック効果」は、十分に正確に制御されたフィードバックを生じる特定の信号に基づいてフィードバックを生成するハプティック効果である。その実施形態によれば、16進値は、基礎ハプティック効果の開始と比較して、ダイナミックハプティック効果の開始を識別してもよい。次いでデバイスがIVTハプティック効果ファイルを読み出す場合、デバイスは基礎ハプティック効果の定義からダイナミックハプティック効果の定義を識別できる。
一例の実施形態において、16進値、例えば「0xF1」、「0xF2」、または「0xFF」は、「タイムラインハプティック効果」の開始を識別してもよい。「タイムラインハプティック効果」は、経時的に予定される1つ以上の基礎ハプティック効果を含んでもよい。さらに、16進値、例えば「0x20」、「0x30」、「0x40」および「0x50」は、基礎ハプティック効果、例えばMagSweepハプティック効果、周期ハプティック効果、または波形ハプティック効果の開始を識別してもよい。さらに、以前に記載したように、16進値、例えば「0xCy」(ここで、「y」は任意のゼロでない16進数の1桁である)は、ダイナミックハプティック効果の開始を識別してもよい。よって、デバイスがIVTハプティック効果ファイルを読み取る場合、デバイスは、IVTハプティック効果ファイル内に保存された16進値を読み取ることができ、定義されたハプティック効果がダイナミックハプティック効果であるか、または一部の他のハプティック効果であるかどうかを決定できる。定義されたハプティック効果がダイナミックハプティック効果であるか、または一部の他のハプティック効果であるかどうかを決定するための例の疑似コードを以下に与える。
Figure 0006734325
しかしながら、この例の疑似コードは、上述の機能性を実装できるコード、および他の形態であってもよい機能性を実装するコードの単なる例示であり、それらは依然として本発明の範囲内である。さらに、ハプティック効果ファイルの2つの例のフォーマット(すなわち、IVSハプティック効果ファイル、およびIVTハプティック効果ファイル)が記載されているが、ハプティック効果ファイルは異なるフォーマットであってもよく、それらは依然として本発明の範囲内である。
図6は、本発明の一実施形態に係る、ハプティックコード化モジュール(図1のハプティックコード化モジュール16など)の機能性のフローチャートを示す。一実施形態において、図6の機能性および図7の機能性は、各々、メモリまたは別のコンピュータ可読媒体または有形的表現媒体内に保存され、プロセッサにより実行されるソフトウェアにより実装される。他の実施形態において、各々の機能性は、ハードウェアにより(例えば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用により)、またはハードウェアとソフトウェアの任意の組み合わせにより実施されてもよい。さらに、代替の実施形態において、各々の機能性は類似要素を使用してハードウェアにより実施されてもよい。
フローは開始し、610に進む。610において、ダイナミックハプティック効果は、第1のキーフレームおよび第2のキーフレームを含むと定義される。第1のキーフレームは第1の補間値および対応する第1のハプティック効果を含む。第2のキーフレームは第2の補間値および対応する第2のハプティック効果を含む。第1の補間値は、補間が対応する第1のハプティック効果を生じる場合を特定する値であってもよく、第2の補間値は、補間が対応する第2のハプティック効果を生じる場合を特定する値であってもよい。第1のキーフレームおよび第2のキーフレームは各々、反復ギャップ値を含んでもよい。第1のハプティック効果および第2のハプティック効果は各々、振動ハプティック効果であってもよく、各々、複数のパラメータを含んでもよい。複数のパラメータは、振幅パラメータ、周波数パラメータ、および持続時間パラメータを含んでもよい。ダイナミックハプティック効果はさらに、ダイナミックハプティック効果の終了の指標を含むように定義されてもよい。ダイナミックハプティック効果はさらに、ハプティック効果記憶ブロックを含むように定義されてもよく、第1のハプティック効果および第2のハプティック効果はハプティック効果記憶ブロック内に記憶されてもよい。ダイナミックハプティック効果は、さらなるキーフレームを含んでもよい。示した実施形態において、ダイナミックハプティック効果は2つのキーフレームを含むと定義されてもよく、各キーフレームはハプティック効果を含む。しかしながら、これは単に例の実施形態であり、代替の実施形態において、ダイナミックハプティック効果は3つ以上のキーフレームを含むと定義されてもよく、各キーフレームはハプティック効果を含む。フローは620に進む。
620において、ハプティック効果ファイルが生成される。ハプティック効果ファイルのフォーマットはバイナリフォーマットであってもよい。あるいは、ハプティック効果ファイルのフォーマットはXMLフォーマットであってもよい。フローは630に進む。
630において、ダイナミックハプティック効果はハプティック効果ファイル内に記憶される。ダイナミックハプティック効果は、ハプティック効果ファイル内に1つ以上の他のハプティック効果と共に記憶されてもよい。他のハプティック効果の少なくとも1つは別のダイナミックハプティック効果であってもよい。フローは640に進む。
640において、ダイナミックハプティック効果はハプティック効果ファイルから読み出される。デバイスは、ハプティック効果ファイルを読み取ることができ、ダイナミックハプティック効果を読み出すことができる。ハプティック効果ファイルが1つ以上の他のハプティック効果を含む場合、デバイスは、ダイナミックハプティック効果内に含まれる値に基づいてダイナミックハプティック効果を識別してもよい。フローは650に進む。
650において、ダイナミックハプティック効果が解釈される。デバイスは、ダイナミックハプティック効果内に含まれる第1のキーフレームおよび第2のキーフレームを連続して読み取ることによってダイナミックハプティック効果を解釈できる。ダイナミックハプティック効果がさらなるキーフレームを含む場合、デバイスはさらに、さらなるキーフレームを連続して読み取ることによってダイナミックハプティック効果を解釈してもよい。デバイスはさらに、ダイナミック値を受信し、受信したダイナミック値に基づいてダイナミックハプティック効果内に記憶される2つの基礎ハプティック効果を選択することによってダイナミックハプティック効果を解釈してもよい。デバイスはさらに、2つの補間値が2つの基礎ハプティック効果に対応する場合、受信したダイナミック値が、ダイナミックハプティック効果内に記憶される2つの補間値の範囲内にあるという事実に基づいてダイナミックハプティック効果内に記憶される2つの基礎ハプティック効果を選択してもよい。フローは660に進む。
660において、ダイナミックハプティック効果が生成される。ダイナミックハプティック効果は2つの選択された基礎ハプティック効果に基づいて生成されてもよい。より具体的には、ダイナミックハプティック効果は、受信したダイナミック値に基づいて2つの選択された基礎ハプティック効果を補間することによって生成されてもよい。特定の実施形態において、ダイナミックハプティック効果の各パラメータについての値は、補間関数を使用して、第1の選択された基礎ハプティック効果のパラメータの値を、第2の選択された基礎ハプティック効果のパラメータの値に補間することによって計算されてもよい。ダイナミックハプティック効果の各パラメータ値の補間は、受信したダイナミック値が、第1の選択された基礎ハプティック効果に対応する第1の補間値と、第2の選択された基礎ハプティック効果に対応する第2の補間値との間の範囲内にある場合に基づいてもよい。示した実施形態において、ダイナミックハプティック効果は2つの基礎ハプティック効果を補間することによって生成されてもよい。このような補間は線形補間であってもよい。しかしながら、これは単に例の実施形態であり、代替の実施形態において、ダイナミックハプティック効果は3つ以上の基礎ハプティック効果を補間することによって生成されてもよい。このような補間はスプライン補間であってもよく、スプライン補間は、補間関数がスプラインと呼ばれる特定の種類の区分的多項式であり、補間関数が2つ以上のキーフレームを使用して補間値をダイナミックハプティック効果にマッピングできる関数である、補間の形態である。ダイナミックハプティック効果はさらに、アクチュエータにより生成されてもよい。次いでフローは終了に進む。
図7は、本発明の別の実施形態に係る、ハプティックコード化モジュールの機能性のフローチャートを示す。フローは開始し、710に進む。710において、第1のキーフレームが受信され、第1のキーフレームは第1の補間値および第1のハプティック効果を有する。第1の補間値は、補間が第1のハプティック効果を生じる場合を特定する値であってもよい。第1のキーフレームは反復ギャップ値を含んでもよい。第1のハプティック効果は、振動ハプティック効果であってもよく、複数のパラメータを含んでもよい。複数のパラメータは、振幅パラメータ、周波数パラメータ、および持続時間パラメータを含んでもよい。フローは720に進む。
720において、第2のキーフレームが受信され、第2のキーフレームは第2の補間値および第2のハプティック効果を有する。第2の補間値は、補間が第2のハプティック効果を生じる場合を特定する値であってもよい。第2のキーフレームは反復ギャップ値を含んでもよい。第2のハプティック効果は、振動ハプティック効果であってもよく、複数のパラメータを含んでもよい。複数のパラメータは、振幅パラメータ、周波数パラメータ、および持続時間パラメータを含んでもよい。フローは730に進む。
730において、第1のキーフレームおよび第2のキーフレームを使用してハプティック効果信号が生成される。ハプティック効果信号はさらに、ハプティック効果信号の終了の指標を含んでもよい。ハプティック効果信号はさらに、ハプティック効果記憶ブロックを含んでもよく、第1のハプティック効果および第2のハプティック効果は、ハプティック効果記憶ブロック内に保存されてもよい。ハプティック効果信号はさらに、さらなるキーフレームを含んでもよい。示した実施形態において、ハプティック効果信号は2つのキーフレームを使用して生成されてもよく、各キーフレームはハプティック効果を含む。しかしながら、これは単なる例の実施形態であり、代替の実施形態において、ハプティック効果は3つ以上のキーフレームを使用して生成されてもよく、各キーフレームはハプティック効果を含む。フローは740に進む。
740において、ハプティック効果信号はハプティック効果ファイル内に記憶される。ハプティック効果ファイルのフォーマットはバイナリフォーマットであってもよい。あるいは、ハプティック効果ファイルのフォーマットはXMLフォーマットであってもよい。ハプティック効果信号は、ハプティック効果ファイル内の1つ以上の他のハプティック効果信号と共に記憶されてもよい。他のハプティック効果信号の少なくとも1つは2つ以上のキーフレームを含んでもよい。フローは750に進む。
750において、ハプティック効果信号はハプティック効果ファイルから読み出される。デバイスはハプティック効果ファイルを読み取ることができ、ハプティック効果信号を読み出すことができる。ハプティック効果ファイルが1つ以上の他のハプティック効果信号を含む場合、デバイスは、ハプティック効果信号内に含まれる値に基づいてハプティック効果信号を識別できる。フローは760に進む。
760において、駆動信号が、ハプティック効果信号に従ってハプティック出力デバイスに適用される。これにより、ハプティック出力デバイスは、ハプティック効果信号と一致したダイナミックハプティック効果を生成できる。フローは770に進む。
770において、ハプティック出力デバイスを使用して駆動信号が生成される。次いでフローは終了に進む。
このように、一実施形態において、ディスク、メモリ、または任意のコンピュータ可読記憶媒体上に1つ以上のダイナミックハプティック効果を記憶できるシステムが提供されてもよい。そのシステムはさらに、1つ以上のダイナミックハプティック効果を読み出すことができ、1つ以上のダイナミックハプティック効果を出力できる。ダイナミックハプティック効果は複数のハプティック効果に基づいてもよい。従って、そのシステムは少しの数のハプティック効果に関する情報を記憶でき、さらにそのシステムは、少しの数のハプティック効果に基づいて数百または数千のダイナミックハプティック効果を出力できる。これにより、格納スペースを節約でき、ダイナミックハプティック効果を記憶し、読み出すためのより効果的な機構を可能にする。さらに、1つ以上のダイナミックハプティック効果を記憶するハプティック効果ファイルのフォーマットはフレキシブルであってもよく、それにより、ハプティック効果の設計者は少しの数のファイルフォーマットに限定されない。これにより、効果設計者がダイナミックハプティック効果を作成することがよりフレキシブルになり得る。
本明細書全体にわたって記載される本発明の特徴、構造、または特性は、1つ以上の実施形態において任意の適切な方法で組み合わされてもよい。例えば、本明細書全体にわたって「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態(複数)」または他の同様の言語の使用は、実施形態に関連して記載されている特定の特徴、構造、または特性が、本発明の少なくとも1つの実施形態に含まれてもよいという事実を指す。従って、本明細書全体にわたって「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態(複数)」という用語または他の同様の言語の出現は、1つ以上の実施形態において任意の適切な方法で組み合わされ得る、同じグループの実施形態、および記載された特徴、構造または特性を必ずしも指すわけではない。
当業者は、上記に説明した本発明が、異なる順序の段階、および/または開示されるものと異なる構成の要素で実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、本発明の精神および範囲内にとどまりながら、特定の修飾、変更および代替の構成が明らかになることは当業者に自明である。したがって、本発明の境界および範囲を決定するために、添付の特許請求の範囲が参照されるべきである。

Claims (18)

  1. ハプティック効果を生成する方法であって、
    ハプティック効果ファイルからダイナミックハプティック効果を読み出すステップであって、前記ダイナミックハプティック効果は、第1のキーフレームおよび第2のキーフレームを含み、前記第1のキーフレームは、第1の補間値および対応する第1のハプティック効果を含み、前記第2のキーフレームは、第2の補間値および対応する第2のハプティック効果を含み、前記第1の補間値は、対応する前記第1のハプティック効果について補間がどこで発生するかを特定する値であり、前記第2の補間値は、対応する前記第2のハプティック効果について補間がどこで発生するかを特定する値である、ステップと、
    前記ダイナミックハプティック効果をプロセッサによって解釈するステップと、
    前記第1のハプティック効果および前記第2のハプティック効果を補間することによって、前記ダイナミックハプティック効果を前記プロセッサによって生成するステップと、を含む、方法。
  2. 前記ハプティック効果ファイルから前記ダイナミックハプティック効果を読み出すステップは、前記ハプティック効果ファイルからハプティック効果信号を読み出すステップをさらに含み、
    前記ハプティック効果信号は、前記ダイナミックハプティック効果を含み、
    前記ダイナミックハプティック効果を生成するステップは、前記ハプティック効果信号に従ってハプティック出力デバイスに駆動信号を適用するステップをさらに含む、請求項1に記載の方法。
  3. 前記ダイナミックハプティック効果を生成するステップは、ハプティック出力デバイスを使用して駆動信号を生成するステップをさらに含む、請求項1に記載の方法。
  4. 前記ハプティック効果信号が、前記ハプティック効果信号の終了の指標をさらに含む、請求項2に記載の方法。
  5. 前記ハプティック効果信号が、ハプティック効果記憶ブロックをさらに含み、
    前記第1のハプティック効果および前記第2のハプティック効果が、前記ハプティック効果記憶ブロック内に記憶される、請求項2に記載の方法。
  6. 前記第1のハプティック効果および前記第2のハプティック効果の各々が、振動ハプティック効果であり、各々は複数のパラメータを含む、請求項1に記載の方法。
  7. 前記複数のパラメータが、振幅パラメータ、周波数パラメータ、および持続時間パラメータを含む、請求項6に記載の方法。
  8. 前記第1のキーフレームおよび前記第2のキーフレームが各々、反復ギャップ値を含む、請求項1に記載の方法。
  9. 前記ハプティック効果ファイルのフォーマットが、バイナリフォーマットである、請求項1に記載の方法。
  10. 前記ハプティック効果ファイルのフォーマットが、拡張マークアップ言語フォーマットである、請求項1に記載の方法。
  11. プロセッサによって実行されると、前記プロセッサに請求項1〜10のいずれか一項に記載のハプティック効果を生成させる、記憶された命令を有するコンピュータ可読媒体。
  12. ハプティック効果信号をコード化するためのシステムであって、ハプティック出力デバイスと、メモリと、請求項1〜10のいずれか一項に記載のハプティック効果を生成するように構成されたプロセッサとを備えるシステム。
  13. プロセッサによって実行される、ハプティック効果を生成する方法であって、
    圧力センサを用いてユーザ入力を検出するステップと、
    前記ユーザ入力の検出に応答して入力信号を生成するステップと、
    ユーザインターフェースを表示するステップと、
    前記入力信号に基づいて前記ハプティック効果を生成するステップであって、前記ハプティック効果は、前記ユーザインターフェースの1つ以上の要素に関連付けられ、前記ハプティック効果は、第1のキーフレームと第2のキーフレームとを含み、前記第1のキーフレームは、第1の補間値および第1のハプティック効果を含み、前記第2のキーフレームは、第2の補間値と第2のハプティック効果とを含み、前記第1の補間値は、対応する前記第1のハプティック効果について補間がどこで発生するかを特定する値であり、前記第2の補間値は、対応する前記第2のハプティック効果について補間がどこで発生するかを特定する値である、ステップと、
    を含む、方法。
  14. 前記ユーザインターフェースがスクロールリストを含む、請求項13に記載の方法。
  15. 前記第1のハプティック効果および前記第2のハプティック効果を補間することによって、ダイナミックハプティック効果を生成するステップをさらに含む、請求項13に記載の方法。
  16. 前記ハプティック効果を生成するステップが、ハプティック出力デバイス用の駆動信号を生成するステップを含む、請求項13に記載の方法。
  17. プロセッサによって実行されると、前記プロセッサに、請求項13〜16のいずれか一項に記載のハプティック効果を生成させる、記憶された命令を有するコンピュータ可読媒体。
  18. ハプティック効果信号をコード化するシステムであって、ハプティック出力デバイスと、メモリと、請求項13〜16のいずれか一項に記載のハプティック効果を生成するように構成されたプロセッサとを備えるシステム。
JP2018117601A 2012-11-02 2018-06-21 ダイナミックハプティック効果のコード化 Active JP6734325B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/667,003 2012-11-02
US13/667,003 US8947216B2 (en) 2012-11-02 2012-11-02 Encoding dynamic haptic effects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013226909A Division JP6359820B2 (ja) 2012-11-02 2013-10-31 ダイナミックハプティック効果のコード化

Publications (2)

Publication Number Publication Date
JP2018163691A JP2018163691A (ja) 2018-10-18
JP6734325B2 true JP6734325B2 (ja) 2020-08-05

Family

ID=49162024

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013226909A Active JP6359820B2 (ja) 2012-11-02 2013-10-31 ダイナミックハプティック効果のコード化
JP2018117601A Active JP6734325B2 (ja) 2012-11-02 2018-06-21 ダイナミックハプティック効果のコード化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2013226909A Active JP6359820B2 (ja) 2012-11-02 2013-10-31 ダイナミックハプティック効果のコード化

Country Status (5)

Country Link
US (4) US8947216B2 (ja)
EP (2) EP3495924B1 (ja)
JP (2) JP6359820B2 (ja)
KR (1) KR102161541B1 (ja)
CN (2) CN108803869A (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US9898084B2 (en) * 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
JP6351964B2 (ja) * 2013-12-11 2018-07-04 株式会社東海理化電機製作所 入力装置
EP3099030A1 (en) * 2015-05-26 2016-11-30 Thomson Licensing Method and device for encoding/decoding a packet comprising data representative of a haptic effect
WO2017024001A1 (en) * 2015-08-05 2017-02-09 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
CN107735749A (zh) * 2015-09-22 2018-02-23 意美森公司 基于压力的触觉
US9947187B2 (en) 2016-01-07 2018-04-17 International Business Machines Corporation Haptic notification system with rules for notification that can be altered to increase effectiveness
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
CN107566847B (zh) * 2017-09-18 2020-02-14 浙江大学 一种将触感数据编码为视频流进行保存和传输的方法
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10572017B2 (en) * 2018-04-20 2020-02-25 Immersion Corporation Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments
US10684689B2 (en) 2018-04-20 2020-06-16 Immersion Corporation Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
EP3629128A1 (en) * 2018-09-25 2020-04-01 Vestel Elektronik Sanayi ve Ticaret A.S. User device and method for generating haptic feedback in a user device
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN109947244B (zh) * 2019-03-12 2022-11-04 上海天马微电子有限公司 一种显示装置及触觉反馈方法、装置和设备
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06505817A (ja) * 1990-11-30 1994-06-30 ケンブリッジ アニメーション システムズ リミテッド 画像合成及び処理
JPH0816820A (ja) * 1994-04-25 1996-01-19 Fujitsu Ltd 3次元アニメーション作成装置
US5774386A (en) * 1995-09-08 1998-06-30 Eastman Kodak Company Method and apparatus for performing function evaluation using a cache
JP4131278B2 (ja) 1996-10-18 2008-08-13 ヤマハ株式会社 鍵盤楽器用力覚制御装置
US6108011A (en) * 1996-10-28 2000-08-22 Pacific Data Images, Inc. Shape interpolation for computer-generated geometric models using independent shape parameters for parametric shape interpolation curves
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6337678B1 (en) 1999-07-21 2002-01-08 Tactiva Incorporated Force feedback computer input and output device with coordinated haptic elements
US6449019B1 (en) * 2000-04-07 2002-09-10 Avid Technology, Inc. Real-time key frame effects using tracking information
JP3949912B2 (ja) * 2000-08-08 2007-07-25 株式会社エヌ・ティ・ティ・ドコモ 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
WO2002027705A1 (en) 2000-09-28 2002-04-04 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7199805B1 (en) * 2002-05-28 2007-04-03 Apple Computer, Inc. Method and apparatus for titling
JP2004310518A (ja) * 2003-04-08 2004-11-04 Fuji Xerox Co Ltd 画像情報処理装置
KR20050054731A (ko) 2003-12-05 2005-06-10 한국전자통신연구원 햅틱 시뮬레이션 시스템 및 그 시스템에서의 실시간 촉감지원 방법
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US20080204266A1 (en) * 2004-02-03 2008-08-28 Jussi Malmberg Method and Device For Implementing Vibration Output Commands in Mobile Terminal Devices
JP2005332063A (ja) 2004-05-18 2005-12-02 Sony Corp 触覚機能付き入力装置、情報入力方法及び電子機器
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
JP2006058973A (ja) * 2004-08-17 2006-03-02 Sony Corp 触覚情報作成装置及び触覚情報作成方法
EP1805587A1 (en) 2004-09-24 2007-07-11 Apple Computer, Inc. Raw data track pad device and system
US7728823B2 (en) 2004-09-24 2010-06-01 Apple Inc. System and method for processing raw data of track pad device
JP4617893B2 (ja) * 2005-01-18 2011-01-26 ソニー株式会社 振動伝達構造、触覚機能付きの入出力装置及び電子機器
US7919945B2 (en) * 2005-06-27 2011-04-05 Coactive Drive Corporation Synchronized vibration device for haptic feedback
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
JP4795091B2 (ja) * 2006-04-21 2011-10-19 キヤノン株式会社 情報処理方法および装置
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
JP2008123429A (ja) * 2006-11-15 2008-05-29 Sony Corp タッチパネルディスプレイ装置および電子機器並びに遊技機器
US8098234B2 (en) * 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
JP2008257295A (ja) * 2007-03-30 2008-10-23 Tokyo Institute Of Technology 触覚刺激提示方法
US8621348B2 (en) 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
CN101355746B (zh) * 2007-07-27 2012-05-16 深圳富泰宏精密工业有限公司 无线通信装置
US8035535B2 (en) * 2007-11-21 2011-10-11 Nokia Corporation Apparatus and method providing transformation for human touch force measurements
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US8740622B2 (en) 2008-01-17 2014-06-03 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
JP2009181261A (ja) 2008-01-30 2009-08-13 Panasonic Corp 双方向通信システム
KR100927009B1 (ko) * 2008-02-04 2009-11-16 광주과학기술원 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
US20090303175A1 (en) * 2008-06-05 2009-12-10 Nokia Corporation Haptic user interface
JP2010015514A (ja) 2008-07-07 2010-01-21 Sony Corp 入力装置、その制御方法及び電子機器
SE533704C2 (sv) * 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
KR20100066036A (ko) * 2008-12-09 2010-06-17 삼성전자주식회사 휴대 단말기 운용 방법 및 장치
KR101114603B1 (ko) * 2008-12-12 2012-03-05 삼성전자주식회사 휴대용 단말기의 햅틱 장치
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
US8077021B2 (en) * 2009-03-03 2011-12-13 Empire Technology Development Llc Dynamic tactile interface
US10564721B2 (en) 2009-03-12 2020-02-18 Immersion Corporation Systems and methods for using multiple actuators to realize textures
EP3425484A1 (en) * 2009-03-12 2019-01-09 Immersion Corporation System and method for using multiple actuators to realize textures
KR101628782B1 (ko) 2009-03-20 2016-06-09 삼성전자주식회사 휴대용 단말기에서 복수의 진동자를 이용한 햅틱 기능 제공방법 및 장치
JP2010278727A (ja) 2009-05-28 2010-12-09 Kddi Corp 振動機能付き携帯端末
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
JP4633183B1 (ja) * 2009-07-29 2011-02-23 京セラ株式会社 入力装置および入力装置の制御方法
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
JP4942801B2 (ja) * 2009-08-27 2012-05-30 京セラ株式会社 入力装置
US8451238B2 (en) * 2009-09-02 2013-05-28 Amazon Technologies, Inc. Touch-screen user interface
US8619044B2 (en) * 2009-09-30 2013-12-31 Blackberry Limited Electronic device including tactile touch-sensitive display and method of controlling same
JP5704428B2 (ja) 2009-11-18 2015-04-22 株式会社リコー タッチパネル装置及びタッチパネル装置の制御方法
JP5635274B2 (ja) * 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP5360499B2 (ja) 2010-02-01 2013-12-04 国立大学法人東北大学 力覚提示方法および力覚提示装置
CA2731708A1 (en) * 2010-02-15 2011-08-15 Research In Motion Limited Electronic device including touch-sensitive display and actuator for providing tactile feedback
US9417695B2 (en) * 2010-04-08 2016-08-16 Blackberry Limited Tactile feedback method and apparatus
WO2011127379A2 (en) 2010-04-09 2011-10-13 University Of Florida Research Foundation Inc. Interactive mixed reality system and uses thereof
US8736559B2 (en) * 2010-04-23 2014-05-27 Blackberry Limited Portable electronic device and method of controlling same
US8451255B2 (en) * 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
WO2012008628A1 (ko) * 2010-07-13 2012-01-19 엘지전자 주식회사 이동단말기 및 그 대기화면 구성방법
US8352643B2 (en) * 2010-09-30 2013-01-08 Immersion Corporation Haptically enhanced interactivity with interactive content
US20120081337A1 (en) 2010-10-04 2012-04-05 Sony Ericsson Mobile Communications Ab Active Acoustic Multi-Touch and Swipe Detection for Electronic Devices
EP2638450A1 (en) 2010-11-09 2013-09-18 Koninklijke Philips Electronics N.V. User interface with haptic feedback
JP5587759B2 (ja) * 2010-12-24 2014-09-10 京セラ株式会社 触感呈示装置、当該装置に用いるプログラムおよび触感呈示方法
US8624857B2 (en) 2011-02-09 2014-01-07 Texas Instruments Incorporated Haptics effect controller architecture and instruction set
US9483085B2 (en) * 2011-06-01 2016-11-01 Blackberry Limited Portable electronic device including touch-sensitive display and method of controlling same
KR20130007738A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 키 입력장치
US9122311B2 (en) * 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US8947126B2 (en) 2011-10-10 2015-02-03 Infineon Technologies Austria Ag System, drivers for switches and methods for synchronizing measurements of analog-to-digital converters
US8711118B2 (en) * 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
WO2013186847A1 (ja) * 2012-06-11 2013-12-19 富士通株式会社 駆動装置、電子機器、及び駆動制御プログラム
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9030428B2 (en) 2012-07-11 2015-05-12 Immersion Corporation Generating haptic effects for dynamic events
US9898084B2 (en) 2012-12-10 2018-02-20 Immersion Corporation Enhanced dynamic haptic effects
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
DK3014394T3 (da) 2013-07-05 2022-07-11 Jacob A Rubin Helkrops-menneske-computer-grænseflade
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015107386A1 (en) 2014-01-15 2015-07-23 Sony Corporation Haptic notification on wearables
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
EP3176676B1 (en) 2014-07-28 2020-01-08 CK Materials Lab Co., Ltd. Haptic information providing module
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9778746B2 (en) 2015-09-25 2017-10-03 Oculus Vr, Llc Transversal actuator for haptic feedback
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
US10055948B2 (en) 2015-11-30 2018-08-21 Nike, Inc. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
CN106997241B (zh) 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Also Published As

Publication number Publication date
EP2728443A3 (en) 2016-06-08
CN108803869A (zh) 2018-11-13
EP3495924A1 (en) 2019-06-12
US9396630B2 (en) 2016-07-19
US20180267610A1 (en) 2018-09-20
EP2728443A2 (en) 2014-05-07
KR102161541B1 (ko) 2020-10-05
JP6359820B2 (ja) 2018-07-18
US20150102918A1 (en) 2015-04-16
KR20140057160A (ko) 2014-05-12
US20160320845A1 (en) 2016-11-03
US8947216B2 (en) 2015-02-03
JP2014093091A (ja) 2014-05-19
US9958944B2 (en) 2018-05-01
US10248212B2 (en) 2019-04-02
US20140125467A1 (en) 2014-05-08
CN103809960B (zh) 2018-05-25
JP2018163691A (ja) 2018-10-18
EP3495924B1 (en) 2023-06-07
CN103809960A (zh) 2014-05-21

Similar Documents

Publication Publication Date Title
JP6734325B2 (ja) ダイナミックハプティック効果のコード化
US10606358B2 (en) Haptic effect conversion system using granular synthesis
JP6479148B2 (ja) 強化された動的ハプティック効果
JP6226574B2 (ja) ハプティックフィードバックコントロールシステム
JP2018125021A (ja) コンテキスト依存ハプティック確認システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200709

R150 Certificate of patent or registration of utility model

Ref document number: 6734325

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250