JP6541292B2 - プリミティブを用いた高解像度ハプティック効果生成 - Google Patents

プリミティブを用いた高解像度ハプティック効果生成 Download PDF

Info

Publication number
JP6541292B2
JP6541292B2 JP2013026835A JP2013026835A JP6541292B2 JP 6541292 B2 JP6541292 B2 JP 6541292B2 JP 2013026835 A JP2013026835 A JP 2013026835A JP 2013026835 A JP2013026835 A JP 2013026835A JP 6541292 B2 JP6541292 B2 JP 6541292B2
Authority
JP
Japan
Prior art keywords
haptic effect
frequency
input
haptic
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013026835A
Other languages
English (en)
Other versions
JP2013168153A (ja
Inventor
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
リーウェン ウー
リーウェン ウー
クリストファー ジェイ. ウルリッヒ
クリストファー ジェイ. ウルリッヒ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2013168153A publication Critical patent/JP2013168153A/ja
Application granted granted Critical
Publication of JP6541292B2 publication Critical patent/JP6541292B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B06GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06BMETHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/06Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with piezoelectric effect or with electrostriction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • HELECTRICITY
    • H02GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02NELECTRIC MACHINES NOT OTHERWISE PROVIDED FOR
    • H02N2/00Electric machines in general using piezoelectric effect, electrostriction or magnetostriction
    • H02N2/02Electric machines in general using piezoelectric effect, electrostriction or magnetostriction producing linear motion, e.g. actuators; Linear positioners ; Linear motors
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10NELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N30/00Piezoelectric or electrostrictive devices
    • H10N30/20Piezoelectric or electrostrictive devices with electrical input and mechanical output, e.g. functioning as actuators or vibrators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/014Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Telephone Function (AREA)

Description

本出願は2012年2月15日に出願された米国仮特許出願第61/599,173号の優先権を主張し、その内容は本明細書に参照として組み込まれる。
一実施形態は、ハプティック効果、特にプリミティブを用いた高解像度ハプティック効果の生成に関する。
電子デバイスの製造者はユーザにとって豊かなインターフェースを製造することに注力している。従来のデバイスは、ユーザにフィードバックを提供するために、視覚的及び聴覚的合図を用いている。一部のインターフェースデバイスにおいて、より一般的には総括して「ハプティック(触覚)フィードバック」又は「ハプティック(触覚的)効果」として知られる、運動感覚フィードバック(作用力及び抵抗力フィードバック等)及び/又はタクタイル(触知的)フィードバック(振動、触感、及び熱等)もまた、ユーザに提供される。ハプティックフィードバックは、ユーザインターフェースを強化及び単純化するきっかけを提供し得る。具体的に、振動効果、すなわち振動ハプティック効果は、ユーザに特定のイベントを通知するために、電子デバイスのユーザへの合図を提供するのに有用であり得るか、又はシミュレート環境もしくは仮想環境内でより大きく感覚を集中させるために、現実的なフィードバックを提供し得る。
振動効果を生成するために、多くのデバイスは一部のタイプのアクチュエータまたはハプティック出力デバイスを利用する。この目的のために用いられる公知のアクチュエータとしては、偏心質量がモータによって動かされる偏心回転質量(「ERM」)などの電磁アクチュエータ、ばねに取り付けられた質量が前後に駆動されるリニア共振アクチュエータ(「LRA」)、または圧電(ピエゾ)ポリマー、電気活性ポリマーもしくは形状記憶合金のような「スマート材料」が挙げられる。ハプティック出力デバイスはまた、非機械的または非振動デバイス、例えば、静電摩擦(ESF)、超音波表面摩擦(USF:ultrasonic surface friction)などのデバイス、あるいは、超音波ハプティックトランスデューサを用いた音響放射圧を誘導するデバイス、または、ハプティック基板および可撓性もしくは変形可能な表面を利用するデバイス、あるいは、空気ジェットなどを利用した空気の吹きかけなどの発射型のハプティック出力を提供するデバイスが挙げられる。
一実施形態は、複数の入力パラメータを含むハプティック効果プリミティブを受信し、センサから入力を受信する触覚的に使用可能な(haptically−enabled)システムである。そのシステムは、ハプティック効果プリミティブからハプティック効果信号を生成し、そのハプティック効果信号は複数の出力パラメータを含み、その出力パラメータの少なくとも1つはセンサ入力に基づいて変動する。次いでそのシステムはハプティック効果信号をアクチュエータに適用する。
図1は、本発明の一実施形態に係る触覚的に使用可能なシステムのブロック図である。 図2は、一実施形態に係るシミュレートされた楽器の選択可能なグラフィックイメージを含むシステムの斜視図である。 図3は、一実施形態に係る線形マッピングを示す周波数対加速度のグラフである。 図4は、一実施形態に係るHDハプティック効果プリミティブからHDハプティック効果信号を生成した場合の図1の高解像度(「HD」)ハプティック効果生成モジュールの機能のフロー図である。 図5は、物理的に誘発される確率事象モデリングアルゴリズム(Physically Inspired Stochastic Event Modeling algorithm)を示すブロック図である。 図6は、一実施形態に係るHDハプティック効果プリミティブからHDハプティック効果信号を生成した場合の図1のHDハプティック効果生成モジュールの機能のフロー図である。
一実施形態は、高解像度(「HD」)アクチュエータと共に使用するための振動型ハプティック効果を生成するハプティック効果生成システムである。ハプティック効果は、ハプティック「プリミティブ」の形態で表され、時間、継続時間および振幅などのパラメータがハプティック効果を定義するために使用され、次いでそのパラメータがエンジンにより解釈され、出力パラメータを含み、HDアクチュエータに適用されるモータ電圧信号に変換される。
ERMおよびLRA型のアクチュエータは、それらが、ハプティック効果を生成する場合、限定された周波数範囲を有する「低解像度」アクチュエータとみなされ得る。対照的に、圧電、電気活性高分子または静電ベースのアクチュエータなどのHDアクチュエータは、より速いランプアップ時間および大きなダイナミックレンジと共により高い周波数成分を出力できる。したがって、HDアクチュエータにより生成されるハプティック効果は、低解像度アクチュエータにより生成されるものより鮮やか(リッチ、richer)であり、より本物にそっくり(lifelike)であり得る。低解像度アクチュエータのために開発されたハプティック効果パラメータ/プリミティブは一般に、HDアクチュエータを用いて使用できるが、それらは一般にこれらの高解像度特性の利点を有さない。さらに、HDプリミティブは、振幅などの単一のパラメータを有し得るだけである低解像度プリミティブより多くのパラメータを含み得る。
図1は本発明の一実施形態に係る触覚的に使用可能なシステム10のブロック図である。システム10は、タッチセンサ面11またはハウジング15内に取り付けられる他の種類のユーザインターフェースを備え、メカニカルキー/ボタン13を備えてもよい。システム10の内部は、システム10において振動を生成するハプティックフィードバックシステムである。一実施形態において、振動はタッチ面11で生成される。
ハプティックフィードバックシステムはプロセッサまたはコントローラ12を備える。プロセッサ12にメモリ20およびアクチュエータ駆動回路16が接続され、該アクチュエータ駆動回路16はHDアクチュエータ18(例えば圧電、電気活性高分子など)に接続される。一部の実施形態において、HDアクチュエータ18は、マクロファイバー複合体(Macro Fiber Composite)(「MFC」)アクチュエータなどの変形可能なアクチュエータであってもよい。プロセッサ12は、任意の種類の汎用プロセッサであってもよいか、または特定用途向け集積回路(「ASIC」)などのハプティック効果を提供するように特別に設計されたプロセッサであってもよい。プロセッサ12は、全システム10を作動する同じプロセッサであってもよいか、または別個のプロセッサであってもよい。プロセッサ12は、どのようなハプティック効果が行われるか、およびその効果が高レベルパラメータに基づいて行われる順序を決定できる。一般に、特定のハプティック効果を定義する高レベルパラメータには、振幅、周波数および持続時間が含まれる。ストリーミングモータコマンドなどの低レベルパラメータも、特定のハプティック効果を決定するために使用されてもよい。ハプティック効果は、該ハプティック効果が生成されるときのこれらのパラメータのいくらかの変動、またはユーザの相互作用に基づくこれらのパラメータの変動を含む場合、「ダイナミック(動的)である」と見なすことができる。
プロセッサ12は、アクチュエータ駆動回路16に制御信号を出力し、該アクチュエータ駆動回路16は、所望のハプティック効果をもたらすために、必要とされる電流及び電圧(すなわち「モータ信号」)をHDアクチュエータ18に供給するために用いられる電子要素及び回路を含む。システム10は1つより多いHDアクチュエータ18(または追加の種類のアクチュエータ)を備えてもよく、各HDアクチュエータは、全て共通のプロセッサ12に接続される別個の駆動回路16を備えてもよい。メモリ装置20は、ランダムアクセスメモリ(「RAM」)またはリードオンリーメモリ(「ROM」)などの任意の種類の記憶装置またはコンピュータ可読媒体であってもよい。メモリ20は、作動システム命令などのプロセッサ12によって実行される命令を格納する。命令の中で、メモリ20は、プロセッサ12によって実行される場合、以下により詳細に開示するように、HDハプティック効果プリミティブからHDハプティック効果信号(すなわち駆動回路16を介してHDアクチュエータ18に適用されるモータ信号)を生成する命令であるHDハプティック効果生成モジュール22を含む。メモリ20はまた、プロセッサ12の内部に位置してもよいし、または内部メモリおよび外部メモリの任意の組み合わせであってもよい。
タッチ面11は、タッチを認識し、その面上のタッチの位置および大きさ(振幅)も認識できる。タッチに対応するデータは、プロセッサ12またはシステム10内の別のプロセッサへ送信され、プロセッサ12は、そのタッチを解釈し、それに応答してハプティック効果信号を生成する。タッチ面11は、容量感知、抵抗感知、表面音波感知、圧力感知、光学感知などを含む、任意の感知技術を用いてタッチを感知できる。タッチ面11は、マルチタッチ接触を感知でき、同時に生じる複数のタッチを区別することが可能であり得る。タッチ面11は、ユーザがキー、ダイヤルなどと相互作用するために画像を生成し、表示するタッチスクリーンであってもよく、または画像を最小限だけ有するかもしくは全く有しないタッチパッドであってもよい。
システム10は、携帯電話、携帯情報端末(「PDA」)、スマートフォン、コンピュータタブレット、ゲーム機などの携帯用デバイスであってもよく、またはユーザインターフェースを提供し、1つ以上のアクチュエータを含むハプティック効果システムを備える任意の他の種類のデバイスであってもよい。ユーザインターフェースは、タッチセンサ面であってもよく、またはマウス、タッチパッド、ミニジョイスティック、スクロールホイール、トラックボール、ゲームパッドもしくはゲーム機などの任意の他の種類のユーザインターフェースであってもよい。システム10はまた、1つ以上のセンサを備えてもよい。一実施形態において、センサの1つはシステム10の加速度を測定する加速度計(図示せず)である。
ダイナミック(動的)ハプティック効果とは、1つ以上の入力パラメータに応答して時間と共に変化するハプティック効果を指す。ダイナミックハプティック効果は、所与の入力信号の状態の変化を表すためにシステム10などのハプティックデバイスに表示されるハプティックまたは振動触覚効果である。入力信号は、位置、加速度、圧力、方向、または近接などのハプティックフィードバックと共にデバイス上のセンサによりキャプチャされる信号、あるいは他のデバイスによりキャプチャされ、ハプティック効果の生成に影響を与えるハプティックデバイスに送信される信号であってもよい。
ダイナミック効果信号は、任意の種類の信号であってもよいが、必ずしも複雑でなくてもよい。例えば、ダイナミック効果信号は、時間と共に変化するか、または入力パラメータを効果信号の変化特性上にマッピングするマッピングスキーマに従ってリアルタイムで応答する位相、周波数、または振幅などの一部の特性を有する簡単な正弦波であってもよい。入力パラメータはデバイスにより提供できる任意の種類の入力であってもよく、典型的に、デバイスセンサ信号などの任意の種類の信号であってもよい。デバイスセンサ信号は任意の手段により生成されてもよく、典型的にデバイスを用いてユーザジェスチャをキャプチャすることにより生成されてもよい。ダイナミック効果はジェスチャインターフェースに非常に有用であり得るが、ジェスチャまたはセンサの使用は、ダイナミック信号を生成するのに必ずしも必要ではない。
一実施形態は、楽器の現実的な機械的シミュレーションを生成するためにHDハプティック効果を使用する。図2は、一実施形態に従ってシミュレートされる楽器の選択可能なグラフィックイメージを含むシステム10の斜視図である。表示した楽器は、マラカス202、エッグシェイカー204、シェケレ206、カバサ208、カウベル210、およびウォッシュボード212を含む。ユーザは1つの楽器を選択でき、実際の楽器と相互作用しているようにシステム10と相互作用できる。例えば、マラカス202が選択される場合、システム10は振られてもよく、適切なハプティック効果信号をHDアクチュエータ18に提供することによって実際にマラカスを振っている感覚を提供するHDハプティック効果が生成される。したがって、ユーザがシステム10などのモバイル機器を振っている間、電話内でマラカス「ビーズ」がぶつかっている感覚を再現するかまたは提供するHDハプティック効果の生成に起因して、ユーザは実際のマラカスを振っているかのようなハプティック効果を感じる。同様に、カウベル210が、音およびその対応するハプティック効果のためにタップされてもよく、またはカウベルが動作しているかのようにデバイス全体が動作してもよい。それに応じて、ベルの重量の感覚を含む、ベルノッカー(ベルを鳴らす人(bell knocker))がカウベルを両側に動かしているかのように実際のカウベルが動作しているかのようにユーザが感じるHDハプティック効果が生成される。
周波数に基づいたHDハプティック効果生成
周波数変動
一実施形態は、周波数変動および周波数変調(「FM」)を用いてHDハプティックプリミティブからハプティック効果信号を生成する。一実施形態において、生成されたHDハプティック効果信号の周波数はシステム10の加速度計により生成された加速度信号などの対応する入力センサ信号に基づいて変動する。対照的に、一部の従来技術の低解像度ハプティック効果システムは、時間と共に振幅の変動のみを可能にするが、周波数は一定を維持している。
一実施形態において、オーディオ信号を生成する用途のために知られている以下の式も、HDプリミティブからHDハプティック効果信号を生成するために使用されてもよい。
式中、4つの入力HDハプティック効果パラメータ、振幅「a」および「a」(それぞれ搬送および変調振幅)ならびに周波数「f」および「f」(それぞれ搬送および変調周波数)が図1のモジュール22に入力され、それに応じてHDハプティック効果モータ信号「afm」が生成され、HDアクチュエータ18に適用される。しかしながら、式1は理想的には数百キロヘルツ範囲を超える周波数値を有するオーディオ信号のために使用される。一般にサブキロヘルツ信号を有するハプティック効果に使用される場合、生成されたHDハプティック効果は、典型的に所望されるほど実際的(リアル)ではない。
したがって、実施形態は、HDハプティック効果に関する式1を変化させる。一実施形態において、入力周波数パラメータは、タッチスクリーン11上の指の位置、オンボード加速度計により測定される場合、システム10の加速度、表面圧力などの外部信号「Sval」に応じて変動する。この実施形態において、周波数により変動した出力信号「afv」は
であり、式中、
であり、Svalは信号の周波数搬送を変更する様々な値にマッピングされる任意の所与の時間におけるセンサ値である。
式2に示すように、信号の周波数成分は、f−fminとf+fmaxとの間で変動するfvarの値を算出することにより導き出され得る。例えば、周波数が加速度に応じて変動することを必要し、加速度値が−10m/secから10m/secの間、ならびに
の値である場合、関数が、加速度値Accを周波数値fvarにマッピングするために使用されてもよく、その関数は任意の種類であってもよい。図3は一実施形態に係る線形マッピングを示す周波数対加速度のグラフである。他のマッピングがさらなる実施形態において使用されてもよい。
別の実施形態において、式2におけるfvarは、様々な値と対照的に倍率を用いて表され、したがってfvarは以下のように表される。
ここで、周波数は0からSmaxの間で正規化されたスカラーSvalに応じて変動する。例えば加速度が0から2.1の間の値までスケールし、f=100Hzの場合、スケールした加速度が0である場合、fvar=100Hzであり、スケールした加速度が2.1である場合、fvar=210Hzである。一実施形態において、スケールした加速度は直線的に0から2.1の間の値まで−10から10の間でマッピングされるように想定されるが、他の実施形態において、スケーリングは線形二次形式指数または他の種類のマッピングを用いて行われてもよい。
別の実施形態において、式2の振幅aパラメータは一部の外部信号に応じて変動してもよく、それらの変動は、fvarについて記載したものと同様の方式で行われてもよい。
位相変調
一実施形態は、FM信号の間接生成とみなされ得る位相変調を用いてHDハプティック信号を生成する。この実施形態において、上記の式1は以下の式に変更される:
式中、第二項は信号の位相であり、正弦値にのみ依存し、式1における正弦値と時間の積に依存しない。式4を用いて生成したハプティック効果は時間のみに応じて変動する。しかしながら、上記に開示したように、センサ値などの一部の他の外部変数、またはセンサによりキャプチャされた人のジェスチャに応じて変動を有する必要がある。したがって、一実施形態において、式4のパラメータは上記の式2パラメータと同様の方式で変更される。変更された実施形態は以下を含む:
・センサに応じてfを変更する:
・センサに応じてaを変更する:
・センサに応じてfを変更する:
・センサに応じてaを変更する:
周波数変調
一実施形態は、以下の式の位相を掛ける1倍の因数(one−time factor)により式4の位相変調を変更することによりFMを使用する。
一般に式5は時間領域(t)のみで変動する。しかしながら、項a、f、aおよびfは、位相変調の実施形態と併せて上記に開示したセンサにより生成された一部の外部信号(例えば加速度、磁場、圧力)に応じて変動し得る。
図4は、一実施形態に従ってHDハプティック効果プリミティブからHDハプティック効果信号を生成した場合の図1のHDハプティック効果生成モジュール22の機能のフロー図である。一実施形態において、図4のフロー図および以下の図6の機能は、メモリに格納されているソフトウェアまたは他のコンピュータ可読もしくは有形的表現媒体により実装され、プロセッサにより実行される。他の実施形態において、機能は、ハードウェア(例えば特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用を介する)またはハードウェアとソフトウェアとの任意の組み合わせにより実施されてもよい。
402において、HDハプティック効果プリミティブが受信される。HD効果プリミティブは高レベル入力パラメータの形態で表される。
404において、加速度計などのセンサからまたは任意の種類の外部信号からの入力が受信される。
406において、HDハプティック効果信号は、402にて受信されたHDハプティック効果プリミティブから生成される。信号の生成は、404におけるセンサ入力に基づいて信号の周波数を変動させることを含む。周波数は、周波数変動、周波数変調、スケーリング、及び位相変調を含む、上記のように変動できる。
408において、生成したHDハプティック効果信号は、システム10において振動ハプティック効果を生成するHDアクチュエータ18に適用される。生成した出力ハプティック効果信号は周波数などの複数の出力パラメータを含む。
PhISEMに基づいたHDハプティック効果生成
一実施形態は、確率過程を用いてシステム10の加速度計により生成された加速信号などの対応する入力センサ信号に基づいてHDハプティック効果信号の内容を変更することによってHDハプティックプリミティブからHDハプティック効果信号を生成する。変更は信号の振幅であるが、周波数または他のパラメータも変更されてもよい。この実施形態により使用した確率過程は、物理的に誘発される確率事象モデリング(Physically Inspired Stochastic Event Modeling)(「PhISEM」)である。PhISEMは、P.Cookら,「Using DSP−Based Parametric Physical Synthesis Models to Study Human Sound Perception」(2003)(「Cook」)に開示されている公知のアルゴリズムであり、ランダム粒子システムに基づいて自然な音を生成するいくつかの打楽器の音を合成するためにデジタル信号処理に使用されている。
図5は、Cookに開示されているPhISEMアルゴリズムを示すブロック図である。PhISEMアルゴリズムは、エネルギーおよび減衰を有する各粒子と互いに衝突する異なる粒子のダイナミックシステムシミュレーションから導かれた。PhISEMアルゴリズムは、ダイナミックモデルのシミュレーションに使用されるパラメータに直接関連したモデルにおいてパラメータを有する統計的モデルに対するダイナミックモデルの作用をキャプチャする。
本発明の実施形態は、HDハプティック効果プリミティブからのHDハプティック効果信号の生成と共に使用するためにPhISEMアルゴリズムを変更し、適用する。実施形態は、ハプティック信号および共振フィルタに使用される周波数の範囲を合成する。例えば、音の合成は、少なくともマラカスなどの打楽器の種類の楽器に関して1KHzを超える値を必要とする。一実施形態において、ハプティック実装に関して、フィルタは約200Hz未満の共鳴を有する。他の実施形態において、この数は4000Hz以下であってもよい。実施形態に使用されるフィルタの数は1つだけであってもよいが、多くが使用されてもよい。
一実施形態において、以下の疑似コードが、HDハプティック効果プリミティブからHDハプティック効果信号を生成するためにHDハプティック効果生成モジュール22により実装される:
上記の実装において、
・「getEnergy()」は、外部センサまたは他の信号からシステム内のエネルギーの値を読み出す。エネルギーは加速度計、仮想センサ、周期信号などのセンサ信号であってもよい。
・「SYSTEM_DECAY」パラメータは、0から1の間の値をとってもよく、図5の「システムエネルギー減衰」パラメータである。
・「num_beans」は、打楽器の衝突する要素の数である。このパラメータを変化させることにより、ハプティック効果の合成が変化する。代替の実施形態において、このパラメータは外部信号(センサ、データ抽出/処理、周期信号など)に応じて変化可能である。
・「gain」は、信号の全振幅をレベルアップする事前計算された値である。
・「noise_tick()」は、振動のランダム性を生成する関数である。
・「VIBE_DECAY」パラメータは、0から1の間の値をとってもよく、図5の「コントロールエンベロープ」パラメータである。
・「filterSignal()」は、「filterCoef」により特定されるフィルタ(複数も含む)を用いてランダム信号をフィルタにかける。一実施形態において、10Hzから4000Hzの間の共振周波数を有する共振フィルタが使用されてもよく、1つのみのフィルタが使用されてもよい。
図6は、一実施形態に従ってHDハプティック効果プリミティブからHDハプティック効果信号を生成した場合の図1のHDハプティック効果生成モジュール22の機能のフロー図である。
602において、HDハプティック効果プリミティブが受信される。HD効果プリミティブは高レベル入力パラメータの形態で表される。
604において、加速度計などのセンサからまたは任意の種類の外部信号からの入力が受信される。
606において、HDハプティック効果信号は602において受信されたHDハプティック効果プリミティブから生成される。信号の生成は、PhISEMアルゴリズムに従って604におけるセンサ入力に基づいて信号の振幅を変動させることを含む。
608において、生成したHDハプティック効果信号は、システム10において振動ハプティック効果を生成するHDアクチュエータ18に適用される。生成したHDハプティック効果信号は複数の出力パラメータを含む。
開示したように、HDハプティック効果は、HDハプティック効果プリミティブを受信し、生成したHDハプティック効果出力信号のパラメータを変動させるために外部センサ信号を用いることにより生成される。変動したパラメータは、一実施形態において周波数であってもよく、または別の実施形態においてPhISEMアルゴリズムを用いる振幅であってもよい。
一実施形態において、HDハプティック効果を生成するために周波数に基づいたアルゴリズムまたはPhISEMアルゴリズムを用いることに加えて、同じ一般的アルゴリズムが、上記のオーディオを生成するように適用/変更される。次いでシステム10は実質的に正確な同期において音およびHDハプティック効果を生成できる。この実施形態において、音およびハプティックを生成するために、指速度または加速度などの外部入力信号が、それぞれのアルゴリズムに送り込まれてもよく、一貫した音およびハプティックが生成される。
いくつかの実施形態が本明細書に具体的に例示され、および/または記載されている。しかしながら、本発明の精神および意図する範囲から逸脱せずに開示された実施形態の修飾および変更が上記の教示および添付の特許請求の範囲の範囲内に含まれることは理解されるだろう。

Claims (10)

  1. 持続時間入力パラメータを含む複数の入力パラメータを含むハプティック効果プリミティブを受信するステップと、
    センサから時間と共に変動する入力を受信するステップと、
    前記持続時間入力パラメータを用いて、前記ハプティック効果プリミティブからハプティック効果信号を生成するステップであって、
    前記ハプティック効果信号が複数の出力パラメータを含み、
    前記複数の出力パラメータは、持続時間出力パラメータと周波数出力パラメータとを含み、
    前記持続時間出力パラメータおよび前記周波数出力パラメータは、前記持続時間入力パラメータの変化に基づいて変更され、
    前記持続時間入力パラメータの前記変化は、前記時間と共に変動する前記入力の関数である、ステップと、
    前記ハプティック効果信号をアクチュエータに適用して、ハプティック効果を生成するステップと、
    を含む、ハプティック効果を生成する方法。
  2. 前記周波数が周波数変調を用いて変動される、請求項1に記載の方法。
  3. 前記周波数が位相変調を用いて変動される、請求項1に記載の方法。
  4. 前記周波数が倍率を用いて変動される、請求項1に記載の方法。
  5. 変動した前記出力パラメータが前記ハプティック効果信号の振幅及び周波数であり、前記振幅及び周波数が物理的に誘発される確率事象モデリングアルゴリズムを用いて変動される、請求項1に記載の方法。
  6. 前記入力が加速度であり、前記センサが加速度計である、請求項1に記載の方法。
  7. 前記アクチュエータが共鳴アクチュエータを含む、請求項1に記載の方法。
  8. 前記共鳴アクチュエータが圧電アクチュエータ、電気活性高分子アクチュエータ、または静電アクチュエータのうちの1つを含む、請求項7に記載の方法。
  9. プロセッサにより実行された場合、前記プロセッサに請求項1〜8に記載の方法によりハプティック効果を生成させる、保存された命令を有するコンピュータ可読媒体。
  10. プロセッサと、
    前記プロセッサに接続され、命令を保存している記憶装置と、
    前記プロセッサに接続されたアクチュエータと、
    前記プロセッサに接続されたセンサと、
    を備え、少なくとも持続時間を含む複数の入力パラメータを含むハプティック効果プリミティブ、および前記センサからの入力の受信に応答して前記プロセッサが請求項1〜8に記載の方法を実施する、触覚的に使用可能なシステム。
JP2013026835A 2012-02-15 2013-02-14 プリミティブを用いた高解像度ハプティック効果生成 Expired - Fee Related JP6541292B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261599173P 2012-02-15 2012-02-15
US61/599,173 2012-02-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017195656A Division JP2018026159A (ja) 2012-02-15 2017-10-06 プリミティブを用いた高解像度ハプティック効果生成

Publications (2)

Publication Number Publication Date
JP2013168153A JP2013168153A (ja) 2013-08-29
JP6541292B2 true JP6541292B2 (ja) 2019-07-10

Family

ID=47843050

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013026835A Expired - Fee Related JP6541292B2 (ja) 2012-02-15 2013-02-14 プリミティブを用いた高解像度ハプティック効果生成
JP2017195656A Pending JP2018026159A (ja) 2012-02-15 2017-10-06 プリミティブを用いた高解像度ハプティック効果生成

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017195656A Pending JP2018026159A (ja) 2012-02-15 2017-10-06 プリミティブを用いた高解像度ハプティック効果生成

Country Status (5)

Country Link
US (4) US9513706B2 (ja)
EP (2) EP3321780A1 (ja)
JP (2) JP6541292B2 (ja)
KR (1) KR102024940B1 (ja)
CN (2) CN103294191B (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102099766B (zh) 2008-07-15 2015-01-14 意美森公司 用于在无源和有源模式之间变换触觉反馈功能的系统和方法
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
EP2754008A4 (en) * 2011-06-21 2015-04-22 Univ Northwestern TOUCHING INTERFACE DEVICE AND METHOD FOR USING CROSS-HOLLOWS ON HUMAN LIMBS
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US9041647B2 (en) * 2013-03-15 2015-05-26 Immersion Corporation User interface device provided with surface haptic sensations
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9158379B2 (en) * 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9711014B2 (en) * 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9317120B2 (en) 2013-09-06 2016-04-19 Immersion Corporation Multiplexing and demultiplexing haptic signals
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9401079B2 (en) 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
CN103616951B (zh) * 2013-12-02 2017-04-19 深圳超多维光电子有限公司 力反馈的实现系统及方法
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションImmersion Corporation 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
US9958963B2 (en) * 2014-02-19 2018-05-01 American Greetings Corporation Systems, methods, and apparatuses for creating digital glitter with accelerometer
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
US10416799B2 (en) 2015-06-03 2019-09-17 Microsoft Technology Licensing, Llc Force sensing and inadvertent input control of an input device
US10222889B2 (en) 2015-06-03 2019-03-05 Microsoft Technology Licensing, Llc Force inputs and cursor control
AU2015397084B2 (en) * 2015-06-03 2021-05-27 Razer (Asia-Pacific) Pte. Ltd. Haptics devices and methods for controlling a haptics device
US10061385B2 (en) 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
US10564725B2 (en) 2017-03-23 2020-02-18 Immerson Corporation Haptic effects using a high bandwidth thin actuation system
US10606357B2 (en) * 2017-03-28 2020-03-31 Tanvas, Inc. Multi rate processing device for rendering haptic feedback
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
US20200301510A1 (en) * 2019-03-19 2020-09-24 Nvidia Corporation Force estimation using deep learning
US11456627B1 (en) 2021-06-22 2022-09-27 Nucurrent, Inc. Dynamic operation adjustment in wireless power transfer system
US11750037B2 (en) * 2021-06-22 2023-09-05 Nucurrent, Inc. Dynamic operation adjustment in wireless power transfer system

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6411276B1 (en) * 1996-11-13 2002-06-25 Immersion Corporation Hybrid control of haptic feedback for host computer and interface device
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
US6822635B2 (en) * 2000-01-19 2004-11-23 Immersion Corporation Haptic interface for laptop computers and other portable devices
JP2002082751A (ja) * 2000-09-08 2002-03-22 Mitsubishi Electric Corp 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム
US6864877B2 (en) 2000-09-28 2005-03-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
KR101035450B1 (ko) * 2001-03-09 2011-05-18 임머숀 코퍼레이션 랩톱 컴퓨터 및 기타 휴대 장치용 햅틱 인터페이스
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
GB2418475B (en) * 2003-06-09 2007-10-24 Immersion Corp Interactive gaming systems with haptic feedback
JP2006079238A (ja) 2004-09-08 2006-03-23 Alpine Electronics Inc タッチパネル装置
US20070118241A1 (en) * 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
US7920694B2 (en) * 2006-02-03 2011-04-05 Immersion Corporation Generation of consistent haptic effects
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US11325029B2 (en) * 2007-09-14 2022-05-10 National Institute Of Advanced Industrial Science And Technology Virtual reality environment generating apparatus and controller apparatus
US8098235B2 (en) * 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
CN102099766B (zh) * 2008-07-15 2015-01-14 意美森公司 用于在无源和有源模式之间变换触觉反馈功能的系统和方法
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8686952B2 (en) * 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP2010231609A (ja) * 2009-03-27 2010-10-14 Hitachi Maxell Ltd 触感呈示装置及び方法
GB0905692D0 (en) * 2009-04-02 2009-05-20 Tno Touch sensitive device
JP4769342B2 (ja) * 2009-09-03 2011-09-07 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
JP5360499B2 (ja) * 2010-02-01 2013-12-04 国立大学法人東北大学 力覚提示方法および力覚提示装置
US8540571B2 (en) * 2010-03-31 2013-09-24 Immersion Corporation System and method for providing haptic stimulus based on position
US20110267181A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US10120446B2 (en) * 2010-11-19 2018-11-06 Apple Inc. Haptic input device
US20140282008A1 (en) * 2011-10-20 2014-09-18 Koninklijke Philips N.V. Holographic user interfaces for medical procedures
US8711118B2 (en) 2012-02-15 2014-04-29 Immersion Corporation Interactivity model for shared feedback on mobile devices
US8570296B2 (en) 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display

Also Published As

Publication number Publication date
JP2013168153A (ja) 2013-08-29
JP2018026159A (ja) 2018-02-15
US20130207917A1 (en) 2013-08-15
US20190079587A1 (en) 2019-03-14
EP3321780A1 (en) 2018-05-16
CN103294191A (zh) 2013-09-11
US10318006B2 (en) 2019-06-11
US10175760B2 (en) 2019-01-08
KR102024940B1 (ko) 2019-09-24
KR20130094262A (ko) 2013-08-23
CN107688393A (zh) 2018-02-13
US20190317603A1 (en) 2019-10-17
CN103294191B (zh) 2017-09-08
EP2629178A1 (en) 2013-08-21
US9513706B2 (en) 2016-12-06
EP2629178B1 (en) 2018-01-10
US20170045944A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6541292B2 (ja) プリミティブを用いた高解像度ハプティック効果生成
US10606358B2 (en) Haptic effect conversion system using granular synthesis
US9652041B2 (en) Haptic device with linear resonant actuator
US8981915B2 (en) System and method for display of multiple data channels on a single haptic display
JP6317082B2 (ja) コンテキスト依存ハプティック確認システム
JP2020038685A (ja) 摩擦効果及び振動触覚効果を生成するシステム及び方法
US8624864B2 (en) System and method for display of multiple data channels on a single haptic display
CN110413099A (zh) 触觉反馈系统及方法
JP2019519856A (ja) マルチモーダルハプティック効果
KR102227452B1 (ko) 터치 및 햅틱 디바이스

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190611

R150 Certificate of patent or registration of utility model

Ref document number: 6541292

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees