JP6416460B2 - 複数のアクチュエータを用いた音からハプティック効果への変換システム - Google Patents

複数のアクチュエータを用いた音からハプティック効果への変換システム Download PDF

Info

Publication number
JP6416460B2
JP6416460B2 JP2013078315A JP2013078315A JP6416460B2 JP 6416460 B2 JP6416460 B2 JP 6416460B2 JP 2013078315 A JP2013078315 A JP 2013078315A JP 2013078315 A JP2013078315 A JP 2013078315A JP 6416460 B2 JP6416460 B2 JP 6416460B2
Authority
JP
Japan
Prior art keywords
haptic
actuator
signal
audio
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013078315A
Other languages
English (en)
Other versions
JP2013218327A (ja
Inventor
コスタ ヘンリー ダ
コスタ ヘンリー ダ
エルベ テュ ティモネ
エルベ テュ ティモネ
ロバート フーベル
ロバート フーベル
スティーブ ランク
スティーブ ランク
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
ダニー グラント
ダニー グラント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2013218327A publication Critical patent/JP2013218327A/ja
Application granted granted Critical
Publication of JP6416460B2 publication Critical patent/JP6416460B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

一実施形態は、一般的な装置、特に、ハプティック効果を生成する装置に向けられる。
ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。
このような装置は、また、デジタルオーディオ信号のようなオーディオデータを送信するように構成されうる。例えば、このような装置は、ムービー又はビデオゲームのような歌のようなオーディオ部分又はオーディオデータを含むビデオデータをプレイするように構成されるアプリケーションを含みうる。ハプティックと同様に、オーディオ効果を生成可能なさらなる埋め込みハードウェア（例えば、スピーカー）への呼び出しは、当該装置のＯＳ内にプログラムされうる。よって、当該装置のＯＳは、制御回路を介して、さらなる埋め込みハードウェアへプレイコマンドを送信することができ、さらなる埋め込みハードウェアは、その後、適切なオーディオ効果を生成する。
一実施形態は、オーディオ信号を、複数のアクチュエータでプレイされる１又はそれ以上のハプティック効果へ変換するシステムに関する。前記システムは、音声信号を分析する。前記システムは、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて１又はそれ以上のハプティック信号をさらに生成し、前記１又はそれ以上のハプティック信号の各ハプティック信号は、１又はそれ以上のハプティックパラメータを含む。前記システムは、さらに、複数のハプティック信号を複数のアクチュエータへマップし、各ハプティック信号は、対応するアクチュエータへマップされる。前記システムは、さらに、マップされたアクチュエータへ各ハプティック信号を送信する。前記システムは、さらに、マップされたアクチュエータにおいて各ハプティック信号をプレイして、前記１又はそれ以上のハプティック効果のうちの一のハプティック効果を生成する。
添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。
図１は、本発明の一実施形態に係るハプティック変換システムのブロック図を示す。 図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャの図を示す。 図３は、本発明の一実施形態に係る、同時に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図４は、本発明の一実施形態に係る、異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図５は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、複数のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図６は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルオーディオ信号を分析し、１又はそれ以上のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図７Ａは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの一例を示す。ハプティック変換システムのユーザインターフェースの一例を示す。 図７Ｂは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの別の例を示す。 図８は、本発明の一実施形態に係る、ハプティック変換モジュールの機能のフロー図を示す。 図９は、本発明の一実施形態に係る、装置を示す。
一実施形態は、オーディオ信号を分析し、オーディオ信号の分析に基づいて複数のハプティック信号を生成し、１又はそれ以上のハプティック効果を生成するために、複数のアクチュエータを介して、生成された複数のハプティック信号をプレイすることができるハプティック変換システムである。生成された複数のハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づく複数のアクチュエータにマップされうる。生成された各ハプティック信号は、１又はそれ以上のハプティックパラメータを含むことができ、１又はそれ以上のハプティック効果を生成するためにマップされたアクチュエータにおいてプレイされることができる。
図１は、本発明の一実施形態に係るハプティック変換システム１０のブロック図を示す。一実施形態では、システム１０は、モバイル装置の一部分であり、システム１０は、モバイル装置のためにハプティック変換機能を提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。
コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のようなモジュール化されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ （“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ （“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。
一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態のモバイル装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステムを含む。モジュールは、以下に詳細を記載するように、１又はそれ以上のハプティック効果を生成するために用いられるオーディオ信号を、１又はそれ以上のハプティック信号へ変換するハプティック変換モジュール１６を含む。特定の実施形態では、ハプティック変換モジュール１６は、音声信号を、複数のアクチュエータにおいて１又はそれ以上のハプティック効果を生成するために用いられる１又はそれ以上のハプティック信号へ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標） Ｈａｐｔｉｃ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｔｆｏｒｍのような追加の機能を含むための１又はそれ以上の追加のアプリケーションモジュール１８を含む。
システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。
プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。
システム１０は、複数のアクチュエータ（例えば、アクチュエータ２６Ａ及び２６Ｂ）をさらに含む。当業者は、図１に図示された実施形態において、複数のアクチュエータ２６は、二つのアクチュエータ（つまり、アクチュエータ２６Ａ及び２６Ｂ）を含むが、別の実施形態において、複数のアクチュエータ２６は、任意の数のアクチュエータを含みうることを明示的に理解するであろう。プロセッサ２２は、ハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６のうちの１又はそれ以上のアクチュエータへ送信してもよく、１又はそれ以上のアクチュエータのそれぞれは、同様に、ハプティック効果を出力する。複数のアクチュエータ２６の各アクチュエータは、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ （“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ （“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ （“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。さらに、複数のアクチュエータ２６の各アクチュエータは、異なるタイプのアクチュエータであってもよい。
いくつかの実施形態では、システム１０は、１又はそれ以上のスピーカ２８を含む。プロセッサ２２は、スピーカ２８へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。
図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャの図を示す。図示された実施形態では、ハプティック変換システムは、オーディオモジュール２１０と、スピーカ２２０と、を含む。オーディオモジュール２１０は、１又はそれ以上のオーディオバッファを受信するように構成され、かつスピーカ２２０へ１又はそれ以上のオーディオバッファを流すように構成された装置（例えば、モバイル装置）のオペレーティングシステムのモジュールであり、各オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。特定の実施形態では、１又はそれ以上のオーディオバッファは、パルス符号変調（ｐｕｌｓｅ−ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ （“ＰＣＭ”））オーディオバッファのようなデジタルオーディオバッファであり、各ＰＣＭオーディオバッファは、１又はそれ以上のＰＣＭオーディオデータフレームを含む。別の実施形態では、１又はそれ以上のオーディオバッファは、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ （“ＭＩＤＩ”）オーディオバッファのような構造に基づくオーディオバッファ（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ａｕｄｉｏ ｂｕｆｆｅｒｓ）であり、各ＭＩＤＩオーディオバッファは、１又はそれ以上のＭＩＤＩオーディオデータフレームを含む。さらに別の実施形態では、１又はそれ以上のオーディオバッファは、ＭＰＥＧ−２ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ （“ＭＰ３”）オーディオバッファのような周波数領域オーディオバッファであり、各ＭＰ３オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。さらに別の実施形態では、１又はそれ以上のオーディオバッファは、当業者に知られている任意の他のオーディオフォーマットである。一実施形態では、オーディオモジュール２１０は、モバイル装置用のＡｎｄｒｏｉｄ（登録商標）オペレーティングシステムのＡｎｄｒｏｉｄ（登録商標） オーディオトラックモジュールである。
スピーカ２２０は、１又はそれ以上のオーディオバッファを受信するように構成され、かつ１又はそれ以上のオーディオ効果を出力するように構成されるスピーカである。スピーカ２２０は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカでありうる。
ハプティック変換システムは、本実施形態に係るハプティック変換モジュール２３０も含む。特定の実施形態では、ハプティック変換モジュール２３０は、図１のハプティック変換モジュールと同一である。本実施形態に係るハプティック変換モジュール２３０は、オーディオモジュール２１０がスピーカ２２０へ流す１又はそれ以上のオーディオバッファを遮断するように構成される。ハプティック変換モジュール２３０は、さらに、１又はそれ以上のオーディオバッファを分析するように構成される。より具体的には、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオバッファ内に含まれる１又はそれ以上のオーディオデータフレームを分析するように構成される。本実施形態に係るハプティック変換モジュール２３０は、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性を分析するように構成される。実施形態の一例では、ハプティック変換モジュール２３０は、各オーディオデータフレームの１又はそれ以上の以下のオーディオ特性を分析するように構成される：オーディオデータフレームの振幅、オーディオデータフレームの周波数、又はオーディオデータフレームの持続時間。特定の実施形態では、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性を分析する前に、第１のオーディオフォーマットから第２のオーディオフォーマットへ１又はそれ以上のオーディオバッファを変換しうる。ハプティック変換モジュール２３０により行われる分析処理のさらなる詳細は、米国出願番号第１３／３６５，９８４号、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＡＭＰＬＩＴＵＤＥ ＶＡＬＵＥ，”及び米国出願番号第１３／３６６，０１０号、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＷＡＶＥＦＯＲＭ，”に説明され、これらは参照により本明細書に援用される。
ハプティック変換モジュール２３０は、さらに、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて１又はそれ以上のハプティック信号を生成するように構成される。特定の実施形態に係るハプティック信号は、１又はそれ以上のハプティックパラメータを含み、アクチュエータにおいてプレイされるとき、ハプティック信号は、アクチュエータに１又はそれ以上のハプティック効果を生成させる。一実施形態では、ハプティック信号は、１又はそれ以上の以下のハプティックパラメータを含みうる：アクチュエータの振動の振幅、アクチュエータの振動の持続時間、又はアクチュエータの振動の周波数。特定の実施形態に係る１又はそれ以上のハプティック信号は、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて求められうる。オーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数、又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。例えば、オーディオバッファのオーディオフレームが低い周波数を有する場合、ハプティック信号は、低い値を有するハプティック周波数パラメータにより生成されうる。同様に、オーディオバッファのオーディオフレームが高い周波数を有する場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されうる。別の例では、オーディオバッファのオーディオフレームが低い振幅を有する場合、ハプティック信号は、低い値を有するハプティック振幅パラメータにより生成されうる。同様に、オーディオバッファのオーディオフレームが高い振幅を有する場合、ハプティック信号は、高い値を有するハプティック振幅パラメータにより生成されうる。いくつかの実施形態では、ハプティック信号の１又はそれ以上のハプティックパラメータは、ハプティック信号がマップされるアクチュエータの１又はそれ以上の特性に基づいて求められうる。例えば、ハプティック信号が、高い周波数を有するハプティック効果を生成するように構成されるアクチュエータへマップされる場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されうる。別の実施形態では、ハプティック信号は、波形を含むことができ、波形は、ＰＣＭフォーマットのようなフォーマットの１又はそれ以上の信号値のセットである。
特定の実施形態では、１又はそれ以上の生成されたハプティック信号は、同一のハプティック信号である。より具体的には、これらの実施形態では、１又はそれ以上の生成されたハプティック信号は、同一のハプティックパラメータ（つまり、同一の値を有するハプティックパラメータ）を含む。別の実施形態では、１又はそれ以上の生成されたハプティック信号の各々は、異なるハプティック信号である。より具体的には、これらの実施形態では、各生成されたハプティック信号は、異なるハプティックパラメータ（つまり、異なる値を有するハプティックパラメータ）を含むさらに別の実施形態では、１又はそれ以上の生成されたハプティック信号のいくつかは、同一の信号であり、他のものは、異なるハプティック信号である。
ハプティック変換モジュール２３０は、さらに、１又はそれ以上の生成されたハプティック信号を複数のアクチュエータへマップするように構成される。本実施形態に係る、各生成されたハプティック信号に対して、１又はそれ以上のアクチュエータは、複数のアクチュエータから識別され、各生成されたハプティック信号は、識別された１又はそれ以上のアクチュエータへマップされる。例えば、低い周波数を有するオーディオバッファのオーディオフレームのために生成されたハプティック信号は、第１のアクチュエータ（例えば、ＥＲＭアクチュエータ）へマップされることができ、一方で、高い周波数を有するオーディオバッファのオーディオフレームのために生成されたハプティック信号は、第２のアクチュエータ（例えば、圧電アクチュエータ）へマップされることができる。特定の実施形態では、マッピングは、システムで定義されており、１又はそれ以上のオーディオバッファの分析されたオーディオ特性のうちの１又はそれ以上のオーディオ特性、又は前記１又はそれ以上のオーディオ特性と各識別されたアクチュエータの１又はそれ以上のオーディオ特性との組み合わせのいずれか一方に基づきうる。別の実施形態では、マッピングは、ユーザにより定義されており、ハプティック変換システムのユーザは、オーディオ信号の１又はそれ以上のオーディオ特性を、１又はそれ以上のアクチュエータタイプ又は１又はそれ以上の特定のアクチュエータのいずれか一方にマップしうる。
ハプティック変換システムは、また、ハプティック効果プレーヤーモジュール２４０及び２６０と、アクチュエータ２５０及び２７０と、を含む。当業者は、これは、単に実施形態の一例であり、他の実施形態では、ハプティック変換システムは、任意の数のハプティック効果プレーヤーモジュールと、任意の数のアクチュエータと、を含みうることを明示的に理解するであろう。
ハプティック効果プレーヤーモジュール２４０及び２６０は、装置（例えば、モバイル装置）内に内蔵されるモジュールの一例であり、１又はそれ以上のハプティック信号を１又はそれ以上のアクチュエータへ送信することにより、１又はそれ以上のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成される。図示された実施形態では、ハプティック効果プレーヤーモジュール２４０及び２６０は、それぞれ、単一のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成される。しかし、これは、単に実施形態の一例であり、他の実施形態では、ハプティック効果プレーヤーモジュールは、複数のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成されうる。一実施形態では、ハプティック効果プレーヤーモジュール（例えば、ハプティック効果プレーヤーモジュール２４０及び２６０）は、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ（登録商標）プレーヤーモジュールである。
アクチュエータ２５０及び２７０は、１又はそれ以上のハプティック信号を受信し、１又はそれ以上のハプティック効果を出力するように構成される一つのアクチュエータの一例である。特定の実施形態では、アクチュエータ（例えば、アクチュエータ２５０及び２７０）は、単一の制御パラメータ（例えば、振幅パラメータ、周波数パラメータ、又は持続時間パラメータ）を受信するように構成される一つのアクチュエータであり、単一の制御パラメータは、アクチュエータを通じてプレイされるときの周期的な効果を制御するために用いられる。別の実施形態では、アクチュエータ（例えば、アクチュエータ２５０及び２７０）は、波形を受信するように構成されるアクチュエータであり、波形は、アクチュエータを通じてプレイされるときの波形効果を制御するために用いられる。アクチュエータは、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、ＥＲＭ、ＬＲＡ、圧電アクチュエータ、高帯域幅アクチュエータ、又はＥＡＰアクチュエータでありうる。さらに、特定の実施形態では、アクチュエータ２５０は、第１のタイプのアクチュエータであることができ、アクチュエータ２７０は、第２のタイプのアクチュエータであることができる。それに替わってハプティック変換システムが複数のアクチュエータを含む実施形態では、二つ以上のアクチュエータが存在し、複数のアクチュエータの各アクチュエータは、それぞれが異なるアクチュエータタイプでありうる。
実施形態に係る、１又はそれ以上の生成されたハプティック信号の各生成されたハプティック信号は、ハプティック効果プレーヤーモジュールへ送られる。図示された実施形態では、第１の生成されたハプティック信号は、ハプティック効果プレーヤーモジュール２４０へ送られ、第２の生成されたハプティック信号は、ハプティック効果プレーヤーモジュール２６０へ送られる。ハプティック効果プレーヤーモジュールは、その後、生成されたハプティック信号を各アクチュエータへ送り、生成されたハプティック信号は、アクチュエータに１又はそれ以上のハプティック効果をプレイさせる。図示された実施形態では、ハプティック効果プレーヤーモジュール２４０は、第１の生成されたハプティック信号をアクチュエータ２５０へ送り、アクチュエータ２５０に１又はそれ以上のハプティック効果をプレイさせ、ハプティック効果プレーヤーモジュール２６０は、第２の生成されたハプティック信号をアクチュエータ２７０へ送り、アクチュエータ２７０に１又はそれ以上のハプティック効果をプレイさせる。
１又はそれ以上のオーディオバッファが構造に基づくオーディオバッファ又は周波数帯域オーディオバッファである実施形態では、１又はそれ以上のオーディオバッファの１又はそれ以上のデータフレームの各オーディオデータフレームは、オーディオデータフレーム内の１又はそれ以上のチャネルを含みうる。これらの実施形態では、ハプティック変換モジュール２３０は、チャネル分析を行うことができ、オーディオデータフレームの各チャネルが分析され、ハプティック信号は、各チャネルに対して生成される。これらの実施形態では、各生成されたハプティック信号は、独自のハプティック効果プレーヤーモジュール（例えば、ハプティック効果プレーヤーモジュール２４０及び２６０）へ送られることができ、独自のアクチュエータ（例えば、アクチュエータ２５０及び２７０）へ順次送られうる。例えば、１又はそれ以上のオーディオバッファがＭＩＤＩオーディオバッファであるとき、各ＭＩＤＩオーディオデータフレームの各チャネルは、異なる楽器を表しうる。この例では、ハプティック信号は、各楽器に対して生成されることができ、かつ各楽器に対応する１又はそれ以上のハプティック効果をプレイするための異なるアクチュエータへ送られうる。
特定の実施形態では、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づく１又はそれ以上のハプティック信号を生成するのではなく、ハプティック変換モジュール２３０は、ハプティック変換モジュール２３０内に記憶されうるユニバーサルハプティックレイヤ（ｕｎｉｖｅｒｓａｌ ｈａｐｔｉｃ ｌａｙｅｒ （“ＵＨＬ”））内に含まれる１又はそれ以上の予め定義されたハプティック信号を選択することができ、ハプティック変換モジュール２３０は、ＵＨＬレイヤに１又はそれ以上の予め定義されたハプティック信号をハプティック効果プレーヤーモジュールへ送らせ、各予め定義されたハプティック信号は、独自のアクチュエータ（例えば、アクチュエータ２５０及び２７０）へ順次送られる。これらの実施形態では、ハプティック変換モジュール２３０がハプティック信号の１又はそれ以上のハプティックパラメータを生成するのではなく、１又はそれ以上のハプティックパラメータは、各予め定義されたハプティック信号内に予め定義され、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて予め定義されたハプティック信号を選択する。
特定の実施形態では、前述したように、ハプティック変換モジュール２３０は、１又はそれ以上のハプティック信号を生成することができ、各ハプティック信号を（ハプティック効果プレーヤーモジュールを通じて）一つのアクチュエータへ送信することができ、ハプティック信号は、アクチュエータにおいて１又はそれ以上のハプティック効果をプレイするために用いられる。しかし、別の実施形態では、ハプティック変換モジュール２３０は、まず、単一のハプティック信号を生成し、単一のハプティック信号を複数のハプティック信号成分に分割し、各ハプティック信号成分を（ハプティック効果プレーヤーモジュールを通じて）一つのアクチュエータへ送信することができ、ハプティック信号成分は、アクチュエータにおいて１又はそれ以上のハプティック効果をプレイするために用いられる。
特定の実施形態では、ハプティック変換モジュール２３０は、さらに、１又はそれ以上の定義を記憶するように構成され、各定義は、第１のハプティック信号が生成されて、第１のアクチュエータへ送られたときに、第２のハプティック信号も生成されて、第２のアクチュエータへ送られ、オーディオ信号の分析から独立であることを示す。第２のアクチュエータは、第１のアクチュエータでプレイされる１又はそれ以上のハプティック効果を“補完（ｃｏｍｐｌｅｍｅｎｔ）”又は“仕上げる（ｒｏｕｎｄ−ｏｕｔ）”１又はそれ以上のハプティック効果をプレイするために用いられうる。特定の実施形態に係る１又はそれ以上の定義の各定義は、条件及び命令文を含む条件文であり、条件は、第１のアクチュエータへ送信される１又はそれ以上の第１のハプティック信号の生成であり、命令文は、第２のアクチュエータへ送信される１又はそれ以上の第２のハプティック信号を生成するための命令である。これらの実施形態では、ハプティック変換モジュール２３０は、さらに、第１のハプティック信号に後処理を行うように構成され、後処理は、第２のハプティック信号を生成すること、及びハプティック信号を（ハプティック効果プレーヤーモジュールを介して）第２のアクチュエータへ送信することを含む。
例えば、オーディオ信号の分析に基づいて、ハプティック変換モジュール２３０は、第１のハプティック信号を生成することができ、ハプティック信号をＥＲＭアクチュエータへ送信することができ、第１のハプティック信号は、ＥＲＭアクチュエータにおいてプレイされ、第１のハプティック効果を生成する。また、オーディオ信号の分析とは別に、ハプティック変換モジュール２３０は、定義の条件を評価することができ、ＥＲＭアクチュエータに対する第１のハプティック信号の生成に基づいて、定義の命令文が実行される必要のあるかどうかを求めることができる。命令文は、第２のハプティック信号を生成し、第２のハプティック信号を圧電アクチュエータへ送信するための命令を含みうる。定義の命令文に基づいて、ハプティック変換モジュール２３０は、第２のハプティック信号を生成し、第２のハプティック信号を圧電アクチュエータへ送信することができ、第２のハプティック信号は、圧電アクチュエータにおいてプレイされ、第２のハプティック効果を生成する。実施例によれば、圧電アクチュエータにより出力される第２のハプティック効果は、ＥＲＭアクチュエータにより出力される第１のハプティック効果を“補完する（ｃｏｍｐｌｅｍｅｎｔ）”又は“仕上げる（ｒｏｕｎｄ ｏｕｔ）”ために用いられうる。よって、ハプティック変換モジュール２３０内に記憶されうる１又はそれ以上の定義は、“テーマ別の（ｔｈｅｍｅｄ）”出力を作り出すために１又はそれ以上のハプティック効果をカスタマイズするために用いられうる。
特定の実施形態では、第２のハプティック効果は、第１のアクチュエータでプレイされる第１のハプティック効果の後に、第２のアクチュエータでプレイされる。別の実施形態では、第２のハプティック効果は、第１のアクチュエータでプレイされる第１のハプティック効果の前に、第２のアクチュエータでプレイされる。特定の実施形態では、第２のアクチュエータは、第１のアクチュエータとは異なるアクチュエータタイプである。
図３は、本発明の一実施形態に係る、同時に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：４ｍｍ ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、８ｍｍ ＥＲＭアクチュエータ（つまり、“アクチュエータ２”）と、を含む。オーディオ信号３００は、ハプティック変換システムにより分析され、ハプティック変換システムは、図３の領域３１０及び３２０により示されるような特定の振幅ピークを有するオーディオ信号３００の成分を識別する。オーディオ信号３００の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生（ｐｌａｙ ｂａｃｋ）させるハプティック信号を生成する。さらに、オーディオ信号３００の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２０Ｈｚの周波数及び２５ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。図示された実施形態では、アクチュエータ１及び２の両方は、同時にハプティック効果を再生する。よって、ハプティック変換システムを示す図３の図示された実施形態は、同時に、２つの異なるタイプのアクチュエータで１又はそれ以上のハプティック効果を再生させる１又はそれ以上のハプティック信号を生成することができ、二つのアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。
図４は、本発明の一実施形態に係る、異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、圧電アクチュエータ（つまり、“アクチュエータ２”）と、を含み、図３に例示されたアクチュエータとは異なる。オーディオ信号４００は、ハプティック変換システムにより分析され、ハプティック変換システムは、図４の領域４１０及び４２０により示されるような特定の振幅ピークを有するオーディオ信号４００の成分を識別する。オーディオ信号４００の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、オーディオ信号４００の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２０Ｈｚの周波数及び２５ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、アクチュエータ２によりプレイされる１又はそれ以上のハプティック効果は、アクチュエータ１によりプレイされる１又はそれ以上のハプティック効果よりも９０ｍｓ遅くプレイされる。特定の実施形態では、アクチュエータ１及び２の交互の再生は、アクチュエータ１及び２の再生速度の差を補償しうる。よって、これらの実施形態では、ユーザは、各アクチュエータの１又はそれ以上の効果が異なる時間でプレイされたとしても、同期された再生を体験することができる。よって、ハプティック変換システムを示す図４の図示された実施形態は、２つの異なる時間に、二つの異なるタイプのアクチュエータでプレイされる１又はそれ以上のハプティック効果を生じる１又はそれ以上のハプティック信号を生成することができ、２つのアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。
図５は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、複数のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、圧電アクチュエータ（つまり、“アクチュエータ２”）と、を含む。オーディオ信号５００は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図５の領域５１０及び５２０により示されるような特定の振幅ピークを有するオーディオ信号５００の成分；（ｂ）領域５３０により示されるような特定の周波数を有するオーディオ信号５００の成分；（ｃ）領域５４０により示されるような特定の持続時間を有するオーディオ信号５００の成分を識別する。
オーディオ信号５００（特に、領域５４０により示されるような特定の持続時間を有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、オーディオ信号５００（特に、領域５３０により示されるような特定の周波数を有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２００Ｈｚの周波数及び１０ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成し、アクチュエータ２によりプレイされる１又はそれ以上のハプティック効果は、アクチュエータ１によりプレイされる１又はそれ以上のハプティック効果よりも９０ｍｓ遅くプレイされる。特定の実施形態では、アクチュエータ１及び２の交互の再生は、アクチュエータ１及び２の再生速度の差を補償しうる。よって、これらの実施形態では、ユーザは、各アクチュエータの１又はそれ以上の効果が異なる時間でプレイされたとしても、同期された再生を体験することができる。
さらに、オーディオ信号５００（特に、図５の領域５１０及び５２０により示されるような特定の振幅ピークを有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ１及び２（又は別の実施形態では、図５に図示されない第３のアクチュエータ）の両方へ送信されるハプティック信号を生成し、ハプティック信号は、アクチュエータ１及び２（又は別の実施形態の第３のアクチュエータ）の両方に１又はそれ以上のハプティック効果を生成させる。特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、（ａ）特定の持続時間を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果、又は（ｂ）特定の周波数を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果のいずれかとしての同一のハプティックパラメータ（例えば、振幅、周波数及び持続時間）に基づきうる。それに替えて、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、異なるハプティックパラメータに基づきうる。さらに、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、同時に、（ａ）特定の持続時間を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果、又は（ｂ）特定の周波数を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果のいずれかとしての同一のハプティックパラメータのいずれかとしてプレイされうる。それに替えて、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、異なる時間にプレイされうる。
よって、図５の図示された実施形態は、ハプティック変換システムが、二つの異なる時間に、２又はそれ以上の異なるタイプのアクチュエータでプレイされる１又はそれ以上のハプティック効果を生じる１又はそれ以上のハプティック信号を生成することができ、２又はそれ以上のアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。
図６は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルオーディオ信号を分析し、１又はそれ以上のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。オーディオ信号は、左チャネル６００と、右チャネル６１０と、を含み、オーディオ信号は、左チャネル６００に含まれるオーディオ信号の一部（つまり、オーディオ信号６０１）と、右チャネル６１０に含まれるオーディオ信号の一部（つまり、オーディオ信号６１１）と、を含む。図６に示されるオーディオ信号内のチャネルの数は、一例であり、別の実施形態では、オーディオ信号は、任意の数のチャネルを有しうる。オーディオ信号６０１は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図６の領域６０２により示されるような特定の振幅ピークを有するオーディオ信号６０１の成分、（ｂ）領域６０３により示されるような特定の周波数を有するオーディオ信号６０１の成分、及び（ｃ）領域６０４により示されるような特定の持続時間を有するオーディオ信号６０１の成分を識別する。同様に、オーディオ信号６０２は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図６の領域６１２により示されるような特定の振幅ピークを有するオーディオ信号６０２の成分、及び（ｂ）領域６１３により示されるような特定の周波数を有するオーディオ信号６０２の成分を識別する。
オーディオ信号６０１及び６０２の分析に基づいて、ハプティック変換システムは、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成し、１又はそれ以上のハプティック信号は、１又はそれ以上のアクチュエータに１又はそれ以上のハプティック効果を生成させる。特定の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１の分析に基づいて生成されて、１又はそれ以上のアクチュエータの第１のセットへ送信され、１又はそれ以上のハプティック信号の第２のセットは、オーディオ信号６０２の分析に基づいて生成されて、１又はそれ以上のアクチュエータの第２のセットへ送信される。別の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１及び６０２の合成された分析に基づいて生成されて、１又はそれ以上のアクチュエータの第１のセットへ送信され、１又はそれ以上のハプティック信号の第２のセットもまた、オーディオ信号６０１及び６０２の合成された分析に基づいて生成されて、１又はそれ以上のアクチュエータの第２のセットへ送信される。さらに別の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１の分析に基づいて生成され、１又はそれ以上のハプティック信号の第２のセットは、オーディオ信号６０２の分析に基づいて生成され、ハプティック信号の第１及び第２のセットは、１又はそれ以上のハプティック信号の合成されたセットへ合成され、又はそれ以上のハプティック信号の合成されたセットは、１又はそれ以上のアクチュエータへ送信される。さらに別の実施形態では、オーディオ信号６０１及び６０２は、合成オーディオ信号に合成されることができ、分析は、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成するために、合成音声信号で行われうる。
図７Ａは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの一例を示す。ハプティック変換システムのユーザインターフェース７１０の一例を示す。ユーザインターフェース７１０は、ハプティック変換システム用のマルチチャネル構造に基づくオーディオファイル変換オプションメニューを表示する。特定の実施形態では、マルチチャネル構造に基づくオーディオファイルは、ＭＩＤＩオーディオファイルでありうる。ユーザインターフェース７１０は、各アクチュエータに対する１又はそれ以上のハプティック効果のための１又はそれ以上のハプティック特性を定義すると共に、複数のアクチュエータタイプに対する１又はそれ以上のハプティック効果を定義するオプションを含みうる。図示された実施形態では、マルチチャネルの構造に基づくオーディオファイル（ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ａｕｄｉｏ ｆｉｌｅ）は、多数のチャネル（つまり、チャネル１、３、５、８及び１０）を含む。図７Ａに示されるマルチチャネルの構造に基づくオーディオファイル内の多数のチャネルは、一例のみであり、別の実施形態では、マルチチャネルの構造に基づくオーディオファイルは、任意の数のチャネルを含みうる。ハプティック変換システムは、各チャネルを別々に分析することができる。図示された実施形態では、チャネルセット７１１は、別々に分析されうる４つのチャネル（つまり、チャネル１、３、５及び８）を表す。ハプティック変換システムは、また、チャネルを複数のチャネル成分に分離し、チャネル成分を別々に分析しうる。図示された実施形態では、チャネルセット７１２は、複数のチャネル成分に分離されたチャネル（つまり、チャネル１０）を表し、各チャネル成分は、別々に分析されうる。
マルチチャネルの構造に基づくオーディオファイルの各チャネル（又はチャネル成分）は、ハプティック変換システムにより順次分析され、ハプティック変換システムは、（ａ）特定の振幅ピークを有する各チャネル／チャネル成分の成分；（ｂ）特定の周波数を有する各チャネル／チャネル成分の成分；及び（ｃ）特定の持続時間を有する各チャネル／チャネル成分の成分を識別する。チャネルセット７１１及びチャネルセット７１２の分析に基づいて、ハプティック変換システムは、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成し、１又はそれ以上のハプティック信号は、１又はそれ以上のアクチュエータに１又はそれ以上のハプティック効果を生成させる。
図７Ｂは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェース７２０の別の例を示す。ユーザインターフェース７２０は、図７Ａについて前述したマルチチャネルの構造に基づくオーディオファイルの分析に基づくアクチュエータにより生成される１又はそれ以上のハプティック効果のグラフィック描写を表示する。図７Ｂでわかるように、マルチチャネルの構造に基づくオーディオファイルの各チャネル（又は各チャネル成分）に対する各アクチュエータで生成される１又はそれ以上のハプティック効果は、異なりうる。特定の実施形態では、マルチチャネルの構造に基づくオーディオファイルは、ＭＩＤＩオーディオファイルでありうる。
図８は、本発明の一実施形態に係る、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）の機能のフロー図を示す。一実施形態では、図８の機能は、メモリ、他のコンピュータ可読又は有形的表現媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等）又はハードウェアとソフトウェアの組み合わせにより行われてもよい。さらに、他の実施形態では、機能は、アナログコンポーネントを用いたハードウェアにより行われてもよい。
フローは開始し、８１０へ進む。８１０では、オーディオ信号は、分析される。オーディオ信号は、１又はそれ以上のオーディオバッファを含むことができ、各オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。いくつかの実施形態では、１又はそれ以上のオーディオバッファは、デジタルオーディオバッファである。別の実施形態では、１又はそれ以上のオーディオバッファは、構造に基づくオーディオバッファである。別の実施形態では、１又はそれ以上のオーディオバッファは、周波数領域オーディオバッファである。オーディオ信号の分析の一部分として、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性は、分析されうる。１又はそれ以上のオーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。フローは、８２０へ進む。
８２０では、複数のハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて生成される。複数のハプティック信号の各ハプティック信号は、１又はそれ以上のハプティックパラメータを含みうる。これらの実施形態では、１又はそれ以上のハプティックパラメータは、振幅パラメータ、持続時間パラメータ又は周波数パラメータの少なくとも１つを含む。また、オーディオ信号の１又はそれ以上のオーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。特定の実施形態では、１又はそれ以上のハプティックパラメータは、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて求められる。
複数のハプティック信号は、全て同一のハプティック信号でありうる。それに替えて、複数のハプティック信号は、全て異なるハプティック信号であってもよい。いくつかの実施形態では、複数のハプティック信号のいくつかは、同一のハプティック信号であり、他のものは、異なるハプティック信号である。特定の実施形態では、少なくとも１つのハプティック信号は、２又はそれ以上のハプティック信号成分に分割される。別の実施形態では、少なくとも２つのハプティック信号は、合成ハプティック信号として合成される。特定の実施形態では、１又はそれ以上の予め定義されたハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づくユニバーサルハプティックレイヤライブラリからでありうる。フローは、８３０へ進む。
８３０では、複数のハプティック信号は、複数のアクチュエータにマップされ、各ハプティック信号は、対応するアクチュエータにマップされる。特定の実施形態では、マッピングは、システムで定義され、マッピングは、分析されたオーディオ信号の１又はそれ以上のオーディオ特性、又は１又はそれ以上のオーディオ特性と複数のアクチュエータの各アクチュエータの１又はそれ以上の特性との組み合わせのいずれか一方に基づく。別の実施形態では、マッピングは、ユーザによりで定義される。ハプティック信号成分、合成ハプティック信号、予め定義されたハプティック信号又はそれらの組み合わせも生成されている実施形態では、これらのハプティック信号は、また、それらが対応するそれぞれのアクチュエータへマップされる。フローは、８４０へ進む。
８４０では、複数のハプティック信号の各ハプティック信号は、そのマップされたアクチュエータへ送信される。ハプティック信号成分、合成ハプティック信号、予め定義されたハプティック信号又はそれらの組み合わせも生成されている実施形態では、これらのハプティック信号は、また、それらが対応するそれぞれのアクチュエータへマップされる。フローは、８５０へ進む。
８５０では、１又はそれ以上のハプティック効果のうちの一つのハプティック効果を生成するために、複数のハプティック信号の各ハプティック信号は、そのマップされたアクチュエータにおいてプレイされる。特定の実施形態では、少なくとも１つの第２のハプティック信号も記憶された定義に基づいて生成される。これらの実施形態によれば、この定義は、条件及び命令文を含む条件文を含む。条件は、第１のアクチュエータへ送信される少なくとも１つの第１のハプティック信号の生成であり、命令文は、第２のアクチュエータへ送信される少なくとも１つの第２のハプティック信号を生成するための命令である。よって、１又はそれ以上のハプティック信号の少なくとも１つは、第１のハプティック信号に一致し、条件が満たされ、少なくとも１つの第２のハプティック信号は、生成される。少なくとも１つの第２のハプティック信号は、その後、複数のアクチュエータへマップされ、記憶された定義に基づいてアクチュエータへ送信される。フローは、その後終了する。
図９は、本発明の一実施形態に係る、装置９１０を示す。装置９１０は、タッチスクリーン装置でありうる。装置９１０は、複数の領域を含むタッチスクリーン及びタッチ検知を含みうる表面を備える。図示された実施形態では、装置９１０は、領域９２０、９３０及び９４０を含む。装置９１０の各領域は、異なるタイプのアクチュエータを含みうる。図示された実施形態では、領域９２０は、アクチュエータ９２１を含み、領域９３０は、アクチュエータ９３１を含み、領域９４０は、アクチュエータ９４１を含み、アクチュエータ９２１、９３１及び９４１は、異なるタイプのアクチュエータでありうる。アクチュエータ９２１、９３１及び９４１は、１又はそれ以上のオーディオ効果をそれぞれ出力し、各オーディオ効果（又はオーディオ効果のセット）は、装置９１０の表面の異なる部位からの出力である。同様に、アクチュエータ９２１、９３１及び９４１は、１又はそれ以上のハプティック効果をそれぞれ出力し、各ハプティック効果（又はハプティック効果のセット）は、装置９１０の表面の異なる部位からの出力である。特定の実施形態では、各ハプティック効果（又はハプティック効果のセット）は、異なるハプティック効果でありうる。例えば、各ハプティック効果（又はハプティック効果のセット）は、異なる周波数のものでありうる。
特定の実施形態では、各ハプティック効果は、ユーザの指が装置９１０の表面と接触する位置においてプレイされるオーディオ効果の結果でありうる。これらの実施形態では、アクチュエータ９２１、９３１及び９４１は、同時に、各オーディオ効果及びハプティック効果を出力しうる。特定の実施形態では、出力ハプティック効果は、エンコーディングスキームに基づいて生成される。これらの実施形態では、このエンコーディングスキームは、ハプティック効果に適用されるドルビーデジタルエンコーディングスキームでありうる。替わりの実施形態では、ハプティックエンコーディングは、低い周波数成分をオーディオ情報に加えることによりオーディオエンコーディングの一部として行われるが、ハプティック効果にストレスを与える。
替わりの実施形態では、アクチュエータ９２１、９３１及び９４１に加えて、装置９１０は、装置９１０の背面に配置される１又はそれ以上の追加のアクチュエータをも含む（図９には図示せず）。これらの実施形態では、これらの追加のアクチュエータは、異なる周波数で１又はそれ以上のハプティック効果を提供しうるフルボディアクチュエータでありうる。
よって、実施形態によれば、ハプティック変換システムは、分析されたオーディオ信号に基づいて複数のハプティック信号を生成し、各ハプティック信号をハプティック信号がマップされるアクチュエータへ送信し、ハプティック効果を生成するために、マップされたアクチュエータで各ハプティック信号をプレイする。実施形態によれば、オーディオ信号のオーディオ特性に基づくハプティック信号を複数のアクチュエータへ送信することは、ハプティック体験の“リッチさ（ｒｉｃｈｎｅｓｓ）”を非常に増大させる。具体的には、複数のアクチュエータでのオーディオ信号のオーディオ特性に基づくハプティック信号のアプリケーションは、より複雑なハプティック体験を生成する。
本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。
当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

Claims (13)

  1. オーディオ信号を１又はそれ以上のハプティック効果に変換するコンピュータ実装方法であって、
    前記オーディオ信号を分析するステップと、
    前記オーディオ信号の１又はそれ以上のオーディオ特性に基づく複数のハプティック信号を生成するステップであって、各ハプティック信号は、１又はそれ以上のハプティックパラメータを含む、ステップと、
    前記複数のハプティック信号を複数のアクチュエータへマップするステップであって、各ハプティック信号は、対応するアクチュエータへマップされる、ステップと、
    各ハプティック信号をそのマップされたアクチュエータへ送るステップと、
    前記１又はそれ以上のハプティック効果のうちの一つのハプティック効果を生成するために、そのマップされたアクチュエータにおいて各ハプティック信号をプレイするステップと、
    記憶された定義に基づいて１又はそれ以上の第２のハプティック信号を生成するステップであって、前記定義は、条件及び命令文を含む条件文を含み、前記条件は、第１のアクチュエータへ送信される１又はそれ以上の第１のハプティック信号の生成であり、前記命令文は、第２のアクチュエータへ送信される前記１又はそれ以上の第２のハプティック信号を生成するための命令である、ステップと、
    前記１又はそれ以上の第２のハプティック信号を前記第２のアクチュエータへマップするステップと、各第２のハプティック信号を前記記憶された定義に基づいて前記第２のアクチュエータへ送信するステップと、
    を含む、コンピュータ実装方法。
  2. 前記オーディオ信号の１又はそれ以上のオーディオ特性に基づいてユニバーサルハプティックレイヤーライブラリから１又はそれ以上の予め定義されたハプティック信号を選択するステップと、
    前記１又はそれ以上の予め定義されたハプティック信号を前記複数のアクチュエータにマップするステップであって、各予め定義されたハプティック信号は、対応するアクチュエータへマップされる、ステップと、
    前記１又はそれ以上の予め定義されたハプティック信号の各々を、各予め定義されたハプティック信号がマップされた前記対応するアクチュエータへ送るステップと、をさらに含む請求項１に記載のコンピュータ実装方法。
  3. 前記複数のハプティック信号のうちの少なくとも１つのハプティック信号を複数のハプティック信号成分に分割するステップと、
    前記複数のハプティック信号成分を前記複数のアクチュエータへマップするステップであって、前記複数のハプティック信号成分の各ハプティック信号成分は、対応するアクチュエータへマップされる、ステップと、
    前記複数のハプティック信号成分をマップされたアクチュエータへ送信するステップと、をさらに含む請求項１に記載のコンピュータ実装方法。
  4. 前記１又はそれ以上のハプティック信号のうちの少なくとも２つの信号を、合成ハプティック信号に合成するステップと、
    前記合成ハプティック信号をアクチュエータへマップするステップと、
    前記合成ハプティック信号を前記アクチュエータへ送信するステップと、をさらに含む請求項１に記載のコンピュータ実装方法。
  5. 前記１又はそれ以上のハプティックパラメータは、振幅パラメータ、持続時間パラメータ、又は周波数パラメータのうちの少なくとも１つを含む請求項１に記載のコンピュータ実装方法。
  6. 前記１又はそれ以上のハプティックパラメータは、前記オーディオ信号の前記１又はそれ以上のオーディオ特性に基づいて求められる請求項１に記載のコンピュータ実装方法。
  7. 前記１又はそれ以上のオーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数、又はオーディオデータフレームの持続時間のうちの少なくとも１つを含む請求項１に記載のコンピュータ実装方法。
  8. 前記マップは、システムで定義され、前記マップは、分析された前記オーディオ信号の前記１又はそれ以上のオーディオ特性、又は前記１又はそれ以上のオーディオ特性と前記複数のアクチュエータの各アクチュエータの１又はそれ以上の特性との組み合わせのいずれかに基づく、請求項１に記載のコンピュータ実装方法。
  9. 前記マップは、ユーザで定義される請求項１に記載のコンピュータ実装方法。
  10. ハプティック変換モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶される前記ハプティック変換モジュールを実行するように構成されるプロセッサと、
    各アクチュエータが１又はそれ以上のハプティック効果を出力するように構成される複数のアクチュエータと、を備え、
    前記ハプティック変換モジュールは、
    オーディオ信号を分析し、
    前記オーディオ信号の１又はそれ以上のオーディオ特性に基づく複数のハプティック信号を生成し、各ハプティック信号は、１又はそれ以上のハプティックパラメータを含み、
    前記複数のハプティック信号を前記複数のアクチュエータへマップし、各ハプティック信号は、対応するアクチュエータへマップされ、
    各ハプティック信号をそのマップされたアクチュエータへ送り、
    前記１又はそれ以上のハプティック効果のうちの一つのハプティック効果を生成するために、そのマップされたアクチュエータにおいて各ハプティック信号をプレイし、
    記憶された定義に基づいて１又はそれ以上の第２のハプティック信号を生成し、前記定義は、条件及び命令文を含む条件文を含み、前記条件は、第１のアクチュエータへ送信される１又はそれ以上の第１のハプティック信号の生成であり、前記命令文は、第２のアクチュエータへ送信される前記１又はそれ以上の第２のハプティック信号を生成するための命令であり、
    前記１又はそれ以上の第２のハプティック信号を前記第２のアクチュエータへマップし、 各第２のハプティック信号を前記記憶された定義に基づいて前記第２のアクチュエータへ送信するように構成される、ハプティック変換システム。
  11. 前記ハプティック変換モジュールは、さらに、
    前記オーディオ信号の前記１又はそれ以上のオーディオ特性に基づいてユニバーサルハプティックレイヤーライブラリから１又はそれ以上の予め定義されたハプティック信号を選択し、
    前記１又はそれ以上の予め定義されたハプティック信号を前記複数のアクチュエータにマップし、各予め定義されたハプティック信号は、対応するアクチュエータへマップされ、
    前記１又はそれ以上の各予め定義されたハプティック信号の各々を、各予め定義されたハプティック信号がマップされた前記対応するアクチュエータへ送るように構成される、請求項１０に記載のハプティック変換システム。
  12. 前記ハプティック変換モジュールは、さらに、
    前記複数のハプティック信号のうちの少なくとも１つのハプティック信号を複数のハプティック信号成分に分割し、
    前記複数のハプティック信号成分を前記複数のアクチュエータへマップし、各ハプティック信号成分は、対応するアクチュエータへマップされ、
    前記複数のハプティック信号成分を前記対応するアクチュエータへ送信するように構成される、請求項１０に記載のハプティック変換システム。
  13. プロセッサにより実行されるときに、請求項１から９のいずれか一項に記載の方法をプロセッサが実装する命令を記憶するコンピュータ可読媒体。
JP2013078315A 2012-04-04 2013-04-04 複数のアクチュエータを用いた音からハプティック効果への変換システム Expired - Fee Related JP6416460B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/439,241 2012-04-04
US13/439,241 US9715276B2 (en) 2012-04-04 2012-04-04 Sound to haptic effect conversion system using multiple actuators

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018188270A Division JP6730398B2 (ja) 2012-04-04 2018-10-03 複数のアクチュエータを用いた音からハプティック効果への変換システム

Publications (2)

Publication Number Publication Date
JP2013218327A JP2013218327A (ja) 2013-10-24
JP6416460B2 true JP6416460B2 (ja) 2018-10-31

Family

ID=47900556

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013078315A Expired - Fee Related JP6416460B2 (ja) 2012-04-04 2013-04-04 複数のアクチュエータを用いた音からハプティック効果への変換システム
JP2018188270A Active JP6730398B2 (ja) 2012-04-04 2018-10-03 複数のアクチュエータを用いた音からハプティック効果への変換システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018188270A Active JP6730398B2 (ja) 2012-04-04 2018-10-03 複数のアクチュエータを用いた音からハプティック効果への変換システム

Country Status (5)

Country Link
US (3) US9715276B2 (ja)
EP (2) EP3200049B1 (ja)
JP (2) JP6416460B2 (ja)
KR (1) KR102204606B1 (ja)
CN (2) CN103365415B (ja)

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
WO2013170099A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Calibration of haptic feedback systems for input devices
WO2013169301A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Variable feedback based on drag input
US20150109223A1 (en) 2012-06-12 2015-04-23 Apple Inc. Haptic electromagnetic actuator
US9886116B2 (en) 2012-07-26 2018-02-06 Apple Inc. Gesture and touch input detection through force sensing
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9098984B2 (en) * 2013-03-14 2015-08-04 Immersion Corporation Haptic effects broadcasting during a group event
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9619029B2 (en) * 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) * 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9349378B2 (en) 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US20150205352A1 (en) * 2013-12-29 2015-07-23 Immersion Corporation Distributed control architecture for haptic devices
KR102212409B1 (ko) * 2014-01-02 2021-02-04 한국전자통신연구원 오디오 신호 및 오디오 신호를 기반으로 한 진동 신호를 생성하는 방법 및 장치
US20150242037A1 (en) 2014-01-13 2015-08-27 Apple Inc. Transparent force sensor with strain relief
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9715279B2 (en) 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
JP6361872B2 (ja) * 2014-07-09 2018-07-25 任天堂株式会社 振動生成システム、振動生成装置、振動信号生成プログラム、および振動生成方法
US10297119B1 (en) 2014-09-02 2019-05-21 Apple Inc. Feedback device in an electronic device
US9939901B2 (en) 2014-09-30 2018-04-10 Apple Inc. Haptic feedback assembly
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
US10613628B2 (en) * 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US9798409B1 (en) 2015-03-04 2017-10-24 Apple Inc. Multi-force input device
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10140822B2 (en) 2015-08-05 2018-11-27 Dolby Laboratories Licensing Corporation Low bit rate parametric encoding and transport of haptic-tactile signals
KR101807655B1 (ko) * 2015-12-01 2017-12-11 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
US10671186B2 (en) 2016-06-15 2020-06-02 Microsoft Technology Licensing, Llc Autonomous haptic stylus
US10699538B2 (en) * 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
US10198076B2 (en) 2016-09-06 2019-02-05 Neosensory, Inc. Method and system for providing adjunct sensory information to a user
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) * 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102518400B1 (ko) * 2017-11-22 2023-04-06 삼성전자주식회사 진동을 제공하는 방법 및 이를 지원하는 전자 장치
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10572016B2 (en) 2018-03-06 2020-02-25 Microsoft Technology Licensing, Llc Spatialized haptic device force feedback
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
KR102479035B1 (ko) * 2018-03-22 2022-12-20 한국전자통신연구원 청각장애인용 언어학습 시스템 및 방법
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11120673B2 (en) 2018-06-07 2021-09-14 Lofelt Gmbh Systems and methods for generating haptic output for enhanced user experience
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
FR3097362B1 (fr) 2019-06-11 2021-05-14 Damien Quintard Système vibratoire sensoriel
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
WO2021062276A1 (en) 2019-09-25 2021-04-01 Neosensory, Inc. System and method for haptic stimulation
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
KR102591674B1 (ko) 2020-07-10 2023-10-23 한국전자통신연구원 음향 및 촉각 재생 장치
WO2022013168A2 (en) 2020-07-12 2022-01-20 Lofelt Gmbh Systems and methods for authoring immersive haptic experience using spectral centriod
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
KR102457452B1 (ko) * 2020-12-21 2022-10-21 신성호 촉감 발생 장치 및 그 구동 방법
KR102428109B1 (ko) * 2020-12-29 2022-08-01 한국기술교육대학교 산학협력단 스티어링 휠에 촉감을 제공하는 햅틱 제어 시스템
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11763647B2 (en) * 2021-08-16 2023-09-19 City University Of Hong Kong Multimode haptic patch and multimodal haptic feedback interface
US11995240B2 (en) 2021-11-16 2024-05-28 Neosensory, Inc. Method and system for conveying digital texture information to a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
EP4242799A1 (en) * 2022-01-28 2023-09-13 Samsung Electronics Co., Ltd. Electronic device for generating haptic signals, and method therefor
CN114995638A (zh) * 2022-05-12 2022-09-02 北京有竹居网络技术有限公司 触觉信号生成方法、装置、可读介质及电子设备
US20240017166A1 (en) * 2022-07-12 2024-01-18 Tim Hoar Systems and methods for generating real-time directional haptic output

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL70153A0 (en) 1983-11-07 1984-02-29 Navot Technology Ltd Audiotactile communication system
US5675709A (en) 1993-01-21 1997-10-07 Fuji Xerox Co., Ltd. System for efficiently processing digital sound data in accordance with index data of feature quantities of the sound data
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5842163A (en) 1995-06-21 1998-11-24 Sri International Method and apparatus for computing likelihood and hypothesizing keyword appearance in speech
JP3824182B2 (ja) 1996-09-20 2006-09-20 ソニー株式会社 音声増幅装置及び通信端末装置並びに音声増幅方法
US7091948B2 (en) 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
JPH1133230A (ja) 1997-07-16 1999-02-09 Sega Enterp Ltd 通信ゲームシステム
JPH11196497A (ja) 1998-01-06 1999-07-21 Matsushita Electric Ind Co Ltd 振動による情報伝達装置
KR20010111233A (ko) 2000-06-09 2001-12-17 오원근 청각 장애자용 소리 인식장치
US6751534B2 (en) 2000-12-21 2004-06-15 Ford Global Technologies, Llc System and method for providing feedback to a driver of a hybrid vehicle
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
US7791588B2 (en) 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
TWI296787B (en) 2005-01-19 2008-05-11 Lightuning Tech Inc Storage device and method for protecting data stored therein
JP5208362B2 (ja) * 2005-10-28 2013-06-12 ソニー株式会社 電子機器
KR101384434B1 (ko) 2006-04-06 2014-04-10 임머숀 코퍼레이션 햅틱 효과 개선을 위한 시스템들 및 방법들, 및 기록 매체
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
US8022741B2 (en) * 2007-02-09 2011-09-20 Nxp B.V. Digital electronic device and method of altering clock delays in a digital electronic device
JP5270118B2 (ja) * 2007-07-05 2013-08-21 富士通コンポーネント株式会社 触覚提示装置及び触覚提示方法
US8508486B2 (en) * 2007-10-01 2013-08-13 Immersion Corporation Directional haptic effects for a handheld device
EP2323351A4 (en) * 2008-09-05 2015-07-08 Sk Telecom Co Ltd MOBILE COMMUNICATION TERMINAL PROVIDING VIBRATION INFORMATION AND ASSOCIATED METHOD
US20100141408A1 (en) * 2008-12-05 2010-06-10 Anthony Stephen Doy Audio amplifier apparatus to drive a panel to produce both an audio signal and haptic feedback
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
CA2754705A1 (en) 2009-03-10 2010-09-16 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
US10007340B2 (en) * 2009-03-12 2018-06-26 Immersion Corporation Systems and methods for interfaces featuring surface-based haptic effects
US8218780B2 (en) 2009-06-15 2012-07-10 Hewlett-Packard Development Company, L.P. Methods and systems for blind dereverberation
US8902050B2 (en) 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
KR101719507B1 (ko) 2009-11-17 2017-03-24 임머숀 코퍼레이션 전자 디바이스에서 촉각 대역폭을 증가시키는 시스템들 및 방법들
KR100986681B1 (ko) 2010-05-06 2010-10-08 (주)이미지스테크놀로지 촉각 발생을 위한 다중 액튜에이터 구동 제어장치
KR20120011548A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 사용자 입력에 대한 피드백 제공 장치 및 방법
FR2964761B1 (fr) * 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
WO2012090031A1 (en) * 2010-12-31 2012-07-05 Nokia Corporation A display apparatus producing audio and haptic output
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR101602663B1 (ko) 2011-10-10 2016-03-14 한국전자통신연구원 촉각 피드백을 제공하기 위한 전자기기용 케이스 및 그 구동 방법
US9513706B2 (en) 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
US9659482B2 (en) * 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
WO2016205713A1 (en) * 2015-06-19 2016-12-22 Northwestern University Apparatus for unified audio tactile feedback

Also Published As

Publication number Publication date
JP6730398B2 (ja) 2020-07-29
CN103365415A (zh) 2013-10-23
JP2013218327A (ja) 2013-10-24
EP2648071B1 (en) 2017-04-05
US20130265286A1 (en) 2013-10-10
US10074246B2 (en) 2018-09-11
US10467870B2 (en) 2019-11-05
KR102204606B1 (ko) 2021-01-19
CN103365415B (zh) 2018-11-16
US20190051125A1 (en) 2019-02-14
US20170301195A1 (en) 2017-10-19
EP2648071A1 (en) 2013-10-09
KR20130112799A (ko) 2013-10-14
CN109407846A (zh) 2019-03-01
EP3200049B1 (en) 2020-06-17
US9715276B2 (en) 2017-07-25
JP2018205782A (ja) 2018-12-27
EP3200049A1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6730398B2 (ja) 複数のアクチュエータを用いた音からハプティック効果への変換システム
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
US10339772B2 (en) Sound to haptic effect conversion system using mapping
JP6026751B2 (ja) 振幅値を利用した音響−触覚効果変換システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181004

R150 Certificate of patent or registration of utility model

Ref document number: 6416460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees