JP6730398B2 - 複数のアクチュエータを用いた音からハプティック効果への変換システム - Google Patents

Description

一実施形態は、一般的な装置、特に、ハプティック効果を生成する装置に向けられる。

ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。

このような装置は、また、デジタルオーディオ信号のようなオーディオデータを送信するように構成されうる。例えば、このような装置は、ムービー又はビデオゲームのような歌のようなオーディオ部分又はオーディオデータを含むビデオデータをプレイするように構成されるアプリケーションを含みうる。ハプティックと同様に、オーディオ効果を生成可能なさらなる埋め込みハードウェア（例えば、スピーカー）への呼び出しは、当該装置のＯＳ内にプログラムされうる。よって、当該装置のＯＳは、制御回路を介して、さらなる埋め込みハードウェアへプレイコマンドを送信することができ、さらなる埋め込みハードウェアは、その後、適切なオーディオ効果を生成する。

一実施形態は、オーディオ信号を、複数のアクチュエータでプレイされる１又はそれ以上のハプティック効果へ変換するシステムに関する。前記システムは、音声信号を分析する。前記システムは、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて１又はそれ以上のハプティック信号をさらに生成し、前記１又はそれ以上のハプティック信号の各ハプティック信号は、１又はそれ以上のハプティックパラメータを含む。前記システムは、さらに、複数のハプティック信号を複数のアクチュエータへマップし、各ハプティック信号は、対応するアクチュエータへマップされる。前記システムは、さらに、マップされたアクチュエータへ各ハプティック信号を送信する。前記システムは、さらに、マップされたアクチュエータにおいて各ハプティック信号をプレイして、前記１又はそれ以上のハプティック効果のうちの一のハプティック効果を生成する。

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。
図１は、本発明の一実施形態に係るハプティック変換システムのブロック図を示す。 図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャの図を示す。 図３は、本発明の一実施形態に係る、同時に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図４は、本発明の一実施形態に係る、異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図５は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、複数のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図６は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルオーディオ信号を分析し、１又はそれ以上のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。 図７Ａは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの一例を示す。ハプティック変換システムのユーザインターフェースの一例を示す。 図７Ｂは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの別の例を示す。 図８は、本発明の一実施形態に係る、ハプティック変換モジュールの機能のフロー図を示す。 図９は、本発明の一実施形態に係る、装置を示す。

一実施形態は、オーディオ信号を分析し、オーディオ信号の分析に基づいて複数のハプティック信号を生成し、１又はそれ以上のハプティック効果を生成するために、複数のアクチュエータを介して、生成された複数のハプティック信号をプレイすることができるハプティック変換システムである。生成された複数のハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づく複数のアクチュエータにマップされうる。生成された各ハプティック信号は、１又はそれ以上のハプティックパラメータを含むことができ、１又はそれ以上のハプティック効果を生成するためにマップされたアクチュエータにおいてプレイされることができる。

図１は、本発明の一実施形態に係るハプティック変換システム１０のブロック図を示す。一実施形態では、システム１０は、モバイル装置の一部分であり、システム１０は、モバイル装置のためにハプティック変換機能を提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のようなモジュール化されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ （“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ （“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態のモバイル装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステムを含む。モジュールは、以下に詳細を記載するように、１又はそれ以上のハプティック効果を生成するために用いられるオーディオ信号を、１又はそれ以上のハプティック信号へ変換するハプティック変換モジュール１６を含む。特定の実施形態では、ハプティック変換モジュール１６は、音声信号を、複数のアクチュエータにおいて１又はそれ以上のハプティック効果を生成するために用いられる１又はそれ以上のハプティック信号へ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標） Ｈａｐｔｉｃ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｔｆｏｒｍのような追加の機能を含むための１又はそれ以上の追加のアプリケーションモジュール１８を含む。

システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。

プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。

システム１０は、複数のアクチュエータ（例えば、アクチュエータ２６Ａ及び２６Ｂ）をさらに含む。当業者は、図１に図示された実施形態において、複数のアクチュエータ２６は、二つのアクチュエータ（つまり、アクチュエータ２６Ａ及び２６Ｂ）を含むが、別の実施形態において、複数のアクチュエータ２６は、任意の数のアクチュエータを含みうることを明示的に理解するであろう。プロセッサ２２は、ハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６のうちの１又はそれ以上のアクチュエータへ送信してもよく、１又はそれ以上のアクチュエータのそれぞれは、同様に、ハプティック効果を出力する。複数のアクチュエータ２６の各アクチュエータは、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ （“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ （“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ （“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。さらに、複数のアクチュエータ２６の各アクチュエータは、異なるタイプのアクチュエータであってもよい。

いくつかの実施形態では、システム１０は、１又はそれ以上のスピーカ２８を含む。プロセッサ２２は、スピーカ２８へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。

図２は、本発明の一実施形態に係るハプティック変換システムのアーキテクチャの図を示す。図示された実施形態では、ハプティック変換システムは、オーディオモジュール２１０と、スピーカ２２０と、を含む。オーディオモジュール２１０は、１又はそれ以上のオーディオバッファを受信するように構成され、かつスピーカ２２０へ１又はそれ以上のオーディオバッファを流すように構成された装置（例えば、モバイル装置）のオペレーティングシステムのモジュールであり、各オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。特定の実施形態では、１又はそれ以上のオーディオバッファは、パルス符号変調（ｐｕｌｓｅ−ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ （“ＰＣＭ”））オーディオバッファのようなデジタルオーディオバッファであり、各ＰＣＭオーディオバッファは、１又はそれ以上のＰＣＭオーディオデータフレームを含む。別の実施形態では、１又はそれ以上のオーディオバッファは、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ （“ＭＩＤＩ”）オーディオバッファのような構造に基づくオーディオバッファ（ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ａｕｄｉｏ ｂｕｆｆｅｒｓ）であり、各ＭＩＤＩオーディオバッファは、１又はそれ以上のＭＩＤＩオーディオデータフレームを含む。さらに別の実施形態では、１又はそれ以上のオーディオバッファは、ＭＰＥＧ−２ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ （“ＭＰ３”）オーディオバッファのような周波数領域オーディオバッファであり、各ＭＰ３オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。さらに別の実施形態では、１又はそれ以上のオーディオバッファは、当業者に知られている任意の他のオーディオフォーマットである。一実施形態では、オーディオモジュール２１０は、モバイル装置用のＡｎｄｒｏｉｄ（登録商標）オペレーティングシステムのＡｎｄｒｏｉｄ（登録商標） オーディオトラックモジュールである。

スピーカ２２０は、１又はそれ以上のオーディオバッファを受信するように構成され、かつ１又はそれ以上のオーディオ効果を出力するように構成されるスピーカである。スピーカ２２０は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカでありうる。

ハプティック変換システムは、本実施形態に係るハプティック変換モジュール２３０も含む。特定の実施形態では、ハプティック変換モジュール２３０は、図１のハプティック変換モジュールと同一である。本実施形態に係るハプティック変換モジュール２３０は、オーディオモジュール２１０がスピーカ２２０へ流す１又はそれ以上のオーディオバッファを遮断するように構成される。ハプティック変換モジュール２３０は、さらに、１又はそれ以上のオーディオバッファを分析するように構成される。より具体的には、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオバッファ内に含まれる１又はそれ以上のオーディオデータフレームを分析するように構成される。本実施形態に係るハプティック変換モジュール２３０は、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性を分析するように構成される。実施形態の一例では、ハプティック変換モジュール２３０は、各オーディオデータフレームの１又はそれ以上の以下のオーディオ特性を分析するように構成される：オーディオデータフレームの振幅、オーディオデータフレームの周波数、又はオーディオデータフレームの持続時間。特定の実施形態では、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性を分析する前に、第１のオーディオフォーマットから第２のオーディオフォーマットへ１又はそれ以上のオーディオバッファを変換しうる。ハプティック変換モジュール２３０により行われる分析処理のさらなる詳細は、米国出願番号第１３／３６５，９８４号、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＡＭＰＬＩＴＵＤＥ ＶＡＬＵＥ，”及び米国出願番号第１３／３６６，０１０号、“ＳＯＵＮＤ ＴＯ ＨＡＰＴＩＣ ＥＦＦＥＣＴ ＣＯＮＶＥＲＳＩＯＮ ＳＹＳＴＥＭ ＵＳＩＮＧ ＷＡＶＥＦＯＲＭ，”に説明され、これらは参照により本明細書に援用される。

ハプティック変換モジュール２３０は、さらに、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて１又はそれ以上のハプティック信号を生成するように構成される。特定の実施形態に係るハプティック信号は、１又はそれ以上のハプティックパラメータを含み、アクチュエータにおいてプレイされるとき、ハプティック信号は、アクチュエータに１又はそれ以上のハプティック効果を生成させる。一実施形態では、ハプティック信号は、１又はそれ以上の以下のハプティックパラメータを含みうる：アクチュエータの振動の振幅、アクチュエータの振動の持続時間、又はアクチュエータの振動の周波数。特定の実施形態に係る１又はそれ以上のハプティック信号は、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて求められうる。オーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数、又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。例えば、オーディオバッファのオーディオフレームが低い周波数を有する場合、ハプティック信号は、低い値を有するハプティック周波数パラメータにより生成されうる。同様に、オーディオバッファのオーディオフレームが高い周波数を有する場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されうる。別の例では、オーディオバッファのオーディオフレームが低い振幅を有する場合、ハプティック信号は、低い値を有するハプティック振幅パラメータにより生成されうる。同様に、オーディオバッファのオーディオフレームが高い振幅を有する場合、ハプティック信号は、高い値を有するハプティック振幅パラメータにより生成されうる。いくつかの実施形態では、ハプティック信号の１又はそれ以上のハプティックパラメータは、ハプティック信号がマップされるアクチュエータの１又はそれ以上の特性に基づいて求められうる。例えば、ハプティック信号が、高い周波数を有するハプティック効果を生成するように構成されるアクチュエータへマップされる場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されうる。別の実施形態では、ハプティック信号は、波形を含むことができ、波形は、ＰＣＭフォーマットのようなフォーマットの１又はそれ以上の信号値のセットである。

特定の実施形態では、１又はそれ以上の生成されたハプティック信号は、同一のハプティック信号である。より具体的には、これらの実施形態では、１又はそれ以上の生成されたハプティック信号は、同一のハプティックパラメータ（つまり、同一の値を有するハプティックパラメータ）を含む。別の実施形態では、１又はそれ以上の生成されたハプティック信号の各々は、異なるハプティック信号である。より具体的には、これらの実施形態では、各生成されたハプティック信号は、異なるハプティックパラメータ（つまり、異なる値を有するハプティックパラメータ）を含むさらに別の実施形態では、１又はそれ以上の生成されたハプティック信号のいくつかは、同一の信号であり、他のものは、異なるハプティック信号である。

ハプティック変換モジュール２３０は、さらに、１又はそれ以上の生成されたハプティック信号を複数のアクチュエータへマップするように構成される。本実施形態に係る、各生成されたハプティック信号に対して、１又はそれ以上のアクチュエータは、複数のアクチュエータから識別され、各生成されたハプティック信号は、識別された１又はそれ以上のアクチュエータへマップされる。例えば、低い周波数を有するオーディオバッファのオーディオフレームのために生成されたハプティック信号は、第１のアクチュエータ（例えば、ＥＲＭアクチュエータ）へマップされることができ、一方で、高い周波数を有するオーディオバッファのオーディオフレームのために生成されたハプティック信号は、第２のアクチュエータ（例えば、圧電アクチュエータ）へマップされることができる。特定の実施形態では、マッピングは、システムで定義されており、１又はそれ以上のオーディオバッファの分析されたオーディオ特性のうちの１又はそれ以上のオーディオ特性、又は前記１又はそれ以上のオーディオ特性と各識別されたアクチュエータの１又はそれ以上のオーディオ特性との組み合わせのいずれか一方に基づきうる。別の実施形態では、マッピングは、ユーザにより定義されており、ハプティック変換システムのユーザは、オーディオ信号の１又はそれ以上のオーディオ特性を、１又はそれ以上のアクチュエータタイプ又は１又はそれ以上の特定のアクチュエータのいずれか一方にマップしうる。

ハプティック変換システムは、また、ハプティック効果プレーヤーモジュール２４０及び２６０と、アクチュエータ２５０及び２７０と、を含む。当業者は、これは、単に実施形態の一例であり、他の実施形態では、ハプティック変換システムは、任意の数のハプティック効果プレーヤーモジュールと、任意の数のアクチュエータと、を含みうることを明示的に理解するであろう。

ハプティック効果プレーヤーモジュール２４０及び２６０は、装置（例えば、モバイル装置）内に内蔵されるモジュールの一例であり、１又はそれ以上のハプティック信号を１又はそれ以上のアクチュエータへ送信することにより、１又はそれ以上のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成される。図示された実施形態では、ハプティック効果プレーヤーモジュール２４０及び２６０は、それぞれ、単一のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成される。しかし、これは、単に実施形態の一例であり、他の実施形態では、ハプティック効果プレーヤーモジュールは、複数のアクチュエータにおいて１又はそれ以上のハプティック効果をプレイするように構成されうる。一実施形態では、ハプティック効果プレーヤーモジュール（例えば、ハプティック効果プレーヤーモジュール２４０及び２６０）は、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ（登録商標）プレーヤーモジュールである。

アクチュエータ２５０及び２７０は、１又はそれ以上のハプティック信号を受信し、１又はそれ以上のハプティック効果を出力するように構成される一つのアクチュエータの一例である。特定の実施形態では、アクチュエータ（例えば、アクチュエータ２５０及び２７０）は、単一の制御パラメータ（例えば、振幅パラメータ、周波数パラメータ、又は持続時間パラメータ）を受信するように構成される一つのアクチュエータであり、単一の制御パラメータは、アクチュエータを通じてプレイされるときの周期的な効果を制御するために用いられる。別の実施形態では、アクチュエータ（例えば、アクチュエータ２５０及び２７０）は、波形を受信するように構成されるアクチュエータであり、波形は、アクチュエータを通じてプレイされるときの波形効果を制御するために用いられる。アクチュエータは、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、ＥＲＭ、ＬＲＡ、圧電アクチュエータ、高帯域幅アクチュエータ、又はＥＡＰアクチュエータでありうる。さらに、特定の実施形態では、アクチュエータ２５０は、第１のタイプのアクチュエータであることができ、アクチュエータ２７０は、第２のタイプのアクチュエータであることができる。それに替わってハプティック変換システムが複数のアクチュエータを含む実施形態では、二つ以上のアクチュエータが存在し、複数のアクチュエータの各アクチュエータは、それぞれが異なるアクチュエータタイプでありうる。

実施形態に係る、１又はそれ以上の生成されたハプティック信号の各生成されたハプティック信号は、ハプティック効果プレーヤーモジュールへ送られる。図示された実施形態では、第１の生成されたハプティック信号は、ハプティック効果プレーヤーモジュール２４０へ送られ、第２の生成されたハプティック信号は、ハプティック効果プレーヤーモジュール２６０へ送られる。ハプティック効果プレーヤーモジュールは、その後、生成されたハプティック信号を各アクチュエータへ送り、生成されたハプティック信号は、アクチュエータに１又はそれ以上のハプティック効果をプレイさせる。図示された実施形態では、ハプティック効果プレーヤーモジュール２４０は、第１の生成されたハプティック信号をアクチュエータ２５０へ送り、アクチュエータ２５０に１又はそれ以上のハプティック効果をプレイさせ、ハプティック効果プレーヤーモジュール２６０は、第２の生成されたハプティック信号をアクチュエータ２７０へ送り、アクチュエータ２７０に１又はそれ以上のハプティック効果をプレイさせる。

１又はそれ以上のオーディオバッファが構造に基づくオーディオバッファ又は周波数帯域オーディオバッファである実施形態では、１又はそれ以上のオーディオバッファの１又はそれ以上のデータフレームの各オーディオデータフレームは、オーディオデータフレーム内の１又はそれ以上のチャネルを含みうる。これらの実施形態では、ハプティック変換モジュール２３０は、チャネル分析を行うことができ、オーディオデータフレームの各チャネルが分析され、ハプティック信号は、各チャネルに対して生成される。これらの実施形態では、各生成されたハプティック信号は、独自のハプティック効果プレーヤーモジュール（例えば、ハプティック効果プレーヤーモジュール２４０及び２６０）へ送られることができ、独自のアクチュエータ（例えば、アクチュエータ２５０及び２７０）へ順次送られうる。例えば、１又はそれ以上のオーディオバッファがＭＩＤＩオーディオバッファであるとき、各ＭＩＤＩオーディオデータフレームの各チャネルは、異なる楽器を表しうる。この例では、ハプティック信号は、各楽器に対して生成されることができ、かつ各楽器に対応する１又はそれ以上のハプティック効果をプレイするための異なるアクチュエータへ送られうる。

特定の実施形態では、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づく１又はそれ以上のハプティック信号を生成するのではなく、ハプティック変換モジュール２３０は、ハプティック変換モジュール２３０内に記憶されうるユニバーサルハプティックレイヤ（ｕｎｉｖｅｒｓａｌ ｈａｐｔｉｃ ｌａｙｅｒ （“ＵＨＬ”））内に含まれる１又はそれ以上の予め定義されたハプティック信号を選択することができ、ハプティック変換モジュール２３０は、ＵＨＬレイヤに１又はそれ以上の予め定義されたハプティック信号をハプティック効果プレーヤーモジュールへ送らせ、各予め定義されたハプティック信号は、独自のアクチュエータ（例えば、アクチュエータ２５０及び２７０）へ順次送られる。これらの実施形態では、ハプティック変換モジュール２３０がハプティック信号の１又はそれ以上のハプティックパラメータを生成するのではなく、１又はそれ以上のハプティックパラメータは、各予め定義されたハプティック信号内に予め定義され、ハプティック変換モジュール２３０は、１又はそれ以上のオーディオバッファの分析されたオーディオ特性に基づいて予め定義されたハプティック信号を選択する。

特定の実施形態では、前述したように、ハプティック変換モジュール２３０は、１又はそれ以上のハプティック信号を生成することができ、各ハプティック信号を（ハプティック効果プレーヤーモジュールを通じて）一つのアクチュエータへ送信することができ、ハプティック信号は、アクチュエータにおいて１又はそれ以上のハプティック効果をプレイするために用いられる。しかし、別の実施形態では、ハプティック変換モジュール２３０は、まず、単一のハプティック信号を生成し、単一のハプティック信号を複数のハプティック信号成分に分割し、各ハプティック信号成分を（ハプティック効果プレーヤーモジュールを通じて）一つのアクチュエータへ送信することができ、ハプティック信号成分は、アクチュエータにおいて１又はそれ以上のハプティック効果をプレイするために用いられる。

特定の実施形態では、ハプティック変換モジュール２３０は、さらに、１又はそれ以上の定義を記憶するように構成され、各定義は、第１のハプティック信号が生成されて、第１のアクチュエータへ送られたときに、第２のハプティック信号も生成されて、第２のアクチュエータへ送られ、オーディオ信号の分析から独立であることを示す。第２のアクチュエータは、第１のアクチュエータでプレイされる１又はそれ以上のハプティック効果を“補完（ｃｏｍｐｌｅｍｅｎｔ）”又は“仕上げる（ｒｏｕｎｄ−ｏｕｔ）”１又はそれ以上のハプティック効果をプレイするために用いられうる。特定の実施形態に係る１又はそれ以上の定義の各定義は、条件及び命令文を含む条件文であり、条件は、第１のアクチュエータへ送信される１又はそれ以上の第１のハプティック信号の生成であり、命令文は、第２のアクチュエータへ送信される１又はそれ以上の第２のハプティック信号を生成するための命令である。これらの実施形態では、ハプティック変換モジュール２３０は、さらに、第１のハプティック信号に後処理を行うように構成され、後処理は、第２のハプティック信号を生成すること、及びハプティック信号を（ハプティック効果プレーヤーモジュールを介して）第２のアクチュエータへ送信することを含む。

例えば、オーディオ信号の分析に基づいて、ハプティック変換モジュール２３０は、第１のハプティック信号を生成することができ、ハプティック信号をＥＲＭアクチュエータへ送信することができ、第１のハプティック信号は、ＥＲＭアクチュエータにおいてプレイされ、第１のハプティック効果を生成する。また、オーディオ信号の分析とは別に、ハプティック変換モジュール２３０は、定義の条件を評価することができ、ＥＲＭアクチュエータに対する第１のハプティック信号の生成に基づいて、定義の命令文が実行される必要のあるかどうかを求めることができる。命令文は、第２のハプティック信号を生成し、第２のハプティック信号を圧電アクチュエータへ送信するための命令を含みうる。定義の命令文に基づいて、ハプティック変換モジュール２３０は、第２のハプティック信号を生成し、第２のハプティック信号を圧電アクチュエータへ送信することができ、第２のハプティック信号は、圧電アクチュエータにおいてプレイされ、第２のハプティック効果を生成する。実施例によれば、圧電アクチュエータにより出力される第２のハプティック効果は、ＥＲＭアクチュエータにより出力される第１のハプティック効果を“補完する（ｃｏｍｐｌｅｍｅｎｔ）”又は“仕上げる（ｒｏｕｎｄ ｏｕｔ）”ために用いられうる。よって、ハプティック変換モジュール２３０内に記憶されうる１又はそれ以上の定義は、“テーマ別の（ｔｈｅｍｅｄ）”出力を作り出すために１又はそれ以上のハプティック効果をカスタマイズするために用いられうる。

特定の実施形態では、第２のハプティック効果は、第１のアクチュエータでプレイされる第１のハプティック効果の後に、第２のアクチュエータでプレイされる。別の実施形態では、第２のハプティック効果は、第１のアクチュエータでプレイされる第１のハプティック効果の前に、第２のアクチュエータでプレイされる。特定の実施形態では、第２のアクチュエータは、第１のアクチュエータとは異なるアクチュエータタイプである。

図３は、本発明の一実施形態に係る、同時に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：４ｍｍ ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、８ｍｍ ＥＲＭアクチュエータ（つまり、“アクチュエータ２”）と、を含む。オーディオ信号３００は、ハプティック変換システムにより分析され、ハプティック変換システムは、図３の領域３１０及び３２０により示されるような特定の振幅ピークを有するオーディオ信号３００の成分を識別する。オーディオ信号３００の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生（ｐｌａｙ ｂａｃｋ）させるハプティック信号を生成する。さらに、オーディオ信号３００の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２０Ｈｚの周波数及び２５ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。図示された実施形態では、アクチュエータ１及び２の両方は、同時にハプティック効果を再生する。よって、ハプティック変換システムを示す図３の図示された実施形態は、同時に、２つの異なるタイプのアクチュエータで１又はそれ以上のハプティック効果を再生させる１又はそれ以上のハプティック信号を生成することができ、二つのアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。

図４は、本発明の一実施形態に係る、異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、単一のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、圧電アクチュエータ（つまり、“アクチュエータ２”）と、を含み、図３に例示されたアクチュエータとは異なる。オーディオ信号４００は、ハプティック変換システムにより分析され、ハプティック変換システムは、図４の領域４１０及び４２０により示されるような特定の振幅ピークを有するオーディオ信号４００の成分を識別する。オーディオ信号４００の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、オーディオ信号４００の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２０Ｈｚの周波数及び２５ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、アクチュエータ２によりプレイされる１又はそれ以上のハプティック効果は、アクチュエータ１によりプレイされる１又はそれ以上のハプティック効果よりも９０ｍｓ遅くプレイされる。特定の実施形態では、アクチュエータ１及び２の交互の再生は、アクチュエータ１及び２の再生速度の差を補償しうる。よって、これらの実施形態では、ユーザは、各アクチュエータの１又はそれ以上の効果が異なる時間でプレイされたとしても、同期された再生を体験することができる。よって、ハプティック変換システムを示す図４の図示された実施形態は、２つの異なる時間に、二つの異なるタイプのアクチュエータでプレイされる１又はそれ以上のハプティック効果を生じる１又はそれ以上のハプティック信号を生成することができ、２つのアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。

図５は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、オーディオ信号を分析し、複数のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。図示された実施形態によれば、ハプティック変換システムは、２つのアクチュエータ：ＥＲＭアクチュエータ（つまり、“アクチュエータ１”）と、圧電アクチュエータ（つまり、“アクチュエータ２”）と、を含む。オーディオ信号５００は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図５の領域５１０及び５２０により示されるような特定の振幅ピークを有するオーディオ信号５００の成分；（ｂ）領域５３０により示されるような特定の周波数を有するオーディオ信号５００の成分；（ｃ）領域５４０により示されるような特定の持続時間を有するオーディオ信号５００の成分を識別する。

オーディオ信号５００（特に、領域５４０により示されるような特定の持続時間を有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ１に送信され、アクチュエータ１に１００％の振幅、１０Ｈｚの周波数及び１００ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成する。さらに、オーディオ信号５００（特に、領域５３０により示されるような特定の周波数を有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ２に送信され、アクチュエータ２に５０％の振幅、２００Ｈｚの周波数及び１０ｍｓの持続時間で１又はそれ以上のハプティック効果を再生させるハプティック信号を生成し、アクチュエータ２によりプレイされる１又はそれ以上のハプティック効果は、アクチュエータ１によりプレイされる１又はそれ以上のハプティック効果よりも９０ｍｓ遅くプレイされる。特定の実施形態では、アクチュエータ１及び２の交互の再生は、アクチュエータ１及び２の再生速度の差を補償しうる。よって、これらの実施形態では、ユーザは、各アクチュエータの１又はそれ以上の効果が異なる時間でプレイされたとしても、同期された再生を体験することができる。

さらに、オーディオ信号５００（特に、図５の領域５１０及び５２０により示されるような特定の振幅ピークを有するオーディオ信号５００の成分）の分析に基づいて、ハプティック変換システムは、アクチュエータ１及び２（又は別の実施形態では、図５に図示されない第３のアクチュエータ）の両方へ送信されるハプティック信号を生成し、ハプティック信号は、アクチュエータ１及び２（又は別の実施形態の第３のアクチュエータ）の両方に１又はそれ以上のハプティック効果を生成させる。特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、（ａ）特定の持続時間を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果、又は（ｂ）特定の周波数を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果のいずれかとしての同一のハプティックパラメータ（例えば、振幅、周波数及び持続時間）に基づきうる。それに替えて、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、異なるハプティックパラメータに基づきうる。さらに、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、同時に、（ａ）特定の持続時間を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果、又は（ｂ）特定の周波数を有するオーディオ信号５００の成分に基づく１又はそれ以上のハプティック効果のいずれかとしての同一のハプティックパラメータのいずれかとしてプレイされうる。それに替えて、特定の振幅ピークを有するオーディオ信号の成分に基づく１又はそれ以上のハプティック効果は、異なる時間にプレイされうる。

よって、図５の図示された実施形態は、ハプティック変換システムが、二つの異なる時間に、２又はそれ以上の異なるタイプのアクチュエータでプレイされる１又はそれ以上のハプティック効果を生じる１又はそれ以上のハプティック信号を生成することができ、２又はそれ以上のアクチュエータは、異なる振幅、異なる周波数及び異なる持続時間を有する。

図６は、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルオーディオ信号を分析し、１又はそれ以上のオーディオ特性の分析を用いるハプティック変換システムの一例を示す。オーディオ信号は、左チャネル６００と、右チャネル６１０と、を含み、オーディオ信号は、左チャネル６００に含まれるオーディオ信号の一部（つまり、オーディオ信号６０１）と、右チャネル６１０に含まれるオーディオ信号の一部（つまり、オーディオ信号６１１）と、を含む。図６に示されるオーディオ信号内のチャネルの数は、一例であり、別の実施形態では、オーディオ信号は、任意の数のチャネルを有しうる。オーディオ信号６０１は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図６の領域６０２により示されるような特定の振幅ピークを有するオーディオ信号６０１の成分、（ｂ）領域６０３により示されるような特定の周波数を有するオーディオ信号６０１の成分、及び（ｃ）領域６０４により示されるような特定の持続時間を有するオーディオ信号６０１の成分を識別する。同様に、オーディオ信号６０２は、ハプティック変換システムにより分析され、ハプティック変換システムは、（ａ）図６の領域６１２により示されるような特定の振幅ピークを有するオーディオ信号６０２の成分、及び（ｂ）領域６１３により示されるような特定の周波数を有するオーディオ信号６０２の成分を識別する。

オーディオ信号６０１及び６０２の分析に基づいて、ハプティック変換システムは、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成し、１又はそれ以上のハプティック信号は、１又はそれ以上のアクチュエータに１又はそれ以上のハプティック効果を生成させる。特定の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１の分析に基づいて生成されて、１又はそれ以上のアクチュエータの第１のセットへ送信され、１又はそれ以上のハプティック信号の第２のセットは、オーディオ信号６０２の分析に基づいて生成されて、１又はそれ以上のアクチュエータの第２のセットへ送信される。別の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１及び６０２の合成された分析に基づいて生成されて、１又はそれ以上のアクチュエータの第１のセットへ送信され、１又はそれ以上のハプティック信号の第２のセットもまた、オーディオ信号６０１及び６０２の合成された分析に基づいて生成されて、１又はそれ以上のアクチュエータの第２のセットへ送信される。さらに別の実施形態では、１又はそれ以上のハプティック信号の第１のセットは、オーディオ信号６０１の分析に基づいて生成され、１又はそれ以上のハプティック信号の第２のセットは、オーディオ信号６０２の分析に基づいて生成され、ハプティック信号の第１及び第２のセットは、１又はそれ以上のハプティック信号の合成されたセットへ合成され、又はそれ以上のハプティック信号の合成されたセットは、１又はそれ以上のアクチュエータへ送信される。さらに別の実施形態では、オーディオ信号６０１及び６０２は、合成オーディオ信号に合成されることができ、分析は、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成するために、合成音声信号で行われうる。

図７Ａは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェースの一例を示す。ハプティック変換システムのユーザインターフェース７１０の一例を示す。ユーザインターフェース７１０は、ハプティック変換システム用のマルチチャネル構造に基づくオーディオファイル変換オプションメニューを表示する。特定の実施形態では、マルチチャネル構造に基づくオーディオファイルは、ＭＩＤＩオーディオファイルでありうる。ユーザインターフェース７１０は、各アクチュエータに対する１又はそれ以上のハプティック効果のための１又はそれ以上のハプティック特性を定義すると共に、複数のアクチュエータタイプに対する１又はそれ以上のハプティック効果を定義するオプションを含みうる。図示された実施形態では、マルチチャネルの構造に基づくオーディオファイル（ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｓｔｒｕｃｔｕｒｅ−ｂａｓｅｄ ａｕｄｉｏ ｆｉｌｅ）は、多数のチャネル（つまり、チャネル１、３、５、８及び１０）を含む。図７Ａに示されるマルチチャネルの構造に基づくオーディオファイル内の多数のチャネルは、一例のみであり、別の実施形態では、マルチチャネルの構造に基づくオーディオファイルは、任意の数のチャネルを含みうる。ハプティック変換システムは、各チャネルを別々に分析することができる。図示された実施形態では、チャネルセット７１１は、別々に分析されうる４つのチャネル（つまり、チャネル１、３、５及び８）を表す。ハプティック変換システムは、また、チャネルを複数のチャネル成分に分離し、チャネル成分を別々に分析しうる。図示された実施形態では、チャネルセット７１２は、複数のチャネル成分に分離されたチャネル（つまり、チャネル１０）を表し、各チャネル成分は、別々に分析されうる。

マルチチャネルの構造に基づくオーディオファイルの各チャネル（又はチャネル成分）は、ハプティック変換システムにより順次分析され、ハプティック変換システムは、（ａ）特定の振幅ピークを有する各チャネル／チャネル成分の成分；（ｂ）特定の周波数を有する各チャネル／チャネル成分の成分；及び（ｃ）特定の持続時間を有する各チャネル／チャネル成分の成分を識別する。チャネルセット７１１及びチャネルセット７１２の分析に基づいて、ハプティック変換システムは、１又はそれ以上のアクチュエータへ送信される１又はそれ以上のハプティック信号を生成し、１又はそれ以上のハプティック信号は、１又はそれ以上のアクチュエータに１又はそれ以上のハプティック効果を生成させる。

図７Ｂは、本発明の一実施形態に係る、同時に又は異なる時間に、２又はそれ以上のアクチュエータへ１又はそれ以上のハプティック信号を出力するために、マルチチャネルの構造に基づいたオーディオファイルを分析し、複数のオーディオ特性の分析を用いるハプティック変換システムのユーザインターフェース７２０の別の例を示す。ユーザインターフェース７２０は、図７Ａについて前述したマルチチャネルの構造に基づくオーディオファイルの分析に基づくアクチュエータにより生成される１又はそれ以上のハプティック効果のグラフィック描写を表示する。図７Ｂでわかるように、マルチチャネルの構造に基づくオーディオファイルの各チャネル（又は各チャネル成分）に対する各アクチュエータで生成される１又はそれ以上のハプティック効果は、異なりうる。特定の実施形態では、マルチチャネルの構造に基づくオーディオファイルは、ＭＩＤＩオーディオファイルでありうる。

図８は、本発明の一実施形態に係る、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）の機能のフロー図を示す。一実施形態では、図８の機能は、メモリ、他のコンピュータ可読又は有形的表現媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、機能は、ハードウェア（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等）又はハードウェアとソフトウェアの組み合わせにより行われてもよい。さらに、他の実施形態では、機能は、アナログコンポーネントを用いたハードウェアにより行われてもよい。

フローは開始し、８１０へ進む。８１０では、オーディオ信号は、分析される。オーディオ信号は、１又はそれ以上のオーディオバッファを含むことができ、各オーディオバッファは、１又はそれ以上のオーディオデータフレームを含む。いくつかの実施形態では、１又はそれ以上のオーディオバッファは、デジタルオーディオバッファである。別の実施形態では、１又はそれ以上のオーディオバッファは、構造に基づくオーディオバッファである。別の実施形態では、１又はそれ以上のオーディオバッファは、周波数領域オーディオバッファである。オーディオ信号の分析の一部分として、１又はそれ以上のオーディオデータフレームの各オーディオデータフレームの１又はそれ以上のオーディオ特性は、分析されうる。１又はそれ以上のオーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。フローは、８２０へ進む。

８２０では、複数のハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて生成される。複数のハプティック信号の各ハプティック信号は、１又はそれ以上のハプティックパラメータを含みうる。これらの実施形態では、１又はそれ以上のハプティックパラメータは、振幅パラメータ、持続時間パラメータ又は周波数パラメータの少なくとも１つを含む。また、オーディオ信号の１又はそれ以上のオーディオ特性は、オーディオデータフレームの振幅、オーディオデータフレームの周波数又はオーディオデータフレームの持続時間の少なくとも１つを含みうる。特定の実施形態では、１又はそれ以上のハプティックパラメータは、オーディオ信号の１又はそれ以上のオーディオ特性に基づいて求められる。

複数のハプティック信号は、全て同一のハプティック信号でありうる。それに替えて、複数のハプティック信号は、全て異なるハプティック信号であってもよい。いくつかの実施形態では、複数のハプティック信号のいくつかは、同一のハプティック信号であり、他のものは、異なるハプティック信号である。特定の実施形態では、少なくとも１つのハプティック信号は、２又はそれ以上のハプティック信号成分に分割される。別の実施形態では、少なくとも２つのハプティック信号は、合成ハプティック信号として合成される。特定の実施形態では、１又はそれ以上の予め定義されたハプティック信号は、オーディオ信号の１又はそれ以上のオーディオ特性に基づくユニバーサルハプティックレイヤライブラリからでありうる。フローは、８３０へ進む。

８３０では、複数のハプティック信号は、複数のアクチュエータにマップされ、各ハプティック信号は、対応するアクチュエータにマップされる。特定の実施形態では、マッピングは、システムで定義され、マッピングは、分析されたオーディオ信号の１又はそれ以上のオーディオ特性、又は１又はそれ以上のオーディオ特性と複数のアクチュエータの各アクチュエータの１又はそれ以上の特性との組み合わせのいずれか一方に基づく。別の実施形態では、マッピングは、ユーザによりで定義される。ハプティック信号成分、合成ハプティック信号、予め定義されたハプティック信号又はそれらの組み合わせも生成されている実施形態では、これらのハプティック信号は、また、それらが対応するそれぞれのアクチュエータへマップされる。フローは、８４０へ進む。

８４０では、複数のハプティック信号の各ハプティック信号は、そのマップされたアクチュエータへ送信される。ハプティック信号成分、合成ハプティック信号、予め定義されたハプティック信号又はそれらの組み合わせも生成されている実施形態では、これらのハプティック信号は、また、それらが対応するそれぞれのアクチュエータへマップされる。フローは、８５０へ進む。

８５０では、１又はそれ以上のハプティック効果のうちの一つのハプティック効果を生成するために、複数のハプティック信号の各ハプティック信号は、そのマップされたアクチュエータにおいてプレイされる。特定の実施形態では、少なくとも１つの第２のハプティック信号も記憶された定義に基づいて生成される。これらの実施形態によれば、この定義は、条件及び命令文を含む条件文を含む。条件は、第１のアクチュエータへ送信される少なくとも１つの第１のハプティック信号の生成であり、命令文は、第２のアクチュエータへ送信される少なくとも１つの第２のハプティック信号を生成するための命令である。よって、１又はそれ以上のハプティック信号の少なくとも１つは、第１のハプティック信号に一致し、条件が満たされ、少なくとも１つの第２のハプティック信号は、生成される。少なくとも１つの第２のハプティック信号は、その後、複数のアクチュエータへマップされ、記憶された定義に基づいてアクチュエータへ送信される。フローは、その後終了する。

図９は、本発明の一実施形態に係る、装置９１０を示す。装置９１０は、タッチスクリーン装置でありうる。装置９１０は、複数の領域を含むタッチスクリーン及びタッチ検知を含みうる表面を備える。図示された実施形態では、装置９１０は、領域９２０、９３０及び９４０を含む。装置９１０の各領域は、異なるタイプのアクチュエータを含みうる。図示された実施形態では、領域９２０は、アクチュエータ９２１を含み、領域９３０は、アクチュエータ９３１を含み、領域９４０は、アクチュエータ９４１を含み、アクチュエータ９２１、９３１及び９４１は、異なるタイプのアクチュエータでありうる。アクチュエータ９２１、９３１及び９４１は、１又はそれ以上のオーディオ効果をそれぞれ出力し、各オーディオ効果（又はオーディオ効果のセット）は、装置９１０の表面の異なる部位からの出力である。同様に、アクチュエータ９２１、９３１及び９４１は、１又はそれ以上のハプティック効果をそれぞれ出力し、各ハプティック効果（又はハプティック効果のセット）は、装置９１０の表面の異なる部位からの出力である。特定の実施形態では、各ハプティック効果（又はハプティック効果のセット）は、異なるハプティック効果でありうる。例えば、各ハプティック効果（又はハプティック効果のセット）は、異なる周波数のものでありうる。

特定の実施形態では、各ハプティック効果は、ユーザの指が装置９１０の表面と接触する位置においてプレイされるオーディオ効果の結果でありうる。これらの実施形態では、アクチュエータ９２１、９３１及び９４１は、同時に、各オーディオ効果及びハプティック効果を出力しうる。特定の実施形態では、出力ハプティック効果は、エンコーディングスキームに基づいて生成される。これらの実施形態では、このエンコーディングスキームは、ハプティック効果に適用されるドルビーデジタルエンコーディングスキームでありうる。替わりの実施形態では、ハプティックエンコーディングは、低い周波数成分をオーディオ情報に加えることによりオーディオエンコーディングの一部として行われるが、ハプティック効果にストレスを与える。

替わりの実施形態では、アクチュエータ９２１、９３１及び９４１に加えて、装置９１０は、装置９１０の背面に配置される１又はそれ以上の追加のアクチュエータをも含む（図９には図示せず）。これらの実施形態では、これらの追加のアクチュエータは、異なる周波数で１又はそれ以上のハプティック効果を提供しうるフルボディアクチュエータでありうる。

よって、実施形態によれば、ハプティック変換システムは、分析されたオーディオ信号に基づいて複数のハプティック信号を生成し、各ハプティック信号をハプティック信号がマップされるアクチュエータへ送信し、ハプティック効果を生成するために、マップされたアクチュエータで各ハプティック信号をプレイする。実施形態によれば、オーディオ信号のオーディオ特性に基づくハプティック信号を複数のアクチュエータへ送信することは、ハプティック体験の“リッチさ（ｒｉｃｈｎｅｓｓ）”を非常に増大させる。具体的には、複数のアクチュエータでのオーディオ信号のオーディオ特性に基づくハプティック信号のアプリケーションは、より複雑なハプティック体験を生成する。

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

Claims (18)

1. ハプティック効果を生成する方法であって、
   複数のアクチュエータによって複数のオーディオ効果を出力するステップであって、前記複数のアクチュエータの各アクチュエータは、装置の異なる領域に配置されており、前記複数のオーディオ効果のうちの第１のオーディオ効果が、前記複数のアクチュエータのうちの第１のアクチュエータによって前記装置の表面に出力され、第２のオーディオ効果が、前記複数のアクチュエータのうちの第２のアクチュエータによって前記装置の前記表面に出力される、ステップと、
   前記第１のオーディオ効果に基づいて第１のハプティック効果を生成するステップと、
   前記第１のアクチュエータにより前記第１のハプティック効果を出力するステップと、を含み、
   前記第１のハプティック効果を生成するステップは、
   前記第１のオーディオ効果に対応するオーディオ信号のオーディオ特性の値のセットを決定するステップであって、オーディオ特性の値の前記セットは、少なくとも周波数、振幅、又は持続時間を含み、値の前記セットを決定するステップは、前記オーディオ信号の振幅ピークを識別するステップを含む、ステップと、
   オーディオ特性の値の前記セットを前記第１のアクチュエータにマッピングするステップと、
   オーディオ特性の値の前記セットに基づいてハプティック信号を生成するステップであって、前記ハプティック信号は、前記第１のハプティック効果に対応する、ステップとを含み、
   前記第１のハプティック効果を出力するステップは、
   前記第１のアクチュエータへのオーディオ特性の値の前記セットの前記マッピングに基づいて、前記第１のアクチュエータに前記ハプティック信号を送信するステップと、
   前記第１のアクチュエータで前記ハプティック信号をプレイして、前記第１のハプティック効果を生成するステップとを、含む、
   ハプティック効果を生成する方法。
2. 前記第１のハプティック効果及び前記第１のオーディオ効果は、前記第１のアクチュエータによって同時に出力される、請求項１に記載のハプティック効果を生成する方法。
3. 前記第２のオーディオ効果に基づいて第２のハプティック効果を生成するステップと、
   前記第２のアクチュエータによって前記第２のハプティック効果を出力するステップと、をさらに含む請求項１に記載のハプティック効果を生成する方法。
4. 前記第１のハプティック効果を生成するステップは、
   前記第１のオーディオ効果に対応する第１のオーディオ信号に、第１のハプティック信号を加えることによって、前記第１のハプティック効果に対応する前記第１のハプティック信号をエンコーディングするステップを、含む請求項２に記載のハプティック効果を生成する方法。
5. 前記装置は、前記装置の背面部分に配置された１又はそれ以上の追加のアクチュエータをさらに含む、請求項１に記載のハプティック効果を生成する方法。
6. 前記１又はそれ以上の追加のアクチュエータは、異なる周波数で１又はそれ以上のハプティック効果を提供するように構成されたフルボディアクチュエータを含む、請求項５に記載のハプティック効果を生成する方法。
7. 前記第１のハプティック効果を生成するステップは、さらに、
   前記オーディオ信号のオーディオ特性の値の前記セットに基づいて、ユニバーサルハプティックレイヤライブラリから、１又はそれ以上の予め定義されたハプティック信号を選択するステップと、
   前記１又はそれ以上の予め定義されたハプティック信号を前記第１のアクチュエータにマッピングするステップとを含み、
   前記第１のハプティック効果を出力するステップは、さらに、
   前記１又はそれ以上の予め定義されたハプティック信号を前記第１のアクチュエータに送信するステップを含む、請求項１に記載のハプティック効果を生成する方法。
8. 記憶された定義に基づいて１又はそれ以上の第２のハプティック信号を生成するステップであって、前記記憶された定義は、条件及び命令文を含む条件文を含み、前記条件は、前記ハプティック信号の生成であり、前記命令文は、前記複数のアクチュエータのうちの第２のアクチュエータに送信される前記１又はそれ以上の第２のハプティック信号を生成するための命令である、ステップと、
   前記１又はそれ以上の第２のハプティック信号を前記第２のアクチュエータにマッピングするステップであって、前記１又はそれ以上の第２のハプティック信号は、前記記憶された定義に基づいて前記第２のアクチュエータに送信される、ステップとをさらに含む請求項１に記載のハプティック効果を生成する方法。
9. 前記第１のハプティック効果を生成するステップは、さらに、
   前記ハプティック信号を複数のハプティック信号成分に分割するステップと、
   前記複数のハプティック信号成分のうちの１つを第１のアクチュエータにマッピングするステップとを含み、
   前記第１のハプティック効果を出力するステップは、さらに、
   前記複数のハプティック信号成分のうちの前記１つを前記第１のアクチュエータに送信するステップを含む、請求項１に記載のハプティック効果を生成する方法。
10. 前記第１のハプティック効果及び前記第１のオーディオ効果は、前記装置の前記表面と接触するユーザの指の位置に出力される、請求項１に記載のハプティック効果を生成する方法。
11. 前記ハプティック信号のハプティックパラメータは、振幅パラメータ、持続時間パラメータ、及び周波数パラメータのうちの少なくとも１つを含む、請求項１に記載のハプティック効果を生成する方法。
12. オーディオ特性の値の前記セットは、オーディオデータフレームから生成され、
    値の前記セットは、前記オーディオデータフレームの振幅、前記オーディオデータフレームの周波数、及び前記オーディオデータフレームの持続時間のうちの少なくとも１つを含む、請求項１に記載のハプティック効果を生成する方法。
13. 前記マッピングが、システムで定義されている、請求項１に記載のハプティック効果を生成する方法。
14. 前記第１のアクチュエータの特性は、特定の周波数、特定の振幅、又は特定の持続時間のうちの少なくとも１つで前記ハプティック効果を生成する能力を含む、請求項１に記載のハプティック効果を生成する方法。
15. ハプティック変換モジュールを記憶するように構成されたメモリと、
    前記メモリに記憶された前記ハプティック変換モジュールを実行するように構成されたプロセッサと、
    各アクチュエータが装置の異なる領域に配置された複数のアクチュエータと、を備え、
    前記ハプティック変換モジュールは、
    前記複数のアクチュエータによって複数のオーディオ効果を出力し、前記複数のオーディオ効果のうちの第１のオーディオ効果が、前記複数のアクチュエータのうちの第１のアクチュエータによって前記装置の表面に出力され、第２のオーディオ効果が、前記複数のアクチュエータのうちの第２のアクチュエータによって前記装置の前記表面に出力され、
    前記第１のオーディオ効果に対応するオーディオ信号のオーディオ特性の値のセットを決定し、オーディオ特性の値の前記セットは、少なくとも周波数、振幅、又は持続時間を含み、値の前記セットを決定することは、前記オーディオ信号の振幅ピークを識別することを含み、
    オーディオ特性の値の前記セットを前記第１のアクチュエータにマッピングし、
    オーディオ特性の値の前記セットに基づいてハプティック信号を生成し、前記ハプティック信号は、第１のハプティック効果に対応する、ことにより、
    前記第１のオーディオ効果に基づいて前記第１のハプティック効果を生成し、
    前記第１のアクチュエータへのオーディオ特性の値の前記セットの前記マッピングに基づいて、前記第１のアクチュエータに前記ハプティック信号を送信し、
    前記第１のアクチュエータで前記ハプティック信号をプレイして、前記第１のハプティック効果を生成する、ことにより、
    前記第１のアクチュエータによる前記第１のハプティック効果の出力を引き起こすように構成される、ハプティック変換システム。
16. 前記プロセッサは、さらに、前記第１のハプティック効果と前記第１のオーディオ効果を、前記第１のアクチュエータに同時に出力させるように構成される、請求項１５に記載のハプティック変換システム。
17. 前記プロセッサは、さらに、前記第２のオーディオ効果に基づいて第２のハプティック効果を生成し、前記第２のアクチュエータによる前記第２のハプティック効果の出力を引き起こすように構成される、請求項１５に記載のハプティック変換システム。
18. 前記第１のハプティック効果及び前記第１のオーディオ効果は、前記装置の前記表面と接触するユーザの指の位置に出力される、請求項１５に記載のハプティック変換システム。