JP6320691B2 - グラニュラーシンセシスを用いたハプティック変換システム - Google Patents

Description

関連出願の相互参照
本願は、２０１２年６月１４日に提出された米国仮特許出願第６１／６５９，６５９号（この開示は参照により本明細書に援用される）、２０１２年９月１９日に提出された米国仮特許出願第６１／７０２，８７０号（この開示は参照により本明細書に援用される）、及び２０１３年１月２４日に提出された米国仮特許出願第６１／７５６，３４７号（この開示は参照により本明細書に援用される）の優先権を主張するものである。

一実施形態は、一般的にハプティック効果に向けられるものであり、特に、他の関連出力に関連付けられたハプティック効果を生成する装置に関する。

ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置（“タッチスクリーン”としても認知される）及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。

ハプティック効果は、リアルタイムでハプティック効果を発動するために、二又はそれ以上の周期的ハプティック信号を合成すること、又は受け付けた信号を前処理することにより生成される。しかし、このようなハプティック効果は、どのようにハプティック効果を生成するかの性質に応じて“合成的なもの”又は“人工的なもの”として把握される。

一実施形態は、オーディオデータ又はビデオデータのような入力を位置又はそれ以上のハプティック効果に変換するシステムである。前記システムは、前記入力を受け付ける。前記システムは、さらに前記入力を複数の波形に分割し、各波形は、前記入力の少なくとも一部を含む。前記システムは、グレインを生成するために前記各波形を包絡線と合成し、複数のグレインが生成され、各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び持続期間パラメータを含む。前記システムは、さらにクラウドを生成するために前記複数のグレインを合成するように構成され、前記クラウドは、前記複数のグレインの表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を含む。前記システムは、さらに前記クラウドに基づいて前記一又はそれ以上のハプティック効果を生成する。

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。
図１は、本発明の一実施形態に係るシステムを示す。 図２は、本発明の一実施形態に係るグレインの一例を示す。 図３は、本発明の実施形態に係る包絡線のタイプの例を示す。 図４は、本発明の実施形態に係る、単一出力チャネルを用いたグラニュラーシンセシスの生成を説明するブロック図を示す。 図５は、本発明の実施形態に係る、複数の出力チャネルを用いたグラニュラーシンセシスの生成を説明するブロック図を示す。 図６は、本発明の実施形態に係る、波形タイプとして正弦波を用いて生成されたグレインの例を示す。 図７は、本発明の実施形態に係る、異なるグレイン周期性を用いた同期グラニュラーシンセシスの生成の別の説明を示す。 図８は、本発明の実施形態に係る、非同期グラニュラーシンセシスの生成の別の説明を示す。 図９は、本発明の実施形態に係る、グラニュラーアルゴリズムを説明するブロック図を示す。 図１０は、本発明の実施形態に係る、２つのグレインを含む補完アルゴリズムを説明するブロック図を示す。 図１１は、本発明の実施形態に係る、補完器の例を示す。 図１２は、本発明の実施形態に係る、空間グラニュレーションアルゴリズムを説明するブロック図を示す。 図１３は、本発明の実施形態に係る、グラニュラーシンセシスを用いるハプティック変換アルゴリズムのフロー図を示す。 図１４は、本発明の実施形態に係る、元の出力信号と周波数シフトした信号との対比を示す。 図１５は、本発明の実施形態に係る、元の出力信号のパワースペクトラムを示す。 図１６は、本発明の実施形態に係る、周波数シフトした信号のパワースペクトラムを示す。 図１７は、本発明の実施形態に係る、信号を大きくするための複数の重みを用いた周波数シフトアルゴリズムの説明を示す。 図１８は、本発明の実施形態に係る、信号を大きくするための複数の重みを用いた周波数シフトアルゴリズムの別の説明を示す。 図１９は、本発明の実施形態に係る、グラニュラーシンセシスを用いる改良されたハプティック変換アルゴリズムのフロー図を示す。 図２０は、本発明の一実施形態に係る、ハプティック変換モジュールの機能のフロー図を示す。 図２１は、本発明の別の実施形態に係る、ハプティック変換モジュールの機能の別のフロー図を示す。

一実施形態は、グラニュラーシンセシスを用いてオーディオデータのような入力をハプティック効果に自動的に変換することが可能なシステムである。ハプティック効果は、ハプティックのフォーマットでプリミティブに記憶されうる、又は代替的なフォーマットで記憶されうる。グラニュラーシンセシスを通じて、入力は、いくつかの波形に分割されることができ、各波形は、“グレイン（ｇｒａｉｎ）”を生成するために包絡線（ｅｎｖｅｌｏｐｅ）を合成することができる。アルゴリズムを通じて、いくつかのグレインが生成されることができ、グレインは、“クラウド（ｃｌｏｕｄ）”を形成するために合成されうる。クラウドは、その後、ハプティック信号を生成するために用いられることができ、ハプティック信号は、順次ハプティック効果を生成するために用いられうる。入力は、グラニュラーシンセシスが入力に適用される前に、周波数シフト又は周波数シフトとフィルタリングとの合成のいずれかを通じて付加的に変更されうる。

以下に説明するように、“動的ハプティック効果”は、一又はそれ以上の入力パラメータに対応するような時間にわたって展開するハプティック効果を示す。動的ハプティック効果は、所与の入力信号の状態の変化を示すためにハプティック装置に表示されるハプティック効果又は振動触覚効果である。入力信号は、位置、加速度、圧力、方向、直線速度、角速度、温度又は近接度、若しくは他の装置によりキャプチャされ、ハプティック効果の生成に影響を与えるためにハプティック装置へ送られる信号のようなハプティックフィードバックを有する装置上のセンサによりキャプチャされる信号でありうる。

動的ハプティック効果信号は、任意のタイプの信号でありうるが、複雑である必要は無い。例えば、動的ハプティック効果信号は、時間にわたって変化する、又は効果信号の変化する特性上の入力パラメータをマップするマッピングスキームに基づく実時間で反応する位相、周波数又は振幅のようないくつかの特性を有するシンプルなサイン波であってもよい。入力パラメータは、装置によって提供可能な任意のタイプの入力であってもよく、通常、装置センサ信号のような任意のタイプの信号であってもよい。装置センサ信号は、任意の手段により生成されてもよく、通常、装置によるユーザのジェスチャをキャプチャすることにより生成されてもよい。動的効果は、ジェスチャインターフェースにとって非常に有益であるが、ジェスチャ又はセンサの使用は、要求される動的信号の生成を必要としない。

ジェスチャを直接的に含まない一つの一般的な状況は、アニメーション化されたウェジェットの動的ハプティック態様を定義することである。例えば、ユーザがリストをスクロールしたとき、最も直感的に感じるジェスチャの触覚は一般的ではないが、ジェスチャに応じたウィジェットのモーションであることが一般的である。スクロールリスト例では、リストの緩やかなスライドは、スクロールの速度に応じて変化する動的ハプティックフィードバックを生成するが、スクロールバーのフリング（ｆｌｉｎｇｉｎｇ）は、ジェスチャが完了した後であっても動的ハプティックフィードバックを生成する。これは、ウィジェットがいくつかの物理特性を有し、ユーザにウィジェットの速度又は動いているかどうかのようなウィジェットの状態についての情報を提供するという錯覚を生成する。

ジェスチャは、意味又はユーザの意図を伝える身体の動きである。シンプルなジェスチャがより複雑なジェスチャを形成するために組み合わされてもよいことがわかる。例えば、指をタッチ検知面に接触させることは、“フィンガー オン（ｆｉｎｇｅｒ ｏｎ）”ジェスチャと呼ばれる一方で、タッチ検知面から指を離すことは、“フィンガー オフ（ｆｉｎｇｅｒ ｏｆｆ）”ジェスチャと呼ばれる“フィンガー オン”と“フィンガー オフ”ジェスチャとの間の時間が相対的に短い場合、組み合わされたジェスチャは、“タッピング（ｔａｐｐｉｎｇ）”と呼ばれ、“フィンガー オン”と“フィンガー オフ”ジェスチャとの間の時間が相対的に長い場合、組み合わされたジェスチャは、“ロングタッピング（ｌｏｎｇ ｔａｐｐｉｎｇ）”と呼ばれ、“フィンガー オン”及び“フィンガー オフ”ジェスチャの二次元（ｘ，ｙ）位置間の距離が相対的に大きい場合、組み合わされたジェスチャは、“スワイピング（ｓｗｉｐｉｎｇ）”と呼ばれ、“フィンガー オン”及び“フィンガー オフ”ジェスチャの二次元（ｘ，ｙ）位置間の距離が相対的に小さい場合、組み合わされたジェスチャは、“スミアリング（ｓｍｅａｒｉｎｇ）”、“スマッジング（ｓｍｕｄｇｉｎｇ）”又は“フリッキング（ｆｌｉｃｋｉｎｇ）”と呼ばれる。任意の数の二次元又は三次元の複雑なジェスチャは、複数の指の接触、掌又は握り拳、又は装置への近接を含む任意の他のジェスチャを形成するために任意の手法で組み合わせられてもよいが、これに限定されない。ジェスチャは、また、加速度計、ジャイロスコープ又は他のモーションセンサを有する装置により認識される手の動きの任意の形態であることができ、電気信号に変換されうる。このような電気信号は、仮想ダイスを振ることのような動的な効果を作動させることができ、ここでセンサは、動的効果を生成するユーザの意図をキャプチャする。

図１は、本発明の一実施形態に係るシステムのブロック図を示す。一実施形態では、システム１０は、装置の一部分であり、システム１０は、装置のためにハプティック変換機能を提供する。別の実施形態では、システム１０は、装置とは別々になっており、装置に対してハプティック変換機能を遠隔的に提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のようなモジュール化されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態の装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、以下に詳細を記載するように、入力を一又はそれ以上のハプティック効果へ変換するハプティック変換モジュール１６を含む。特定の実施形態では、ハプティック変換モジュール１６は、入力を一又はそれ以上のハプティック信号へ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標） Ｈａｐｔｉｃ Ｄｅｖｅｌｏｐｍｅｎｔ Ｐｌａｔｆｏｒｍのような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。

システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。

プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。プロセッサ２２は、さらに、例えば、マウス又はスタイラスのようなユーザがシステム１０と情報をやりとりすることを可能にするキーボード又はカーソル制御２８に接続されてもよい。

システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、生成されたハプティック効果に関連付けられたハプティック信号をアクチュエータ２６に送信し、次に、振動触覚ハプティック効果、静電摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力する。アクチュエータ２６は、アクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ（“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。別の実施形態では、システム１０は、アクチュエータ２６に加えて、位置又はそれ以上の追加のアクチュエータを含みうる（図１には図示せず）。アクチュエータ２６は、ハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して、振動触覚ハプティック効果、静電摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力するように構成される装置である。別の実施形態では、アクチュエータ２６は、いくつかの他のタイプのハプティック出力装置により置き換えられうる。さらに、別の実施形態では、システム１０は、アクチュエータ２６を含まなくてもよく、システム１０から離れた装置がアクチュエータを含む、又はハプティック効果を生成する他のハプティック装置及びシステム１０は、通信装置２０を介してハプティック信号を装置へ送信する。

システム１０は、データベース３０に動作可能に接続されることができ、データベース３０は、モジュール１６及び１８により使用されるデータを記憶するように構成されうる。データベース３０は、オペレーショナルデータベース、アナリティカルデータベース、データウェアハウス、分散型データベース、エンドユーザデータベース、外部データベース、ナビゲーションデータベース、イン‐メモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、又はこの技術分野で知られている他のデータベースでありうる。

一実施形態では、システム１０は、一又はそれ以上のスピーカ３２をさらに含む。プロセッサ２２は、スピーカ３２へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ３２は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。

システム１０は、一実施形態では、センサ３４をさらに含む。センサ３４は、エネルギーの形態、又は加速度、生体信号、距離、流量、力／圧力／歪み／曲げ、湿度、線形位置、向き／傾き、無線周波数、回転位置、回転速度、スイッチの切り替え、温度、振動又は可視光強度のような他の物理的な特性を検出するように構成されうるが、これに限定されない。センサ３４は、さらに、検出したエネルギー又は他の物理的な特性を、電気信号又は仮想センサ情報を示す他の信号に変換するように構成されうる。センサ３４は、加速度計、心電図、脳波図、筋電計、眼電図、エレクトロパラトグラフ、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバーセンサ、屈曲センサ（又は曲げセンサ）、力検知抵抗、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ^２ １５５、小型圧力トランスデューサー、圧電センサ、歪みゲージ、湿度計、リニアポジションタッチセンサ、リニアポテンショメータ（又はスライダー）、線形変数差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オン‐オフスイッチ、温度センサ（例えば、サーモメータ、熱電対、抵抗温度検出器、サーミスタ又は温度変換集積回路）、マイクロホン、フォトメータ、高度計、生物学的モニター又は光依存性抵抗のような装置であり得るが、これに限定されない。

図２は、本発明の実施形態に係る“グレイン”２００の一例を示す。グレイン２００は、オーディオデータのようなデータの構成ブロックである。グレイン２００は、他のグレインが合成されたときに、“クラウド”として識別される物体を生成し、ここでクラウドは、時間にわたる複数のグレインの空間的な表現である、という基本的なマイクロイベントである。グレイン２００は、波形と包絡線との合成であり、波形及び包絡線は、さらに詳細に説明される。よって、グレイン２００のようなグレインは、包絡線で覆われた波形と考えられうる。グレイン２００のようなグレインは、１００ミリ秒（“ｍｓ”）又はそれより小さい時間のような知覚の限界に近い非常に短い期間を有しうる。グレイン２００は、データの知覚に影響を与える時間領域及び周波数領域情報を捕捉する。以下に説明するように、クラウドは、数百又は数千のグレインのような異なる特性を有する多数のグレインを有しうる。

実施形態によれば、グレイン２００は、グレイン２００を表現する複数のパラメータを含む。各パラメータは、グレイン２００の特性を定義する値を含みうる。図示された実施形態では、グレイン２００は、包絡線２１０、波形２２０、振幅２３０及び持続期間（ｄｕｒａｔｉｏｎ）２４０を含む。包絡線２１０は、グレイン２００の波形２２０のピークを結ぶ曲線である。一実施形態では、グレイン２００は、包絡線２１０を定義する包絡線パラメータを含みうる。グレイン２００の包絡線２１０は、図３と共に以下にさらに説明される。

波形２２０は、特定の形状及び形態を有する振動する信号である。波形２２０のような波形は、サンプリングされたオーディオデータのようなサンプリングデータを含みうる、又は静的又は動的データを含む波形を生成しうる。さらに、波形２２０のような波形は、一定の波形でありうるが、波形２２０は、また、クラウド内のグレインからグレインへ変動しうる、又は同一のクラウドにおける全てのグレインに対して一定でありうる。特定の実施形態では、波形２２０のような波形は、正弦波又はサイン波でありうる。別の実施形態では、波形２２０のような波形は、正弦波又はサイン波の重ね合わせでありうる。さらに別の実施形態では、波形２２０のような波形は、周波数成分変動を有する正弦波又はサイン波（つまり、グレイン内の周波数を変動させる正弦波又はサイン波）でありうる。別の実施形態では、波形２２０のような波形は、周波数成分変動を有する正弦波又はサイン波（つまり、グレイン内の周波数を変動させる正弦波又はサイン波）を重ね合わせうる。さらに別の実施形態では、波形２２０のような波形は、周波数変調（“ＦＭ”）、位相変調（“ＰＭ”）又はＰｈｙｓｉｃａｌｌｙ Ｉｎｓｐｉｒｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｅｖｅｎｔ Ｍｏｄｅｌｉｎｇ（“ＰｈｉＳＥＭ”）のような数学的なアルゴリズムを用いて生成する時変波形でありうる。ＦＭ， ＰＭ及びＰｈｉＳＥＭは、２０１３年２月１４日に提出された“ＨＩＧＨ ＤＥＦＩＮＩＴＩＯＮ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ ＧＥＮＥＲＡＴＩＯＮ ＵＳＩＮＧ ＰＲＩＭＩＴＩＶＥＳ．”という発明の名称の米国特許出願第１３／７６７，１２９号により詳細に説明される。さらに別の実施形態では、波形２２０のような波形は、サンプリングされ、記憶されたオーディオ信号のようなサンプリングされ、記憶された信号であることができ、サンプリングされ、記憶された信号は、一定である又は時間にわたって変化しうる。一実施形態では、グレイン２００は、波形２２０を定義する波形パラメータを含みうる。

図示された実施形態によれば、振幅２３０は、グレイン２００の最大振幅値である。一実施形態では、グレイン２００は、振幅２３０を定義する振幅パラメータを含みうる。持続期間２４０は、グレイン２００の持続期間（つまり、時間幅）である。持続期間２４０のような期間は、通常、ミリ秒単位で測定される。一実施形態では、グレイン２００は、持続期間２４０を定義する持続期間パラメータを含みうる。実施形態によれば、グレイン２００の振幅パラメータの値を変化させることにより、グレイン２００の振幅２３０を変化させることができる。さらに、グレイン２００の持続期間パラメータの値を変化させることにより、グレイン２００の持続期間２４０を変化させることができる。さらに別の実施形態では、グレイン２００は、また、グレイン２００の密度を定義する密度パラメータを含みうる（図２には図示せず）。グレイン２００の密度は、クラウド内の一秒当りのグレイン２００の実例の数を定義する値である。

図３は、本発明の実施形態に係る包絡線のタイプの例を示す。図３に図示された包絡線のタイプは、包絡線を生成するために用いられうる包絡線のタイプの一例であり、包絡線は、グレインを生成するために波形と合成されうる。実施形態によれば、包絡線のタイプは、包絡線を生成するために、持続期間及び振幅と共に使用されうる。包絡線のタイプの持続期間及び振幅は、包絡線の周波数成分に影響を与えうる。

図３の図示された実施形態は、サイン包絡線タイプ３１０、飽和サイン包絡線タイプ３２０、三角包絡線タイプ３３０、飽和包絡線タイプ３４０、シンク包絡線タイプ３５０、指数関数（ｅｘｐｏｄｅｃ）包絡線タイプ３６０、指数関数（ｒｅｘｐｏｄｅｃ）包絡線タイプ３７０及びスクエア（ｓｑｕａｒｅ）包絡線タイプ３８０を示す。図３に図示された包絡線タイプに対応する定義を以下に示す。

当業者は、図３に図示された包絡線タイプが実施形態に基づく包絡線タイプの一例であり、他の実施形態では、異なるタイプの包絡線タイプが、包絡線を生成するために用いられうることを容易に理解するであろう。

図４は、本発明の実施形態に係る、単一出力チャネルを用いたグラニュラーシンセシスの生成を説明するブロック図を示す。より具体的には、図４は、どのようにグレインを生成するか、及びどのようにグレインを出力チャネルに出力するかを示しており、ここで出力チャネルは、アクチュエータのようなハプティック出力装置に動作可能に接続されうる。図４は、包絡線タイプ４１０を含む。包絡線タイプ４１０は、包絡線タイプを選択することができ、包絡線タイプを包絡線生成器４４０へ出力することができる。特定の実施形態では、包絡線タイプ４１０により選択された包絡線タイプは、図３に示される包絡線タイプの一つでありうる。図４は、さらにグレイン振幅４２０を含む。グレイン振幅４２０は、振幅値を特定することができ、振幅値を包絡線生成器４４０へ提供することができる。図４は、さらにグレイン持続期間４３０を含む。グレイン持続期間４３０は、持続期間の値を特定することができ、持続期間の値を包絡線生成器４４０へ提供することができる。図４は、さらに包絡線生成器４４０を含む。包絡線生成器４４０は、包絡線タイプ４１０から受け付けた包絡線タイプ、グレイン振幅４２０から受け付けた振幅値及びグレイン持続期間４３０から受け付けた持続期間の値に基づいて包絡線を生成することができる。包絡線生成器４４０は、生成された包絡線を発振器４７０へ順次出力する。

図４は、さらに波形タイプ４５０を示す。波形タイプ４５０は、波形を選択し、波形を発振器４７０へ出力することができる。図４は、さらにグレイン周期性４６０を含む。グレイン周期性４６０は、どのようにグレインが繰り返し生成されるかを示す周期性の値（つまり、密度の値）を特定することができ、周期性の値（つまり、密度の値）を発振器４７０へ出力することができる。発振器４７０は、包絡線生成器４４０から受け付けた包絡線、波形タイプ４５０から受け付けた波形及びグレイン周期性４６０から受け付けた周期性の値（つまり、密度の値）に基づいてグレイン４８０を生成できる。実施形態によれば、グレイン４８０は、単一の出力チャネルへ出力されうる。より具体的には、グレイン４８０は、クラウドを生成するために用いられる合成のタイプに応じた出力チャネルへ出力されうる。クラウドは、前述したように、時間にわたる複数のグレインの空間表現である。

図５は、本発明の実施形態に係る、複数の出力チャネルを用いたグラニュラーシンセシスの生成を説明するブロック図を示す。より具体的には、図５は、どのようにグレインを生成し、どのようにグレインを複数の出力チャネルへ出力するかを示しており、各出力チャネルは、アクチュエータのようなハプティック出力装置に動作可能に接続されうる。よって、実施形態によれば、グレインは、複数のハプティック出力装置（例えば、アクチュエータ）へ出力でされうる。図５のブロック図の表現は、図４のブロック図の表現と同様であり、図４の構成要素と同様の図５の構成要素は、別途説明しない。

図５は、グレイン空間位置５１０を含む。グレイン空間位置５１０は、チャネル値を特定し、ここでチャネル値は、出力チャネルに関連付けられる。図５は、さらに出力チャネル５２０を含む。出力チャネル５２０は、複数の出力チャネルを示す。生成されたグレインは、グレイン空間位置５２０により特定されたチャネル値に基づいて出力チャネル５２０の特定の出力チャネルへ出力される。

図６は、本発明の実施形態に係る、波形タイプとして正弦波を用いて生成されたグレインの例を示す。前述したように、正弦波は、特定のタイプの波形であり、ここで正弦波は、その持続期間にわたり一定の周波数を有する正弦波信号（例えば、Ｍ＊ｓｉｎ（２πｆｔ））に基づきうる。実施形態によれば、その持続期間にわたって一定の周波数を有するのではなく、正弦波は、音のピッチの変化を意味する音楽において用いられる用語である“グリッサンド（ｇｌｉｓｓａｎｄｏ）”を実装することにより、持続期間にわたってその周波数を変化させることができる。技術的な用語において、グリッサンドは、始まりの周波数値及び終わりの周波数値によりパラメータ化された基本的な関数であり、周波数の遷移は、グレインの持続期間にわたって生じる。

図６の図示された実施形態では、グレイン６１０は、正弦波の持続期間の間に始まりの周波数値から終わりの周波数値へ移動することにより周波数での変化が実装される正弦波を含むグレインである。これは、“グリッサンド アップ（Ｇｌｉｓｓａｎｄｏ−Ｕｐ）”として識別される。さらに、グレイン６２０は、正弦波の持続期間の間に始まりの周波数値から終わりの周波数値へ移動し、その後、持続期間の間に始まりの周波数値へ戻ることにより周波数の変化が実装される正弦波を含むグレインである。これは、“グリッサンド アップ ダウン（Ｇｌｉｓｓａｎｄｏ−Ｕｐ−Ｄｏｗｎ）”として識別される。図示された実施形態によれば、グレイン６１０及び６２０の正弦波は、周波数変調（“ＦＭ”）、位相変調（“ＰＭ”）又はＰｈｙｓｉｃａｌｌｙ Ｉｎｓｐｉｒｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｅｖｅｎｔ Ｍｏｄｅｌｉｎｇ （“ＰｈｉＳＥＭ”）のような数学的なアルゴリズムを用いて生成されうる。ＦＭ、ＰＭ及びＰｈｉＳＥＭは、２０１３年２月１４日に提出された“ＨＩＧＨ ＤＥＦＩＮＩＴＩＯＮ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ ＧＥＮＥＲＡＴＩＯＮ ＵＳＩＮＧ ＰＲＩＭＩＴＩＶＥＳ．”という発明の名称の米国特許出願第１３／７６７，１２９により詳細に説明される。別の実施形態では、正弦波は、始まりの周波数値と終わりの周波数値との間に限定されるランダムな周波数値の使用によりその持続期間にわたってその周波数を変化させることができる。この実施形態では、周波数成分は、ランダム型の２つの固定された周波数値の間で変化させることができる。

前述したように、生成されるグレインは、クラウドに合成されることができ、ここでクラウドは、時間にわたるグレインの空間表現である。いくつかのグラニュラーシンセシスアルゴリズムの一つは、グレインを組織するために用いられうる。このようなアルゴリズムは、本明細書でさらに説明される。

あるグラニュラーシンセシスアルゴリズムは、時間−周波数平面上にマトリックス及びスクリーンを含む。スクリーンは、複数のグレインが散乱されうる振幅及び周波数の平面であり、各グレインは、タイムスライス又はフィルムのフレームである。これらの平面は、オーディオ効果のような効果が生成されうる時間−周波数マトリックスとしてみなされうる。他の同様のグラニュラーシンセシスアルゴリズムは、短時間フーリエ変換又はウェーブレット変換により生成されうる。

別のグラニュラーシンセシスアルゴリズムは、ピッチ同期グラニュラーシンセシスアルゴリズムである。このアルゴリズムは、スペクトラム分析に基づいてグレインを再合成するために平行最小‐位相無限インパルス応答生成器の複雑なシステムを使用する。

別のグラニュラーシンセシスアルゴリズムは、同期グラニュラーシンセシスアルゴリズムである。同期グラニュラーシンセシスアルゴリズムは、グレイン間での追加の遅延周期により、クラウド内のリニアタイムラインにおける連続的（つまり、周期性）時間位置でクラウドにグレインを配置するアルゴリズムであり、遅延周期は、グレインが存在しない時間の周期である。同期グラニュラーシンセシスアルゴリズムは、図７と共にさらに詳細に説明される。

別のグラニュラーシンセシスアルゴリズムは、準同期（ｑｕａｓｉ−ｓｙｎｃｈｒｏｎｏｕｓ）グラニュラーシンセシスアルゴリズムである。準同期グラニュラーシンセシスアルゴリズムは、ランダムな間隔でクラウドにグレインを配置するアルゴリズムである。よって、任意の遅延期間が固定された時間間隔である同期グラニュラーシンセシスアルゴリズムとは対照的に、準同期グラニュラーシンセシスアルゴリズムは、ランダムな間隔で遅延期間を生成しうる。

別のグラニュラーシンセシスアルゴリズムは、非同期グラニュラーシンセシスアルゴリズムである。非同期グラニュラーシンセシスアルゴリズムは、グレインをクラウド内のリニアタイムラインに配置するのではなく、時間−周波数平面内に刻まれたクラウド内の特定の持続期間にわたってグレインを散乱するアルゴリズムである。グレインの散乱は、時間的にランダムであり、確率的又は無秩序なアルゴリズムにより制御されうる。グレインの散乱は、以下のパラメータの少なくとも１つに依存しうる：（１）開始時間及びクラウドの持続期間、（２）グレイン持続期間（クラウドの持続期間に対して変化可能）、（３）一秒当りのグレインの密度（クラウドの持続期間に対して変化可能）、（４）クラウドの周波数帯（通常、上限及び下限）、（５）クラウドの振幅包絡線、（６）グレイン内の波形、又は（７）クラウドの空間分散。クラウド内のグレインのランダムな位置及びグレイン間のランダムな間隔のため、非同期グラニュラーシンセシスアルゴリズムは、より“本質的”かつ“真正な”ものとして認識されうる出力を生成しうる。非同期グラニュラーシンセシスアルゴリズムは、図８と共により詳細に説明される。

別のグラニュラーシンセシスアルゴリズムは、物理的かつアルゴリズムのモデルと、グラニュラー化された音のストリーム及びクラウドと、を含む。より具体的には、物理モデル（例えば、ＰｈｉＳＥＭ）は、オーディオデータのような入力の数学的かつ音響的性質を記述するために用いられうる。さらに、オーディオデータのような記録された入力のウィンドウは、グレインに分割され、記録された入力は、グラニュラー化される。グラニュレーションは、何らかの手法での各グレインの変更を含むことができ、グレインは、その後、新たなオーディオ効果のような効果を生成するように再アセンブリされうる。

図７は、本発明の実施形態に係る、異なるグレイン周期性を用いた同期グラニュラーシンセシスの生成の別の説明を示す。前述したように、同期グラニュラーシンセシスアルゴリズムは、グレイン間での追加の遅延周期により、クラウド内のリニアタイムラインにおける連続的（つまり、周期性）時間位置でクラウドにグレインを配置しうる。図７は、表示７１０、７２０及び７３０を含み、同期グラニュラーシンセシスアルゴリズムの異なる表示を示す。表示７１０では、グレインのグレイン周期性（つまり、グレイン７１１、７１２、７１３及び７１４）は、遅延周期がグレイン間で生成されるように設定される。より具体的には、図７の表示７１０に示すように、グレイン７１１、７１２、７１３及び７１４は、グレイン７１１と７１２との間、グレイン７１２と７１３との間、及びグレイン７１３と７１４との間に遅延周期が存在するようにタイムラインｔ内に配置される。

表示７２０では、グレインのグレイン周期性（つまり、グレイン７２１、７２２、７２３及び７２４）は、各グレインの始まりの時間が前のグレインの終わりの時間と一致するように設定される。より具体的には、図７の表示７２０に示すように、グレイン７２１、７２２、７２３及び７２４は、グレイン間に遅延周期が存在しないようにタイムラインｔ内に配置される。

表示７３０では、グレインのグレイン周期性（つまり、グレイン７３１、７３２及び７３３）は、各グレインの始まる時間が前のグレインの終わりの時間の前に生じ、重ね合わせたグレインを得るように設定され、ここで重ね合わせたグレインは、重ねあわせ効果（つまり、効果７３４）をもたらす。より具体的には、図７の表示７２０に示すように、グレイン７３１、７３２及び７３３は、それらが重畳するようにタイムラインｔ内に配置される。グレインの連続した重複（グレイン７３１、７３２及び７３３を含み、図７の表示７２０に図示されない追加グレインを含む）は、効果７３４をもたらす。

特定の実施形態では、同期グラニュラーシンセシスアルゴリズムにより使用されるグレインは、一定である。より具体的には、各グレインのパラメータ値は、一定であり、よって、各グレインは、他のグレインと同一である。別の実施形態では、同期グラニュラーシンセシスアルゴリズムにより使用されるグレインは、変化可能である。より具体的には、各グレインのパラメータ値は、変化し、よって、各グレインは、他のグレインとは異なってもよい。これは、各パラメータに対する境界値（つまり、境界により設定される取り得る値の範囲）を設定すること、及びその後、境界により設定される取り得る値の範囲にマップされるランダムな数を生成することを実現しうる。

図８は、本発明の実施形態に係る、非同期グラニュラーシンセシスの生成の別の説明を示す。前述したように、非同期グラニュラーシンセシスアルゴリズムは、グレインをクラウド内のリニアタイムラインに配置するのではなく、時間−周波数平面内に刻まれたクラウド内の特定の持続期間にわたってグレインを散乱するアルゴリズムである。実施形態によれば、非同期グラニュラーシンセシスアルゴリズムは、一秒当たりのグレインの単位を有しうる密度パラメータを用いる。非同期グラニュラーシンセシスの実装に対しては、グレインのプレイのための周期性は存在せず、これは、密度パラメータが使用されるためである。実施形態では、グレインの開始時間は、式
を用いて演算されうる。ここで、ｌｏｇ（）は自然対数であり、ｒａｎｄｏｍ（）は０と１の実数のランダム生成であり、密度はグレインの密度パラメータの値である。

図８は、グレイン８１０と、視覚化（ｖｉｓｕａｌｉｚａｔｉｏｎｓ）８２０、８３０及び８４０と、を含み、単一グレインを示し、非同期グラニュラーシンセシスアルゴリズムの異なる可視化を示す。実施形態によれば、各視覚化８２０、８３０及び８４０に対して、密度パラメータ値は、一秒当たり６つのグレインに設定される。さらに、視覚化８２０では、グレイン８１０は、第１の重ね合わせ効果（つまり、効果８２１）を形成する第１のランダム分布に分布される。同様に、視覚化８３０では、グレイン８１０は、第２の重ね合わせ効果（つまり、効果８３１）を形成する第２のランダム分布に分布される。同様に、視覚化８４０では、グレイン８１０は、第３の重ね合わせ効果（つまり、効果８４１）を形成する第３のランダム分布に分布される。各ランダム分布は、他の２つのランダム分布とは異なっている。視覚化８２０の効果８２１は、最大の大きさの値の負担の結果である。一方、視覚化８３０の効果８３１及び視覚化８４０の効果８４１は、最大の大きさの値の負担が欠如した結果である。

図９は、本発明の実施形態に係る、グラニュラーアルゴリズムを説明するブロック図を示す。“グラニュレーション”は、オーディオデータのような入力から情報を抽出し、グレインを生成するために波形としての入力の小さい単位を取ることにより新たな効果を生成するためにその情報を使用するために用いられうるアルゴリズムである。これらのグレインは、ハプティック効果を生成するために、その後、アクチュエータのようなハプティック出力装置に直接出力されうる。

実施形態によれば、グラニュレーションアルゴリズムは、オーディオ信号９１０を受け付け、ここでオーディオ信号９１０は、オーディオデータを含む。特定の実施形態では、オーディオ信号９１０は、オーディオファイルに記憶されうる。さらに、特定の実施形態では、オーディオ信号９１０は、パルス符号変調（“ＰＣＭ”）フォーマットにエンコードされうる。オーディオ信号９１０は、また、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（“ＭＩＤＩ”）フォーマット又はＭＰＥＧ−２ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ（“ＭＰ３”）フォーマットのような別のタイプのフォーマットにエンコードされうる。これらの実施形態では、オーディオ信号９１０は、ＰＣＭフォーマットにエンコードされうる。

さらに、別の実施形態では、オーディオ信号９１０は、別の信号により置き換えられうる、又はビデオデータを含むビデオ信号、加速度データを含む加速度信号、方向データを含む方向信号、環境光データを含む環境光信号又は他の種類のデータを含む他の種類の信号のような他のタイプのデータを含む入力により置き換えられうる。他のタイプの信号の一例は、センサによりキャプチャされうるデータを含む信号である。さらに、いくつかの実施形態では、オーディオ信号は、マルチモデルデータ（つまり、二又はそれ以上のモードのデータ又はオーディオデータ及びビデオデータのようなタイプのデータ）を含む信号により置き換えられうる。

実施形態によれば、セグメント９１１及び９１２として図９に示すように、グラニュレーションアルゴリズムは、オーディオ信号を複数のセグメントに分割する。セグメント９１１及び９１２は、それぞれ、オーディオ信号９１０の少なくとも一部を含む。グラニュレーションアルゴリズムは、オーディオ信号９１０をいくつかのセグメントに分割することができ、セグメント９１１及び９１２は、いくつかのセグメントの一例を示す。各セグメントは、分割により生成されたグレインの持続期間を定義しうる。さらに、複数のセグメントの各セグメントは、グラニュレーションアルゴリズムにより波形として使用される。よって、図９に図示された実施形態では、グラニュレーションアルゴリズムは、波形９２０としてセグメント９１１を使用する。さらに、図９に図示された実施形態では、グラニュレーションアルゴリズムは、波形９３０としてセグメント９１２を使用するよって、波形９２０及び９３０は、それぞれ、オーディオ信号９１０の少なくとも一部を含む。

実施形態によれば、複数の波形の各波形に対して、グラニュレーションアルゴリズムは、グレインを生成するために、波形を包絡線に合成する。よって、グラニュレーションアルゴリズムは、複数のグレインを生成する。図９に図示された実施形態では、グラニュレーションアルゴリズムは、グレイン９５０を生成するために、波形９２０を包絡線９４０に合成する。また、図９に図示された実施形態では、グラニュレーションアルゴリズムは、グレイン９６０を生成するために、波形９３０を包絡線９４０に合成する。グレイン９５０及び９６０は、グラニュレーションアルゴリズムにより生成された複数のグレインを示す。

実施形態によれば、グラニュレーションアルゴリズムは、複数のグレインをクラウドに合成する。特定の実施形態では、グラニュレーションアルゴリズムは、前述した図７と共に示すように、グレインをクラウドに合成するために、同期グラニュラーシンセシスアルゴリズムを使用しうる。いくつかの実施形態では、グレインは、クラウド内の周期的な位置に配置されうる。さらに、いくつかの実施形態では、複数のグレインの各グレイン間において固定された間隔が存在しうる。しかし、別の実施形態では、複数のグレインの各グレイン間において間隔が存在しなくてもよい。また、別の実施形態では、複数のグレインは、重ね合わせされうる。

別の実施形態では、グラニュレーションアルゴリズムは、前述した図８と共に示すように、グレインをクラウドに合成するために、非同期グラニュラーシンセシスアルゴリズムを使用しうる。これらの実施形態のいくつかでは、グレインは、クラウド内のランダムな位置に配置されうる。また、これらの実施形態のいくつかでは、複数のグレインの各グレイン間においてランダムな間隔が存在しうる。

特定の実施形態では、複数のグレインをクラウドに合成することに替えて又は加えて、グラニュレーションアルゴリズムは、複数のグレインの二又はそれ以上のグレインを補間するために、補間アルゴリズムを使用することができる。このような補間アルゴリズムは、図１０及び１１と共にさらに詳細に説明される。

特定の実施形態では、複数のグレインをクラウドに合成することに替えて又は加えて、グラニュレーションアルゴリズムは、複数のグレインの少なくとも１つのグレインを生成するために、空間グラニュレーションアルゴリズムを使用することができる。このような空間グラニュレーションアルゴリズムは、図１２と共にさらに詳細に説明される。

実施形態によれば、グラニュレーションアルゴリズムは、ハプティック信号としてのクラウドを、アクチュエータ（図９には図示せず）のような出力装置へ送信しうる。ハプティック信号は、ハプティック出力装置にハプティック効果を出力させることができ、ハプティック効果は、グラニュレーションアルゴリズムにより生成されたクラウドに基づく。

特定の実施形態では、オーディオ信号９１０は、グラニュレーションアルゴリズムがオーディオ信号９１０を分割する前に変更されうる。より具体的には、オーディオ信号９１０は、グラニュレーションプログラムにおいて、低減されたハプティック知覚性を有するハプティック効果又は低減された“真正な”質を有するハプティック効果の生成をもたらす周波数成分を含んでもよい。グラニュレーションプログラムから生成されたハプティック効果のハプティック知覚性を増加させるために、オーディオ信号９１０は、変更されてもよい。このようなオーディオ信号の変更は、オーディオ信号の周波数をシフトすること、オーディオ信号の大きさを増加させること、又は他の同様のアルゴリズムを含みうる。さらに、このような変更は、より“真正な”感触を有するハプティック効果をもたらしうる。オーディオ信号９１０のような入力の変更は、図１４−１８と共にさらに詳細に説明される。

特定の実施形態では、グラニュラーシンセシスは、動的ハプティック効果を生成するために用いられうる。前述したように、動的ハプティック効果（又は動的効果）は、所与の入力信号の状態の変化を示すために、アクチュエータのようなハプティック出力装置に出力しうるハプティック効果である。例えば、タッチスクリーン上の指の位置の変更は、位置変化の関数として動的に変換するハプティック効果にマップされうる、又は装置の加速レベルにより始動されるハプティック効果にマップされうる。ハプティック効果は、その大きさ、周波数、持続期間又はそのパラメータ値の組み合わせが変化しうる。動的ハプティック効果は、２０１２年７月１１日に提出された“ＧＥＮＥＲＡＴＩＮＧ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ ＦＯＲ ＤＹＮＡＭＩＣ ＥＶＥＮＴＳ”という発明の名称の米国特許出願第１３／５４６，３５１、２０１２年１１月２日に提出された“ＥＮＣＯＤＩＮＧ ＤＹＮＡＭＩＣ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ”という発明の名称の米国特許出願第１３／６６７，００３、及び２０１２年１２月１０日に提出された“ＥＮＨＡＮＣＥＤ ＤＹＮＡＭＩＣ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ”という発明の名称の米国特許出願第１３／７０９，１５７にさらに説明される。

補間アルゴリズム（例えば、リニア補間アルゴリズム）は、０と１の数値の間で正規化された入力信号に基づいて、２つのキーフレーム（つまり、２つの予め設定された周期的効果）間を補完することができるアルゴリズムである。キーフレームは、包絡線による遅延周期的効果を含むライムライン効果で定義されることができ、ここで周期的効果は、時間とともに繰り返されうる。ハプティック効果を生成するためのこのようなキーフレームの補間は、２０１２年７月１１日に提出された“ＧＥＮＥＲＡＴＩＮＧ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ ＦＯＲ ＤＹＮＡＭＩＣ ＥＶＥＮＴＳ”という発明の名称の米国特許出願第１３／５４６，３５１、２０１２年１１月２日に提出された“ＥＮＣＯＤＩＮＧ ＤＹＮＡＭＩＣ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ”という発明の名称の米国特許出願第１３／６６７，００３、及び２０１２年１２月１０日に提出された“ＥＮＨＡＮＣＥＤ ＤＹＮＡＭＩＣ ＨＡＰＴＩＣ ＥＦＦＥＣＴＳ”という発明の名称の米国特許出願第１３／７０９，１５７にさらに説明される。

グラニュラーシンセシスの場合には、本発明の実施形態によれば、２つのグレインは、予め設定されることができ、補間アルゴリズムは、入力値の関数として２つの予め設定されたグレインを補完することにより新たなグレインを生成するために用いられうる。このような補間アルゴリズムは、図１０と共に、さらに詳細に説明される。

図１０は、本発明の実施形態に係る、２つのグレインを含む補完アルゴリズムを説明するブロック図を示す。図１０は、予め設定されたグレイン１０１０及び１０２０を含み、さらに入力信号１０３０を含む。一実施形態では、入力信号１０３０は、タッチスクリーン上の位置を示す位置信号、加速度信号、速度信号又はセンサによりキャプチャされた他のタイプの信号のような外部信号でありうる。予め設定されたグレイン１０１０は、入力信号１０３０が数値０を有するときに使用される。予め設定されたグレイン１０１０は、高周波から低周波へ移るグリッサンドを有し、最大の大きさを用いる。これは、予め設定されたグレイン１０１０に関連付けたれたパラメータのセットに基づきうる。予め設定されたグレイン１０２０は、入力信号１０３０が数値１を有するときに使用される。予め設定されたグレイン１０２０は、低周波から高周波へ移るグリッサンドを有し、最大の大きさの４０％を用いる。これは、予め設定されたグレイン１０２０に関連付けたれたパラメータのセットに基づきうる。図１０は、補間器１０４０をさらに含む。入力信号１０３０が数値０及び１を有するとき、補間器１０４０は、グレイン１０５０を生成するために、入力信号１０３０の関数として予め設定されたグレイン１０１０及び１０２０を補間する。グレイン１０５０は、入力信号１０３０の関数に基づいて補間されたグリッサンド及び大きさを含む。よって、グレイン１０５０は、補間されたパラメータのセットに基づき、補間されたパラメータは、入力信号１０３０の関数として補間器１０４０により生成される。

図１１は、本発明に係る補間器の例を示す。図１１は、新たなグレインを生成するために、異なる補間器（つまり、補間アルゴリズム）が２つの予め設定されたグレインを補完することに用いられうることを示す。このような補間器の例は、リニア補間器１１１０、対数補間器１１２０、円形補間器１１３０、三角形補間器１１４０及びランダム補間器１１５０を含みうる。また、別の実施形態によれば、補間器は、図１１に図示されない他のタイプであってもよい。

実施形態によれば、リニア補間アルゴリズムのような補間アルゴリズムでは、グレインの全てのパラメータは、独自の補間器を用いる一つの出力値により補間される。別の実施形態では、改良された動的ハプティック効果が使用されうる。３つの種類の改良された動的ハプティック効果：（ａ）複数の補間器に一つの入力信号；（ｂ）一つの補間器に複数の入力信号；及び（ｃ）複数の補間器に複数の入力信号が存在する。複数の補間器に一つの入力信号の場合には、入力信号は、異なるパラメータの異なる補間に適用される。例えば、入力信号の増大により、大きさは、直線的に増加し、持続期間は、対数的に減少し、周波数は、一定に維持されうる。一つの補間器に複数の入力信号の場合には、複数の入力信号を一つの入力値に変換するために前補間（ｐｒｅ−ｉｎｔｅｒｐｏｌａｔｉｏｎ）が行われる。例えば、圧力及び速度のような２つの入力信号は、グラニュラーシンセシスを用いて生成されたハプティック効果の大きさをモジュールにするために用いられうる。大きさは、特定の圧力値により増加し、特定の速度値により減少しうる。前処理は、最小の大きさと最大の大きさとの間の補間のための入力として標準値を提供することができる。複数の補間器に複数の入力信号の場合には、前述の２つのアルゴリズムが組み合わせられうる。

図１２は、本発明の実施形態に係る、空間グラニュレーションアルゴリズムを説明するブロック図を示す。空間グラニュレーションアルゴリズムは、グレインのマッピング及びタッチスクリーンのようなスクリーンの位置を補間するグラニュレーションアルゴリズムである。

実施形態によれば、空間グラニュレーションアルゴリズムは、オーディオ信号１２１０を受け付け、オーディオ信号１２１０は、オーディオデータを含む。別の実施形態では、オーディオ信号１２１０は、別の信号により置き換えられうる、又はビデオデータを含むビデオ信号、加速度データを含む加速度信号、方向データを含む方向信号、環境光データを含む環境光信号又は他の種類のデータを含む他の種類の信号のような他のタイプのデータを含む入力により置き換えられうる。他のタイプの信号の一例は、センサによりキャプチャされうるデータを含む信号である。さらに、いくつかの実施形態では、オーディオ信号１２１０は、マルチモデルデータ（つまり、二又はそれ以上のモードのデータ又はオーディオデータ及びビデオデータのようなタイプのデータ）を含む信号により置き換えられうる。

実施形態によれば、空間グラニュレーションアルゴリズムは、オーディオ信号１２１０を、セグメント１２１１、１２１２及び１２１３として図１２に示す複数のセグメントに分割する。セグメント１２１１、１２１２及び１２１３それぞれは、オーディオ信号１２１０の少なくとも一部を含む。空間グラニュレーションアルゴリズムは、オーディオ信号１２１０をいくつかのセグメントに分割することができ、セグメント１２１１、１２１２及び１２１３は、セグメントの一例である。空間グラニュレーションアルゴリズムは、さらに、複数のセグメントに基づいて複数のグレインを生成する。よって、図示された実施形態によれば、空間グラニュレーションアルゴリズムは、セグメント１２１１に基づくグレイン１２２０、セグメント１２１２に基づくグレイン１２３０、及びセグメント１２１３に基づくグレイン１２４０を生成する。実施形態によれば、複数のグレインの少なくとも１つのグレインの生成は、タッチスクリーンのようなスクリーンの位置での入力に基づいて始動される。このような生成は、グレイン１２３０の生成と共に、以下にさらに詳細に説明される。

実施形態によれば、タッチスクリーンのようなスクリーンは、幅が特定の数のピクセルに分割されることができ、各ピクセルは、スクリーン内の位置を示す。これは、スクリーン位置１２５０として図１２に示される。同様に、複数のグレインは、グレインシーケンス内に構築されることができ、各グレインは、グレインシーケンス内に位置を有する。これは、グレインシーケンス１２６０として図１２に示される。よって、各グレインは、スクリーン内の位置にマップされうる。実施形態によれば、空間グラニュレーションアルゴリズムは、グレインシーケンス１２６０内のグレイン１２３０の位置に対応するスクリーンの位置での入力を検出する（つまり、グレイン１２３０にマップされたスクリーンの位置での入力を検出する）。空間グラニュレーションアルゴリズムは、空間グラニュレーション１２８０において、検出した入力（入力位置１２７０として図１２に図示される）を受け付け、空間グラニュレーションアルゴリズムは、図９と共に説明されたグラニュレーションアルゴリズムに係るセグメント１２１２に基づくグレイン１２３０を順次生成する。

図１３は、本発明の実施形態に係る、グラニュラーシンセシスを用いるハプティック変換アルゴリズムのフロー図を示す。一実施形態では、図１３の機能は、図１９、図２０及び図２１の機能と同様に、プロセッサにより実行される、メモリ又は他のコンピュータ可読媒体又は有形的表現媒体に記憶されるソフトウェアにより実装される。別の実施形態では、各機能は、ハードウェア（例えば、ＡＳＩＣ、プログラマブルゲートアレイ）（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等）又はハードウェアとソフトウェアとの組み合わせにより実行されてもよい。また、代替の実施形態では、各機能は、アナログ構成要素を用いてハードウェアにより行われてもよい。特定の実施形態では、図１３の機能は、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）により実装されうる。

フローが開始し、１３１０へ進む。１３１０では、入力が受け付けられる。特定の実施形態では、入力は、オーディオデータを含みうる。オーディオデータは、ＰＣＭフォーマットでエンコードされうる。オーディオデータは、オーディオファイル又はオーディオ信号で記憶されうる。別の実施形態では、入力は、ビデオデータを含みうる。さらに別の実施形態では、入力は、画像データ、テキストデータ又は加速度データのうちの少なくとも１つを含みうる。代替の実施形態では、一又はそれ以上のパラメータは、入力の代わりに受け付けられる。フローは１３２０へ進む。

１３２０では、グラニュラーシンセシスアルゴリズムは、入力に適用される。特定の実施形態では、グラニュラーシンセシスアルゴリズムにより、入力は、複数の波形に分割され、各波形は、入力の少なくとも一部を含む。各波形は、さらに、グレインを生成するために包絡線と合成され、複数のグレインがグラニュラーシンセシスアルゴリズムの適用により生成される。各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び継続時間パラメータを含む。各グレインは、また、密度パラメータを付加的に含む。グレインは、さらに、クラウドを生成するためにグラニュラーシンセシスアルゴリズムの適用により合成され、複数のグレインの表現を含む。代替の実施形態では、各波形は、一又はそれ以上の受信されたパラメータの少なくとも１つのパラメータに基づいて生成される。

特定の実施形態では、グラニュラーシンセシスアルゴリズムは、同期グラニュラーシンセシスアルゴリズムである。これらの実施形態では、グレインは、クラウド内の周期的位置に配置されうる。複数のグレインの各グレイン間の固定された間隔が存在しうる。それに替えて、複数のグレインの各グレイン間に間隔が存在しなくてもよい。それに替えて、グレインは、重ね合わせられうる。代替の実施形態では、グラニュラーシンセシスアルゴリズムは、同期グラニュラーシンセシスアルゴリズムである。これらの実施形態では、グレインは、クラウド内のランダムな位置に配置されうる。複数のグレインの各グレイン間のランダムな間隔が存在しうる。

特定の実施形態では、グラニュラーシンセシスアルゴリズムは、補間アルゴリズムを用いる。これらの実施形態では、補間アルゴリズムを用いて、複数のグレインの第１のグレイン及び第２のグレインは、補間されうる。さらに、特定の実施形態では、グラニュラーシンセシスアルゴリズムは、空間アルゴリズムを用いる。これらの実施形態では、複数のグレインの各グレインは、タッチスクリーンの位置にマップされ、複数のグレインの少なくとも１つのグレインの生成は、タッチスクリーンの対応する位置での入力によりもたらされる。フローは、その後１３３０へ進む。

１３３０では、一又はそれ以上のハプティック効果が生成される。特定の実施形態では、ハプティック信号は、クライドに基づいて生成される。これらの実施形態では、ハプティック信号は、さらに、一又はそれ以上のハプティック効果を生成するためにハプティック出力装置へ送信される。いくつかの実施形態では、ハプティック出力装置は、アクチュエータである。特定の実施形態では、複数のハプティック信号は、クライドに基づいて生成される。これらの実施形態では、複数のハプティック信号は、一又はそれ以上のハプティック効果を生成するために複数のハプティック出力装置へ送信される。フローは、その後終了する。

特定の実施形態では、オーディオデータ、ビデオデータ、テキストデータ、加速度データ、又は他の種類の信号データのような入力は、グラニュラーシンセシスアルゴリズムが入力に適用される前に変更されうる。このような変更は、入力に周波数シフトアルゴリズムを提供することを含みうる。周波数シフトアルゴリズムは、入力の周波数成分を元の周波数範囲からよりハプティックを知覚できる周波数範囲（例えば、０キロヘルツ（“ｋＨｚ”）以上、１ｋＨｚ未満の周波数範囲）へシフトさせうる。代替の実施形態では、ピッチシフトアルゴリズムは、周波数シフトアルゴリズムに代わって使用されうる。周波数シフト及びピッチシフトのいずれの場合にも、周波数成分は、変更される。しかし、周波数シフトでは、信号成分の周波数間での調和関係は維持されないが、一方、ピッチシフトでは、信号成分の周波数間での調和関係は維持される。さらに、特定の実施形態では、入力の変更は、また、入力にフィルタリングアルゴリズムを適用することを含み、フィルタを用いて入力をフィルタする。これらの実施形態のいくつかでは、フィルタリングアルゴリズムは、ハイパスフィルタを用いて入力をハイパスフィルタリングするハイパスフィルタリングアルゴリズムでありうる。グラニュラーシンセシスアルゴリズムは、その後、前述したように、変更された入力に適用されうる。グラニュラーシンセシスアルゴリズムを適用する前に入力を変更することにより、高品質のハプティック効果を出力することができる。

入力の周波数成分をシフトするために用いられうる２つの周波数シフトアルゴリズムは、ここでより詳細に説明される。一実施形態に係る第１の周波数シフトアルゴリズムでは、高速フーリエ変換が入力に実行される。入力は、その後、周波数領域に重ね合わせられる。入力は、その後、時間領域に再び変換される。第１の周波数シフトアルゴリズムは、第１のピッチシフトアルゴリズムにより置換されることができ、ここで、第１のピッチシフトアルゴリズムは、第１の周波数シフトアルゴリズムについて説明したような同一の処理を行う。

第２の周波数シフトアルゴリズムでは、一実施形態において、高速フーリエ変換が入力に実行される。入力の大きさは、その後、周波数領域において増加される。入力は、その後、時間領域に再び変換される。

別の実施形態では、前述の実施形態と同様に、第２の周波数シフトアルゴリズムにおいて高速フーリエ変換が入力に実行される。しかし、この別の実施形態では、特定の範囲の少なくとも１つの周波数は、順次識別される。このような特定された範囲は、例えば、０−５００Ｈｚのようなハプティックを知覚できる周波数範囲でありうる。所望のハプティック出力は、その後、決定される。ここで、所望のハプティック出力は、所望のハプティック出力モードの形式で取られうる。少なくとも１つの適切な重みは、その後、少なくとも１つの識別された周波数に基づいて求められる。少なくとも１つの適切な重みは、さらに、所望のハプティック出力に基づいて求められうる。少なくとも１つの識別された周波数の信号は、その後、少なくとも１つの適切な重みを用いて拡大される。拡大は、異なる周波数に対する異なる重みを含みうる。さらに、拡大は、所望のハプティック出力に基づきうる。出力は、その後、時間領域に再び変換される。

第２の周波数シフトアルゴリズムは、第２のピッチシフトアルゴリズムにより置換されることができ、ここで、第２のピッチシフトアルゴリズムは、第２の周波数シフトアルゴリズムについて説明したような同一の処理を行う。さらに、第１及び第２の周波数シフトアルゴリズムは、周波数シフトアルゴリズムが交互に入れ替わるものであり、第１の周波数シフトアルゴリズム又は第２の周波数シフトアルゴリズムが入力の周波数成分をシフトするために用いられうる。

図１４は、本発明の実施形態に係る、元の出力信号と周波数シフトした信号との対比を示す。より具体的には、図１４は、グラフ１４１０及び１４２０を含む。グラフ１４１０は、元の出力信号のグラフであり、Ｘ軸は、秒単位の時間間隔を示し、ｙ軸は、正規化された大きさを示す。グラフ１４２０は、周波数シフトした信号のグラフであり、Ｘ軸は、秒単位の時間間隔を示し、ｙ軸は、正規化された大きさを示す。図１４のグラフ１４１０に示されるように、大きさは、元の信号の開始点及び終点では０又は０付近であり、よって、元の信号の初めから終わりまでが一定ではない。これは、小さな値によるグレインの生成をもたらす。一方、図１４のグラフ１４２０に示されるように、大きさは、周波数シフト信号の初めから終わりまでがほぼ一定である。これは、グレインの生成をもたらし、各グレインは、十分な値により生成される。

図１５は、本発明の実施形態に係る、元の出力信号のパワースペクトラムを示す。より具体的には、図１５は、グラフ１５１０を含む。グラフ１５１０は、元の出力信号のパワースペクトラムであり、具体的には、周波数が元の出力信号に有しているパワーの位置を識別する。グラフ１５１０に示されるように、パワーは、０−１０ＫＨｚの周波数範囲にほぼ位置する。

図１６は、本発明の実施形態に係る、周波数シフトした信号のパワースペクトラムを示す。より具体的には、図１６は、グラフ１６１０を含む。グラフ１６１０は、周波数シフトした信号のパワースペクトラムを示し、具体的には、周波数が元の出力信号に有しているパワーの位置を識別する。グラフ１６１０に示されるように、パワーは、０−５ＫＨｚの周波数範囲にほぼ位置する。よって、パワーは、信号の周波数シフトにより、０−１０ＫＨｚの周波数範囲から０−５ＫＨｚの周波数範囲に圧縮されている。

図１７は、本発明の実施形態に係る、信号を大きくするための複数の重みを用いた周波数シフトアルゴリズムの説明を示す。この実施形態によれば、図１７は、第２の周波数シフトアルゴリズムの一例である。図１７はグラフ１７１０を含む。グラフ１７１０のｘ軸は、ヘルツ単位の信号の周波数を示す。グラフ１７１０のｙ軸は、電圧単位での大きさ（つまり、振幅スペクトラムの絶対値）を示す。Ｗ_１は、第１の周波数の振幅を拡大するための第１の周波数に加えられる第１の重みを示す。Ｗ_２は、第２の周波数の振幅を拡大するための第２の周波数に加えられる第２の重みを示す。Ｗ_３は、第３の周波数の振幅を拡大するための第３の周波数に加えられる第３の重みを示す。

図１８は、本発明の実施形態に係る、信号を大きくするための複数の重みを用いた周波数シフトアルゴリズムの別の説明を示す。この実施形態によれば、図１８は、第２の周波数シフトアルゴリズムの別の一例である。図１８はグラフ１８１０を含む。グラフ１８１０のｘ軸は、ヘルツ単位の信号の周波数を示す。グラフ１８１０のｙ軸は、電圧単位での大きさ（つまり、振幅スペクトラムの絶対値）を示す。

この実施形態によれば、信号は、電圧ｖ対時間ｔの単位で初めにキャプチャされうる。よって、信号は、電圧対時間の関数又はｖ＝ｑ（ｔ）として表されうる。高速フーリエ変換は、ｑ（ｔ）で実行されることができ、信号を周波数領域にする。高速フーリエ変換の後に得られた信号の一例は、グラフ１８１０に示す信号である。ハプティックを知覚できる周波数範囲内にある一又はそれ以上の周波数成分が識別されうる。図示された実施形態では、これらの識別された周波数成分は、周波数成分ｆ１、ｆ２及びｆ３として識別される。さらに、周波数成分ｆ１、ｆ２及びｆ３に関連付けられる元の振幅は、｜Ｑ１｜，｜Ｑ２｜及び｜Ｑ３｜として識別される。なお、周波数成分ｆ１、ｆ２及びｆ３は、単に、実施形態に図示することを目的としたハプティックを知覚できる周波数範囲として識別される周波数範囲の一例であり、特定の周波数範囲を示すものではない。ハプティックを知覚できる周波数範囲として識別される周波数範囲の一例は、０−５００Ｈｚの範囲である。

この実施形態によれば、周波数成分ｆ１、ｆ２及びｆ３に関連付けられる振幅｜Ｑ１｜，｜Ｑ２｜及び｜Ｑ３｜は、ハプティック強度のような所望のハプティック出力に基づいて選択される異なる因子を有する周波数領域で拡大される。これらの周波数に関連付けられる拡大された更新データは、｜Ｑ１’｜，｜Ｑ２’｜及び｜Ｑ３’｜として識別される。さらに、上述した変更がなされた後に、（周波数領域における）更新された振幅スペクトラム関数は、｜Ｑ’｜として識別され、これは破線として図１８に図示される。

この実施形態によれば、｜Ｑ’｜は、周波数領域から時間領域へ変換され、ｖ’＝ｑ’（ｔ）として識別される。信号ｑ’（ｔ）は、その後、前述したようなハプティック信号を生成するためにグラニュラーシンセシスへの入力として用いられうる。

図１９は、本発明の実施形態に係る、グラニュラーシンセシスを用いる改良されたハプティック変換アルゴリズムのフロー図を示す。特定の実施形態では、図１９の機能は、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）により実装されうる。

フローは開始し、１９１０へ進む。１９１０では、入力が受け付けられる。特定の実施形態では、入力は、オーディオデータを含みうる。オーディオデータは、ＰＣＭフォーマットでエンコードされうる。オーディオデータは、オーディオファイル又はオーディオ信号で記憶されうる。別の実施形態では、入力は、ビデオデータを含みうる。さらに別の実施形態では、入力は、画像データ、テキストデータ又は加速度データのうちの少なくとも１つを含みうる。代替の実施形態では、一又はそれ以上のパラメータは、入力の代わりに受け付けられる。フローは１９２０へ進む。

１９２０では、入力の周波数は、シフトされる。特定の実施形態では、入力の周波数をシフトすることの一部として、高速フーリエ変換が入力に実行されうる。これらの実施形態のいくつかでは、入力は、周波数領域に重ね合わせられうる。代替の実施形態では、特定された範囲の入力の少なくとも１つの周波数が識別されうる。所望のハプティック出力がさらに決定されることができ、少なくとも１つの重みは、少なくとも１つの周波数の振幅を拡大するために、所望のハプティック出力に基づいて少なくとも１つの周波数に加えられうる。入力は、その後、時間領域に再び変換されうる。フローは、その後１９３０へ進む。

１９３０では、入力は、追加でフィルタされる。特定の実施形態では、入力は、ハイパスフィルタを用いてハイパスフィルタされうる。フローは、１９４０へ進む。

１９４０では、グラニュラーシンセシスアルゴリズムは、入力に適用される。特定の実施形態では、グラニュラーシンセシスアルゴリズムの適用により、入力は、複数の波形に分割され、各波形は、入力の少なくとも一部を含む。各波形は、グレインを生成するために包絡線と合成され、複数のグレインは、グラニュラー合成アルゴリズムの適用により生成される。各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び持続期間パラメータを含む。各グレインは、また、密度パラメータを付加的に含む。グレインは、さらに、クラウドを生成するためにグラニュラーシンセシスアルゴリズムの適用により合成され、クラウドは、複数のグレインの表現を含む。代替の実施形態では、各波形は、一又はそれ以上の受信されたパラメータの少なくとも１つのパラメータに基づいて生成される。

特定の実施形態では、グラニュラーシンセシスアルゴリズムは、同期グラニュラーシンセシスアルゴリズムである。これらの実施形態では、グレインは、クラウド内の周期的位置に配置されうる。複数のグレインの各グレイン間の固定された間隔が存在しうる。それに替えて、複数のグレインの各グレイン間に間隔が存在しなくてもよい。それに替えて、グレインは、重ね合わせられうる。代替の実施形態では、グラニュラーシンセシスアルゴリズムは、同期グラニュラーシンセシスアルゴリズムである。これらの実施形態では、グレインは、クラウド内のランダムな位置に配置されうる。複数のグレインの各グレイン間のランダムな間隔が存在しうる。

特定の実施形態では、グラニュラーシンセシスアルゴリズムは、補間アルゴリズムを用いる。これらの実施形態では、補間アルゴリズムを用いて、複数のグレインの第１のグレイン及び第２のグレインは、補間されうる。さらに、特定の実施形態では、グラニュラーシンセシスアルゴリズムは、空間アルゴリズムを用いる。これらの実施形態では、複数のグレインの各グレインは、タッチスクリーンの位置にマップされ、複数のグレインの少なくとも１つのグレインの生成は、タッチスクリーンの対応する位置での入力により始動される。フローは、その後１９５０へ進む。

１９５０では、一又はそれ以上のハプティック効果が生成される。特定の実施形態では、ハプティック信号は、クライドに基づいて生成される。これらの実施形態では、ハプティック信号は、さらに、一又はそれ以上のハプティック効果を生成するためにハプティック出力装置へ送信される。いくつかの実施形態では、ハプティック出力装置は、アクチュエータである。特定の実施形態では、複数のハプティック信号が生成される。これらの実施形態では、複数のハプティック信号は、一又はそれ以上のハプティック効果を生成するために複数のハプティック出力装置へ送信される。フローは、その後終了する。

図２０は、本発明の一実施形態に係る、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）の機能のフロー図を示す。フローは開始し、２０１０へ進む。２０１０では、入力が受け付けられる。特定の実施形態では、入力は、オーディオデータを含みうる。オーディオデータは、ＰＣＭフォーマットでエンコードされうる。オーディオデータは、オーディオファイル又はオーディオ信号で記憶されうる。別の実施形態では、入力は、ビデオデータを含みうる。さらに別の実施形態では、入力は、画像データ、テキストデータ又は加速度データのうちの少なくとも１つを含みうる。フローは２０２０へ進む。

２０２０では、入力の周波数がシフトされる。特定の実施形態では、入力の周波数をシフトすることの一部として、高速フーリエ変換が入力に実行されうる。これらの実施形態のいくつかでは、入力は、周波数領域に重ね合わせられうる。代替の実施形態では、特定された範囲の入力の少なくとも１つの周波数が識別されうる。所望のハプティック出力がさらに決定されることができ、少なくとも１つの重みは、少なくとも１つの周波数の振幅を拡大するために、所望のハプティック出力に基づいて少なくとも１つの周波数に加えられうる。入力は、その後、時間領域に再び変換されうる。特定の実施形態では、２０２０は省略されうる。フローは２０３０へ進む。

２０３０では、入力は、追加でフィルタされる。特定の実施形態では、入力は、ハイパスフィルタを用いてハイパスフィルタされうる。特定の実施形態では、２０３０は省略されうる。フローは２０４０へ進む。

２０４０では、入力は、複数の波形に分割され、各波形は、入力の少なくとも一部を含む。フローは２０５０へ進む。

２０５０では、各波形は、グレインを生成するために包短線と合成され、複数のグレインが生成される。各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び持続期間パラメータを含む。各グレインは、また、密度パラメータを付加的に含む。フローは２０６０へ進む。

２０６０では、グレインは、クラウドを生成するために合成され、クラウドは、複数のグレインを示す。特定の実施形態では、グレインは、クラウド内の周期的位置に配置されうる。複数のグレインの各グレイン間の固定された間隔が存在しうる。それに替えて、複数のグレインの各グレイン間に間隔が存在しなくてもよい。それに替えて、グレインは、重ね合わせられうる。代替の実施形態では、グレインは、クラウド内のランダムな位置に配置されうる。複数のグレインの各グレイン間のランダムな間隔が存在しうる。特定の実施形態では、複数のグレインの第１のグレイン及び第２のグレインは、補間されうる。さらに、特定の実施形態では、複数のグレインの各グレインは、タッチスクリーンの位置のような信号値にマップされ、複数のグレインの少なくとも１つのグレインの生成は、タッチスクリーンの対応する位置での入力のような信号値を含む入力により始動される。フローは２０７０へ進む。

２０７０では、ハプティック信号は、クラウドに基づいて生成される。特定の実施形態では、複数のハプティック信号は、クラウドに基づいて生成される。フローは２０８０へ進む。

２０８０では、ハプティック信号は、さらに、一又はそれ以上のハプティック効果を生成するためにハプティック出力装置へ送信される。これらの実施形態のいくつかでは、ハプティック出力装置は、アクチュエータである。実施形態では、複数のハプティック信号が生成され、複数のハプティック信号は、一又はそれ以上のハプティック効果を生成するために複数のハプティック出力装置へ送信される。フローはその後終了する。

図２１は、本発明の別の実施形態に係る、ハプティック変換モジュール（例えば、図１のハプティック変換モジュール１６）の機能の別のフロー図を示す。２１１０では、一又はそれ以上のパラメータが受け付けられる。２１２０では、複数の波形は、一又はそれ以上のパラメータに基づいて生成される。２１３０では、各波形は、グレインを生成するために包絡線と合成され、複数のグレインが生成される。２１４０では、グレインは、クラウドを生成するために合成され、クラウドは、複数のグレインを示すものである。２１５０では、ハプティック信号は、クラウドに基づいて生成される。２１６０では、ハプティック信号は、さらに、一又はそれ以上のハプティック効果を生成するためにハプティック出力装置へ送信される。

よって、オーディオデータのような入力を受け付けることができ、グラニュラーシンセシスアルゴリズムを用いた入力に基づいてハプティック効果を生成できるシステムが提供される。システムは、さらに、グラニュラーシンセシスアルゴリズムにより生成されるハプティック効果の質を向上させるために、入力の周波数をシフトする（さらに可能であれば入力をフィルタする）ことにより入力を変更させることができる。よって、システムは、表面に指を動かすような感覚を提供するハプティックテクスチャのような、より“本質的”かつ“真正な”ハプティック効果を提供できる。さらに、ユニークなハプティック効果は、紙にマーカーを引く音、紙に万年筆を引く音及び紙に鉛筆を引く音のような特定の記録された音のために生成されうる。さらに、音の周波数成分は、よりハプティックを知覚できるハプティック効果を必要とする周波数範囲にシフトされることができる。よって、システムは、入力に基づいて生成されたハプティック効果の質を向上させることができる。

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

Claims (15)

1. 入力を一又はそれ以上のハプティック効果に変換するコンピュータ実装方法であって、
   前記入力を受け付けるステップと、
   前記入力を複数の波形に分割するステップであって、各波形は、前記入力の少なくとも一部を含む、ステップと、
   グレインを生成するために前記各波形を包絡線と合成するステップであって、複数のグレインが生成され、各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び持続期間パラメータを含み、前記複数のグレインの少なくとも１つは、タッチスクリーン上の位置を示す信号値を含むセンサ信号により生成される、ステップと、
   タッチスクリーン上の入力圧力に応じて前記一又はそれ以上のハプティック効果の大きさを変調するステップと、
   クラウドを生成するために前記複数のグレインを合成するステップであって、前記クラウドは、前記複数のグレインの表現を含む、ステップと、
   前記クラウドに基づいて前記一又はそれ以上のハプティック効果を生成するステップと、を含む方法。
2. 前記複数のグレインの第１のグレイン及び第２のグレインを補間するステップをさらに含む請求項１に記載の方法。
3. 前記複数のグレインの各グレインは、前記タッチスクリーン上の前記位置を示す信号値にマップされ、
   前記複数のグレインの少なくとも１つのグレインの生成は、前記タッチスクリーン上の前記位置を示す前記信号値を含む前記センサ信号により始動される、請求項１に記載の方法。
4. 前記入力の周波数をシフトするステップをさらに含む請求項１に記載の方法。
5. 前記入力の周波数をシフトするステップは、
   前記入力に高速フーリエ変換を実行するステップと、
   前記入力を変更するステップと、
   変更した前記入力を時間領域に変換するステップと、をさらに含む請求項４に記載の方法。
6. 前記入力を変更するステップは、前記入力を周波数領域に重ね合わせるステップをさらに含む請求項５に記載の方法。
7. 前記入力を変更するステップは、
   特定の範囲における前記入力の少なくとも１つの周波数を識別するステップと、
   所望のハプティック出力を決定するステップと、
   前記所望のハプティック出力に基づいて前記少なくとも１つの周波数に少なくとも１つの重みを加えるステップと、をさらに含む請求項５に記載の方法。
8. 前記一又はそれ以上のハプティック効果を生成するステップは、
   前記クラウドに基づいてハプティック信号を生成するステップと、
   前記一又はそれ以上のハプティック効果を生成するために前記ハプティック信号をハプティック出力装置へ送信するステップと、をさらに含む請求項１に記載の方法。
9. 前記入力は、オーディオデータ、ビデオデータ、画像データ、テキストデータ又は加速度データのうちの少なくとも１つを含む請求項１に記載の方法。
10. 前記一又はそれ以上のハプティック効果を生成するステップは、
    前記クラウドに基づいて複数のハプティック信号を生成するステップと、
    前記一又はそれ以上のハプティック効果を生成するために前記複数のハプティック信号を複数のハプティック出力装置へ送信するステップと、をさらに含む請求項１に記載の方法。
11. 入力を一又はそれ以上のハプティック効果に変換するシステムであって、
    ハプティック変換モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶される前記ハプティック変換モジュールを実行するように構成されるプロセッサと、を備え、
    前記ハプティック変換モジュールは、前記入力を受け付けるように構成され、
    前記ハプティック変換モジュールは、さらに前記入力を複数の波形に分割するように構成され、各波形は、前記入力の少なくとも一部を含み、
    前記ハプティック変換モジュールは、さらにグレインを生成するために前記各波形を包絡線と合成するように構成され、複数のグレインが生成され、各グレインは、振幅パラメータ、波形パラメータ、包絡線パラメータ及び持続期間パラメータを含み、前記複数のグレインの少なくとも１つは、タッチスクリーン上の位置を示す信号値を含むセンサ信号により生成され、
    前記ハプティック変換モジュールは、タッチスクリーン上の入力圧力に応じて前記一又はそれ以上のハプティック効果の大きさを変調するようにさらに構成され、
    前記ハプティック変換モジュールは、さらにクラウドを生成するために前記複数のグレインを合成するように構成され、前記クラウドは、前記複数のグレインの表現を含み、
    前記ハプティック変換モジュールは、さらに前記クラウドに基づいて前記一又はそれ以上のハプティック効果を生成するように構成される、システム。
12. 前記ハプティック変換モジュールは、さらに前記複数のグレインの第１のグレイン及び第２のグレインを補間するように構成される請求項１１に記載のシステム。
13. 前記複数のグレインの各グレインは、前記タッチスクリーン上の前記位置を示す信号値にマップされ、
    前記複数のグレインの少なくとも１つのグレインの生成は、前記タッチスクリーン上の前記位置を示す前記信号値を含む前記センサ信号により始動される、請求項１１に記載のシステム。
14. 前記ハプティック変換モジュールは、さらに前記入力の周波数をシフトするように構成される請求項１１に記載のシステム。
15. プロセッサにより実行されたときに、請求項１から１０のいずれか一項に記載の方法を実行させる命令を有するコンピュータ可読媒体。