JP6595686B2 - ハプティック効果の自動適合 - Google Patents

ハプティック効果の自動適合 Download PDF

Info

Publication number
JP6595686B2
JP6595686B2 JP2018188838A JP2018188838A JP6595686B2 JP 6595686 B2 JP6595686 B2 JP 6595686B2 JP 2018188838 A JP2018188838 A JP 2018188838A JP 2018188838 A JP2018188838 A JP 2018188838A JP 6595686 B2 JP6595686 B2 JP 6595686B2
Authority
JP
Japan
Prior art keywords
haptic
source data
templates
template
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018188838A
Other languages
English (en)
Other versions
JP2019003700A (ja
Inventor
クリストファー ジェイ． ウルリッチ
ダニー グラント
ビクター アーロン ヴィエガス
ユアン マヌエル クルス−エルナンデス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019003700A publication Critical patent/JP2019003700A/ja
Application granted granted Critical
Publication of JP6595686B2 publication Critical patent/JP6595686B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/424—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving acoustic input signals, e.g. by using the results of pitch or rhythm extraction or voice recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Description

一実施形態は、一般的にハプティック効果に関するものであり、特に、他の関連する出力と関連付けられたハプティック効果を生成するデバイスに関するものである。
ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。
デバイスは、ハプティック効果が他のコンテンツに組み込まれるように、ハプティック効果の出力をゲーム又は他のメディアのような他のコンテンツの出力と調整するように構成されうる。例えば、ゲームコンテンツでは、ゲームが開発されるとき、オーディオエフェクトデベロッパーは、ゲームと関連付けられるオーディオ効果を開発し、マシンガンの発射、爆発又は車の衝突等のようなゲーム内で生じるアクションを表現することができる。通常、ハプティック効果は、ゲームデベロッパーがゲームアプリケーションの開発を完了した又はゲームデベロッパーが完成したゲームアプリケーションを新たなプラットフォームに移植するときのような、ゲームの開発工程の終盤でゲームに追加される。これは、通常、全てのオーディオ効果が開発された後に、ハプティック効果が加えられるという事実をもたらす。ハプティック効果が通常、工程のかなり後半で加えられるため、一般的に、ハプティック効果デベロッパー又はいくつかの他のデベロッパーにハプティック効果をオーディオ効果に関連付けることについての決定させることになる。さらに、オーディオ効果デベロッパーは、通常、オーディオ効果についての適切なハプティック効果の選択に関する入力を有していない。これは、最終的にコンテンツに組み込まれるハプティック効果の質の低下の一因となりうる。この品質低下は、高品質なハプティック効果をこのようなコンテンツへ組み込むための障壁となりうる。
一実施形態は、ハプティック効果を自動で適合するシステムである。前記システムは、ソースデータを受信し、前記ソースデータは、一又はそれ以上の特性を含む。前記システムは、さらに、前記ソースデータを一又はそれ以上のハプティックプリミティブと比較し、前記一又はそれ以上のハプティックプリミティブの各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含む。前記システムは、さらに、前記比較に基づいて、前記一又はそれ以上のハプティックプリミティブから前記一又はそれ以上のハプティックプリミティブを選択する。前記システムは、さらに、選択された一又はそれ以上のハプティックプリミティブに基づいて、一又はそれ以上のハプティック効果を出力する。
別の実施形態は、ハプティック効果を自動的に適合するシステムである。前記システムは、ソースデータを受信し、前記ソースデータは、一又はそれ以上の特徴を含む。前記システムは、さらに、前記ソースデータから一又はそれ以上の特徴を抽出する。前記システムは、さらに、一又はそれ以上の抽出された特徴を一又はそれ以上のテンプレートと比較し、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含む。前記システムは、さらに、前記比較に基づいて、前記一又はそれ以上のテンプレートから一又はそれ以上のテンプレートを選択する。前記システムは、さらに、一又はそれ以上の選択されたテンプレートから前記一又はそれ以上のハプティック効果を選択する。前記システムは、さらに、一又はそれ以上の選択されたハプティック効果を出力する。
添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。
図１は、本発明の一実施形態に係るシステムのブロック図を示す。 図２は、ハプティック効果を生成及びプレイするためのフレームワークのフロー図を示す。 図３は、本発明の一実施形態に係る、オーディオソースデータに最も類似するハプティックプリミティブの選択のフロー図を示す。 図４は、本発明の一実施形態に係る、抽出されたオーディオ特徴に基づいてオーディオ特徴抽出及びハプティック効果の選択についてのフロー図を示す。 図５は、本発明の一実施形態に係る、自動的ハプティック効果適合モジュールの機能についてのフロー図を示す。 図６は、本発明の別の実施形態に係る、自動的ハプティック効果適合モジュールの機能についてのフロー図を示す。
一実施形態は、オーディオソースデータのような与えられたソースデータで一又はそれ以上のハプティック効果を自動的に生成することができるシステムである。すなわち、前記システムは、受信されたソースデータをハプティック情報へ自動的に変換することができ、受信されたソースデータは、オーディオデータ、ビデオデータ、加速度データ、又はセンサによりキャプチャされうる他のタイプのデータを含みうる。より具体的には、前記システムは、ソースデータを分析し、ソースデータに最も類似する一又はそれ以上のハプティック効果を識別することができる。そして、前記システムは、識別された一又はそれ以上のハプティック効果をソースデータに適合することができる。前記システムは、続いて、識別された一又はそれ以上のハプティック効果を出力することができる。ソースデータは、ストレージに記憶されることができ、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、読み出される。それに替えて、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、ストリームされてもよい。
一実施形態では、前記システムは、ソースデータと最も類似する一又はそれ以上のハプティックプリミティブ（以下に詳細を説明する）を識別することができる。前記システムは、その後、一又はそれ以上のハプティックプリミティブを選択し、一又はそれ以上のハプティックプリミティブに基づいて一又はそれ以上のハプティック効果を出力することができる。前記システムは、追加で、ソースデータに最も類似する一又はそれ以上のハプティックプリミティブを最適化することができる。別の実施形態では、前記システムは、ソースデータに最も類似する一又はそれ以上のテンプレートを識別することができる。前記システムは、その後、一又はそれ以上のテンプレートに関連付けられる一又はそれ以上のハプティック効果を選択し、一又はそれ以上の選択されたハプティック効果を出力することができる。前記システムは、追加で、ソースデータに最も類似する一又はそれ以上の選択されたハプティック効果を最適化することができる。ソースデータは、ストレージに記憶されることができ、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、読み出される。それに替えて、ソースデータは、ソースデータがハプティック情報へ自動的に変換される前に、ストリームされてもよい。
よって、実施形態によれば、ビデオゲーム又は他のタイプのメディアのようなコンテンツが出力され、当該コンテンツは、オーディオデータ、ビデオデータ、又は加速度データのようなデータを含み、前記システムは、一又はそれ以上のハプティック効果をコンテンツに自動的に追加し、各ハプティック効果は、コンテンツの対応するデータを“適合（ｆｉｔ）”する。よって、既存のコンテンツが出力されるとき、ハプティックコンテンツは、既存のコンテンツに自動的に加えられることができ、ハプティックコンテンツは、既存のコンテンツに適合する。
図１は、本発明の一実施形態に係るシステム１０のブロック図を示す。一実施形態では、システム１０は、装置の一部分であり、システム１０は、装置のためにハプティック適合機能を提供する。別の実施形態では、システム１０は、装置とは別々であり、当該装置に対して自動ハプティック効果適合機能を遠隔的に提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。
コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。
一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態の装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、さらに、以下に詳細を説明するようなハプティック効果を自動的に適合する自動ハプティック効果適合モジュール１６を含む。特定の実施形態では、自動ハプティック効果適合モジュール１６は、複数のモジュールを含み、個々のモジュールそれぞれは、ハプティック効果を自動的に適合する特定の個別の機能を提供する。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）のような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。
システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。
プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。プロセッサ２２は、さらに、ユーザがシステム１０とやり取りを可能にするマウス又はスタイラスのようなキーボード又はカーソルコントロール２８と接続されてもよい。
システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、生成されたハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６に送信し、次に、例えば振動触覚効果、静電気摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力する。アクチュエータ２６は、アクチュエータ回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ（“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。別の実施形態では、システム１０は、アクチュエータ２６に加えて、一又はそれ以上の別のアクチュエータ（図１には図示せず）を含みうる。アクチュエータ２６は、ハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して、振動触覚ハプティック効果、静電摩擦ハプティック効果又は変形ハプティック効果のようなハプティック効果を出力するように構成される装置である。別の実施形態では、アクチュエータ２６は、いくつかの他のタイプのハプティック出力装置により置き換えられうる。さらに、別の実施形態では、システム１０は、アクチュエータ２６を含まなくてもよく、システム１０から離れた装置がアクチュエータを含む、又はハプティック効果を生成する他のハプティック装置及びシステム１０は、通信装置２０を介してハプティック信号を装置へ送信する。
システム１０は、データベース３０に動作可能に接続されることができ、データベース３０は、モジュール１６及び１８により使用されるデータを記憶するように構成されうる。データベース３０は、オペレーショナルデータベース、アナリティカルデータベース、データウェアハウス、分散型データベース、エンドユーザデータベース、外部データベース、ナビゲーションデータベース、イン‐メモリデータベース、ドキュメント指向データベース、リアルタイムデータベース、リレーショナルデータベース、オブジェクト指向データベース、又はこの技術分野で知られている他のデータベースでありうる。
一実施形態では、システム１０は、さらに、一又はそれ以上のスピーカ３２を含む。プロセッサ２２は、スピーカ３２へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ３２は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。
システム１０は、一実施形態では、さらに、センサ３４を含む。センサ３４は、エネルギーの形態、又は加速度、生体信号、距離、流量、力／圧力／歪み／曲げ、湿度、線形位置、向き／傾き、無線周波数、回転位置、回転速度、スイッチの切り替え、温度、振動又は可視光強度のような他の物理的な特性を検出するように構成されうるが、これに限定されない。センサ３４は、さらに、検出したエネルギー又は他の物理的な特性を、電気信号又は仮想センサ情報を示す他の信号に変換するように構成されうる。センサ３４は、加速度計、心電図、脳波図、筋電計、眼電図、エレクトロパラトグラフ、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバーセンサ、屈曲センサ（又は曲げセンサ）、力検知抵抗、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、小型圧力トランスデューサー、圧電センサ、歪みゲージ、湿度計、リニアポジションタッチセンサ、リニアポテンショメータ（又はスライダー）、線形変数差動変圧器、コンパス、傾斜計、磁気タグ（又は無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オン‐オフスイッチ、温度センサ（例えば、サーモメータ、熱電対、抵抗温度検出器、サーミスタ又は温度変換集積回路）、マイクロホン、フォトメータ、高度計、生物学的モニター又は光依存性抵抗のような装置であり得るが、これに限定されない。
図２は、本発明の一実施形態に係るハプティック効果を生成及び出力するフレームワークのフロー図を示し、ハプティック効果は、オーディオ入力に基づいて生成される。一実施形態では、図２の機能と共に、図３、４、５及び６の機能が、それぞれ、メモリ又は別のコンピュータ可読媒体又は有形媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、各機能は、（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等を通じて）ハードウェアにより実行されてもよく、又はハードウェアとソフトウェアとの組み合わせで実行されてもよい。また、別の実施形態では、各機能は、アナログ要素を用いてハードウェアにより実行されてもよい。
図２は、オーディオソースデータ２１０を示す。実施形態によれば、オーディオソースデータ２１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ２１０内に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかに記憶されるオーディオデータでありうる。別の実施形態では、オーディオソースデータ２１０は、オーディオファイル又はオーディオ信号により置換されうる。別の実施形態では、オーディオソースデータ２１０内に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。また、図示された実施形態では、オーディオソースデータ２１０は、パルスコードモデュレーション（“ＰＣＭ”）フォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ２１０は、また、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（“ＭＩＤＩ”）フォーマット又はＭＰＥＧ−２ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ （“ＭＰ３”）フォーマットのような別のタイプのフォーマットでエンコードされることもできる。また、オーディオソースデータ２１０が別のタイプのフォーマットでエンコードされる実施形態では、オーディオソースデータ２１０は、ＰＣＭフォーマットにデコードされうるオーディオデータを含みうる。さらに、これらの実施形態では、オーディオソースデータ２１０は、以下に詳細を説明するような、オーディオソースデータ２１０に基づいてハプティック効果を生成することに用いられうるデコードされないデータも含みうる。例えば、オーディオソースデータ２１０がＭＰ３フォーマットでエンコードされた場合、オーディオソースデータ２１０は、オーディオデータ用の一又はそれ以上のフーリエ係数を含むことができ、ここで一又はそれ以上のフーリエ係数は、オーディオソースデータ２１０に基づいてハプティック効果を生成するために直接用いられうる。別の実施例のように、オーディオソースデータ２１０がＭＩＤＩフォーマットでエンコードされた場合、オーディオソースデータ２１０は、オーディオソースデータ２１０に基づいてハプティック効果を生成するために直接用いられうるオーディオデータについてのメタデータの既存のセットを含むことができる。このようなメタデータは、オーディオデータをキャプチャするセンサの位置又は方向のような、オーディオデータのソースに関連するメタデータを含むことができる。このようなメタデータは、以下に詳細を説明するような、オーディオソースデータ２１０に基づいてハプティック効果を生成するためのマッチングアルゴリズムにより用いられうる。
さらに、別の実施形態では、オーディオソースデータ２１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような別のタイプのソースデータにより置き換えられうる。別のタイプのソースデータの一例は、センサによりキャプチャされうるデータを含むソースデータである。また、いくつかの実施形態では、オーディオソースデータ２１０は、マルチモデルデータを含むソースデータにより置き換えられうる（つまり、２又はそれ以上のモデル又はオーディオデータ及びビデオデータのようなタイプ）。
２２０では、ソースデータ２１０は、ハプティックデータ又はハプティックストリームのようなハプティック情報に自動的に変換される。実施形態によれば、ハプティック情報は、デバイスにより出力されうる単一のハプティック効果又は複数のハプティック効果のいずれかを含みうる。特定の実施形態では、図３について以下に詳細に説明するように、オーディオソースデータ２１０は、オーディオソースデータ２１０をハプティックプリミティブのセットと比較し、オーディオソースデータ２１０である又はオーディオソースデータ２１０に最も類似する少なくとも１つのハプティックプリミティブを選択することにより、ハプティック情報に自動的に変換されうる。別の実施形態では、図４について以下に詳細に説明するように、オーディオソースデータ２１０は、オーディオソースデータ２１０をテンプレートのセットと比較し、オーディオソースデータ２１０と最も類似する少なくとも１つのテンプレートを選択し、少なくとも１つのテンプレートに関連付けられた少なくとも１つのハプティック効果を選択することにより、ハプティック情報に自動的に変換されうる。
２３０では、２２０で生成されたハプティック情報がエンコードされうる。ハプティック情報は、当業者にとって既知のハプティックエンコード技術に基づいてエンコードされうる。例えば、ハプティック情報は、ハプティック効果信号を用いてエンコードされうる。ハプティック効果信号は、ディスク、メモリ又は他のコンピュータ可読ストレージ媒体に順次存続されうる。別の実施例のように、ハプティック情報は、ハプティック効果ファイルを用いてエンコードされうる。ハプティック効果ファイルは、多くの異なるフォーマットの１つを有することができる。特定の実施形態では、ハプティック効果ファイルは、Ｉｍｍｅｒｓｉｏｎ Ｖｉｂｒａｔｉｏｎ Ｓｏｕｒｃｅ （“ＩＶＳ”）ハプティック効果ファイルのようなｅｘｔｅｎｓｉｂｌｅ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ （“ＸＭＬ”）フォーマットを有することができる。特定の実施形態では、ハプティック効果ファイルは、Ｉｍｍｅｒｓｉｏｎ Ｖｉｂｒａｔｉｏｎ Ｔａｒｇｅｔ （“ＩＶＴ”）ハプティック効果ファイルのようなバイナリフォーマットを有することができる。２３０でエンコードされたハプティック情報は、さらに、コンピュータアプリケーションで使用される一又はそれ以上のアセットアーカイブで圧縮及び／又はインクルードされうる。
２４０では、２３０においてエンコードされたハプティック情報がデコードされうる。ハプティック情報は、当業者にとって既知のハプティックデコード技術に基づいてデコードされうる。ハプティック情報をデコードすることにより、ハプティック情報は、ハプティック効果信号又はハプティック効果ファイルのようなエンコードされたフォーマットから、解釈されうるフォーマットへ変換されることができ、単一のハプティック効果又は複数のハプティック効果は、ハプティック情報に基づいて出力されることができる。
２５０では、２４０でデコードされたハプティック情報が出力されうる。ハプティック情報は、当業者にとって既知のハプティック出力技術に基づいて出力されうる。例えば、ハプティック情報は、モバイルデバイス、ゲームパッド又はウェアラブルデバイスによって出力されうる単一のハプティック効果又は複数のハプティック効果の形態で出力されうる。また、ハプティック効果は、振動、変形、静電感覚又は運動感覚のような任意のタイプのハプティックフィードバックを生成しうる。アクチュエータのような単一のハプティック効果生成器がハプティック効果を出力するために用いられうる、又は複数のハプティック効果生成器が用いられうる。よって、この実施形態では、オーディオソースデータ２１０から生成された任意のハプティック効果は、後の使用のためにエンコード及び存続されうる。しかし、別の実施形態では、単一のハプティック効果又は複数のハプティック効果は、オーディオソースデータ２１０から生成され、リアルタイムで出力されることができる。
図３は、本発明の一実施形態に係る、オーディオソースデータに最も類似するハプティックプリミティブの選択のフロー図を示す。図３は、オーディオソースデータ３１０を示す。実施形態によれば、オーディオソースデータ３１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ３１０内に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかに記憶されるオーディオデータでありうる。別の実施形態では、オーディオソースデータ３１０内に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。さらに、図示された実施形態では、オーディオソースデータ３１０は、ＰＣＭフォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ３１０は、ＭＩＤＩフォーマット又はＭＰ３フォーマットのような別のフォーマットでエンコードされてもよい。さらに、別の実施形態では、オーディオソースデータ３１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような別のタイプのソースデータにより置き換えられうる。別のタイプのソースデータの一例は、センサによりキャプチャされうるデータを含むソースデータである。また、いくつかの実施形態では、オーディオソースデータ３１０は、マルチモデルデータを含むソースデータにより置き換えられうる。
また、オーディオソースデータ３１０は、特性を含みうる。オーディオソースデータ３１０の特性は、オーディオ信号に記憶されるオーディオデータの物理特性のようなオーディオソースデータ３１０の物理特性であり、ここでオーディオソースデータ３１０は、オーディオ信号に記憶されるデータ又はオーディオファイルに記憶されるオーディオデータの物理特性を含み、オーディオソースデータ３１０は、オーディオファイルに記憶されるデータを含む。オーディオソースデータ３１０の特定された特性のサブセットは、重要な特性として分類されうる。オーディオソースデータ３１０の重要な特性の例は、振幅、周波数、持続時間、包絡線、密度、大きさ及び強度を含みうる。特性は数値を含むことができ、数値は、オーディオソースデータ３１０の特性を定義しうる。
図３は、ハプティックプリミティブセット３２０をさらに示し、ハプティックプリミティブセット３２０は、ハプティックプリミティブを含む。ハプティックプリミティブは、生成されうるハプティック効果の定義である。例えば、ハプティックプリミティブは、持続期間が５０ミリ秒（“ｍｓ”）、１０ｍｓのアタック（ａｔｔａｃｋ）部分、５ｍｓのサステイン（ｓｕｓｔａｉｎ）部分、及び８ｍｓのデケイ（ｄｅｃａｙ）部分を有する周期的なハプティック効果の定義を含むことができる。特定の実施形態では、ハプティックプリミティブセット３２０は、単一のハプティックプリミティブを含みうる。ハプティック効果の定義の一部分として、ハプティックプリミティブは、さらに、ハプティックパラメータを付加的に含むことができ、ここでハプティックパラメータは、ハプティック効果を生成するために用いられるハプティック信号を定義することができるパラメータであり、よって、生成されうるハプティック効果もまた定義することができる。特定の実施形態では、ハプティックプリミティブは、単一のハプティックパラメータを含みうる。より具体的には、ハプティックパラメータは、大きさ、周波数、持続時間、大きさ、強度、包絡線、密度又は任意の他の種類の定量化可能なハプティックパラメータのようなハプティック効果の質の数量である。実施形態によれば、ハプティック効果は、一又はそれ以上のハプティックパラメータにより、少なくとも部分的に定義されることができ、ここで一又はそれ以上のハプティックパラメータは、ハプティック効果の特性を定義しうる。ハプティックパラメータは、数値を含むことができ、数値は、ハプティック信号の特性を定義することができ、よって、ハプティック信号により生成されるハプティック効果の特性も定義することができる。よって、ハプティックプリミティブセット３２０の各ハプティックプリミティブは、一又はそれ以上の数値を含むことができ、一又はそれ以上の数値は、ハプティック効果をパラメータ化できる。ハプティックパラメータの例は、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続期間ハプティックパラメータ、包絡線ハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータ、及び強度ハプティックパラメータを含むことができる。
実施形態によれば、振幅ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の振幅を定義することができ、よって、ハプティック効果の振幅を定義することができる。周波数ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の周波数を定義することができ、よって、ハプティック効果の周波数を定義することができる。持続期間ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の持続期間を定義することができ、よって、ハプティック効果の持続期間を定義することができる。包絡線ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の包絡線を定義することができ、よって、ハプティック効果の包絡線を定義することができる。密度ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の密度を定義することができ、よって、ハプティック効果の密度を定義することができる。大きさハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の大きさを定義することができ、よって、ハプティック効果の大きさを定義することができる。強度ハプティックパラメータは、ハプティック効果を生成するために用いられうるハプティック信号の強度を定義することができ、よって、ハプティック効果の強度を定義することができる。
図３は、入力としてのオーディオソースデータ３１０及びハプティックプリミティブセット３２０を受信するマッチングアルゴリズム３３０を示す。実施形態によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０をハプティックプリミティブセット３２０に含まれる各ハプティックプリミティブと比較し、オーディオソースデータ３１０に最も類似するハプティックプリミティブセット３２０の一又はそれ以上のハプティックプリミティブを選択することができるアルゴリズムである。特定の実施形態では、以下に詳細に説明するように、マッチングアルゴリズム３３０は、また、追加的に、オーディオソースデータ３１０とより類似するように、ハプティックプリミティブセット３２０の選択された一又はそれ以上のハプティックプリミティブを最適化することができる。
実施形態によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の複数の重要な特性（又は単一の重要な特性）を初めに識別しうる。さらに、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、マッチングアルゴリズム３３０は、複数のハプティックパラメータ（又は単一のハプティックパラメータ）を識別しうる。マッチングアルゴリズム３３０は、さらに、各ハプティックプリミティブのハプティックパラメータを、オーディオソースデータ３１０の重要な特性と比較することができる。ハプティックパラメータを重要な特性と比較することにより、マッチングアルゴリズム３３０は、ハプティックパラメータが、重要な特性とどのように類似するか判定することができる。各ハプティックプリミティブのハプティックパラメータをオーディオソースデータ３１０の重要な特性と比較する際に、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の重要な特性に対応する各ハプティックプリミティブについてのハプティックパラメータを識別することができ、さらに、識別された重要な特性を対応する識別されたハプティックパラメータと比較することができる。例えば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の振幅特性を識別することができ、さらに、ハプティックプリミティブセット３２０のハプティックプリミティブの振幅ハプティックパラメータを識別することができる。マッチングアルゴリズム３３０は、その後、識別された振幅特性及び対応する識別された振幅ハプティックパラメータをさらに比較することができる。
重要な特性を対応するハプティックパラメータと比較する際に、マッチングアルゴリズム３３０は、重要な特性の値を対応するハプティックパラメータの値と比較することができる。ハプティックパラメータの値を対応する重要な特性と比較することにより、マッチングアルゴリズム３３０は、ハプティックパラメータの値が、重要な特性の値とどのように類似するか判定することができる。マッチングアルゴリズム３３０は、その後、複数のハプティックプリミティブ（又は単一のハプティックプリミティブ）を、ハプティックパラメータの値がオーディオソースデータ３１０の重要な特性の値と最も類似するハプティックプリミティブセット３２０から選択することができる。
マッチングアルゴリズム３３０は、単一のハプティックプリミティブ（又は複数のハプティックプリミティブ）がオーディオソースデータ３１０と最も類似するかどうかを判定するために任意の比較基準を使用することができる。より具体的には、マッチングアルゴリズム３３０は、特定の判定プリミティブについてのハプティックパラメータが、オーディオソースデータ３１０の重要な特性と最も類似するかどうかを判定するために、任意の比較基準を使用することができる。実施例として、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、オーディオソースデータ３１０のそれらの対応する重要な特性の値と等しい値のハプティックパラメータの数値を判定し、オーディオソースデータ３１０のそれらの対応する重要な特性の値と等しい値の最も大きなハプティックパラメータの値を含むハプティックプリミティブを選択することができる。別の実施例として、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０の各ハプティックプリミティブについて、各ハプティックパラメータの値とオーディオソースデータ３１０のその対応する特性の値との偏差を算出し、ハプティックプリミティブに対する平均又は総偏差を算出し、さらに、最も低い平均又は総偏差でハプティックプリミティブを選択することができる。これらの比較基準は単なる実施例であり、別の実施形態では、マッチングアルゴリズム３３０は、単一のハプティックプリミティブ（又は複数のハプティックプリミティブ）がオーディオソースデータ３１０に最も類似するかを判定するために別の比較基準を用いることができる。さらに、マッチングアルゴリズム３３０は、ハプティックプリミティブセット３２０（各ハプティックプリミティブの各ハプティックパラメータを含む）の全てのハプティックプリミティブに亘って比較基準を最大化又は最小化するために最適化アルゴリズムを用いることができる。このような最適化アルゴリズムの実施例は、関連技術の当業者によって明示的に理解される。
一実施形態では、前述したように、マッチングアルゴリズム３３０は、追加でハプティックプリミティブセット３２０の選択された複数のハプティックプリミティブ（又は選択された単一のハプティックプリミティブ）を最適化することができる。実施形態によれば、各選択されたハプティックプリミティブを最適化することにより、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の対応する特性の値とより類似する各選択されたハプティックプリミティブの単一のハプティックパラメータ（又は複数のハプティックパラメータ）の値を調整することができる。値の調整は、上方調整又は下方調整でありうる。これは、ハプティックプリミティブセット３２０の各選択されたハプティックプリミティブのハプティックパラメータの微調整を行うことができる。ハプティックパラメータの微調整は、各選択されたハプティックプリミティブがオーディオソースデータ３１０により類似するように、ハプティックプリミティブセット３２０の各選択されたハプティックプリミティブを微調整することができる。
図３は、順序化されたハプティックプリミティブセット３４０を示し、順序化されたハプティックプリミティブセット３４０は、マッチングアルゴリズム３３０により生成された出力である。実施形態によれば、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブのセット（つまり、ハプティックプリミティブ１、ハプティックプリミティブ２，．．．ハプティックプリミティブＭ）を含み、ここでハプティックプリミティブは、ハプティックプリミティブがどのようにオーディオソースデータ３１０に類似しているかに基づいて順序付けられる。特定の実施形態では、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブセット３２０内に含まれる全てのハプティックプリミティブを含む。別の実施形態では、順序化されたハプティックプリミティブセット３４０は、ハプティックプリミティブセット３２０内に含まれるハプティックプリミティブのみを含むマッチングアルゴリズム３３０が、オーディオソースデータ３１０に最も類似するとして識別する（つまり、ハプティックプリミティブのハプティックパラメータの値がオーディオソースデータ３１０の特性の値に最も類似するハプティックプリミティブ）。特定の実施形態では、マッチングアルゴリズム３３０は、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブにスコアを割り当てることができ、ここでスコアは、各ハプティックプリミティブがオーディオソースデータ３１０にどのように類似するか識別する。よって、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブは、ハプティックプリミティブセット３２０から選択され、その割り当てられたスコアに基づいて順序付けられることができる。一又はそれ以上のハプティック効果は、順序化されたハプティックプリミティブセット３４０の各ハプティックプリミティブから順次生成されうる。一又はそれ以上のハプティック効果は、その後、送信、記憶又は放送されうる。その後、一又はそれ以上のハプティック効果は、出力されることができる。別の実施形態では、一又はそれ以上のハプティック効果は、それらが生成された後に出力されることができる。
ここで、オーディオソースデータに最も類似するハプティックプリミティブを選択することの一例が説明される。この例では、オーディオソースデータ３１０は、ビデオゲームでショットガンを発射することに関連付けられたオーディオファイル内に記憶されたデータを含むことができ、オーディオソースデータ３１０に含まれるこのデータは、ｗａｖｅｆｏｒｍ ａｕｄｉｏ ｆｉｌｅ ｆｏｒｍａｔ （“ＷＡＶ”）で記憶される。マッチングアルゴリズム３３０は、オーディオソースデータ３１０を処理し、持続時間、周波数、成分及び／又は包絡線のようなオーディオソースデータ３１０の特性を判定することができる。これらのパラメータにより、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最も適合するか判定するために、ハプティックプリミティブセット３２０内に記憶されたハプティックプリミティブのセットを評価することができる。オーディオソースデータ３１０がガンショットのオーディオ効果に関連付けられたオーディオデータを含むこの例では、持続期間が短く、大きさの包絡線は、２つの異なるパーツ（例えば、銃撃のエコーの長い包絡線に続くインパルス状の大きな音）を特徴付け、この２つの異なるパーツは、特徴的な周波数成分を含む。オーディオが、順次プレイされる又はいくつかが重複する２又はそれ以上のハプティックプリミティブと最も適合する実施形態では、マッチングアルゴリズム３３０は、オーディオソースデータ３１０を区分し、良好な適合を識別するために、オーディオソースデータ３１０の区分で反復しうる。
実施例によれば、ハプティックプリミティブセット３２０の使用可能なハプティックプリミティブの第１のセクションは、オーディオソースデータ３１０の持続時間に基づきうる。ハプティックプリミティブ（及びハプティック効果）は選択されうる。一旦ハプティックプリミティブが選択されると、ハプティックプリミティブ（及びハプティック効果）は、自動的に調整されるハプティックプリミティブのハプティックパラメータを有することにより、さらに最適化されることができる。例えば、オーディオソースデータ３１０が、３４５ｍｓの持続時間を有する場合、オーディオソースデータ３１０に最も類似するハプティックプリミティブセット３２０のハプティックプリミティブは、３００ｍｓの値を有する持続時間ハプティックパラメータを有し、持続時間ハプティックパラメータは、ハプティックプリミティブに基づいて生成されるハプティック効果がオーディオソースデータ３１０に最も類似するように、３４５ｍｓの値を有するように調整されうる。
さらに、実施例によれば、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最も近く適合するハプティックプリミティブセット３２０からハプティックプリミティブを選択するために、オーディオソースデータ３１０の包絡線形状及び周波数成分を使用することができる。より具体的には、マッチングアルゴリズム３３０は、ハプティックプリミティブから生成されるハプティック効果が、オーディオソースデータ３１０と類似する包絡線及び周波数を有するように、包絡線ハプティックパラメータ及び周波数ハプティックパラメータを有するハプティックプリミティブを選択することができる（つまり、周波数成分に関連付けられた、銃撃のエコーの長い包絡線に続くインパルス状の大きな音）。別の実施形態では、マッチングアルゴリズム３３０は、２つのプリミティブ（及び２つのハプティック効果）をより近いオーディオソースデータ３１０に合成する又は組み合わせることができる。よって、別の実施例では、マッチングアルゴリズム３３０は、インパルス状の大きな音に適合させるために第１のハプティックプリミティブ（及び第１のハプティック効果）を選択することができ、さらに、後追いのエコーに適合させるために第２のハプティックプリミティブ（及び第２のハプティック効果）を選択することができる。マッチングアルゴリズム３３０は、第１のハプティックプリミティブ及び第２のハプティックプリミティブを組み合わせる第３のハプティックプリミティブを生成することができる（よって、第１のハプティック効果及び第２のハプティック効果を組み合わせた第３のハプティック効果を生成することができる）。第１のハプティックプリミティブ及び第２のハプティックプリミティブを第３のハプティックプリミティブとして組み合わせる際に、マッチングアルゴリズム３３０は、さらに、第１のハプティックプリミティブ及び第２のハプティックプリミティブを、２つのハプティックプリミティブ間の正しいスペーシング（ｃｏｒｒｅｃｔ ｓｐａｃｉｎｇ）を有する適切なテンポラルシーケンスに配置しうる。
ここで、オーディオソースデータに最も類似するハプティックプリミティブを選択する別の実施例について説明する。この実施例では、オーディオソースデータ３１０は、爆発の音に関連付けられたオーディオデータを含みうる。さらに、ハプティックプリミティブセット３２０は、ハプティックプリミティブを含むことができ、各ハプティックプリミティブは、爆発ハプティック効果を生成するために用いられうる。マッチングアルゴリズム３３０は、オーディオソースデータ３１０をハプティックプリミティブセット３２０の各ハプティックプリミティブと比較し、オーディオソースデータ３１０の持続時間と最も類似する持続時間ハプティックパラメータを有するハプティックプリミティブを選択することができる。それに替えて、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の振幅と最も類似する振幅ハプティックパラメータを有するハプティックプリミティブを選択することができる。その後、マッチングアルゴリズム３３０は、オーディオソースデータ３１０の特性と最も類似する選択されたハプティックプリミティブのハプティックパラメータを調整することにより、追加で、選択されたハプティックプリミティブを最適化することができる。よって、マッチングアルゴリズム３３０は、オーディオソースデータ３１０に最もフィットする爆発ハプティック効果を選択することができる。さらに、最適化されたハプティックプリミティブ（つまり、一又はそれ以上のパラメータが調整されたハプティックプリミティブ）は、その後のマッチング用のマッチングアルゴリズム３３０のパフォーマンスをさらに向上させるために、ハプティックプリミティブセット３２０内に含まれうる。
図４は、本発明の一実施形態に係る、抽出されたオーディオ特徴に基づいてハプティック効果のオーディオ特徴抽出及び選択についてのフロー図を示す。この実施形態によれば、マッチングアルゴリズムは、オーディオソースデータ（又は他のタイプのストリーム）から単一の特徴（又は複数の特徴）を抽出し、抽出された特徴を関連するとみなされる予め演算されたテンプレートと比較することができ、ここでハプティック効果は、各テンプレートと関連付けられる。
図４は、受信されたオーディオソースデータ４１０を示す。この実施形態によれば、オーディオソースデータ４１０は、オーディオデータを含む。特定の実施形態では、オーディオソースデータ４１０に含まれるオーディオデータは、オーディオファイル又はオーディオ信号のいずれかで記憶されたオーディオデータでありうる。別の実施形態では、オーディオソースデータ４１０に含まれるオーディオデータは、ストリームされるオーディオデータでありうる。さらに、図示された実施形態では、オーディオソースデータ４１０は、ＰＣＭフォーマットでエンコードされる。特定の実施形態では、オーディオソースデータ４１０は、ＭＩＤＩフォーマット又はＭＰ３フォーマットのような別のタイプのフォーマットでエンコードされることもできる。さらに、別の実施形態では、オーディオソースデータ４１０は、ビデオデータを含むビデオソースデータ、加速度データを含む加速度ソースデータ、方向データを含む方向ソースデータ、環境光データを含む環境光ソースデータ、又は別のタイプのデータを含む別のタイプのソースデータのような他のタイプのソースデータを含む他のタイプのソースデータにより置き換えられうる。加速度データの一例として、デバイスのコントローラは、デバイスを前後に振るような、ハプティック効果をオンスクリーン又はフリースペースジェスチャに自動的に割り当てることができる。ユーザがアクションを行う時、アクションに関連付けられた加速度データは、コントローラへ送信されうる。コントローラは、加速度データを処理し、ユーザがなすいくつかの急激なモーションを判定することができる。そして、コントローラは、高い周波数のハプティック効果のような急激なモーションに最も類似するハプティック効果を選択することができる。ソースデータの別のタイプの実施例は、センサによりキャプチャされうるデータを含むソースデータである。さらに、いくつかの実施形態では、オーディオソースデータは、マルチモデルデータを含むソースデータにより置き換えられうる。
また、オーディオソースデータ４１０は、複数の特徴を含みうる。特徴の一例は、特性であり、これは、前述したものである。特徴の別の例は、高周波数から低周波数へのトランザクションのような第１の特性から第２の特性への遷移である。特徴は、数値を含むことができ、この数値は、オーディオソースデータ４１０の特徴を定義することができる。
図４は、さらに、サウンドテンプレートセット４２０を示す。実施形態によれば、サウンドテンプレートセット４２０は、複数のサウンドテンプレートを含む。ある実施形態では、サウンドテンプレートセット４２０は、単一のサウンドテンプレートを含むことができる。サウンドテンプレートは、テンプレート特徴を含むことができる。特徴と同様に、テンプレート特徴は、特性であってもよく、又はそれに替えて、第１の特性から第２の特性への遷移であってもよい。以下に詳細に説明するように、サウンドテンプレートは、対応するハプティック効果と関連付けられてもよい。追加で、特定の実施形態では、サウンドテンプレートは、オーディオソースデータの一部分であることができ、オーディオデータを含むこともできる。オーディオソースデータの一部分は、オーディオソースデータ内で常に生じるパターンでありうる。サウンドテンプレートの例は、銃撃音、車の衝突音、爆発音、衝突音、パンチ音、矢の音又は別のタイプのパーカッションオン音を含む。実施形態によれば、サウンドテンプレートは、ハプティック効果へ変換するための候補として選択されうる。一実施形態では、サウンドテンプレートセット４２０のサウンドテンプレートは、オーディオソースデータ４１０のようなオーディオソースデータが処理されるときに使用するためのテンプレートのデータベース又はライブラリに記憶されうる。特定の実施形態では、サウンドテンプレートセット４２０のサウンドテンプレートが記憶されるデータベース又はライブラリを生成するために、サウンドテンプレートは、オーディオソースデータ４１０から抽出された特徴と後に比較されうるテンプレート特徴を抽出するために、以下の技術の１つを用いて処理されうる：（１）スペクトログラム（すなわち、時間領域信号の時間対周波数プロット）；（２）ケプトスラム（すなわち、信号のスペクトルの対数の高速フーリエ変換（“ＦＦＴ”））；（３）確率的及び確率モデル（例えば、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ （“ＨＭＭ”）））、又は（４）（オーディオソースデータ４１０のような）オーディオソースデータに基づいてハプティックパラメータをオーサリングする。合成エンジン、センサ又は合成ツール（例えば、プロトコル）から得られるオーディオファイルは、また、メタデータとして使用可能な特徴情報を有してもよい。この技術は、音声認識と同様に用いられることができる。しかし、実施形態によれば、この技術は、音声よりもむしろハプティック関連イベントを認識するために用いられることができる。具体的には、ＨＭＭは、オーディオソースデータ４１０内のサウンドテンプレートセット４２０のサウンドテンプレートを識別するために用いられることができる。使用されうる別のアルゴリズムは、ニューラルネットワークである。
さらに、別の実施形態では、サウンドテンプレートセット４２０は、別のタイプのテンプレートを含む別のタイプのテンプレートセットにより置換されうる。別のタイプのテンプレートセットの一例は、ビデオテンプレートを含むビデオテンプレートセットであり、ここでビデオテンプレートは、ビデオソースデータの一部であることができ、ビデオデータを含むことができる。別の例は、加速度テンプレートを含む加速度テンプレートセットであり、ここで加速度テンプレートは、加速度ソースデータの一部であることができ、加速度データを含むことができる。別の例は、方向テンプレートを含む方向テンプレートセットであり、ここで方向テンプレートは、方向ソースデータの一部であることができ、方向データを含むことができる。別の例は、環境光テンプレートを含む環境光テンプレートセットであり、ここで環境光テンプレートは、環境光ソースデータの一部であることができ、環境光データを含むことができる。別の例は、センサテンプレートを含むセンサテンプレートセットであり、ここでセンサテンプレートは、センサによりキャプチャされうるデータを含むことができる。さらに、いくつかの実施形態では、テンプレートセットは、複数のタイプのテンプレートを含むことができる。
図４は、さらに、ハプティック効果セット４３０を示す。実施形態によれば、ハプティック効果セット４３０は、複数のハプティック効果を含む。特定の実施形態では、ハプティック効果セット４３０は、単一のハプティック効果を含む。サウンドテンプレートセット４２０の各サウンドテンプレートは、サウンドテンプレートに関連付けられたハプティック効果セット４３０のハプティック効果を有することができる。特定の実施形態では、ハプティック効果セット４３０の各ハプティック効果は、サウンドテンプレートセット４２０を記憶するデータベース内のハプティック効果セット４３０のサウンドテンプレートに割り当てられることができる。よって、サウンドテンプレートセット４２０の各サウンドテンプレートは、各サウンドテンプレートに割り当てられるハプティック効果セット４３０からのハプティック効果を有する。ハプティック効果セット４３０のハプティック効果は、図３について前述された自動オーディオ トゥ ハプティック（ａｕｄｉｏ−ｔｏ−ｈａｐｔｉｃ）変換のような自動オーディオ トゥ ハプティック変換を用いて生成されうる。別の実施形態では、ハプティック効果セット４３０のハプティック効果は、ハプティック効果設計者により個別に設計されうる。特定の実施形態では、ハプティック効果セット４３０のハプティック効果は、サウンドテンプレートセット４２０のサウンドテンプレートを含むデータベースの一部であり得る。別の実施形態では、ハプティック効果セット４３０のハプティック効果は、サウンドテンプレートセット４２０の対応サウンドテンプレートに対応するインデックスとともに別々にデータベースに記憶されうる。
４４０では、オーディオソースデータ４１０が受信され、ここでオーディオソースデータ４１０は、単一のハプティック効果又は複数のハプティック効果への変換のために選択される。オーディオソースデータ４１０は、処理され、オーディオソースデータ４１０から特徴を抽出するために、一又はそれ以上のアルゴリズムが適用される。オーディオソースデータ４１０から抽出された特徴は、サウンドテンプレートセット４２０のサウンドテンプレートと比較される。より具体的には、サウンドテンプレートセット４２０の各サウンドテンプレートについて、オーディオソースデータ４１０から抽出された特徴は、そのサウンドテンプレートのテンプレート特徴と比較される。オーディオソースデータ４１０から抽出された特徴をサウンドテンプレートセット４２０の複数のサウンドテンプレート（又は単一のサウンドテンプレート）のテンプレート特徴と比較することにより、オーディオソースデータ４１０から抽出された特徴に最も類似するテンプレート特徴を有するものとして識別されうる。すなわち、複数のサウンドテンプレート（又は単一のサウンドテンプレート）は、オーディオソースデータ４１０と最も類似するものとして識別されうる。これらの識別されたサウンドテンプレートは、サウンドテンプレートセット４２０から順次選択されうる。一旦識別されたサウンドテンプレートが選択されると、各選択されたテンプレートに関連付けられたハプティック効果もまた、ハプティック効果セット４３０から選択されうる。一実施形態では、選択されたハプティック効果は、追加で最適化されうる。実施形態によれば、各選択されたハプティック効果を最適化することにより、各選択されたハプティック効果の単一のハプティックパラメータ（又は複数のハプティックパラメータ）の値は、オーディオソースデータ４１０の対応する特徴の値と最も類似するように調整されうる。値の調整は、上方調整又は下方調整でありうる。これは、ハプティック効果セット４３０の各選択されたハプティック効果のハプティックパラメータの微調整をもたらすことができる。ハプティックパラメータの微調整は、各選択されたハプティック効果がオーディオソースデータ４３０とより類似するように、ハプティック効果セット４３０の各選択されたハプティック効果を調整することができる。一旦ハプティック効果が選択されると、ハプティック効果は、ハプティック情報４５０を生成するために用いられうる。ハプティック情報４５０は、続いて出力されうる、選択されたハプティック効果の集合である。一実施形態では、ハプティック情報４５０は、ハプティックデータ、ハプティックトラック又はハプティックストリームの形態を取り得る。特定の実施形態では、ハプティック情報４５０は、当業者にとって既知のハプティックエンコード技術に基づいてエンコードされうる。ハプティック情報４５０は、その後、送信、記憶又は放送されうる。その後、ハプティック情報４５０は、出力されうる。別の実施形態では、ハプティック情報４５０は、生成された後に出力されうる。
よって、ハプティック効果を記憶し、ハプティック効果をサウンドテンプレートに関連付け、オーディオソースデータをサウンドテンプレートと比較することにより、ハプティック効果とサウンドテンプレートとの関連性は、オーディオデータをハプティック効果へ自動変換することをさらに促進又は最適化するために再利用されることができる。
図５は、本発明の一実施形態に係る、自動ハプティック効果適合モジュール（例えば、図１のハプティック効果適合モジュール１６）の機能についてのフロー図を示す。フローは開始し、５１０へ進む。５１０では、ソースデータが受信され、ソースデータは、一又はそれ以上の特性を含む。特定の実施形態では、ソースデータは、オーディオソースデータを含む。いくつかの実施形態では、オーディオソースデータは、ＰＣＭフォーマットでエンコードされる。ソースデータがオーディオソースデータを含む実施形態では、オーディオソースデータは、オーディオデータを含み、オーディオデータは、オーディオファイル又はオーディオ信号に記憶されうる。別の実施形態では、ソースデータは、ビデオソースデータを含む。さらに別の実施形態では、ソースデータは、加速度ソースデータを含む。さらに別の実施形態では、ソースデータは、方向ソースデータを含む。さらに別の実施形態では、ソースデータは、環境光ソースデータを含む。さらに別の実施形態では、ソースデータは、マルチモデルソースデータを含む。さらに、ソースデータの一又はそれ以上の特性は、振幅、周波数、持続時間、包絡線、密度、大きさ又は強度の少なくとも１つを含む。フローは５２０へ進む。
５２０では、ソースデータは、一又はそれ以上のハプティックプリミティブと比較され、各ハプティックプリミティブは、一又はそれ以上のハプティックパラメータを含む。特定の実施形態では、前記比較は、さらに、ソースデータの一又はそれ以上の特性を、各ハプティックプリミティブの一又はそれ以上のハプティックパラメータと比較することを含む。特定の実施形態では、一又はそれ以上のハプティックパラメータは、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、包絡線ハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータ、又は強度ハプティックパラメータの少なくとも１つを含む。フローは５３０へ進む。
５３０では、一又はそれ以上のハプティックプリミティブは、５２０で行われた比較に基づいて選択される。特定の実施形態では、前記選択は、一又はそれ以上のハプティックパラメータの値が、ソースデータの一又はそれ以上の特性の値に最も類似する一又はそれ以上のハプティックプリミティブを選択することを含む。フローは５４０へ進む。
５４０では、選択された一又はそれ以上のハプティックプリミティブが最適化される。特定の実施形態では、選択された一又はそれ以上のハプティックプリミティブは、ソースデータとより類似するように最適化される。これらの実施形態のいくつかでは、前記最適化は、ソースデータの対応する特性の値に、より類似する各選択されたハプティックプリミティブの少なくとも１つのハプティックパラメータの値を調整することを含む。ある実施形態では、５４０は省略される。フローは５５０へ進む。
５５０では、一又はそれ以上のハプティック効果は、選択された一又はそれ以上のプリミティブに基づいて出力される。特定の実施形態では、一又はそれ以上のハプティック効果が出力される前に、一又はそれ以上のハプティック効果は、エンコードされうる、及び／又はファイルのようなストレージに記憶されうる。続いて、これらの実施形態では、一又はそれ以上のハプティック効果は、それらが出力される前に、読み出される及び／又はデコードされうる。フローはその後終了する。
図６は、本発明の一実施形態に係る、自動ハプティック効果適合モジュール（例えば、図１の自動ハプティック効果適合モジュール１６）の機能についてのフロー図を示す。フローは開始し、６１０へ進む。６１０では、ソースデータが受信され、ソースデータは、一又はそれ以上の特徴を含む。特定の実施形態では、ソースデータは、オーディオソースデータを含む。これらの実施形態のいくつかでは、オーディオソースデータは、ＰＣＭフォーマットでエンコードされる。ソースデータがオーディオソースデータを含む実施形態では、オーディオソースデータは、オーディオデータを含み、オーディオデータは、オーディオファイル又はオーディオ信号に記憶されうる。別の実施形態では、ソースデータは、ビデオソースデータを含む。さらに別の実施形態では、ソースデータは、加速度ソースデータを含む。さらに別の実施形態では、ソースデータは、方向ソースデータを含む。さらに別の実施形態では、ソースデータは、環境光ソースデータを含む。さらに別の実施形態では、ソースデータは、マルチモデルソースデータを含む。フローは６２０へ進む。
６２０では、一又はそれ以上の特徴は、ソースデータから抽出される。フローは６３０へ進む。
６３０では、一又はそれ以上の抽出された特徴は、一又はそれ以上のテンプレートと比較され、各テンプレートは、一又はそれ以上のテンプレート特徴及び一又はそれ以上のハプティック効果を含む。特定の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上のサウンドテンプレートを含む。別の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上のビデオテンプレートを含む。別の実施形態では、一又はそれ以上のテンプレートは、一又はそれ以上の加速度テンプレートを含む。特定の実施形態では、前記比較は、ソースデータの各抽出された特徴を、一又はそれ以上のテンプレートの各テンプレートと比較することを含む。フローは６４０へ進む。
６４０では、一又はそれ以上のテンプレートは、６３０で行われた比較に基づいて一又はそれ以上のテンプレートから選択される。特定の実施形態では、前記選択は、一又はそれ以上のテンプレート特徴が、ソースデータの一又はそれ以上の抽出された特徴に最も類似する一又はそれ以上のテンプレートを選択することを含む。フローは６５０へ進む。
６５０では、一又はそれ以上のハプティック効果は、一又はそれ以上の選択されたテンプレートから選択される。フローは６６０へ進む。
６６０では、一又はそれ以上の選択されたハプティック効果が出力される。特定の実施形態では、一又はそれ以上の選択されたハプティック効果が出力される前に、一又はそれ以上の選択されたハプティック効果は、エンコードされる、及び／又はファイルのようなストレージに記憶されうる。その後、これらの実施形態では、一又はそれ以上の選択されたハプティック効果は、それらが出力される前に、読み出される、及び／又はデコードされうる。フローはその後、終了する。
よって、実施形態によれば、オーディオソースデータのようなソースデータを分析し、ソースデータに最も類似する一又はそれ以上のハプティック効果を識別することができるシステムを提供する。前記システムは、その後、識別された一又はそれ以上のハプティック効果をソースデータと適合することができる。前記システムは、続いて、識別された一又はそれ以上のハプティック効果を出力することができる。この技術により、前記システムは、ソースデータがミックスされる前に、オーディオソースデータのようなソースデータを用いることができる。ソースデータがミックスされる前に、処理の初めにソースデータを使用することにより、前記システムは、コンテンツ全体に加えられうるハプティック効果の妥当性及び質を向上させることができる。また、前記システムは、オーディオ効果のような効果及同時にプレイするハプティック効果を有するゲーム又は他のコンテンツでのハプティック効果の設計のために非常に有益なものとなりうる。前記システムは、コンテンツ製作者に適切なハプティックコンテンツを識別し、それらのゲーム又は体験のためのハプティックコンテンツをカスタマイズするための簡易な手法を提供することができる。
本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。
当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

Claims (17)

  1. ハプティック効果を自動的に生成するコンピュータ実装方法であって、
    ソースデータを受信するステップと、
    前記ソースデータの特徴を識別するステップであって、前記特徴は、第１の値を有する特性から第２の値を有する特性への前記ソースデータの特性の遷移を示す、ステップと、
    前記ソースデータの特徴を、複数のテンプレートの各テンプレート特徴と比較するステップであって、前記複数のテンプレートの各テンプレートは、各ハプティック効果と関連付けられる、ステップと、
    前記ソースデータの特性の遷移に最も類似する遷移を備える各テンプレート特徴を有するテンプレートを、前記複数のテンプレートのうちから選択するステップと、
    選択されたテンプレートと関連付けられる各ハプティック効果を生成するステップと、
    を備えるコンピュータ実装方法。
  2. 前記ソースデータの特徴は、前記ソースデータのメタデータから識別される、請求項１に記載のコンピュータ実装方法。
  3. 前記ソースデータは、オーディオデータを含み、前記複数のテンプレートは、サウンドテンプレートである、請求項１に記載のコンピュータ実装方法。
  4. 前記複数のテンプレートの各テンプレート特徴は、複数の各ハプティック関連イベントを識別するための各サウンドパターンを記述する、請求項３に記載のコンピュータ実装方法。
  5. 前記サウンドパターンの各々は、銃撃音、爆発音又は車の衝突音、のうちの少なくとも１つを識別する、請求項４に記載のコンピュータ実装方法。
  6. 前記ソースデータは、ビデオデータを含み、前記複数のテンプレートは、複数のビデオテンプレートである、請求項１に記載のコンピュータ実装方法。
  7. 前記ソースデータは、加速度データを含み、前記複数のテンプレートは、複数の加速度テンプレートである、請求項１に記載のコンピュータ実装方法。
  8. 前記特性の遷移は、第１の周波数値を有するソースデータから第２の周波数値を有するソースデータへの周波数遷移であり、選択されるテンプレートは、複数のテンプレートの各周波数遷移のうち、前記ソースデータの周波数遷移に最も類似する周波数遷移を有する、請求項１に記載のコンピュータ実装方法。
  9. ハプティック効果を自動的に適合するコンピュータ実装方法であって、
    ソースデータを受信するステップと、
    前記ソースデータのメタデータから前記ソースデータの特徴を識別するステップであって、前記メタデータは、前記ソースデータをキャプチャしたセンサの位置又は方向を示す、ステップと、
    前記ソースデータの特徴を、複数のテンプレートの各テンプレート特徴と比較するステップであって、前記複数のテンプレートの各テンプレートは、各ハプティック効果と関連付けられる、ステップと、
    前記ソースデータの特性に最も類似する各テンプレート特徴を有するテンプレートを、前記複数のテンプレートのうちから選択するステップと、
    選択されたテンプレートと関連付けられる各ハプティック効果を生成するステップと、
    を備えるコンピュータ実装方法。
  10. ハプティック効果を自動的に生成するシステムであって、
    各テンプレート特徴を有し、各ハプティック効果と関連付けられる複数のテンプレートを記憶するメモリと、
    ハプティック出力装置と、
    プロセッサと、
    を備え、
    前記プロセッサは、
    ソースデータを受信し、
    前記ソースデータの特徴を識別し、前記特徴は、第１の値を有する特性から第２の値を有する特性への前記ソースデータの特性の遷移を示し、
    前記ソースデータの特徴を、複数のテンプレートの各テンプレート特徴と比較し、
    前記ソースデータの特性の遷移に最も類似する遷移を備える各テンプレート特徴を有するテンプレートを、前記複数のテンプレートのうちから選択し、
    前記ハプティック出力装置を制御して、選択されたテンプレートと関連付けられる各ハプティック効果を生成する
    ように構成される、
    システム。
  11. 前記ソースデータは、オーディオデータを含み、前記システムは、前記オーディオデータを出力するように構成されるスピーカをさらに備える、請求項１０に記載のシステム。
  12. 前記ソースデータは、ビデオデータを含み、前記システムは、前記ビデオデータを出力するように構成されるディスプレイをさらに備える、請求項１０に記載のシステム。
  13. ハプティック効果を生成するシステムであって、
    各テンプレート特徴を有し、各ハプティック効果と関連付けられる複数のテンプレートを記憶するメモリと、
    ハプティック出力装置と、
    プロセッサと、
    を備え、
    前記プロセッサは、
    ソースデータを受信し、
    前記ソースデータのメタデータから前記ソースデータの特徴を識別し、前記メタデータは、前記ソースデータをキャプチャしたセンサの位置又は方向を示し、
    前記ソースデータの特徴を、複数のテンプレートの各テンプレート特徴と比較し、
    前記ソースデータの特性に最も類似する各テンプレート特徴を有するテンプレートを、前記複数のテンプレートのうちから選択し、
    選択されたテンプレートと関連付けられる各ハプティック効果を生成するステップと、
    前記ハプティック出力装置を制御して、選択されたテンプレートと関連付けられる各ハプティック効果を生成する
    ように構成される、
    システム。
  14. ハプティック効果を生成するコンピュータ実装方法であって、
    第１の部分及び前記第１の部分を後追いする第２の部分を含むソースデータを受信するステップと、
    前記ソースデータの前記第１の部分の特性についての第１の値、及び前記ソースデータの前記第２の部分の特性についての第２の値を識別するステップと、
    前記特性の前記第１の値を複数のハプティックプリミティブについてのハプティックパラメータの各値と比較するステップと、
    前記特性の前記第２の値を前記複数のハプティックプリミティブについての前記ハプティックパラメータの各値と比較するステップと、
    前記ソースデータの前記第１の部分の特性の第１の値と最も類似する前記ハプティックパラメータの各第１の値を有する第１のハプティックプリミティブを、前記複数のハプティックプリミティブのうちから選択するステップと、
    前記ソースデータの前記第２の部分の特性の第２の値と最も類似する前記ハプティックパラメータの各第２の値を有する第２のハプティックプリミティブを、前記複数のハプティックプリミティブのうちから選択するステップと、
    前記第１のハプティックプリミティブ及び第２のハプティックプリミティブに基づいて、前記ハプティック効果を生成するステップと、
    を備えるコンピュータ実装方法。
  15. 前記ハプティック効果を生成するステップは、前記第１のハプティックプリミティブ及び第２のハプティックプリミティブを順次プレイするステップを備える、請求項１４に記載のコンピュータ実装方法。
  16. 前記ハプティック効果を生成するステップは、それらの間で重複する前記第１のハプティックプリミティブ及び第２のハプティックプリミティブをプレイするステップを備える、請求項１４に記載のコンピュータ実装方法。
  17. 前記ハプティックパラメータは、前記複数のハプティックプリミティブの各ハプティックプリミティブの周波数を示す、請求項１４に記載のコンピュータ実装方法。
JP2018188838A 2013-03-05 2018-10-04 ハプティック効果の自動適合 Active JP6595686B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/785,166 2013-03-05
US13/785,166 US8754757B1 (en) 2013-03-05 2013-03-05 Automatic fitting of haptic effects

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014027455A Division JP6436633B2 (ja) 2013-03-05 2014-02-17 ハプティック効果の自動適合

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019173830A Division JP2019215935A (ja) 2013-03-05 2019-09-25 ハプティック効果の自動適合

Publications (2)

Publication Number Publication Date
JP2019003700A JP2019003700A (ja) 2019-01-10
JP6595686B2 true JP6595686B2 (ja) 2019-10-23

Family

ID=50112724

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014027455A Expired - Fee Related JP6436633B2 (ja) 2013-03-05 2014-02-17 ハプティック効果の自動適合
JP2018188838A Active JP6595686B2 (ja) 2013-03-05 2018-10-04 ハプティック効果の自動適合
JP2019173830A Pending JP2019215935A (ja) 2013-03-05 2019-09-25 ハプティック効果の自動適合

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014027455A Expired - Fee Related JP6436633B2 (ja) 2013-03-05 2014-02-17 ハプティック効果の自動適合

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019173830A Pending JP2019215935A (ja) 2013-03-05 2019-09-25 ハプティック効果の自動適合

Country Status (5)

Country Link
US (5) US8754757B1 (ja)
EP (2) EP3088993B1 (ja)
JP (3) JP6436633B2 (ja)
KR (1) KR20140109324A (ja)
CN (2) CN108874158B (ja)

Families Citing this family (106)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US10007341B2 (en) * 2011-06-21 2018-06-26 Northwestern University Touch interface device and method for applying lateral forces on a human appendage
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
WO2015137997A1 (en) 2013-03-15 2015-09-17 Compology, Inc. System and method for waste management
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US10162416B2 (en) 2013-09-06 2018-12-25 Immersion Corporation Dynamic haptic conversion system
US9147328B2 (en) * 2013-11-04 2015-09-29 Disney Enterprises, Inc. Creating tactile content with sound
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
JP2015130168A (ja) * 2013-12-31 2015-07-16 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170174A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015170173A (ja) * 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
AU2014210579B2 (en) 2014-07-09 2019-10-10 Baylor College Of Medicine Providing information to a user through somatosensory feedback
AU2015312344B2 (en) * 2014-09-02 2018-04-19 Apple Inc. Semantic framework for variable haptic output
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
US9174134B1 (en) 2014-11-12 2015-11-03 Immersion Corporation Peripheral device with haptic diminishment prevention component
KR101666532B1 (ko) * 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US9846484B2 (en) * 2014-12-04 2017-12-19 Immersion Corporation Systems and methods for controlling haptic signals
US10613628B2 (en) * 2014-12-23 2020-04-07 Immersion Corporation Media driven haptics
US10269392B2 (en) * 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
US10152125B2 (en) * 2015-11-20 2018-12-11 Immersion Corporation Haptically enabled flexible devices
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
CN105536249B (zh) * 2016-02-18 2023-09-01 高创(苏州)电子有限公司 游戏系统
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179489B1 (en) 2016-06-12 2019-01-04 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
WO2017219137A1 (en) * 2016-06-24 2017-12-28 Nanoport Technology Inc. Tactile feedback actuator, electronic device using same, and method of operating same
US10699538B2 (en) 2016-07-27 2020-06-30 Neosensory, Inc. Method and system for determining and providing sensory experiences
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
WO2018048907A1 (en) * 2016-09-06 2018-03-15 Neosensory, Inc. C/O Tmc+260 Method and system for providing adjunct sensory information to a user
US10102723B2 (en) 2016-10-31 2018-10-16 Immersion Corporation Dynamic haptic generation based on detected video events
KR20180052330A (ko) 2016-11-10 2018-05-18 삼성전자주식회사 햅틱 효과를 제공하기 위한 방법 및 그 전자 장치
CN107015639B (zh) * 2017-01-24 2020-02-04 瑞声科技(新加坡)有限公司 触觉反馈的动态范围控制方法、触觉反馈系统及电子终端
WO2018151770A1 (en) 2017-02-16 2018-08-23 Neosensory, Inc. Method and system for transforming language inputs into haptic outputs
US10744058B2 (en) 2017-04-20 2020-08-18 Neosensory, Inc. Method and system for providing information to a user
US11651336B1 (en) * 2017-04-27 2023-05-16 United Services Automobile Association (Usaa) Time-varying haptic alerts for computing devices
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10719129B2 (en) * 2017-06-21 2020-07-21 Nanoport Technology Inc. Compound haptic effects using multimodal tactile feedback actuator
US10275083B2 (en) 2017-09-20 2019-04-30 Alex Hamid Mani Assistive device with a refreshable haptic feedback interface
US10503310B2 (en) 2017-09-20 2019-12-10 Alex Hamid Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US11561619B2 (en) 2017-09-20 2023-01-24 Niki Mani Haptic feedback device and method for providing haptic sensation based on video
US11513627B2 (en) 2017-09-20 2022-11-29 Niki Mani Assistive device with a refreshable haptic feedback interface
US10281983B2 (en) * 2017-09-20 2019-05-07 Alex Hamid Mani Haptic feedback device and method for providing haptic sensation based on video
US11726571B2 (en) 2017-09-20 2023-08-15 Niki Mani Assistive device for non-visually discerning a three-dimensional (3D) real-world area surrounding a user
US10503261B2 (en) * 2017-12-15 2019-12-10 Google Llc Multi-point feedback control for touchpads
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
EP3540567B1 (en) 2018-03-16 2021-05-05 Goodix Technology (HK) Company Limited Haptic signal generator
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) * 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US10917180B2 (en) 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
GB2578454A (en) * 2018-10-28 2020-05-13 Cambridge Mechatronics Ltd Haptic feedback generation
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
KR102273805B1 (ko) * 2019-02-19 2021-07-06 주식회사 동운아나텍 오디오 신호 패턴을 이용한 햅틱 신호 발생 방법 및 장치
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10798522B1 (en) 2019-04-11 2020-10-06 Compology, Inc. Method and system for container location analysis
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11467667B2 (en) 2019-09-25 2022-10-11 Neosensory, Inc. System and method for haptic stimulation
JPWO2021060019A1 (ja) * 2019-09-25 2021-04-01
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11467668B2 (en) 2019-10-21 2022-10-11 Neosensory, Inc. System and method for representing virtual object information with haptic stimulation
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11079854B2 (en) 2020-01-07 2021-08-03 Neosensory, Inc. Method and system for haptic stimulation
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN111437595B (zh) * 2020-04-23 2022-11-15 腾讯科技（深圳）有限公司 滑觉模拟装置、被控机器人和游戏手柄
US20230233931A1 (en) * 2020-05-01 2023-07-27 Sony Interactive Entertainment Inc. Information processing apparatus, information processing method, and program
CN111610865B (zh) * 2020-05-20 2022-03-22 河北工业大学 一种基于多感知系统的电容式触觉手柄的控制方法
KR20210114059A (ko) * 2020-06-30 2021-09-17 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 비디오 처리 방법, 장치, 전자 기기 및 저장 매체
CN112346561B (zh) * 2020-10-15 2022-10-25 瑞声新能源发展(常州)有限公司科教城分公司 一种振动驱动方法和系统、振动设备以及存储介质
US11497675B2 (en) 2020-10-23 2022-11-15 Neosensory, Inc. Method and system for multimodal stimulation
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11862147B2 (en) 2021-08-13 2024-01-02 Neosensory, Inc. Method and system for enhancing the intelligibility of information for a user
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07159560A (ja) * 1993-12-10 1995-06-23 Sony Corp 時刻較正機能付時計装置及び時刻較正方法
US7159008B1 (en) * 2000-06-30 2007-01-02 Immersion Corporation Chat interface with haptic feedback functionality
JP2002078066A (ja) * 2000-08-25 2002-03-15 Yamaha Corp 振動波形信号出力装置
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
TWI224206B (en) 2002-04-09 2004-11-21 Benq Corp Image display apparatus and method for recapturing off-state light
WO2005085981A1 (en) * 2004-02-03 2005-09-15 Nokia Corporation Method and device for implementing vibration output commands in mobile terminal devices
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
CN101507290A (zh) * 2006-08-24 2009-08-12 皇家飞利浦电子股份有限公司 处理音频信号和/或视频信号以便产生触觉激励的设备和方法
US8487759B2 (en) * 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US8902050B2 (en) * 2009-10-29 2014-12-02 Immersion Corporation Systems and methods for haptic augmentation of voice-to-text conversion
US9448626B2 (en) * 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6541292B2 (ja) 2012-02-15 2019-07-10 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プリミティブを用いた高解像度ハプティック効果生成
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US8860563B2 (en) 2012-06-14 2014-10-14 Immersion Corporation Haptic effect conversion system using granular synthesis
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping

Also Published As

Publication number Publication date
KR20140109324A (ko) 2014-09-15
JP2019003700A (ja) 2019-01-10
CN104035556A (zh) 2014-09-10
CN104035556B (zh) 2018-10-02
EP2775377B1 (en) 2016-05-25
US9449043B2 (en) 2016-09-20
US9905090B2 (en) 2018-02-27
US20180174408A1 (en) 2018-06-21
JP2014174985A (ja) 2014-09-22
EP2775377A2 (en) 2014-09-10
CN108874158A (zh) 2018-11-23
US20140258318A1 (en) 2014-09-11
EP2775377A3 (en) 2015-01-14
JP6436633B2 (ja) 2018-12-12
EP3088993A3 (en) 2016-11-30
EP3088993B1 (en) 2020-06-24
US8754758B1 (en) 2014-06-17
CN108874158B (zh) 2021-10-29
JP2019215935A (ja) 2019-12-19
US20160358429A1 (en) 2016-12-08
US8754757B1 (en) 2014-06-17
EP3088993A2 (en) 2016-11-02

Similar Documents

Publication Publication Date Title
JP6595686B2 (ja) ハプティック効果の自動適合
US10606358B2 (en) Haptic effect conversion system using granular synthesis
US9454881B2 (en) Haptic warping system
US20190073039A1 (en) Dynamic Haptic Conversion System
US20190057583A1 (en) Method and system for providing haptic effects based on information complementary to multimedia content
JP6544991B2 (ja) 触覚設計オーサリングツール
US20160012690A1 (en) Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns
US20150268723A1 (en) Automatic tuning of haptic effects
CN104423594A (zh) 用于生成与音频信号相关联的触觉效果的系统和方法
KR20150059932A (ko) 사운드 출력 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190926

R150 Certificate of patent or registration of utility model

Ref document number: 6595686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250