JP6508893B2 - 周波数シフトを用いたハプティック変換システム - Google Patents

周波数シフトを用いたハプティック変換システム Download PDF

Info

Publication number
JP6508893B2
JP6508893B2 JP2014152842A JP2014152842A JP6508893B2 JP 6508893 B2 JP6508893 B2 JP 6508893B2 JP 2014152842 A JP2014152842 A JP 2014152842A JP 2014152842 A JP2014152842 A JP 2014152842A JP 6508893 B2 JP6508893 B2 JP 6508893B2
Authority
JP
Japan
Prior art keywords
frequency
input signal
frequencies
signal
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014152842A
Other languages
English (en)
Other versions
JP2015053038A (ja
Inventor
ジャマル サボウン
ジャマル サボウン
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2015053038A publication Critical patent/JP2015053038A/ja
Application granted granted Critical
Publication of JP6508893B2 publication Critical patent/JP6508893B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G06F17/142—Fast Fourier transforms, e.g. using a Cooley-Tukey type algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Otolaryngology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Discrete Mathematics (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • User Interface Of Digital Computer (AREA)

Description

一実施形態は、一般にデバイスを目的とし、より具体的には、ハプティック効果を生み出すデバイスを目的とする。
ハプティクスは、力、振動、および運動等のハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに与えることでユーザの触感を利用する、触覚および力フィードバック技術である。モバイルデバイス、タッチスクリーンデバイス、およびパーソナルコンピュータ等のデバイスは、ハプティック効果を生成するように構成できる。一般に、ハプティック効果を生成できるエンベデッドハードウェア（アクチュエータなど）に対する呼び出しが、デバイスのオペレーティングシステム（「ＯＳ」）にプログラミングされうる。これらの呼び出しは、どのハプティック効果を再生するかを特定する。例えば、ユーザが、例えばボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、または他の何らかの制御部を用いてデバイスと対話する際に、デバイスのＯＳが、制御回路を通じてエンベデッドハードウェアに再生コマンドを送信しうる。そして、エンベデッドハードウェアが適切なハプティック効果を生み出す。
デバイスは、ハプティック効果が他のコンテンツに組み込まれるように、ハプティック効果の出力をオーディオなどの他のコンテンツの出力と連携させるように構成できる。例えば、オーディオ効果開発者は、デバイスにより出力できる、機関銃砲火、爆発、または車の衝突音などのオーディオ効果を開発しうる。さらに、ビデオ効果などの他のタイプのコンテンツが開発され、その後デバイスにより出力されうる。その後ハプティック効果開発者はデバイス用にハプティック効果をオーサリングし、デバイスがこのハプティック効果を他のコンテンツとともに出力するように構成されうる。
しかし、このようなプロセスには、オーディオ効果または他のタイプのコンテンツを適切に補足するハプティック効果をオーサリングするためのハプティック効果開発者の個人的判断が一般に必要である。オーディオ効果または他のタイプのコンテンツを補足しないオーサリング不良のハプティック効果は、ハプティック効果がオーディオ効果または他のコンテンツと「かみ合わない」全体として不協和の効果を生み出しうる。この種のユーザ体験は、一般に望ましくない。
一実施形態は、周波数シフトを用いて入力を一つ以上のハプティック効果に変換するシステムである。このシステムは、入力信号を受け取る。システムはさらに、入力信号の高速フーリエ変換を行う。システムはさらに、変換された入力信号の一つ以上の周波数を、シフト先周波数範囲内の一つ以上の周波数にシフトする。システムはさらに、周波数シフトされた信号の逆高速フーリエ変換を行い、逆変換された信号はハプティック信号を形成する。システムは、ハプティック信号に基づいて一つ以上のハプティック効果をさらに生成する。
本発明の一実施形態による、システムのブロック図である。 本発明の一実施形態による、入力信号の複数の周波数の周波数シフトの図である。周波数シフトは入力信号をハプティック信号に変換するために用いられる。 本発明の一実施形態による、ハプティック変換モジュールの機能のフロー図である。 本発明の一実施形態による、入力信号をハプティック信号に変換するための第一方法例のフロー図である。 本発明の一実施形態による、入力信号をハプティック信号に変換するための第二方法例のフロー図である。 本発明の一実施形態による、入力信号をハプティック信号に変換するための第三方法例のフロー図である。 本発明の一実施形態による、入力信号をハプティック信号に変換するための第四方法例のフロー図である。 本発明の一実施形態による、入力信号をハプティック信号に変換するための第五方法例のフロー図である。
さらなる実施形態、詳細、利点、および修正は、添付の図面とあわせて考慮されるべき以下の好ましい実施形態の詳細な説明から明らかとなるであろう。
一実施形態は、入力信号に関連するハプティック信号を自動的に導出できるシステムである。入力信号の一例は、オーディオ信号であり、オーディオ信号は、オーディオファイルまたはビデオファイル等のマルチメディアファイルのコンポーネントでありうる。導出されたハプティック信号は、アクチュエータ等のハプティック出力デバイスに適合する範囲にシフトされている周波数成分を含む。したがって、システムは、導出されたハプティック信号をハプティック出力デバイスに送り、導出されたハプティック信号に基づいて一つ以上のハプティック効果を生成できる。あるいは、システムは、後に他の信号とともに同期して再生するためにハプティック信号を記憶しうる。本実施形態によれば、システムは、関連するハプティック信号を導出するために、入力信号の高速フーリエ変換を利用しうる。システムは、入力信号の周波数成分を分析し、（様々なアプローチを用いて様々な様式で）最大振幅の周波数を検出し、（様々な技術により）これらの周波数をハプティック出力デバイスの共振周波数の周辺の周波数範囲にシフトしうる。以下にさらに詳述するように、様々な戦略を利用して、入力信号の周波数成分をソートおよびシフトすることができる。
図１は、本発明の一実施形態によるシステム１０のブロック図である。一実施形態では、システム１０はモバイルデバイスの一部であり、システム１０は、モバイルデバイスにハプティック変換機能を提供する。別の実施形態では、システム１０は着用可能デバイスの一部であり、システム１０は、着用可能デバイスにハプティック変換機能を提供する。着用可能デバイスの例には、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣類と一体化されたアレイ、またはユーザが身に付けまたはユーザによって保持されうる他の任意のタイプのデバイスが含まれる。一部の着用可能デバイスは、「ハプティック式」、すなわちハプティック効果を生成する機構を含むものとすることができる。別の実施形態では、システム１０は、デバイス（例えばモバイルデバイスまたは着用可能デバイス）から切り離されており、デバイスにハプティック変換機能を遠隔提供する。単一のシステムとして図示されているが、システム１０の機能は、分散型システムとして実装されてもよい。システム１０は、バス１２または情報通信のための他の通信機構と、バス１２に結合された情報処理のためのプロセッサ２２とを含む。プロセッサ２２は、任意のタイプの汎用または特定用途向けプロセッサであってよい。システム１０は、プロセッサ２２により実行される情報および命令を格納するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気もしくは光ディスクなどのスタティックストレージ、または他の任意のタイプのコンピュータ可読媒体の任意の組み合わせで構成することができる。
コンピュータ可読媒体は、プロセッサ２２によりアクセス可能な任意の利用可能な媒体であればよく、揮発性および不揮発性媒体の両方、取外し可能および取外し不能媒体、通信媒体、および記憶媒体を含むことができる。通信媒体は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを、搬送波または他のトランスポート機構などの変調データ信号に含むことができ、公知技術のその他の任意の形の情報配信媒体を含みうる。記憶媒体には、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラム可能リードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラム可能リードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、取外し可能ディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または公知技術の他の任意の形の記憶媒体を含みうる。
一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに機能を提供するソフトウェアモジュールを格納する。モジュールは、一実施形態ではシステム１０のほかモバイルデバイスの残りの部分にオペレーティングシステム機能を提供する、オペレーティングシステム１５を含む。モジュールは、以下でより詳細に開示するように、周波数シフト用いて入力を一つ以上のハプティック効果に変換する、ハプティック変換モジュール１６をさらに含む。ある実施形態では、ハプティック変換モジュール１６は、周波数シフトを用いて入力を一つ以上のハプティック効果に変換するための特定の個別の機能を各モジュールが提供する、複数のモジュールを含みうる。システム１０は通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）ソフトウェアなど、追加の機能を含むための一つ以上の追加のアプリケーションモジュール１８を含む。
システム１０は、リモートソースからデータを送信および／または受信する実施形態では、赤外線、無線、Ｗｉ−Ｆｉまたはセルラネットワーク通信等の移動無線ネットワーク通信を提供するために、ネットワークインタフェースカード等の通信デバイス２０をさらに含む。他の実施形態では、通信デバイス２０は、イーサネット（登録商標）接続またはモデム等の有線ネットワーク接続を提供する。
プロセッサ２２は、グラフィック表現またはユーザインタフェースをユーザに表示するための液晶ディスプレイ（「ＬＣＤ」）等のディスプレイ２４に、バス１２を介してさらに結合される。ディスプレイ２４は、プロセッサ２２から信号を送受信するように構成されたタッチスクリーン等の接触感知式入力デバイスでもよく、マルチタッチ式タッチスクリーンでもよい。
システム１０は、一実施形態では、アクチュエータ２６をさらに含む。プロセッサ２２は、生成されたハプティック効果に関連したハプティック信号をアクチュエータ２６に送信し、さらにアクチュエータ２６が、振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形ハプティック効果等のハプティック効果を出力する。アクチュエータ２６は、アクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電動モータ、電磁アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマ、ソレノイド、偏心回転質量モータ（「ＥＲＭ：ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ」）、リニア共振アクチュエータ（「ＬＲＡ：ｌｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ」）、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマ（「ＥＡＰ：ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器でもよい。代替的実施形態では、システム１０は、アクチュエータ２６に加えて、一つ以上の追加のアクチュエータを含みうる（図１には示されない）。アクチュエータ２６は、ハプティック出力デバイスの一例であり、ここでハプティック出力デバイスとは、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形ハプティック効果等のハプティック効果を出力するように構成されたデバイスである。代替的実施形態では、アクチュエータ２６は、他の何らかのタイプのハプティック出力デバイスに置換できる。さらに、他の代替的実施形態では、システム１０はアクチュエータ２６を含まなくてもよく、システム１０とは別個のデバイスが、アクチュエータまたはハプティック効果を生成する他のハプティック出力デバイスを含み、システム１０は、生成されたハプティック信号を、通信デバイス２０を通じてそのデバイスに送る。
システム１０は、一実施形態では、スピーカ２８をさらに含む。プロセッサ２２は、スピーカ２８にオーディオ信号を送信してもよく、さらにスピーカ２８がオーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、動電（ｅｌｅｃｔｒｏｄｙｎａｍｉｃ）ラウドスピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボン型平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ハイルエアモーショントランスデューサ、プラズマアークスピーカ、およびデジタルラウドスピーカでありうる。代替的実施形態では、システム１０は、スピーカ２８に加えて、一つ以上の追加のスピーカを含みうる（図１には示されない）。さらに、他の代替的実施形態では、システム１０は、スピーカ２８を含まなくてもよく、システム１０とは別個のデバイスが、オーディオ効果を出力するスピーカを含み、システム１０は、オーディオ信号を、通信デバイス２０を通じてそのデバイスに送る。
システム１０は、一実施形態では、センサ３０をさらに含む。センサ３０は、音、動作、加速度、生体信号、距離、流量、力／圧力／歪み／屈曲、湿度、線形位置、方位／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度等であるがこれに限定されない、エネルギーの一形態または他の物理的性質を検出するように構成されうる。センサ３０は、検出エネルギーまたは他の物理的性質を、電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成されうる。センサ３０は、加速度計、心電図、脳波図、筋電計、眼電図、電気的パラトグラフ、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外センサ、超音波センサ、圧力センサ、光ファイバセンサ、曲りセンサ（または屈曲センサ）、力感知レジスタ、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ２ １５５、ミニチュア圧力トランスデューサ、圧電センサ、ストレインゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転ポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ（温度計、熱電対、抵抗温度検知器、サーミスタ、または温度変換集積回路等）、マイクロホン、光度計、高度計、生体モニタ、カメラ、または光依存レジスタ等であるがこれに限定されない任意のデバイスであってよい。代替的実施形態では、システム１０は、センサ３０に加えて、一つ以上の追加のセンサを含みうる（図１には示されない）。これらの実施形態の一部では、センサ３０および一つ以上の追加のセンサは、センサアレイまたは他の何らかのタイプのセンサの集まりの一部であってもよい。さらに、他の代替的実施形態では、システム１０は、センサ３０を含まなくてもよく、システム１０とは別個のデバイスが、エネルギーの一形態または他の物理的性質を検出するセンサを含み、検出されたエネルギーまたは他の物理的性質を、電気信号または仮想センサ情報を表す他のタイプの信号に変換する。それからこのデバイスが、変換された信号を、通信デバイス２０を通じてシステム１０に送ることができる。
図２は、本発明の一実施形態による、入力信号の複数の周波数の周波数シフトを示す。周波数シフトは入力信号をハプティック信号に変換するために用いられる。図２は、入力信号の一種であるオーディオ信号を表したグラフ２１０を示す。代替的実施形態では、オーディオ信号は、ビデオ信号、加速度信号、方位信号、周囲光信号、またはセンサで捕らえられたデータを含みうる別のタイプの信号など、別のタイプの入力信号で置換されうる。
本実施形態によれば、オーディオ信号に高速フーリエ変換が行われればよく、変換されたオーディオ信号がグラフ２２０により表される。高速フーリエ変換とは、空間または時間等の一つのドメインで定義された信号または他の関数の、波長または周波数等の別のドメインへのマッピングである。
その後、変換されたオーディオ信号の一つ以上の周波数が、複数の周波数シフト方法の一つに従ってソートおよびシフトされればよく、周波数シフトされたオーディオ信号がグラフ２３０により表される。より具体的には、変換された信号の周波数は、特性（振幅等）によりソートされ、変換された信号のソートされた周波数のうちの一つ、複数、または全てが選択され、変換された信号の選択された周波数が、既存の周波数から「シフト先」周波数範囲内の周波数にシフトされる。
周波数をソートおよびシフトする技術の例は、図４、５、６、７、および８とあわせて、入力信号をハプティック信号に変換する方法の例の一部としてさらに後述する。しかし、当業者には当然のことながら、後述する周波数シフト技術の例は、実施形態例による周波数シフト技術の例にすぎず、代替的実施形態では、他の代替的周波数シフト技術によって、変換されたオーディオ信号の周波数がソートおよびシフトされてもよい。さらに、後述する技術例を用いて、選択された周波数シフト技術に基づいて異なる「フィーリング」を出すハプティック効果の固有のセットを生み出しうる。加えて、使用される周波数シフト技術は、システムにより予め定義されてもよく、またはシステム管理者、ハプティック効果開発者、ユーザ、またはその他の人によりカスタマイズされてもよい。
本実施形態によれば、周波数シフトされたオーディオ信号に逆高速フーリエ変換が行われればよく、逆変換されたオーディオ信号がグラフ２４０により表される。その後、逆変換されたオーディオ信号に基づいてハプティック信号が形成されうる。ハプティック信号はその後、アクチュエータ等のハプティック出力デバイスに送られればよく、ハプティック出力デバイスによりハプティック信号を用いて一つ以上のハプティック効果が出力される。あるいは、ハプティック信号は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または他の任意の形の記憶媒体などの記憶媒体に格納されうる。ハプティック信号はその後、記憶媒体から取り出され、ハプティック出力デバイスに送られればよく、ハプティック出力デバイスがハプティック信号に基づいて一つ以上のハプティック効果を出力すればよい。
図３は、本発明の一実施形態による、ハプティック変換モジュール（図１のハプティック変換モジュール１６等）の機能のフロー図である。一実施形態では、図３の機能、ならびに図４、５、６、７、および８の機能は、それぞれ、メモリまたは他のコンピュータ可読媒体または有形媒体に格納されたソフトウェアにより実施され、プロセッサにより実行される。他の実施形態では、各機能は、ハードウェアにより（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラム可能ゲートアレイ（「ＰＧＡ」）、フィールドプログラム可能ゲートアレイ（「ＦＰＧＡ」）などを使用して）、またはハードウェアとソフトウェアの任意の組み合わせにより行われうる。
フローが開始し、３００に進む。３００では、入力信号が受け取られる。ある実施形態では、入力信号はオーディオ信号でありうる。他の実施形態では、入力信号はビデオ信号でありうる。他の実施形態では、入力信号は加速度信号でありうる。その後、フローは３１０へ進む。
３１０では、入力信号に高速フーリエ変換が行われる。その後、フローは３２０へ進む。
３２０では、変換された入力信号の複数の周波数の振幅が正規化される。ある実施形態では、入力信号の高速フーリエ変換により、周波数を含む一つのベクトルと、それらの周波数に対応するマグニチュードを含むもう一つのベクトルの、二つのベクトルが得られる。全てのマグニチュードからは最大値を見つけることができ、最大値を用いて全てのマグニチュードを正規化することができ、これによって１より小さい値のマグニチュードベクトルが得られる。換言すれば、マグニチュードを含むベクトルは１に正規化されうる。ある実施形態では、３２０は省略されうる。その後、フローは３３０へ進む。
３３０では、変換された入力信号の周波数がソートされる。周波数は、周波数の特性に基づいてソートされうる。ある実施形態では、変換された入力信号の周波数は、図４、５、６、７、および８に関連して以下に詳述する、入力信号をハプティック信号に変換する一つの方法例の一部であるソーティング法に従ってソートされうる。ある実施形態では、３３０は省略されうる。その後、フローは３４０へ進む。
３４０では、変換された入力信号の周波数から一つ以上の周波数が選択される。変換された入力信号のうちの一つ、複数、または全ての周波数が選択されうる。ある実施形態では、変換された入力信号の周波数は、図４、５、６、７、および８に関連して以下に詳述する、入力信号をハプティック信号に変換する一方法例の一部である選択技術に従って選択されうる。ある実施形態では、３４０は省略されうる。その後、フローは３５０へ進む。
３５０では、変換された入力信号の選択された周波数がクラスタリングされる。クラスタリングにより、選択された周波数が、より少数の周波数に減少されうる。ある実施形態では、変換された入力信号の選択された周波数は、図４、５、６、７、および８に関連して以下に詳述する、入力信号をハプティック信号に変換する一つの方法例の一部であるクラスタリング技術に従ってクラスタリングされうる。加えて、ある実施形態では、３５０は省略されうる。その後、フローは３６０へ進む。
３６０では、変換された入力信号のクラスタリングされた周波数が、「シフト先（ｓｈｉｆｔ−ｔｏ）」周波数範囲内にシフトされる。シフトにより、各クラスタリングされた周波数が、その元の周波数（すなわち「シフト元（ｓｈｉｆｔ−ｆｒｏｍ）」周波数）から新たな周波数（すなわち「シフト先」周波数）に移動される。ある実施形態では、変換された入力信号のクラスタリングされた周波数は、図４、５、６、７、および８に関連して以下に詳述する、入力信号をハプティック信号に変換する一つの方法例の一部である周波数シフト技術に従ってシフトされうる。また、ある実施形態では、得られた周波数シフトされた信号に基づいてハプティック信号が形成される。その後、フローは３７０へ進む。
３７０では、周波数シフトされた信号に逆高速フーリエ変換が行われる。ある実施形態では、得られた逆変換された信号に基づいてハプティック信号が形成される。その後、フローは３８０へ進む。
３８０では、逆変換された信号が元の入力信号で包絡処理される。これは、元の入力信号と逆変換された信号との間の１対１（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。ある実施形態では、得られた包絡処理済み信号に基づいてハプティック信号が形成される。代替的実施形態では、３８０は省略されうる。その後、フローは３９０へ進む。
３９０では、ハプティック信号に基づいて一つ以上のハプティック効果が生成される。一部の実施形態では、ハプティック信号が、図１のアクチュエータ２６等のハプティック出力デバイスに送られて、一つ以上のハプティック効果が生成されうる。その後、フローは終了する。
図４は、本発明の一実施形態による、入力信号をハプティック信号に変換する第一方法例のフロー図である。フローが開始し、４１０に進む。４１０では、オーディオ信号、ビデオ信号、加速度信号、またはセンサで捕らえられたデータを含みうる他の任意の信号などの入力信号に高速フーリエ変換が行われる。その後、フローは４２０へ進む。
４２０では、変換された入力信号の周波数は、その振幅によりソートされる。その後、フローは４３０へ進む。
４３０では、変換された入力信号の周波数から、振幅が最大の既定数の周波数が選択される。既定数の周波数は、既定周波数範囲の幅に等しければよい。既定周波数範囲は、「シフト先（ｓｈｉｆｔ−ｔｏ）」周波数範囲でありうる。その後、フローは４４０へ進む。
４４０では、選択された周波数がシフト先周波数範囲へ移される。ある実施形態では、シフト先周波数範囲は、ハプティック出力デバイスの共振周波数（ｒｅｓｏｎａｔｅ ｆｒｅｑｕｅｎｃｙ）を含みうる。それらの実施形態の一部では、ハプティック出力デバイスはアクチュエータでありうる。さらに、ある実施形態では、選択された周波数は、各選択された周波数の振幅（高速フーリエ変換値から導出されたもの）を、シフト先周波数範囲内の周波数に割り当てることにより、移されうる。その後、フローは４５０へ進む。
４５０では、シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値が無効化される。その後、フローは４６０へ進む。
４６０では、周波数シフトされた信号の逆高速フーリエ変換が行われる。その後、フローは４７０へ進む。
４７０では、逆変換された信号が元の入力信号により包絡処理されてハプティック信号が形成される。これは、元の入力信号と逆変換された信号との間の１対１（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。その後、フローは終了する。
図５は、本発明の一実施形態による、入力信号をハプティック信号に変換する第二方法例のフロー図である。フローが開始し、５１０に進む。５１０で、オーディオ信号、ビデオ信号、加速度信号、またはセンサで捕らえられたデータを含みうる他の任意の信号などの入力信号に高速フーリエ変換が行われる。その後、フローは５２０へ進む。
５２０では、変換された入力信号の周波数の振幅が正規化される。ある実施形態では、入力信号の高速フーリエ変換により、周波数を含む一つのベクトルと、それらの周波数に対応するマグニチュードを含むもう一つのベクトルの、二つのベクトルが得られる。全てのマグニチュードからは最大値を見つけることができ、最大値を用いて全てのマグニチュードを正規化することができ、これによって１より小さい値のマグニチュードベクトルが得られる。換言すれば、マグニチュードを含むベクトルは１に正規化されうる。その後、フローは５３０へ進む。
５３０では、変換された入力信号の周波数がそれらの正規化された振幅によりソートされる。その後、フローは５４０へ進む。
５４０では、変換された入力信号の周波数から、振幅が既定の閾値（例えば０．１）より大きい一つ以上の周波数が選択される。選択された周波数は周波数「ｆｓ」として識別でき、他の周波数は無視されうる。その後、フローは５５０へ進む。
５５０では、残った周波数ｆｓが以下のようにクラスタリングされる。最大振幅を有する周波数ｆｓ［ｉ］から始まり、二番目に大きな振幅を有する周波数ｆｓ［ｉ＋１］、以下同様のｆｓの各周波数「ｆｓ［ｉ］」ごとに、範囲［ｆｓ［ｉ］−ｘ Ｈｚからｆｓ［ｉ］＋ｘ Ｈｚ］（例えばｘ＝１）内の全ての周波数が検討される。この範囲内に周波数ｆｓ［ｉ］より大きい振幅を有する周波数がある場合には、周波数ｆｓ［ｉ］は除去される。このクラスタリング技術を適用することにより、ｘ Ｈｚよりも離れた周波数だけが存在することとなる。これらの残った周波数は周波数「ｆｃ」として識別できる。その後、フローは５６０へ進む。
５６０では、残った周波数ｆｃが、一つ以上のブロックＢ（ｆｃ）にグループ化され、ここでｆｃの各周波数「ｆｃ［ｉ］」につきＢ（ｆｃ［ｉ］）＝［ｆｃ［ｉ］−ｙ Ｈｚからｆｃ［ｉ］＋ｙ Ｈｚ］であり、ｙは既定周波数範囲の幅より小さい数に等しい。既定周波数範囲は、「シフト先」周波数範囲であればよい。そして、各ブロックＢ（ｆｃ［ｉ］）の周波数成分は、シフト先周波数範囲（例えば２５０Ｈｚの共振周波数のアクチュエータでは２００から３００Ｈｚ）の周波数にシフトおよびセンタリングされる。異なる周波数からシフトされた成分が異なるものとして感じられるように、ブロックＢ（ｆｃ）同士はシフト先周波数範囲内で既定距離ｄ（例えばｄ＝１Ｈｚ）で離すことができる。例えば、最大振幅を有する周波数に対応する第一ブロックは２５０Ｈｚにシフトおよびセンタリングされ、二番目に大きな振幅を有する周波数に対応する第二ブロックは２４８Ｈｚにシフトおよびセンタリングされ、三番目に大きな振幅を有する周波数に対応する第三ブロックは２５２Ｈｚにシフトおよびセンタリングされ、シフト先周波数範囲（例えば２００Ｈｚから３００Ｈｚ）の下限および上限に達するまで同様にすればよい。ある実施形態では、各ブロックの周波数成分の一つ以上の周波数は、各周波数の振幅（高速フーリエ変換値から導出されたもの）をシフト先周波数範囲内の周波数に割り当てることによりシフトされうる。その後、フローは５７０へ進む。
５７０では、シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値が無効化される。その後、フローは５８０へ進む。
５８０では、周波数シフトされた信号の逆高速フーリエ変換が行われる。その後、フローは５９０へ進む。
５９０では、逆変換された信号が、元の入力信号により包絡処理されてハプティック信号が形成される。これは、元の入力信号と逆変換された信号との間の１対１のポイント（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。包絡処理された信号は、元の入力信号のものに近い包絡線を有し、ハプティック信号として用いられうる。その後、フローは終了する。
図６は、本発明の一実施形態による、入力信号をハプティック信号に変換する第三方法例のフロー図である。フローが開始し、６１０に進む。６１０では、オーディオ信号、ビデオ信号、加速度信号、またはセンサで捕らえられたデータを含みうる他の任意の信号などの入力信号に高速フーリエ変換が行われる。その後、フローは６２０へ進む。
６２０では、変換された入力信号の周波数の振幅が正規化される。ある実施形態では、入力信号の高速フーリエ変換により、周波数を含む一つのベクトルと、それらの周波数に対応するマグニチュードを含むもう一つのベクトルの、二つのベクトルが得られる。全てのマグニチュードからは最大値を見つけることができ、最大値を用いて全てのマグニチュードを正規化することができ、これによって１より小さい値のマグニチュードベクトルが得られる。換言すれば、マグニチュードを含むベクトルは１に正規化されうる。その後、フローは６３０へ進む。
６３０では、変換された入力信号の周波数がそれらの正規化された振幅によりソートされる。その後、フローは６４０へ進む。
６４０では、変換された入力信号の周波数から、振幅が既定の閾値（例えば０．１）より大きい一つ以上の周波数が選択される。選択された周波数は周波数「ｆｓ」として識別でき、他の周波数は無視されうる。その後、フローは６５０へ進む。
６５０では、残った周波数ｆｓが以下のようにクラスタリングされる。最大振幅を有する周波数ｆｓ［ｉ］から始まり、二番目に大きな振幅を有する周波数ｆｓ［ｉ＋１］、以下同様のｆｓの各周波数「ｆｓ［ｉ］」ごとに、範囲［ｆｓ［ｉ］−ｘ Ｈｚからｆｓ［ｉ］＋ｘ Ｈｚ］（例えばｘ＝１）内の全ての周波数が検討される。この範囲内に周波数ｆｓ［ｉ］より大きい振幅を有する周波数がある場合には、周波数ｆｓ［ｉ］は除去される。このクラスタリング技術を適用することにより、ｘ Ｈｚよりも離れた周波数だけが存在することとなる。これらの残った周波数は周波数「ｆｃ」として識別できる。その後、フローは６６０へ進む。
６６０では、残った周波数ｆｃが、一つ以上のブロックＢ（ｆｃ）にグループ化され、ここでｆｃの各周波数「ｆｃ［ｉ］」につきＢ（ｆｃ［ｉ］）＝［ｆｃ［ｉ］−ｙ Ｈｚからｆｃ［ｉ］＋ｙ Ｈｚ］であり、ｙは既定周波数範囲の幅より小さい数に等しい。既定周波数範囲は、「シフト先」周波数範囲であればよい。そして、各ブロックＢ（ｆｃ［ｉ］）の周波数成分は、シフト先周波数範囲（例えば２５０Ｈｚの共振周波数のアクチュエータでは２００から３００Ｈｚ）の周波数にシフトおよびセンタリングされる。シフト先周波数範囲における周波数の位置の選択はランダムであってよい。ある実施形態では、各ブロックの周波数成分の一つ以上の周波数は、各周波数の振幅（高速フーリエ変換値から導出されたもの）をシフト先周波数範囲内の周波数に割り当てることによりシフトされうる。その後、フローは６７０へ進む。
６７０では、シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値が無効化される。その後、フローは６８０へ進む。
６８０では、周波数シフトされた信号の逆高速フーリエ変換が行われる。その後、フローは６９０へ進む。
６９０では、逆変換された信号は、元の入力信号により包絡処理されてハプティック信号が形成される。これは、元の入力信号と逆変換された信号との間の１対１（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。包絡処理された信号は、元の入力信号のものに近い包絡線を有し、ハプティック信号として用いられうる。その後、フローは終了する。
図７は、本発明の一実施形態による、入力信号をハプティック信号に変換する第四方法例のフロー図である。フローが開始し、７００に進む。７００では、オーディオ信号、ビデオ信号、加速度信号、またはセンサで捕らえられたデータを含みうる他の任意の信号などの入力信号に高速フーリエ変換が行われる。その後、フローは７１０へ進む。
７１０では、変換された入力信号の周波数の振幅が正規化される。ある実施形態では、入力信号の高速フーリエ変換により、周波数を含む一つのベクトルと、それらの周波数に対応するマグニチュードを含むもう一つのベクトルの、二つのベクトルが得られる。全てのマグニチュードからは最大値を見つけることができ、最大値を用いて全てのマグニチュードを正規化することができ、これによって１より小さい値のマグニチュードベクトルが得られる。換言すれば、マグニチュードを含むベクトルは１に正規化されうる。その後、フローは７２０へ進む。
７２０では、変換された入力信号の周波数がそれらの正規化された振幅によりソートされる。その後、フローは７３０へ進む。
７３０では、変換された入力信号の周波数から、振幅が既定の閾値（例えば０．１）より大きい一つ以上の周波数が選択される。選択された周波数は周波数「ｆｓ」として識別でき、他の周波数は無視されうる。その後、フローは７４０へ進む。
７４０では、残った周波数ｆｓが以下のようにクラスタリングされる。最大振幅を有する周波数ｆｓ［ｉ］から始まり、二番目に大きな振幅を有する周波数ｆｓ［ｉ＋１］、以下同様のｆｓの各周波数「ｆｓ［ｉ］」ごとに、範囲［ｆｓ［ｉ］−ｘ Ｈｚからｆｓ［ｉ］＋ｘ Ｈｚ］（例えばｘ＝１）内の全ての周波数が検討される。この範囲内に周波数ｆｓ［ｉ］より大きい振幅を有する周波数がある場合には、周波数ｆｓ［ｉ］は除去される。このクラスタリング技術を適用することにより、ｘ Ｈｚよりも離れた周波数だけが存在することとなる。これらの残った周波数は周波数「ｆｃ」として識別できる。その後、フローは７５０へ進む。
７５０では、残った周波数ｆｃが以下のようにクラスタリングされる。ｆｃの各周波数「ｆｃ［ｉ］」ごとに、範囲［ｆｃ［ｉ］−ｙ Ｈｚからｆｃ［ｉ］＋ｙ Ｈｚ］の振幅スペクトル曲線下面積（ａ ｓｕｒｆａｃｅ ｕｎｄｅｒ ａｎ ａｍｐｌｉｔｕｄｅ ｓｐｅｃｔｒｕｍ ｃｕｒｖｅ）が計算される。面積（ｓｕｒｆａｃｅ）が既定の閾値より大きい場合には、周波数ｆｃ［ｉ］が維持される。それ以外の場合には、周波数ｆｃ［ｉ］は除去される。残った周波数は、周波数「ｆｄ」として識別できる。その後、フローは７６０へ進む。
７６０では、残った周波数ｆｄが、一つ以上のブロックＢ（ｆｄ）にグループ化され、ここでｆｄの各周波数「ｆｄ［ｉ］」につきＢ（ｆｄ［ｉ］）＝［ｆｄ［ｉ］−ｚ Ｈｚからｆｄ［ｉ］＋ｚ Ｈｚ］であり、ｚは既定周波数範囲の幅より小さい数に等しい。既定周波数範囲は、「シフト先」周波数範囲であればよい。そして、各ブロックＢ（ｆｄ［ｉ］）の周波数成分は、シフト先周波数範囲（例えば２５０Ｈｚの共振周波数のアクチュエータでは２００から３００Ｈｚ）の周波数にシフトおよびセンタリングされる。シフト先周波数範囲における周波数の位置の選択はランダムであってよい。ある実施形態では、各ブロックの周波数成分の一つ以上の周波数は、各周波数の振幅（高速フーリエ変換値から導出されたもの）をシフト先周波数範囲内の周波数に割り当てることによりシフトされうる。その後、フローは７７０へ進む。
７７０では、シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値が無効化される。その後、フローは７８０へ進む。
７８０では、周波数シフトされた信号の逆高速フーリエ変換が行われる。その後、フローは７９０へ進む。
７９０では、逆変換された信号が、元の入力信号により包絡処理されてハプティック信号が形成される。これは、元の入力信号と逆変換された信号との間の１対１（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。包絡処理された信号は、元の入力信号のものに近い包絡線を有し、ハプティック信号として用いられうる。その後、フローは終了する。
図８は、本発明の一実施形態によれる、入力信号をハプティック信号に変換する第五方法例のフロー図である。８１０では、オーディオ信号、ビデオ信号、加速度信号、またはセンサで捕らえられたデータを含みうる他の任意の信号などの入力信号に高速フーリエ変換が行われる。その後、フローは８２０へ進む。
８２０では、変換された入力信号の振幅スペクトルが推定される。その後、フローは８３０へ進む。
８３０では、変換された入力信号の周波数は、各ブロックがｘ個の連続した周波数を含む連続したブロックｂにグループ化される。その後、フローは８４０へ進む。
８４０では、各ブロックｂの振幅スペクトル下面積（ａ ｓｕｒｆａｃｅ ｕｎｄｅｒ ａｎ ａｍｐｌｉｔｕｄｅ ｓｐｅｃｔｒｕｍ ｃｕｒｖｅ）（面積（ｓｕｒｆａｃｅ）Ｓ（ｂ）として識別）が推定され、各面積（ｓｕｒｆａｃｅ）Ｓ（ｂ）が全面積の最大値Ｓを用いて１に正規化される。その後、フローは８５０へ進む。
８５０では、既定の閾値より小さい面積Ｓ（ｂ）を有する各ブロックｂが除去される。その後、フローは８６０へ進む。
８６０では、面積が最大の一つ以上のブロックの周波数成分が、「シフト先」周波数範囲内のランダムな位置にシフトおよびセンタリングされる。その後、フローは８７０へ進む。
８７０では、シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値が無効化される。その後、フローは８８０へ進む。
８８０では、周波数シフトされた信号の逆高速フーリエ変換が行われる。その後、フローは８９０へ進む。
８９０では、逆変換された信号は、元の入力信号により包絡処理されてハプティック信号が形成される。これは、元の入力信号と逆変換された信号との間の１対１（サンプル）乗算であればよい。別の包絡処理方法は、元の入力信号の包絡線を抽出し、この包絡線を逆変換された信号に乗算することである。あるいは、逆変換された信号は包絡処理されずそのまま使用される。換言すると、一定のマグニチュード１を有する包絡線によって乗算することができる。包絡処理された信号は、元の入力信号のものに近い包絡線を有し、ハプティック信号として用いられうる。その後、フローは終了する。
したがって、一実施形態では、システムは、周波数シフトを用いて、オーディオ信号、ビデオ信号、または加速度信号等の入力信号からハプティック信号を作成することができる。したがってこのシステムは、オーディオデータ、ビデオデータ、または加速度データ等の入力データを、入力信号のフィルタリングを必要とせずにハプティック効果に変換することができる。したがって、入力信号のあらゆる成分を用いて、ハプティック信号を生成することができる。
本明細書の全体にわたり記載された本発明の特徴、構造、または特性は、一つ以上の実施形態において任意の適切な様式で組み合わされうる。例えば、本明細書の全体にわたる「一実施形態」、「一部の実施形態」、「ある実施形態」、「ある実施形態（複数）」、または他の類似の語の使用は、実施形態に関連して記載された特定の特徴、構造、または特性が本発明の少なくとも一つの実施形態に含まれうるという事実をさす。したがって、本明細書の全体にわたって見られる「一実施形態」、「一部の実施形態」、「ある実施形態」、「ある実施形態（複数）」の語句または他の類似の語は、全てが必ずしも同じ実施形態のグループをさすわけではなく、記載された特徴、構造、または特性は、一つ以上の実施形態で任意の適切な様式で組み合わせられうる。
通常の技術を有する当業者は、上述の本発明が、異なる順序のステップを用いて、および／または開示されたものとは異なる構成の要素を用いて実施されうることを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、一定の修正、変形、および代替的構造が明らかであり、本発明の趣旨および範囲内にもとどまることが当業者には明らかである。したがって、本発明の境界および限界を決定するためには、添付の請求の範囲が参照されなければならない。

Claims (13)

  1. 周波数シフトを用いて入力を一つ以上のハプティック効果に変換するための、コンピュータ実装される方法であって、
    入力信号を受け取るステップと、
    変換された入力信号を生成するために、前記入力信号の高速フーリエ変換を行うステップと、
    ソートされた周波数を生成するために、変換された前記入力信号の複数の周波数を振幅によってソートするステップと、
    選択された周波数を決定するために、最大の振幅を有するソートされた前記周波数にしたがって、変換された前記入力信号のソートされた前記周波数を選択するステップと、
    周波数シフトされた信号を作成するために、変換された前記入力信号の選択された前記周波数をそれらの既存の周波数からシフト先周波数範囲内の周波数にシフトするステップと、
    周波数シフトされた信号の逆高速フーリエ変換を行うステップであって、逆変換された信号は、ハプティック信号を形成する、ステップと、
    前記ハプティック信号に基づいて前記一つ以上のハプティック効果を生成するステップと、
    を含む、コンピュータ実装される方法。
  2. 変換された前記入力信号の一つ以上の選択された前記周波数をクラスタリングするステップをさらに含む、請求項１に記載のコンピュータ実装される方法。
  3. 変換された前記入力信号の前記周波数の振幅を正規化するステップをさらに含む、請求項２に記載のコンピュータ実装される方法。
  4. 変換された前記入力信号の一つ以上の選択された前記周波数をシフトするステップは、一つ以上の選択された前記周波数を前記シフト先周波数範囲へ移すステップをさらに含み、前記シフト先周波数範囲は、ハプティック出力デバイスの共鳴周波数を含む請求項１に記載のコンピュータ実装される方法。
  5. 変換された前記入力信号の選択された前記周波数を移すステップは、
    各選択された周波数の高速フーリエ変換値から導出される振幅を、前記シフト先周波数範囲内の周波数に割り当てるステップと、
    前記シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値を無効化するステップと、をさらに含む請求項４に記載のコンピュータ実装される方法。
  6. 変換された前記入力信号の複数の前記周波数をソートするステップは、複数の前記周波数をそれらの正規化された振幅によりソートするステップをさらに含み、
    変換された前記入力信号の複数のソートされた前記周波数を選択するステップは、振幅が既定の閾値より大きい複数のソートされた前記周波数を選択するステップをさらに含み、
    変換された前記入力信号の選択された前記周波数をクラスタリングするステップは、クラスタリングされた周波数を生成するために、各選択された周波数ごとに、選択された前記周波数の振幅よりも大きい振幅を有する周波数が第一既定範囲内にある場合には選択された前記周波数を除去するステップをさらに含み、
    変換された前記入力信号の選択された前記周波数をシフトするステップは、周波数のグループを作成するために、一つ以上のクラスタリングされた前記周波数を一つ以上のブロック内にグループ化するステップであって、各ブロックの幅は、シフトされた周波数成分を作成するために、前記シフト先周波数範囲の幅より小さい第二既定範囲の幅である、ステップと、各ブロックの周波数成分を前記シフト先周波数範囲内にシフトするステップと、各ブロックのシフトされた前記周波数成分を、前記シフト先周波数範囲内の周波数にセンタリングするステップとをさらに含む請求項３に記載のコンピュータ実装される方法。
  7. 各ブロックの前記周波数成分を前記シフト先周波数範囲内の周波数にシフトするステップは、
    周波数の各グループの高速フーリエ変換値を、前記シフト先周波数範囲内の周波数に割り当てるステップと、
    前記シフト先周波数範囲内にない周波数の全ての高速フーリエ変換値を無効化するステップと、をさらに含む請求項６に記載のコンピュータ実装される方法。
  8. 各ブロックは、前記シフト先周波数範囲内のランダムな位置に置かれ、
    変換された前記入力信号の一つ以上の選択された前記周波数をクラスタリングするステップは、各クラスタリングされた周波数ごとに、第三既定範囲の振幅スペクトル曲線下面積を計算するステップと、前記面積が既定の閾値より小さい場合にはクラスタリングされた前記周波数を除去するステップとをさらに含む請求項６に記載のコンピュータ実装される方法。
  9. 変換された前記入力信号の振幅スペクトルを推定するステップをさらに含み、
    変換された前記入力信号の前記周波数をソートするステップは、前記周波数を複数の連続したブロックにグループ化するステップをさらに含み、複数の連続したブロックのそれぞれは、一つ以上の連続した周波数を含み、
    変換された前記入力信号の一つ以上の前記周波数を選択するステップは、複数の連続したブロックのそれぞれにつき振幅スペクトル下面積を推定するステップと、複数の連続したブロックのそれぞれの前記面積を最大値に正規化するステップと、前記面積が既定の閾値より小さい複数の連続したブロックのそれぞれを除去するステップとをさらに含み、
    変換された前記入力信号の一つ以上の選択された前記周波数をシフトするステップは、前記面積が最大の複数の連続した各ブロックの一つ以上のブロックの周波数成分を前記シフト先周波数範囲内にシフトするステップと、
    前記一つ以上のブロックのシフトされた前記周波数成分を前記シフト先周波数範囲内の周波数にセンタリングするステップとをさらに含む請求項１に記載のコンピュータ実装される方法。
  10. 周波数シフトを用いて入力を一つ以上のハプティック効果に変換するシステムであって、
    ハプティック変換モジュールを格納するように構成されたメモリと、
    前記メモリに格納された前記ハプティック変換モジュールを実行するように構成されたプロセッサと、を含み、
    前記ハプティック変換モジュールは、入力信号を受け取るように構成され、
    前記ハプティック変換モジュールは、変換された入力信号を生成するために、前記入力信号の高速フーリエ変換を行うようにさらに構成され、
    前記ハプティック変換モジュールは、ソートされた周波数を生成するために、変換された前記入力信号の複数の周波数を振幅によってソートするように構成され、
    前記ハプティック変換モジュールは、選択された周波数を決定するために、最大の振幅を有するソートされた前記周波数にしたがって、変換された前記入力信号のソートされた前記周波数を選択するように構成され、
    前記ハプティック変換モジュールは、周波数シフトされた信号を作成するために、変換された前記入力信号の選択された前記周波数をそれらの既存の周波数からシフト先周波数範囲内の周波数にシフトするようにさらに構成され、
    前記ハプティック変換モジュールは、周波数シフトされた信号の逆高速フーリエ変換を行うようにさらに構成され、逆変換された前記信号は、ハプティック信号を形成し、
    前記ハプティック変換モジュールは、前記ハプティック信号に基づいて前記一つ以上のハプティック効果を生成するようにさらに構成されるシステム。
  11. 前記ハプティック変換モジュールは、変換された前記入力信号の選択された前記周波数をクラスタリングするようにさらに構成される請求項１０に記載のシステム。
  12. 前記ハプティック変換モジュールは、選択された前記周波数を前記シフト先周波数範囲へ移すようにさらに構成され、前記シフト先周波数範囲は、ハプティック出力デバイスの共鳴周波数を含む請求項１０に記載のシステム。
  13. プロセッサにより実行されると請求項１から９のいずれか一項に記載の方法を前記プロセッサに実施させる命令が格納されたコンピュータ可読媒体。
JP2014152842A 2013-09-06 2014-07-28 周波数シフトを用いたハプティック変換システム Expired - Fee Related JP6508893B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/020,502 US10599218B2 (en) 2013-09-06 2013-09-06 Haptic conversion system using frequency shifting
US14/020,502 2013-09-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019063290A Division JP6739571B2 (ja) 2013-09-06 2019-03-28 周波数シフトを用いたハプティック変換システム

Publications (2)

Publication Number Publication Date
JP2015053038A JP2015053038A (ja) 2015-03-19
JP6508893B2 true JP6508893B2 (ja) 2019-05-08

Family

ID=51357694

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014152842A Expired - Fee Related JP6508893B2 (ja) 2013-09-06 2014-07-28 周波数シフトを用いたハプティック変換システム
JP2019063290A Active JP6739571B2 (ja) 2013-09-06 2019-03-28 周波数シフトを用いたハプティック変換システム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019063290A Active JP6739571B2 (ja) 2013-09-06 2019-03-28 周波数シフトを用いたハプティック変換システム

Country Status (5)

Country Link
US (1) US10599218B2 (ja)
EP (2) EP3575931A1 (ja)
JP (2) JP6508893B2 (ja)
KR (1) KR102310668B1 (ja)
CN (2) CN110413118A (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
US9245429B2 (en) 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9443401B2 (en) 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9619029B2 (en) 2013-11-14 2017-04-11 Immersion Corporation Haptic trigger control system
WO2015099792A1 (en) * 2013-12-27 2015-07-02 Intel Corporation Method and apparatus to change resonance frequency of an electronic device
US10185396B2 (en) 2014-11-12 2019-01-22 Immersion Corporation Haptic trigger modification system
WO2017119107A1 (ja) * 2016-01-07 2017-07-13 富士通株式会社 電子機器、及び、電子機器の駆動制御方法
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
JP6634528B2 (ja) * 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018193557A1 (ja) 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018198229A1 (ja) 2017-04-26 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
WO2019038887A1 (ja) 2017-08-24 2019-02-28 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6893561B2 (ja) 2017-08-24 2021-06-23 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
KR102098325B1 (ko) * 2017-08-25 2020-04-07 주식회사 엠플러스 입력신호 제어를 이용한 버튼 클릭 구현방법
WO2019043781A1 (ja) 2017-08-29 2019-03-07 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置、振動制御方法、及びプログラム
WO2019229698A1 (en) 2018-05-31 2019-12-05 Purple Tambourine Limited Interacting with a virtual environment using a pointing controller
DE112019003209T5 (de) 2018-06-28 2021-04-08 Sony Corporation Codiervorrichtung, Codierverfahren, Decodiervorrichtung, Decodierverfahren und Programm
US20210266010A1 (en) * 2018-06-28 2021-08-26 Sony Corporation Decoding apparatus, decoding method, and program
CN112470104B (zh) 2018-07-03 2024-04-19 索尼公司 编码设备、编码方法、解码设备、解码方法、发送系统、接收设备和程序
CN112534723B (zh) 2018-08-08 2024-06-18 索尼公司 解码装置、解码方法和程序
WO2020031527A1 (ja) 2018-08-10 2020-02-13 ソニー株式会社 信号生成装置、信号生成方法、プログラム、再生装置
US11482086B2 (en) 2018-08-10 2022-10-25 Sony Corporation Drive control device, drive control method, and program
KR20200057549A (ko) * 2018-11-16 2020-05-26 주식회사 씨케이머티리얼즈랩 햅틱 데이터 생성 장치 및 방법, 햅틱 효과 제공 장치 및 방법
KR102656636B1 (ko) * 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
WO2020157978A1 (ja) * 2019-02-01 2020-08-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置
JP2022521360A (ja) 2019-02-18 2022-04-06 アーク リソー ホールディングス， エルエルシー ポインティングコントローラを使用したスマートデバイスとの相互作用
KR102141889B1 (ko) * 2019-02-19 2020-08-06 주식회사 동운아나텍 적응적 햅틱 신호 발생 장치 및 방법
US10754428B1 (en) * 2019-02-25 2020-08-25 Facebook Technologies, Llc Systems, methods, and devices for audio-tactile mapping
WO2021061275A1 (en) 2019-09-24 2021-04-01 Arkh, Llc Smart ring
US11755111B2 (en) 2020-03-16 2023-09-12 Arkh, Inc. Spatially aware computing hub and environment
USD1009861S1 (en) 2020-09-25 2024-01-02 Arkh, Inc. Smart ring
JP7340556B2 (ja) * 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
KR102516138B1 (ko) * 2022-10-12 2023-03-30 주식회사 비츠나인 진동 생성 방법 및 컴퓨터 프로그램

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US6577739B1 (en) 1997-09-19 2003-06-10 University Of Iowa Research Foundation Apparatus and methods for proportional audio compression and frequency shifting
DE20080209U1 (de) * 1999-09-28 2001-08-09 Immersion Corp Steuerung von haptischen Empfindungen für Schnittstellenvorrichtungen mit Vibrotaktiler Rückkopplung
US7138989B2 (en) 2000-09-15 2006-11-21 Silicon Graphics, Inc. Display capable of displaying images in response to signals of a plurality of signal formats
JP2003099177A (ja) * 2001-09-21 2003-04-04 Fuji Xerox Co Ltd 触覚情報作成方法、触覚情報提示方法および触覚情報提示装置
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US6703550B2 (en) * 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
JP2004214843A (ja) 2002-12-27 2004-07-29 Alpine Electronics Inc デジタルアンプ及びそのゲイン調整方法
EP2312475B1 (en) 2004-07-09 2012-05-09 Nippon Telegraph and Telephone Corporation Sound signal detection and image signal detection
US7515138B2 (en) 2004-10-01 2009-04-07 3M Innovative Properties Company Distinguishing vibration signals from interference in vibration sensing touch input devices
US8378964B2 (en) 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US8000825B2 (en) 2006-04-13 2011-08-16 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US7979146B2 (en) 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
WO2008127316A1 (en) 2006-11-22 2008-10-23 Chornenky T E Security and monitoring apparatus
US8502679B2 (en) * 2008-10-08 2013-08-06 The Board Of Regents Of The University Of Texas System Noninvasive motion and respiration monitoring system
CA2754705A1 (en) * 2009-03-10 2010-09-16 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
DE102009035386B4 (de) 2009-07-30 2011-12-15 Cochlear Ltd. Hörhilfeimplantat
KR101719507B1 (ko) 2009-11-17 2017-03-24 임머숀 코퍼레이션 전자 디바이스에서 촉각 대역폭을 증가시키는 시스템들 및 방법들
EP2372705A1 (en) * 2010-03-24 2011-10-05 Thomson Licensing Method and apparatus for encoding and decoding excitation patterns from which the masking levels for an audio signal encoding and decoding are determined
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9513706B2 (en) 2012-02-15 2016-12-06 Immersion Corporation High definition haptic effects generation using primitives
US9196134B2 (en) * 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
US9128523B2 (en) * 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data

Also Published As

Publication number Publication date
KR20150028737A (ko) 2015-03-16
CN104423848A (zh) 2015-03-18
KR102310668B1 (ko) 2021-10-12
JP2015053038A (ja) 2015-03-19
EP2846219B1 (en) 2019-10-09
US10599218B2 (en) 2020-03-24
US20150070261A1 (en) 2015-03-12
CN110413118A (zh) 2019-11-05
JP2019109943A (ja) 2019-07-04
EP2846219A1 (en) 2015-03-11
JP6739571B2 (ja) 2020-08-12
EP3575931A1 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
JP6739571B2 (ja) 周波数シフトを用いたハプティック変換システム
JP6615307B2 (ja) 動的ハプティック変換システム
JP6568257B2 (ja) センサ入力を触覚的に表すためのシステム
US10416774B2 (en) Automatic remote sensing and haptic conversion system
US9454881B2 (en) Haptic warping system
US9898085B2 (en) Haptic conversion system using segmenting and combining
US10748391B2 (en) Haptic signal conversion system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190402

R150 Certificate of patent or registration of utility model

Ref document number: 6508893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees