JP6324847B2 - ハプティックワーピングシステム - Google Patents

ハプティックワーピングシステム Download PDF

Info

Publication number
JP6324847B2
JP6324847B2 JP2014172411A JP2014172411A JP6324847B2 JP 6324847 B2 JP6324847 B2 JP 6324847B2 JP 2014172411 A JP2014172411 A JP 2014172411A JP 2014172411 A JP2014172411 A JP 2014172411A JP 6324847 B2 JP6324847 B2 JP 6324847B2
Authority
JP
Japan
Prior art keywords
haptic
signal
haptic signal
new
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014172411A
Other languages
English (en)
Other versions
JP2015053043A (ja
Inventor
ユアン マヌエル クルス−エルナンデス
ユアン マヌエル クルス−エルナンデス
ジャマル サボウン
ジャマル サボウン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2015053043A publication Critical patent/JP2015053043A/ja
Application granted granted Critical
Publication of JP6324847B2 publication Critical patent/JP6324847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Description

関連出願の相互参照
本出願は、2013年9月6日に出願された米国仮特許出願第61/874,920号(その開示は本明細書に参照により組み込まれている)の優先権を主張する。
分野
一実施形態は、概して、装置、より具体的にはハプティック効果を生成する装置に関する。
ハプティックは、力、振動および動作などのハプティックフィードバック効果(すなわち「ハプティック効果」)をユーザに適用することによってユーザの触覚を利用する触覚および力フィードバック技術である。モバイル機器、タッチスクリーン装置およびパーソナルコンピュータなどの装置はハプティック効果を生成するように構成され得る。一般に、ハプティック効果を生成できる内蔵されたハードウェア(アクチュエータなど)へのコールは、装置のオペレーティングシステム(OS)内でプログラム化され得る。これらのコールはどのハプティック効果を再生するかを特定する。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイールまたはいくつかの他のコントールを使用して装置とやり取りする場合、装置のOSは、制御回路を介して内蔵されたハードウェアにプレイコマンドを送信することができる。次いで内蔵されたハードウェアは適切なハプティック効果を生成する。
ハプティック効果ディベロッパーは装置のためのハプティック効果を作成することができ、その装置はハプティック効果を出力するように構成され得る。あるいは、装置は、音声入力、ビデオ入力または任意の他の種類のセンサ入力などの入力を受信でき、入力をハプティック効果に変換でき、ハプティック効果を出力できる(または入力をハプティックコンテンツに変換でき、ミキシングまたはストリーミングにより、他のオーディオおよび/またはビデオコンテンツと一緒にハプティックコンテンツを受信できる)。いずれかの状況において、異なる種類のハードウェアが異なるハードウェア特性に起因して異なる種類のハプティック効果を生成できる。例えば、異なる種類のアクチュエータ(偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータなど)が、異なるアクチュエータの異なる電気機械特性に起因して異なる種類のハプティック効果を生成できる。一般に、特定の種類のハードウェアについてのハプティック効果を作成することを望むハプティック効果ディベロッパーは、特定のハードウェアについてのハプティック効果を調整することを必要とされる。ハプティック効果ディベロッパーが複数のハードウェア種類をサポートすることを望む場合、ハプティック効果ディベロッパーは一般に、各ハードウェアの種類について最適なハプティック経験を提供するために異なるハプティック効果を作成しなければならない。これは、さらなる設計時間およびハプティック効果を作成することに関する労力を生じ得る。
一実施形態はハプティック信号を変換するシステムである。このシステムは元のハプティック信号を受信し、その元のハプティック信号は第1のハプティック効果空間を含み、その第1のハプティック効果空間は第1のハプティック出力装置によって生成され得る1つまたは複数のハプティック効果を含む。システムはさらに、元のハプティック信号を新たなハプティック信号に変換し、新たなハプティック信号は、第1のハプティック効果空間とは異なる第2のハプティック効果空間を含み、第2のハプティック効果空間は、第2のハプティック出力装置によって生成され得る1つまたは複数のハプティック効果を含み、新たなハプティック信号内に含まれるデータは、元のハプティック信号内に含まれるデータに基づく。システムはさらに、1つまたは複数のハプティック効果を生成するために新たなハプティック信号をハプティック出力装置に送信する。
さらなる実施形態、詳細、利点および修飾は、添付の図面と併せて好ましい実施形態の以下の詳細な説明から明らかになるであろう。
本発明の一実施形態に係るシステムのブロック図を示す。 本発明の一実施形態に係る、ハプティック信号を変換するまたは「ワープする」システムのフロー図を示す。 本発明の一実施形態に係る、ハプティック効果空間マッピングの例示的なチャートおよびグラフを示す。 本発明の一実施形態に係る、第1のハプティック効果空間に関連する第1のハプティック信号の、第2のハプティック効果空間に関連する第2のハプティック信号への例示的な変換または「ワーピング」を示す。 ハプティック信号にトランジェントを加えることによって第1のハプティック効果空間に関連するハプティック信号の例示的な変換または「ワーピング」を示し、トランジェントは、本発明の一実施形態に係る、第2のハプティック効果空間に関連する。 本発明の一実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。 本発明の別の実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。 本発明の別の実施形態に係る、ハプティックワーピングモジュールの機能性のフロー図を示す。
一実施形態は、特定の種類のハプティック出力装置のために設計された入力ハプティック信号を、別の特定の種類のハプティック出力装置のために設計された別のハプティック信号に変換するまたは「ワープする(warp)」システムである。入力ハプティック信号は、(例えば、オーディオ入力、ビデオ入力、および/またはセンサ入力から)自動的に生成される、または(例えば、ハプティック効果開発プラットフォームを使用してハプティック効果設計者によって)手動で生成されるハプティック信号であってもよい。入力ハプティック信号は、任意の種類のアクチュエータ(例えば、偏心回転体モータアクチュエータ、線形共鳴アクチュエータおよび圧電アクチュエータ)または他の種類のハプティック出力装置のために作成されてもよい。異なる種類のアクチュエータまたは他の種類のハプティック出力装置で再生される場合、出力ハプティック信号が最適なハプティック経験を生み出すことができるように、入力ハプティック信号は出力ハプティック信号に変換されてもよい。入力ハプティック信号を変換する際に、対象のハプティック出力装置の特性(スペクトル特性および時間特性など)が考慮されてもよく、入力ハプティック信号は対象のハプティック出力装置の特性に基づいて出力ハプティック信号に変換されてもよい。例えば、高定義(ハイデフィニション(high−definition))のアクチュエータのために生成されるハプティック信号は、標準定義(スタンダードデフィニション(standard−definition))のアクチュエータのために生成されるハプティック信号に変換されてもよい。標準定義のアクチュエータはベースライン範囲の振動強度を有するベースライン範囲の異なる振動効果を提供できるアクチュエータである。高定義のアクチュエータは、増加した範囲の振動強度を有する増加した範囲の異なる振動効果を提供できるアクチュエータである。さらに、高定義のアクチュエータは、動的(ダイナミック)ハプティック効果を強制的に急速に変化させ得るのに十分な速度でその強度レベルを増加および減少できる。したがって、標準定義のアクチュエータと比べて、高定義のアクチュエータは、速い応答時間、高ダイナミック範囲およびまた、高周波数応答を有する。高定義のアクチュエータは多くの周波数(例えば、100ヘルツ(「Hz」)から400Hz)でハプティック効果を作成できる。それに対し、標準定義のアクチュエータは、限定された範囲の大きさ、限定された範囲の周波数を生成できるアクチュエータである。
図1は、本発明の一実施形態に係るシステム10のブロック図を示す。一実施形態において、システム10はモバイル機器の一部であり、システム10はモバイル機器のためのハプティックワーピング機能を提供する。別の実施形態において、システム10はウェアラブルデバイスの一部であり、システム10はウェアラブルデバイスのためのハプティックワーピング機能を提供する。ウェアラブルデバイスの例としては、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣服に取り付けられるアレイ、またはユーザが身体に装着できるもしくはユーザにより保持され得る任意の他の種類のデバイスが挙げられる。一部のウェアラブルデバイスは「ハプティック動作可能」であり得、それらがハプティック効果を生成するための機構を備えることを意味する。別の実施形態において、システム10は、デバイス(例えばモバイル機器またはウェアラブルデバイス)から分離され、デバイスのためのハプティックワーピング機能をリモートで提供する。単一のシステムとして示されるが、システム10の機能は分散システムとして実装されてもよい。システム10は、情報を通信するためのバス12または他の通信機構、および情報を処理するためのバス12に連結されるプロセッサ22を含む。プロセッサ22は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム10はさらに、情報を記憶するためのメモリ14およびプロセッサ22により実行される命令を含む。メモリ14は、ランダムアクセスメモリ(「RAM」)、リードオンリメモリ(「ROM」)、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。システム10はまた、別のトラックもしくはファイルにおいてハプティック波形を受信してもよい、またはファイル内に記憶された他のオーディオおよび/もしくはビデオコンテンツと混合されるハプティック波形を受信してもよい。
コンピュータ可読媒体は、プロセッサ22によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、RAM、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリメモリ(「EPROM」)、電気的消去可能プログラマブルリードオンリメモリ(「EEPROM」)、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ(「CD−ROM」)、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。
一実施形態において、メモリ14は、プロセッサ22により実行される場合、機能性を提供するソフトウェアモジュールを記憶する。モジュールは、システム10のためのオペレーティングシステム機能性を提供するオペレーティングシステム15、ならびに一実施形態におけるモバイル機器の残りを含む。モジュールはさらに、以下により詳細に開示されるようにハプティック信号を変換するまたは「ワープする」ハプティックワーピングモジュール16を含む。特定の実施形態において、ハプティックワーピングモジュール16は複数のモジュールを含んでもよく、各々のモジュールはハプティック信号を変換するまたは「ワープする(ワーピング)」ための特定の個々の機能性を提供する。システム10は典型的に、Immersion CorporationによるIntegrator(商標)ソフトウェアなどの追加の機能を含むように1つ以上の追加のアプリケーションモジュール18を含む。
リモートソースからデータを送信および/または受信する実施形態において、システム10はさらに、赤外線、無線、Wi−Fi、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス20を含む。他の実施形態において、通信デバイス20は、イーサネット(登録商標)接続またはモデムなどの有線ネットワーク接続を提供する。
プロセッサ22はさらに、バス12を介して、グラフィック表現を表示するための液晶ディスプレイ(「LCD」)などのディスプレイ24またはユーザに対するユーザインターフェースに接続される。ディスプレイ24は、プロセッサ22から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。
一実施形態において、システム10はさらに、アクチュエータ26を含む。プロセッサ22は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ26に送信してもよく、次いで振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ26はアクチュエータ駆動回路を含む。アクチュエータ26は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転体モータ(「ERM」)、線形共鳴アクチュエータ(「LRA」)、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー(「EAP」)アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム10は、アクチュエータ26に加えて1つ以上の追加のアクチュエータを含んでもよい(図1に示さず)。アクチュエータ26はハプティック出力装置の一例であり、ハプティック出力装置は、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。代替の実施形態において、アクチュエータ26は一部の他の種類のハプティック出力装置により置き換えられてもよい。さらに、他の代替の実施形態において、システム10はアクチュエータ26を含まなくてもよく、システム10とは別個のデバイスが、ハプティック効果を生成するアクチュエータまたは他のハプティック出力装置を含み、システム10は、生成されたハプティック信号を、通信デバイス20を介して、そのデバイスに送信する。
一実施形態において、システム10はさらに、スピーカ28を含む。プロセッサ22はオーディオ信号をスピーカ28に送信でき、次にオーディオ効果を出力する。スピーカ28は、例えば、ダイナミックラウドスピーカ、動電型スピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、平面パネルラウドスピーカ、ハイルエアモーショントランスデューサ(heil air motion transducer)、プラズマアークスピーカおよびデジタルラウドスピーカであってもよい。代替の実施形態において、システム10はスピーカ28(図1に示さず)に加えて1つまたは複数のさらなるスピーカを含んでもよい。さらに、他の代替の実施形態において、システム10はスピーカ28を含まなくてもよく、システム10とは別のデバイスが、オーディオ効果を出力するスピーカを含む。システム10は通信デバイス20を介してオーディオ信号をそのデバイスに送信する。
一実施形態において、システム10はさらにセンサ30を含む。センサ30は、エネルギーの形態、または限定されないが、音、運動、加速度、生体信号、距離、流量、力/圧力/歪/屈曲、湿度、線形位置、配向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ30はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ30は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図(electropalatograph)、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ(flexion sensor)(または屈曲センサ(bend sensor))、力感応抵抗器、ロードセル、LuSense CPS155、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計(またはスライダ)、線形可変差動変圧器、コンパス、傾斜計、磁性タグ(または無線周波数識別タグ)、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ(例えば温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路)、マイクロフォン、光度計、高度計、温度計、生物学的モニター、カメラまたは光依存性抵抗器などの任意のデバイスであってもよい。代替の実施形態において、システム10は、センサ30に加えて、1つ以上のさらなるセンサ(図1に示さず)を含んでもよい。これらの実施形態の一部において、センサ30および1つ以上の追加のセンサはセンサアレイの一部であってもよく、またはセンサの回収の一部の他の種類であってもよい。さらに、他の代替の実施形態において、システム10はセンサ30を含まなくてもよく、システム10とは別個のデバイスがエネルギーの形態または他の物理特性を検出するセンサを含み、検出されたエネルギーまたは他の物理特性を仮想センサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、変換された信号を通信デバイス20を介してシステム10に送信する。あるいは、デバイスはセンサ30のセンサ信号をハプティック効果トラックまたはファイルに変換してもよい。
図2は、本発明の一実施形態に係る、ハプティック信号を変換するまたは「ワープする」システムのフロー図を示す。一実施形態において、図2の機能性ならびに図6、7および8の機能性は、メモリまたは他のコンピュータ可読媒体もしくは有形的表現媒体に保存されたソフトウェアにより実装され、プロセッサにより実行される。他の実施形態において、各機能性は、ハードウェアにより(例えば、特定用途向け集積回路(「ASIC」)、プログラマブルゲートアレイ(「PGA」)、フィールドプログラマブルゲートアレイ(「FPGA」)などの使用により)またはハードウェアとソフトウェアの任意の組合せにより実施されてもよい。
一実施形態によれば、フローは210で開始する。210において、ハプティック信号が受信され、ハプティック信号は波形などのデータを含んでもよく、波形はパルス符号変調(「PCM」)フォーマットにおける1つまたは複数の信号値のセットである。ハプティック信号はハプティック効果に関連してもよく、ハプティック信号はアクチュエータなどのハプティック出力装置に送信されてもよく、ハプティック出力装置はハプティック信号に基づいてハプティック効果を出力できる。ハプティック効果の例はハプティック出力装置のユーザが感じる振動を生成できる振動ハプティック効果である。ハプティック効果の他の例は静電摩擦ハプティック効果または変形ハプティック効果を含んでもよい。
220によれば、ハプティック信号は、入力信号から自動的に作成されるか、またはハプティック効果開発プラットフォームを使用して手動で作成されてもよい。より具体的には、入力信号が受信されてもよく、ハプティック信号は自動的に入力信号に基づいて生成されてもよい。入力信号の例は、オーディオ信号、ビデオ信号、加速度信号、配向信号、周辺光信号、動作信号、温度信号または他の同様の種類の信号を含む。代替の実施形態において、入力信号に基づいて自動的に生成される以外に、ハプティック信号は、Immersion CorporationによるHaptic Studio(商標)などのハプティック効果開発プラットフォームを使用して手動で生成されてもよい。ハプティック効果開発プラットフォームを使用して、ハプティック効果ディベロッパーは所望のハプティック効果を生成するために使用され得るハプティック信号の1つまたは複数の特性を定義でき、ハプティック効果開発プラットフォームは1つまたは複数の定義された特性に基づいてハプティック信号を生成できる。さらに、ハプティック信号は特定の種類のハプティック出力装置のために設計されてもよい。より具体的には、ハプティック信号はハプティック効果空間に関連してもよく、ハプティック効果空間は、可能な場合、ハプティック出力装置によって生成され得るハプティック効果のセットを含む。ハプティック効果空間は図3と併せて以下により詳細に記載されている。次いでフローは230に進む。
230において、ハプティック信号は、新たなハプティック信号に変換され得るまたは「ワープされ得る」(「適合させる」として図2に特定した)。より具体的には、新たなハプティック信号が生成されてもよく、新たなハプティック信号は波形などのデータを含み、データは元の信号のデータに基づく。このような変換または「ワーピング」はさらに図4〜8と併せて以下により詳細に記載されている。さらに、新たなハプティック信号は新たなハプティック効果空間に関連してもよく、新たなハプティック効果空間は元の信号の元のハプティック効果空間とは異なる。240によれば、ハプティック信号の変換は対象のハプティック出力装置の1つまたは複数の特性に基づいてもよい。例えば、新たなハプティック信号が、高周波数を有するハプティック効果を生成するように構成されるハプティック出力装置に送信される場合、ハプティック信号は、高い値を有するハプティック周波数パラメータにより生成されてもよい。これらの実施形態において、新たなハプティック信号の新たなハプティック効果空間は対象のハプティック出力装置のハプティック効果空間であってもよい。次いで新たなハプティック信号は、対象のハプティック出力装置に送信されてもよく(図2において「再生装置」と特定される)、新たなハプティック信号はハプティック効果を生成するために再生される。特定の実施形態において、元のハプティック信号はまた、対象のハプティック出力装置によって生成されるハプティック効果を補完する補完的ハプティック効果を生成するために異なる対象の出力装置(図2に示さず)に送信されてもよい。次いでフローは終了する。
特定の実施形態において、生成される新たなハプティック信号は、ユーザのマルチメディア視聴体験を増強するために1つまたは複数のオーディオ信号および/またはビデオ信号と一緒に再生されてもよい。これらの実施形態のいくつかにおいて、ハプティック出力装置はオーディオ/ビデオ出力装置(例えば、モバイル機器)と同じであってもよい。これらの実施形態の他のいくつかにおいて、ハプティック出力装置はオーディオ/ビデオ出力装置と別個であってもよい(例えば、ハプティックチェア、ハプティックチェア、ウェアラブルハプティック装置など)。
さらに、特定の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、サーバなどの入力ハプティック信号を受信する装置と別個の装置により「オフライン」で行われてもよい。変換が「オフライン」である場合、全入力ハプティック信号のデータが入力ハプティック信号を新たなハプティック信号に変換するために使用されてもよい。次いで新たなハプティック信号は元の装置に戻すようにストリーミングされてもよく、元の装置は新たなハプティック信号をハプティック出力装置に送信してもよい。代替の実施形態において、入力ハプティック信号の新たなハプティック信号への変換または「ワーピング」は、入力ハプティック信号を受信する同じ装置によって「オンライン」で行われてもよく、変換はリアルタイムまたは準リアルタイムで実施されてもよい。これらの実施形態において、入力ハプティック信号の異なる部分が、入力ハプティック信号を新たなハプティック信号に変換するために連続して使用されてもよく、全入力ハプティック信号は任意の特定の時間において利用できない。なおさらに、特定の実施形態において、新たなハプティック信号は、ハプティック出力装置にすぐに送信されるというよりむしろ、コンピュータファイルまたは複数のコンピュータファイルに保存されてもよい。これらの実施形態において、新たなハプティック信号はコンピュータファイルまたは複数のコンピュータファイルから後で読み出されてもよく、新たなハプティック信号はハプティック出力装置に送信されてもよいか、または1つもしくは複数のオーディオ信号および/もしくはビデオ信号と混合されてもよい。
図3は、本発明の一実施形態に係る、例示的なチャートおよびハプティック効果空間マッピングのグラフを示す。以前に記載されているように、特定の種類のアクチュエータのために設計され、特定のハプティック効果空間に関連しているハプティック信号は、異なる種類のアクチュエータのために設計され、異なるハプティック効果空間に関連している新たなハプティック信号に変換され得るまたは「ワープされ得る」。また、以前に記載されているように、ハプティック効果空間は、可能な場合、アクチュエータなどのハプティック出力装置によって生成され得るハプティック効果のセットを含む。図3の例示した実施形態において、例示的な振動触覚ハプティック効果空間が示される。しかしながら、当業者は、振動触覚ハプティック空間がハプティック効果空間の一例であり、代替の実施形態において、静電摩擦ハプティック効果空間または変形ハプティック効果空間などの他の種類のハプティック効果空間が利用されてもよいことを容易に理解するであろう。
例示した実施形態によれば、仮想的な高定義振動触覚ハプティック効果空間310は、仮想環境(例えば、振動触覚アクチュエータの大きさまたは力の条件の制約がない)において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。仮想的な高定義振動触覚ハプティック効果空間310のサブセットは、実際の高定義振動触覚ハプティック効果空間320である。実際の高定義振動触覚ハプティック効果空間320は、実際の環境(例えば、振動触覚アクチュエータの大きさまたは力の条件が実際に制約される)において実際の振動触覚アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。
実際の高定義振動触覚ハプティック効果空間320の4つのサブセットは、現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間330;現在の高定義EAPアクチュエータ振動触覚ハプティック効果空間340;LRA振動触覚ハプティック効果空間350;およびERM振動触覚ハプティック効果空間360である。現在の高定義圧電アクチュエータ振動触覚ハプティック効果空間330は、このようなアクチュエータの電気機械特性に基づいて現在の高定義圧電アクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。現在の高定義EAPアクチュエータ振動触覚ハプティック効果空間340は、このようなアクチュエータの電気機械特性に基づいて現在の高定義EAPアクチュエータにより生成され得る全ての振動触覚ハプティック効果を含む。LRA振動触覚ハプティック効果空間350は、このようなアクチュエータの電気機械特性に基づいて現在のLRAにより生成され得る全ての振動触覚ハプティック効果を含む。ERM振動触覚ハプティック効果空間360は、このようなアクチュエータの電気機械特性に基づいて現在のERMにより生成され得る全ての振動触覚ハプティック効果を含む。LRAおよびERMハプティック効果空間は、時々、高定義アクチュエータにより生成されてもよいが、いくつかの高定義アクチュエータはいくつかのLRAおよびERMハプティック効果空間を完全に再現できない。
例示した実施形態によれば、変換または「ワーピング」アルゴリズムが、図3に例示した振動触覚ハプティック効果空間の1つに関連している元のハプティック信号に適用されてもよく、それにより元のハプティック信号は、図3に例示した異なる振動触覚ハプティック効果空間に関連している新たなハプティック信号に変換される。例えば、元のハプティック信号は仮想の高定義振動触覚ハプティック効果空間310に関連してもよい。元のハプティック信号は、ERM振動触覚ハプティック効果空間360に関連している新たなハプティック信号に変換されてもよい。別の例として、元のハプティック信号は、LRA振動触覚ハプティック効果空間350に関連している新たなハプティック信号に変換されてもよい。
したがって、ワーピングアルゴリズムの目標は、ハプティック効果によって提供されるハプティック経験を保存しながら、ハプティック効果が、異なる種類のハプティック出力装置で再生される特定のハプティック出力装置の種類のために設計されることを可能にすることである。特定の実施形態において、高定義圧電アクチュエータのために設計されたハプティック信号から、低質のアクチュエータ(例えば、LRAまたはERM)のために設計されたハプティック信号への変換は、ワーピングアルゴリズムによって提供されてもよい。しかしながら、代替の実施形態において、ワーピングアルゴリズムは、低質アクチュエータから高質アクチュエータへの変換を含む、他の種類の変換を提供できる。
特定の実施形態において、ワーピングアルゴリズムは、第1のハプティック信号内に含まれるデータの1つまたは複数の周波数(または「ピッチ」)を変化させることによって第1のハプティック信号を第2のハプティック信号に変換できる。このような周波数シフト技術(または「ピッチシフト」技術)はさらに、図4および5と併せて以下により詳細に記載されている。代替の実施形態において、ワーピングアルゴリズムは、他の種類のデータ変換技術によって第1のハプティック信号を第2のハプティック信号に変換できる。このような他の種類のデータ変換技術はさらに、図6、7および8と併せて以下により詳細に記載されている。
特定の実施形態において、ハプティック信号はイベントに基づいたハプティック信号であってもよく、イベントは対応するオーディオ信号および/またはビデオ信号内でマークされ、ハプティック効果は、コードされたオーディオ信号および/またはビデオ信号に基づいて出力されてもよい。代替の実施形態において、ハプティック信号はパラメータハプティック信号であってもよく、1つまたは複数のパラメータ化されたハプティック効果は特定の時間点において再生される。これらの実施形態のいくつかにおいて、パラメータ化されたハプティック効果は別のハプティック信号内でコードされ、パラメータ化されたハプティック効果は特定の時間点で示される。代替の実施形態において、ハプティック信号はPCMハプティック信号であってもよく、PCMオーディオ信号はPCMハプティック信号に変換されてもよい。さらに、いくつかの実施形態において、一旦、ハプティック信号が生成されると、ハプティック信号は、異なる特定のウインドウでバンドパスフィルターにかけられてもよく、次いで特定のウインドウの大きさが決定され、送信または保存のいずれかをされてもよい。ハプティック信号がデコードされる時点で、エンベロープの大きさがハプティック信号を再構成するために使用され得る場合、逆プロセスが適用されてもよい。
図4は、本発明の一実施形態に係る、第1のハプティック効果に空間に関連している第1のハプティック信号410の、第2のハプティック効果空間に関連している第2のハプティック信号420への例示的な変換または「ワーピング」を示す。第1のハプティック効果空間は第1のハプティック出力装置の種類に対応し、第2のハプティック効果空間は第2のハプティック出力装置の種類に対応する。例示した実施形態によれば、変換は、第1のハプティック信号410の1つまたは複数の共鳴周波数(すなわち、周波数frs1)を、第2のハプティック信号420の1つまたは複数の共鳴周波数(すなわち、周波数frs2)に変化させることを含む。したがって、第1のハプティック信号410の第1の周波数帯域幅は第2のハプティック信号420の第2の周波数帯域幅に変換され得る。特定の実施形態において、これは、(a)周波数帯域幅の共鳴を識別するステップ、(b)認知下限を表す周波数を識別するステップであって、認知限界は、ヒトがハプティック信号によって生成された振動触覚ハプティック効果を認識できる周波数限界である、ステップ、および(c)認知上限を表す周波数を識別するステップを含む。
例示した実施形態によれば、第1のハプティック信号410は実際の高定義ハプティック効果空間に関連し、第2のハプティック信号420は高定義圧電アクチュエータハプティック効果空間に関連する。しかしながら、これは例示的な実施形態のみであり、他の実施形態において、(a)第1のハプティック信号410は高定義圧電アクチュエータハプティック効果空間と関連してもよく、第2のハプティック信号420はLRAハプティック効果空間に関連してもよい;(b)第1のハプティック信号410は高定義圧電アクチュエータハプティック効果空間に関連してもよく、第2のハプティック信号420はERMハプティック効果空間に関連してもよい;または(c)第1のハプティック信号410はLRAハプティック効果空間に関連してもよく、第2のハプティック信号420はERMハプティック効果空間に関連してもよい。
例示した実施形態によれば、ハプティック信号410の周波数はハプティック信号420の周波数に変化される。ハプティック信号410および420がイベントに基づいたハプティック信号である実施形態において、ハプティック信号410の周波数は、規定のマッピングに基づいてハプティック信号420の周波数にマッピングされてもよい(すなわち、ハプティック効果をトリガする各々の共鳴周波数値は別の共鳴周波数にマッピングされてもよい)。ハプティック信号410および420がパラメータ化されたハプティック信号である実施形態において、ハプティック信号410の各々の共鳴周波数はハプティック信号420の別の共鳴周波数にマッピングされ、ハプティック信号410の大きさ、持続時間、およびエンベロープ情報が、ハプティック信号420内で一定のままである。ハプティック信号410および420がPCMハプティック信号である実施形態において、ハプティック信号410の各々の大きさが最初にハプティック信号420の大きさにマッピングされ、続いて、ハプティック信号410の各々の周波数が、ハプティック信号420の周波数にマッピングされ得る。
図4に見られ得るように、ハプティック信号410および420の共鳴は、250Hzの周波数において識別される。さらに、ハプティック信号410および420の認知範囲は、100Hzから500Hzの範囲を有する周波数帯域において識別され、認知下限は100Hzの周波数においてであり、認知上限は500Hzの周波数においてである。また、図4に見られ得るように、ハプティック信号410の周波数帯域幅内の周波数は、ハプティック信号420の周波数帯域幅内の周波数に変化される。
図5は、トランジェント520をハプティック信号510に加えることによって第1のハプティック効果空間に関連しているハプティック信号510の例示的な変換または「ワーピング」を示し、トランジェント520は本発明の一実施形態に係る第2のハプティック効果空間に関連する。実施形態によれば、ハプティック信号510は、より低い周波数(例えば60Hz以下の周波数)のみを含むハプティック信号である。トランジェント520などのトランジェントは、状態の変化によって引き起こされる短時間のハプティック信号である。実施形態によれば、ハプティック信号510がより低い周波数のみを含む場合、1つまたは複数のトランジェント(トランジェント520など)がハプティック信号510に加えられてもよい。ハプティック信号510およびトランジェント520は1つまたは複数のハプティック出力装置において再生されてもよい。したがって、ハプティック信号510とトランジェント520の組合せは新たなハプティック信号を構成する。
図6は、本発明の一実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始、610に進む。610において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。より具体的には、元のハプティック信号は、一次ハプティック出力装置で再生される場合、1つまたは複数の一次ハプティック効果を生成してもよく、一次ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、一次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、一次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果は振動触覚ハプティック効果空間であってもよい。次いでフローは620に進む。
620において、新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、二次ハプティック出力装置で再生される場合、1つまたは複数の二次ハプティック効果を生成してもよく、二次ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットは、二次ハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが、第2のハプティック効果を構成するハプティック効果のセットと異なってもよいことを意味する。
特定の実施形態において、新たなハプティック信号内に含まれるデータは元のハプティック信号内に含まれるデータに基づいてもよい。これらの実施形態のいくつかにおいて、新たなハプティック信号内に含まれるデータは以下のようなものであってもよい:(a)新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値以上である元のハプティック信号の持続時間の間、1つまたは複数の二次ハプティック効果を生成し、(b)新たなハプティック信号により、二次ハプティック出力装置が、元のハプティック信号内に含まれるデータの絶対値が規定の閾値より小さい元のハプティック信号の持続時間の間、二次ハプティック効果を生成しない。特定の実施形態において、二次ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。次いでフローは630に進む。
630において、元のハプティック信号は1つまたは複数の一次ハプティック効果を生成するために一次ハプティック出力装置に送信される。特定の実施形態において、630は省略されてもよく、元のハプティック信号はいかなるハプティック装置にも送信されない。次いでフローは640に進む。
640において、新たなハプティック出力信号は、1つまたは複数の二次ハプティック効果を生成するために二次ハプティック出力装置に送信される。次いでフローは終了する。
図7は、本発明の別の実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、710に進む。710において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは720に進む。
720において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは730に進む。
730において、レベルは複数の時間ウインドウの時間ウインドウに割り当てられる。レベルは数値によって表され得る。例えば、1、2、3、4、5または6の数値は時間ウインドウに割り当てられ得る。したがって、言い換えれば、時間ウインドウは量子化される。さらに、一部の実施形態において、レベルは時間ウインドウ内に含まれるデータの最大絶対値に基づいて時間ウインドウに割り当てられてもよい。代替の実施形態において、レベルは時間ウインドウ内に含まれるデータの平均絶対値に基づいて時間ウインドウに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは740に進む。
740において、時間ウインドウのレベルはハプティック効果パターンを表すデータに翻訳される。特定の実施形態において、翻訳することはハプティック効果パターンの持続時間を設定することを含み、ハプティック効果パターンの持続時間対時間ウインドウの持続時間の比は、時間ウインドウのレベル対最大レベルの比に比例する。例えば、時間ウインドウの持続時間が30ミリ秒(「ms」)であり、時間ウインドウのレベルが4(6の最大レベルを有する)である場合、ハプティック効果パターンの対応する持続時間は20msである。この例において、ハプティック効果パターンの後に続いて、ハプティック効果パターンが存在しない10msの持続時間(時間ウインドウの残りの持続時間)がある。特定の実施形態において、ハプティック効果パターンは振動触覚ハプティック効果を表す振動触覚ハプティック効果パターンである。さらに、特定の実施形態において、各時間ウインドウの各レベルは別のハプティック効果パターンを表すデータの別の部分に翻訳されてもよい。次いでフローは750に進む。
750において、ハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが第2のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は別のハプティック効果パターンを表す別の部分のデータを含んでもよい。フローは760に進む。
760において、新たなハプティック信号が、1つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
図8は、本発明の別の実施形態に係る、ハプティックワーピングモジュール(図1のハプティックワーピングモジュール16など)の機能性のフロー図を示す。特定の実施形態において、機能性の一部は省略されてもよい。フローが開始し、810に進む。810において、元のハプティック信号が受信される。元のハプティック信号は第1のハプティック効果空間を含んでもよい。以前に記載されているように、元のハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第1のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。特定の実施形態において、ハプティック出力装置はアクチュエータであってもよい。これらの実施形態のいくつかにおいて、アクチュエータは圧電アクチュエータまたはEAPアクチュエータなどの高定義アクチュエータであってもよい。代替の実施形態において、アクチュエータはLRAまたはERMなどの標準定義アクチュエータであってもよい。さらに、これらの実施形態のいくつかにおいて、ハプティック効果は振動触覚ハプティック効果であってもよく、第1のハプティック効果空間は振動触覚ハプティック効果空間であってもよい。次いでフローは820に進む。
820において、元のハプティック信号内に含まれるデータは複数の時間ウインドウに分けられる。各時間ウインドウは元のハプティック信号内に含まれるデータの一部を含む。次いでフローは830に進む。
830において、第1のレベルは複数の時間ウインドウの第1の時間ウインドウに割り当てられ、第2のレベルは複数の時間ウインドウの第2の時間ウインドウに割り当てられる。特定の実施形態において、第1および第2の時間ウインドウは、時間が隣接している(すなわち連続している)。以前に記載されているように、レベルは数値によって表される。例えば、1、2、3、4、5または6の数値は第1の時間ウインドウに割り当てられてもよく、1、2、3、4、5または6の別の数値は第2の時間ウインドウに割り当てられ得る。このように、言い換えれば、第1の時間ウインドウおよび第2の時間ウインドウは各々量子化される。さらに、一部の実施形態において、第1のレベルおよび第2のレベルの各々は、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれ内に含まれるデータの最大絶対値に基づいて、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれに割り当てられてもよい。代替の実施形態において、第1のレベルおよび第2のレベルの各々は、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれ内に含まれるデータの平均絶対値に基づいて、第1の時間ウインドウおよび第2の時間ウインドウのそれぞれに割り当てられてもよい。特定の実施形態において、レベルは複数の時間ウインドウの各々の時間ウインドウに割り当てられてもよい。次いでフローは840に進む。
840において、第1のレベルと第2のレベルとの間のレベル遷移が決定される。レベル遷移は第1のレベルから第2のレベルへの遷移である。レベル遷移は複数の数値によって表されてもよい。例えば、4の数値が第1の時間ウインドウに割り当てられる場合、6の数値が第2の時間ウインドウに割り当てられ、レベル遷移は(4,6)により表され得る。別の例として、6の数値が第1の時間ウインドウに割り当てられ、4の数値が第2の時間ウインドウに割り当てられる場合、レベル遷移は(6,4)により表され得る。特定の実施形態において、各レベルとその続いて起こるレベルとの間のレベル遷移が決定され得る。次いでフローは850に進む。
850において、ハプティック効果パターンは、決定されたレベル遷移に基づいて1つまたは複数のハプティック効果パターンを含むテーブルから選択される。テーブルはレベル遷移に対応するハプティック効果パターンの規定されたテーブルであってもよく、規定されたテーブルは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。さらに、1つまたは複数のハプティック効果パターンは、前もってハプティック出力装置またはハプティック出力装置の種類に特有に定義されてもよい。特定の実施形態において、第1のレベルと第2のレベルと間の遷移が技術的に実行可能でない場合(例えば、決定されたレベル遷移がテーブル内に存在しない場合、または第1の時間ウインドウの持続時間が選択されたハプティック効果パターンを適合するのに非常に短い場合)、以下が起こり得る:(a)第1のレベルまたは第2のレベルの少なくとも1つは変更(例えば、上下に調整)されてもよく;(b)新たなレベル遷移が、第1のレベルまたは第2のレベルの少なくとも1つに対する変更に基づいて決定されてもよく;(c)ハプティック効果パターンは新たなレベルの決定に基づいてテーブルから選択されてもよい。さらに、一部の実施形態において、別のハプティック効果パターンが各々の決定されたレベル遷移のためのテーブルから選択されてもよい。次いでフローは860に進む。
860において、選択されたハプティック効果パターンを表すデータを含む新たなハプティック信号が生成される。新たなハプティック信号は第2のハプティック効果空間を含んでもよい。より具体的には、新たなハプティック信号は、ハプティック出力装置で再生される場合、1つまたは複数のハプティック効果を生成でき、ハプティック効果は第2のハプティック効果空間を構成するハプティック効果のセットの部分であってもよく、ハプティック効果のセットはハプティック出力装置によって生成され得る全ての可能なハプティック効果を含んでもよい。さらに、第2のハプティック効果空間は第1のハプティック効果空間と異なってもよい。このことは、第1のハプティック効果空間を構成するハプティック効果のセットが、第2のハプティック効果空間を構成するハプティック効果のセットと異なっていてもよいことを意味する。特定の実施形態において、新たなハプティック信号は、別々に選択されたハプティック効果パターンを表すデータの別の部分を含んでもよい。フローは870に進む。
870において、新たなハプティック信号は1つまたは複数のハプティック効果を生成するためにハプティック出力装置に送信される。次いでフローは終了する。
このように、一実施形態において、システムは、第1の種類のハプティック出力装置のための入力ハプティック信号を、第2の種類のハプティック出力装置のための出力ハプティック信号に変換できる。したがって、システムは、自動的または手動で生成された任意のハプティックコンテンツを、関連する方式で、より低い質のハプティック出力装置(または一部の場合、より高い質のハプティック出力装置)に適合できる。一例として、ハプティック効果の設計は、(主に高定義のハプティック出力装置のための)以前のハプティック効果を設計してもよく、全ての種類のハプティック出力装置に対して適切に再生されるハプティック効果を有してもよい。また、標準定義のハプティック出力装置を使用して高定義のハプティック信号を直接再生する場合、ハプティック効果が意図するハプティック効果設計として標準定義のハプティック出力装置で体験されるように、システムは高定義のハプティック信号を適切に変換できる。これにより、システムが、市場で利用可能な任意の商業的なハプティック出力装置で任意の生成されたハプティックコンテンツを再生することが可能となる。
本明細書全体にわたって記載されている本発明の特徴、構造または特性は、1つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」または同様の言語の使用は、実施形態と併せて記載されている特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれ得るという事実を示す。したがって、本明細書全体にわたる、「一実施形態」、「いくつかの実施形態」、「特定の実施形態」、「複数の特定の実施形態」という用語または他の同様の言語の出現は、同じ群の実施形態および記載されている特徴、構造または特性を必ずしも示しているわけではなく、1つまたは複数の実施形態において任意の適切な方式で組み合わされてもよい。
当業者は、上記の本発明が異なる順序のステップで、および/または開示されているもの以外の異なる構造における要素で実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載されているが、本発明の精神および範囲を維持しながら、特定の修飾、変更および代替構成が明白であることは当業者に明らかであろう。したがって、本発明の割り当ておよび境界を決定するために、添付の特許請求の範囲が参照されるべきである。

Claims (15)

  1. ハプティック信号を変換する方法であって、前記方法は、
    元のハプティック信号を受信するステップであって、前記元のハプティック信号は第1のハプティック効果空間を含み、前記第1のハプティック効果空間は第1のハプティック出力装置によって生成され得る1つまたは複数のハプティック効果を含む、ステップと、
    前記元のハプティック信号を新たなハプティック信号に変換するステップであって、前記新たなハプティック信号は、前記第1のハプティック効果空間とは異なる第2のハプティック効果空間を含み、前記第2のハプティック効果空間は第2の出力装置によって生成され得る1つまたは複数のハプティック効果を含み、前記新たなハプティック信号内に含まれるデータは前記元のハプティック信号内に含まれるデータに基づく、ステップと、
    1つまたは複数のハプティック効果を生成するために前記新たなハプティック信号をハプティック出力装置に送信するステップと、
    を含む、方法。
  2. 前記元のハプティック信号を新たなハプティック信号に変換するステップは、
    前記第2のハプティック効果空間を含む新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記元のハプティック信号と同期化される、ステップと、
    1つまたは複数の一次ハプティック効果を生成するために前記元のハプティック信号を一次ハプティック出力装置に送信するステップと、
    1つまたは複数の二次ハプティック効果を生成するために前記新たなハプティック信号を二次ハプティック出力装置に送信するステップと、
    をさらに含む、請求項1に記載の方法。
  3. 前記元のハプティック信号内に含まれるデータの1つまたは複数の絶対値が閾値以上である前記元のハプティック信号の持続時間の間、前記新たなハプティック信号が、前記二次ハプティック出力装置に1つまたは複数の二次ハプティック効果を生成させ、
    前記元のハプティック信号内に含まれるデータの1つまたは複数の絶対値が閾値未満である前記元のハプティック信号の持続時間の間、前記新たなハプティック信号が、前記二次ハプティック出力装置に二次ハプティック効果を生成させない、請求項2に記載の方法。
  4. 前記元のハプティック信号を新たなハプティック信号に変換するステップが、
    前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるステップであって、各時間ウインドウが前記元のハプティック信号内に含まれるデータの一部を含む、ステップと、
    レベルを複数の時間ウインドウのうちの1つの時間ウインドウに割り当てるステップと、
    前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するステップと、
    前記新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、ステップと、
    をさらに含む、請求項1に記載の方法。
  5. 前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するステップが、
    前記ハプティック効果パターンの持続時間を設定するステップであって、前記ハプティック効果パターンの持続時間対前記時間ウインドウの持続時間の比が、前記時間ウインドウのレベルと最大レベルの比に比例する、ステップをさらに含む、請求項4に記載の方法。
  6. 前記レベルが、前記時間ウインドウ内に含まれるデータの最大絶対値に基づいて前記時間ウインドウに割り当てられる、請求項4に記載の方法。
  7. 前記レベルが、前記時間ウインドウ内に含まれるデータの平均絶対値に基づいて前記時間ウインドウに割り当てられる、請求項4に記載の方法。
  8. 前記元のハプティック信号を新たなハプティック信号に変換するステップが、
    前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるステップであって、各時間ウインドウが前記元のハプティック信号内に含まれるデータの一部を含む、ステップと、
    第1のレベルを第1の時間ウインドウに割り当て、第2のレベルを複数の時間ウインドウの第2の時間ウインドウに割り当てるステップと、
    前記第1のレベルと前記第2のレベルとの間のレベル遷移を決定するステップと、
    決定されたレベル遷移に基づいて1つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するステップと、
    前記新たなハプティック信号を生成するステップであって、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、ステップと、
    をさらに含む、請求項1に記載の方法。
  9. 前記元のハプティック信号を新たなハプティック信号に変換するステップは、
    決定されたレベル遷移が前記テーブル内に存在しない場合、前記第1のレベルまたは前記第2のレベルの少なくとも1つを修正するステップと、
    前記第1のレベルまたは前記第2のレベルの少なくとも1つに対する修正に基づいて新たなレベル遷移を決定するステップと、
    決定された新たなレベル遷移に基づいて1つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するステップと、
    をさらに含む、請求項8に記載の方法。
  10. 前記ハプティック出力装置がアクチュエータを含む、請求項1に記載の方法。
  11. ハプティック信号を変換するシステムであって、前記システムは、
    ハプティックワーピングモジュールを記憶するように構成されるメモリと、
    前記メモリに記憶された前記ハプティックワーピングモジュールを実行するように構成されるプロセッサと、
    を含み、
    前記ハプティックワーピングモジュールは元のハプティック信号を受信するように構成され、前記元のハプティック信号は第1のハプティック効果空間を含み、前記第1のハプティック効果空間は第1のハプティック出力装置によって生成され得る1つまたは複数のハプティック効果を含み、
    前記ハプティックワーピングモジュールは、前記元のハプティック信号を新たなハプティック信号に変換するようにさらに構成され、前記新たなハプティック信号は前記第1のハプティック効果空間とは異なる第2のハプティック効果空間を含み、前記第2のハプティック効果空間は第2の出力装置によって生成され得る1つまたは複数のハプティック効果を含み、前記新たなハプティック信号内に含まれるデータは、前記元のハプティック信号内に含まれるデータに基づき、
    1つまたは複数のハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記新たなハプティック信号をハプティック出力装置に送信するようにさらに構成される、システム。
  12. 前記ハプティックワーピングモジュールは、前記第2のハプティック効果空間を含む新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記元のハプティック信号と同期化され、
    1つまたは複数の一次ハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記元のハプティック信号を一次ハプティック出力装置に送信するようにさらに構成され、
    1つまたは複数の二次ハプティック効果を生成するために前記ハプティックワーピングモジュールは、前記新たなハプティック信号を二次ハプティック出力装置に送信するようにさらに構成される、請求項11に記載のシステム。
  13. 前記ハプティックワーピングモジュールが、前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるようにさらに構成され、各時間ウインドウは前記元のハプティック信号内に含まれるデータの一部を含み、
    前記ハプティックワーピングモジュールは、レベルを複数の時間ウインドウのうちの1つの時間ウインドウに割り当てるようにさらに構成され、
    前記ハプティックワーピングモジュールは、前記時間ウインドウのレベルを、ハプティック効果パターンを表すデータに翻訳するようにさらに構成され、
    前記ハプティックワーピングモジュールは、前記新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、請求項11に記載のシステム。
  14. 前記ハプティックワーピングモジュールは、前記元のハプティック信号内に含まれるデータを複数の時間ウインドウに分けるようにさらに構成され、各時間ウインドウは前記元のハプティック信号内に含まれるデータの一部を含み、
    前記ハプティックワーピングモジュールは、第1のレベルを第1の時間ウインドウに割り当て、第2のレベルを複数の時間ウインドウの第2の時間ウインドウに割り当てるようにさらに構成され、
    前記ハプティックワーピングモジュールは、前記第1のレベルと前記第2のレベルとの間のレベル遷移を決定するようにさらに構成され、
    前記ハプティックワーピングモジュールは、決定されたレベル遷移に基づいて1つまたは複数のハプティック効果パターンを含むテーブルからハプティック効果パターンを選択するようにさらに構成され、
    前記ハプティックワーピングモジュールは、前記新たなハプティック信号を生成するようにさらに構成され、前記新たなハプティック信号は前記ハプティック効果パターンを表すデータを含む、
    請求項11に記載のシステム。
  15. プロセッサによって実行される場合、前記プロセッサに請求項1〜10のいずれか一項に記載の方法を実装させる、記憶された命令を有するコンピュータ可読媒体。
JP2014172411A 2013-09-06 2014-08-27 ハプティックワーピングシステム Active JP6324847B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US14/080,860 US9245429B2 (en) 2013-09-06 2013-11-15 Haptic warping system
US14/080,860 2013-11-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018076105A Division JP6412285B2 (ja) 2013-09-06 2018-04-11 ハプティックワーピングシステム

Publications (2)

Publication Number Publication Date
JP2015053043A JP2015053043A (ja) 2015-03-19
JP6324847B2 true JP6324847B2 (ja) 2018-05-16

Family

ID=51302886

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014172411A Active JP6324847B2 (ja) 2013-09-06 2014-08-27 ハプティックワーピングシステム
JP2018076105A Active JP6412285B2 (ja) 2013-09-06 2018-04-11 ハプティックワーピングシステム
JP2018180161A Active JP6698131B2 (ja) 2013-09-06 2018-09-26 ハプティックワーピングシステム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018076105A Active JP6412285B2 (ja) 2013-09-06 2018-04-11 ハプティックワーピングシステム
JP2018180161A Active JP6698131B2 (ja) 2013-09-06 2018-09-26 ハプティックワーピングシステム

Country Status (5)

Country Link
US (2) US9245429B2 (ja)
EP (1) EP2846221B1 (ja)
JP (3) JP6324847B2 (ja)
KR (1) KR102254385B1 (ja)
CN (2) CN104423589B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136976A (ja) * 2013-09-06 2018-08-30 イマージョン コーポレーションImmersion Corporation ハプティックワーピングシステム

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9519346B2 (en) 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
JP2015121983A (ja) * 2013-12-24 2015-07-02 京セラ株式会社 触感呈示装置
US10133351B2 (en) * 2014-05-21 2018-11-20 Apple Inc. Providing haptic output based on a determined orientation of an electronic device
US9891714B2 (en) 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
WO2017175868A1 (ja) * 2016-04-07 2017-10-12 国立研究開発法人科学技術振興機構 触覚情報変換装置、触覚情報変換方法、および、触覚情報変換プログラム、並びに、素子配置構造体
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US10075251B2 (en) * 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
GB2560878B (en) * 2017-02-24 2021-10-27 Google Llc A panel loudspeaker controller and a panel loudspeaker
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
KR102442179B1 (ko) * 2017-11-17 2022-09-08 삼성전자주식회사 웨어러블 장치를 통하여 햅틱 피드백을 제공하는 전자 장치 및 그 방법
US10360774B1 (en) * 2018-01-05 2019-07-23 Immersion Corporation Method and device for enabling pitch control for a haptic effect
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US20190324538A1 (en) * 2018-04-20 2019-10-24 Immersion Corporation Haptic-enabled wearable device for generating a haptic effect in an immersive reality environment
EP3579081A1 (en) * 2018-06-07 2019-12-11 Lofelt GmbH Systems and methods for generating haptic output for enhanced user experience
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US20220244784A1 (en) 2019-05-28 2022-08-04 Sony Group Corporation Information processing device, information processing method, and program
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
CN114008569A (zh) 2019-06-21 2022-02-01 思睿逻辑国际半导体有限公司 用于在装置上配置多个虚拟按钮的方法和设备
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN112346561B (zh) * 2020-10-15 2022-10-25 瑞声新能源发展(常州)有限公司科教城分公司 一种振动驱动方法和系统、振动设备以及存储介质
JP7340556B2 (ja) 2021-02-26 2023-09-07 任天堂株式会社 振動制御システム
CN115378302B (zh) * 2021-05-20 2023-12-12 荣耀终端有限公司 线性马达的控制方法、装置、设备及可读存储介质
CN115395827A (zh) 2021-05-20 2022-11-25 荣耀终端有限公司 驱动波形的调整方法、装置、设备及可读存储介质
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
WO2023189193A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 復号装置、復号方法および復号プログラム
US11809630B1 (en) * 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
WO2024070296A1 (ja) * 2022-09-30 2024-04-04 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8826927D0 (en) 1988-11-17 1988-12-21 British Broadcasting Corp Aligning two audio signals in time for editing
US6374255B1 (en) 1996-05-21 2002-04-16 Immersion Corporation Haptic authoring
US7809138B2 (en) * 1999-03-16 2010-10-05 Intertrust Technologies Corporation Methods and apparatus for persistent control and protection of content
US20020165720A1 (en) * 2001-03-02 2002-11-07 Johnson Timothy M. Methods and system for encoding and decoding a media sequence
US7623114B2 (en) * 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
KR100581060B1 (ko) * 2003-11-12 2006-05-22 한국전자통신연구원 오감 데이터 동기화 전송 장치 및 그 방법과 그를 이용한실감형 멀티미디어 데이터 제공 시스템 및 그 방법
US7791588B2 (en) * 2003-12-22 2010-09-07 Immersion Corporation System and method for mapping instructions associated with haptic feedback
JP2007087274A (ja) * 2005-09-26 2007-04-05 Jr Higashi Nippon Consultants Kk 触覚装置及び触覚情報伝達システム
US10152124B2 (en) * 2006-04-06 2018-12-11 Immersion Corporation Systems and methods for enhanced haptic effects
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
US20080136608A1 (en) * 2006-12-11 2008-06-12 Research In Motion Limited Sensory effects in a mobile device and an accessory thereof
US8621348B2 (en) * 2007-05-25 2013-12-31 Immersion Corporation Customizing haptic effects on an end user device
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US8325144B1 (en) * 2007-10-17 2012-12-04 Immersion Corporation Digital envelope modulator for haptic feedback devices
US9400555B2 (en) 2008-10-10 2016-07-26 Internet Services, Llc System and method for synchronization of haptic data and media data
US20130207793A1 (en) * 2009-01-21 2013-08-15 Bayer Materialscience Ag Electroactive polymer transducers for tactile feedback devices
JP5694205B2 (ja) * 2009-03-12 2015-04-01 イマージョン コーポレーションImmersion Corporation 摩擦ディスプレイシステム及び方法、並びに付加的な触覚効果
EP2593849A1 (en) * 2010-07-16 2013-05-22 Koninklijke Philips Electronics N.V. Device including a multi-actuator haptic surface for providing haptic effects on said surface.
KR101197861B1 (ko) * 2010-08-13 2012-11-05 삼성전기주식회사 햅틱 피드백 액추에이터, 햅틱 피드백 디바이스 및 전자 장치
US9398278B2 (en) 2011-01-06 2016-07-19 Telenav, Inc. Graphical display system with adaptive keystone mechanism and method of operation thereof
CN102609078B (zh) * 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
KR20130024420A (ko) * 2011-08-31 2013-03-08 엘지전자 주식회사 햅틱 피드백 생성방법 및 햅틱 피드백 생성장치
US20130227411A1 (en) * 2011-12-07 2013-08-29 Qualcomm Incorporated Sensation enhanced messaging
EP2629178B1 (en) * 2012-02-15 2018-01-10 Immersion Corporation High definition haptic effects generation using primitives
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US10599218B2 (en) 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9245429B2 (en) * 2013-09-06 2016-01-26 Immersion Corporation Haptic warping system
US9158379B2 (en) 2013-09-06 2015-10-13 Immersion Corporation Haptic warping system that transforms a haptic signal into a collection of vibrotactile haptic effect patterns

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018136976A (ja) * 2013-09-06 2018-08-30 イマージョン コーポレーションImmersion Corporation ハプティックワーピングシステム

Also Published As

Publication number Publication date
US20150070149A1 (en) 2015-03-12
EP2846221B1 (en) 2020-01-08
CN104423589B (zh) 2018-11-02
JP6412285B2 (ja) 2018-10-24
EP2846221A1 (en) 2015-03-11
JP6698131B2 (ja) 2020-05-27
JP2015053043A (ja) 2015-03-19
US9454881B2 (en) 2016-09-27
KR20150028731A (ko) 2015-03-16
CN109407837A (zh) 2019-03-01
JP2018136976A (ja) 2018-08-30
KR102254385B1 (ko) 2021-05-24
US20160104356A1 (en) 2016-04-14
US9245429B2 (en) 2016-01-26
CN104423589A (zh) 2015-03-18
JP2019016384A (ja) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6412285B2 (ja) ハプティックワーピングシステム
JP6615307B2 (ja) 動的ハプティック変換システム
JP2019153322A (ja) ハプティック信号を振動触覚ハプティック効果パターンの集合に変換するハプティックワーピングシステム
JP6639602B2 (ja) オフラインハプティック変換システム
JP6434669B2 (ja) 低周波数効果ハプティック変換システム
JP6494222B2 (ja) 自動遠隔検出およびハプティック変換システム
JP6508893B2 (ja) 周波数シフトを用いたハプティック変換システム
JP6735747B2 (ja) ハプティック出力装置に対応付けられたユーザ入力要素の位置制御
JP6456108B2 (ja) ハプティックトリガ修正システム
JP2020173821A (ja) ストリームに依存しない音をハプティック効果に変換するシステム
CN115209960A (zh) 解码装置、解码方法、程序、编码装置和编码方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180411

R150 Certificate of patent or registration of utility model

Ref document number: 6324847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250