JP6250985B2 - マッピングを用いた音をハプティック効果に変換するシステム - Google Patents

Description

関連出願の相互参照
本願は、２０１２年８月３１日に提出された米国仮出願番号第６１／６９５，６１４号の優先権を主張するものであり、その開示が参照により本明細書に援用される。

一実施形態は、一般的な装置に関するものであり、特に、ハプティック効果を生成する装置に関する。

ハプティックは、力、振動及びモーションのようなハプティックフィードバック効果（すなわち、ハプティック効果）をユーザに与えることにより、ユーザの接触の検知を利用する触覚及び力フィードバック技術である。携帯装置、タッチスクリーン装置及びパーソナルコンピュータのような装置は、ハプティック効果を生成するように構成される。通常、ハプティック効果を生成可能な埋め込みハードウェア（例えば、アクチュエータ）への呼び出しは、装置のオペレーティングシステム（“ＯＳ”）内にプログラムされうる。これらの呼び出しは、プレイするためのハプティック効果を特定する。例えば、ユーザが、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイール、又は他のコントローラ等を用いる装置とやり取りをするとき、当該装置のＯＳは、制御回路を介して、埋め込みハードウェアへプレイコマンドを送信することができる。埋め込みハードウェアは、その後、適切なハプティック効果を生成する。

このような装置は、また、デジタルオーディオ信号のようなオーディオデータをプレイするように構成される。例えば、このような装置は、オーディオ部分を含む映画又はビデオゲームのようなビデオデータ又は歌のようなオーディオデータをプレイするように構成されたアプリケーションを含むことができる。ハプティックと同様に、（スピーカのような）オーディオ効果を生成することが可能な追加埋め込みハードウェアへの呼び出しは、装置のＯＳ内にプログラミングされうる。よって、装置のＯＳは、制御回路を介して追加埋め込みハードウェアへプレイコマンドを送信することができ、追加埋め込みハードウェアは、その後、適切なオーディオ効果を生成する。

一実施形態は、オーディオ信号を一又はそれ以上のハプティック効果へ変換するシステムである。前記システムは、前記オーディオ信号を分析する。前記システムは、さらに、前記オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割し、各オーディオ周波数領域は、一又はそれ以上のオーディオサブ信号を含む。前記システムは、さらに、前記一又はそれ以上のオーディオ周波数領域を一又はそれ以上のハプティック周波数領域にマップし、各オーディオ周波数領域は、一又はそれ以上の対応するハプティック周波数領域にマップされ、各ハプティック周波数領域は、一又はそれ以上のハプティック信号を含む。前記システムは、さらに、前記一又はそれ以上のハプティック効果を生成するために前記一又はそれ以上のハプティック信号をアクチュエータへ送信する。

添付の図面と共に、好ましい実施形態の以下の詳細な説明から、さらなる実施形態、詳細、利点、及び変更が明らかとなるであろう。
図１は、本発明の一実施形態に係るハプティック変換システムのブロック図を示す。 図２は、本発明の一実施形態に係る、オーディオ信号を、一又はそれ以上のハプティック効果を生成するためにアクチュエータに送信される一又はそれ以上のハプティック信号に変換するハプティック変換システムのブロック図を示す。 図３は、本発明の一実施形態に係る、オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割し、各オーディオ周波数領域をハプティック周波数領域にマップするハプティック変換システムのブロック図を示す。 図４は、本発明の一実施形態に係る、一又はそれ以上のハプティック周波数領域を複数のアクチュエータのうちの１つのアクチュエータにマップするハプティック変換システムのブロック図を示す。 図５は、本発明の一実施形態に係る、ハプティック変換モジュールの機能のフロー図を示す。

一実施形態は、デジタルオーディオ信号のようなオーディオデータを受信でき、周波数でオーディオデータを分析でき、分析されたオーディオデータを一又はそれ以上のオーディオ周波数領域に分割できるハプティック変換システムであり、各オーディオ周波数領域は、一又はそれ以上のサブ信号を含む。ハプティック変換システムは、さらに、一又はそれ以上のオーディオ周波数領域を一又はそれ以上のハプティック周波数領域にマップすることができ、各ハプティック周波数領域は、一又はそれ以上のハプティック信号を含む。ハプティック変換システムは、さらに、一又はそれ以上のハプティック効果を一又はそれ以上のアクチュエータにマップすることができる。ハプティック変換システムは、さらに、一又はそれ以上のハプティック効果を生成するために、一又はそれ以上のハプティック信号を送信することができる。

図１は、本発明の一実施形態に係るハプティック変換システムのブロック図を示す。一実施形態では、システム１０は、モバイル装置の一部分であり、システム１０は、モバイル装置のためにハプティック変換機能を提供する。図では単一のシステムを示したが、システム１０の機能は、分散されたシステムとして実装されることができる。システム１０は、情報を伝達するためのバス１２又は他の通信機構と、情報を処理するために、バス１２に接続されるプロセッサ２２と、を含む。プロセッサ２２は、任意のタイプの一般的な又は特殊用途のプロセッサであってもよい。システム１０は、プロセッサ２２により実行される情報及び命令を記憶するメモリ１４をさらに含む。メモリ１４は、ランダムアクセスメモリ（“ＲＡＭ”）、リードオンリーメモリ（“ＲＯＭ”）、磁気又は光ディスクのようなスタティックストレージ、又は任意のタイプのコンピュータ可読媒体の任意の組み合わせを含みうる。

コンピュータ可読媒体は、プロセッサ２２によりアクセス可能であり、揮発性及び不揮発性媒体の両方、リムーバブル及びノンリムーバブル媒体、通信媒体、及びストレージ媒体を含む任意の取得可能な媒体であってもよい。通信媒体は、搬送波又は他の伝送機構のような変調されたデータ信号におけるコンピュータ可読命令、データ構造、プログラムモジュール又は他のデータを含んでもよく、既存の技術の情報伝達媒体の任意の形態を含んでもよい。ストレージ媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＰＲＯＭ”）、ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ（“ＥＥＰＲＯＭ”）、レジスタ、ハードディスク、リムーバブルディスク、コンパクトディスクリードオンリーメモリ（“ＣＤ−ＲＯＭ”）、又は既存の技術の任意の他のストレージ媒体の形態を含んでもよい。

一実施形態では、メモリ１４は、プロセッサ２２により実行されたときに、機能を提供するソフトウェアモジュールを記憶する。モジュールは、一実施形態のモバイル装置の他の部分と同様に、システム１０にオペレーティングシステム機能を提供するオペレーティングシステム１５を含む。モジュールは、以下に詳細を記載するように、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号へ変換するハプティック変換モジュール１６を含む。特定の実施形態では、ハプティック変換モジュール１６は、オーディオ信号を一又はそれ以上のハプティック効果を生成するために用いられる一又はそれ以上のハプティック信号へ変換する特定の個別の機能を各々が提供する複数のモジュールを含みうる。システム１０は、通常、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（登録商標）のような追加の機能を含むための一又はそれ以上の追加のアプリケーションモジュール１８を含む。

システム１０は、リモートソースからデータを送信及び／又は受信する実施形態において、赤外線、無線、Ｗｉ−Ｆｉ又はセルラーネットワーク通信のようなモバイル無線通信を提供するために、ネットワークインターフェースカードのような通信装置２０をさらに含む。他の実施形態では、通信装置２０は、イーサネット（登録商標）接続又はモデムのような有線通信を提供する。

プロセッサ２２は、バス１２を介して、グラフィック描写又はユーザインターフェースをユーザへ表示する液晶ディスプレイ（“ＬＣＤ”）のようなディスプレイ２４にさらに接続される。ディスプレイ２４は、タッチスクリーンのような、プロセッサ２２から信号を送受信するように構成される接触検知入力装置であってもよく、マルチタッチスクリーンであってもよい。

システム１０は、一実施形態では、複数のアクチュエータ２６（例えば、アクチュエータ２６Ａ及び２６Ｂ）をさらに含む。当業者は、図１の図示された実施形態において、複数のアクチュエータ２６が２つのアクチュエータ（すなわち、アクチュエータ２６Ａ及び２６Ｂ）を含むが、他の実施形態では、複数のアクチュエータ２６は、任意の数のアクチュエータを含みうることを明示的に理解するであろう。プロセッサ２２は、ハプティック効果に関連付けられたハプティック信号を複数のアクチュエータ２６の一又はそれ以上のアクチュエータに送信し、次に、一又はそれ以上のアクチュエータの各アクチュエータはハプティック効果を出力する。複数のアクチュエータ２６の各アクチュエータは、例えば、電気モータ、電磁気アクチュエータ、ボイスコイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心モータ（ｅｃｃｅｎｔｒｉｃ ｒｏｔａｔｉｎｇ ｍａｓｓ ｍｏｔｏｒ（“ＥＲＭ”））、リニア共振アクチュエータ（ｉｎｅａｒ ｒｅｓｏｎａｎｔ ａｃｔｕａｔｏｒ（“ＬＲＡ”））、圧電アクチュエータ、高帯域幅アクチュエータ、電気活性ポリマー（ｅｌｅｃｔｒｏａｃｔｉｖｅ ｐｏｌｙｍｅｒ（“ＥＡＰ”））アクチュエータ、静電触覚ディスプレイ、又は超音波振動発生器であってもよい。さらに、複数のアクチュエータ２６の各アクチュエータは、異なるアクチュエータタイプのものであってもよい。

いくつかの実施形態では、システム１０は、一又はそれ以上のスピーカ２８をさらに含む。プロセッサ２２は、スピーカ２８へオーディオ信号を送信してもよく、順次オーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、エレクトロダイナミックラウドスピーカ、圧電ラウドスピーカ、磁気歪ラウドスピーカ、静電ラウドスピーカ、リボンプラナー磁気ラウドスピーカ、屈曲波ラウドスピーカ、フラットパネルラウドスピーカ、ヘイルエアモーショントランスデューサ、プラズマアークスピーカ、及びデジタルラウドスピーカであってもよい。

図２は、本発明の一実施形態に係る、オーディオ信号を、一又はそれ以上のハプティック効果を生成するためにアクチュエータに送信される一又はそれ以上のハプティック信号に変換するハプティック変換システムのブロック図を示す。実施形態によれば、入力オーディオ信号及び／又は外部データの様々な尺度に基づいてオーディオ−トゥ−ハプティック変換プロセスの一又はそれ以上のパラメータを調整する機構が提供される。ユーザ視点からは、その応答においてより選択的であり、フォアグランドイベント（例えば、ゲームにおける衝突、爆発等）用の触覚振動フィードバックを可能にし、バックグラウンドイベント（例えば、ゲームにおける音楽又は環境音）用のフィードバックを低減又は消音するハプティック体験を得る。オーディオ信号の知覚的に重要な品質を区別することにより、オーディオ−トゥ−ハプティック変換プロセスは、サウンド効果及び音楽効果の両方を有するゲーム又は大きな変化を有するが環境音も有するメディアファイルにおいて生じうる“バックグラウンド ランブル（ｂａｃｋｇｒｏｕｎｄ ｒｕｍｂｌｅ）”を防ぐことができる。

図２の図示された実施形態は、破線を用いて更新されたハプティック変換システムのパラメータを示す。一実施形態では、その詳細が以下に説明されるように、ハプティック変換システムは、ハプティックによるオーディオファイルの特定の特性を強調するために、オーディオ−トゥ−ハプティック変換プロセスのパラメータのリアルタイム修正を含み、これは、リアルタイム又はオフライン変換の間に波形のパラメータ及びハプティック変換システムのブームボックスモジュールを修正することにより実現される。また、前処理モジュールは、オーディオ−トゥ−ハプティック変換プロセス全体を向上又は修正するために、オーディオ処理アルゴリズムを用いたオーディオ信号自体を修正してもよい。別の実施形態では、オーディオ信号は、適切な情報を抽出するために前処理されることができ、その後、リアルタイムでオーディオ−トゥ−ハプティック変換プロセスにより、解釈されるオーディオ信号に戻って記憶されることができる。

実施形態によれば、ハプティック変換システムは、オーディオ信号２００を受信する。特定の実施形態では、オーディオ信号２００は、パルスコード変調（“ＰＣＭ”）オーディオバッファのような一又はそれ以上のデジタルオーディオバッファを含み、各ＰＣＭオーディオバッファは、一又はそれ以上のＰＣＭオーディオデータフレームを含む。他の実施形態では、オーディオ信号２００は、Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ（“ＭＩＤＩ”）オーディオバッファのような一又はそれ以上の構造ベースバッファを含み、各ＭＩＤＩオーディオバッファは、一又はそれ以上のＭＩＤＩオーディオデータフレームを含む。さらに別の実施形態では、オーディオ信号２００は、ＭＰＥＧ−２ オーディオ レイヤーＩＩＩ（“ＭＰ３”）オーディオバッファのような一又はそれ以上の周波数ドメインオーディオバッファを含み、各ＭＰ３オーディオバッファは、一又はそれ以上のＭＰ３オーディオデータフレームを含む。さらに別の実施形態では、オーディオ信号２００は、当業者に既に知られている他のオーディオフォーマットの一又はそれ以上のオーディオバッファを含む。さらに別の実施形態では、オーディオ信号２００は、また、パラメータ又は変換アルゴリズムを構成するために用いられる他のキューを含みうるハプティック情報を含む。

ハプティック変換システムは、続いて、前処理モジュール２１０へオーディオ信号２００を送信し、オーディオ信号２００に必要な任意の前処理を行う。このような前処理は、アンダーサンプリングオーディオ信号２００を含みうる。オーディオ信号２００がアンダーサンプリングされるシナリオの一例は、オーディオ信号２００が８キロヘルツ（“ｋＨｚ”）よりも大きいサンプリング周波数を有する場合である。このような前処理は、代替として、オーディオ信号の二又はそれ以上のチャネルの平均を融合することを含み、オーディオ信号２００は、ステレオオーディオ信号である。よって、前処理モジュール２１０の目的は、推定モジュールがオーディオ信号２００のフォーマットに関わらず、一貫性のある信号を受信することを確保することである。前処理は、一又はそれ以上のパラメータに基づきうる。ハプティック変換システムは、続いて、オーディオ信号２００を推定器モジュール２２０へ送信し、オーディオ信号２００の一又はそれ以上のオーディオ周波数領域を求めるためにオーディオ信号２００を分析する。特定の実施形態では、推定器モジュール２２０は、オーディオ信号２００の一又はそれ以上のオーディオ周波数領域を求めるために、使用するためのフィルタの数を決定することができる。推定器モジュール２２０は、さらに、前処理モジュール２１０の一又はそれ以上のパラメータを調整することができ、さらに、ブームボックスモジュール（ブームボックスモジュール２４０及び２４１として図２に示される）の一又はそれ以上のパラメータ及び／又は波形モジュール（波形モジュール２５０として図２に示される）の一又はそれ以上のパラメータを調整することができる。ハプティック変換システムは、続いて、オーディオ信号２００を一又はそれ以上のフィルタ（フィルタ２３０、２３１及び２３２として図２に示される）に送信し、オーディオ信号２００は、一又はそれ以上の求められたオーディオ周波数領域に分割される。さらに、オーディオ信号２００を一又はそれ以上のフィルタに送信することの一部として、オーディオ信号２００の各周波数領域は、別のフィルタにより生成される。一又はそれ以上のオーディオ周波数領域の算出は、一又はそれ以上のパラメータに基づきうる。このような分割は、図３においてさらに詳細に説明される。

ハプティック変換システムは、さらに、オーディオ信号２００の特定のオーディオ周波数領域をブームボックスモジュール（ブームボックスモジュール２４０及び２４１として図２に示される）へ送信し、ブームボックスモジュールは、オーディオ信号の各オーディオ周波数領域の最大値を算出する。ブームボックスモジュールは、さらに、算出された最大値に基づく一又はそれ以上のハプティック信号を含むハプティック周波数領域を生成し、オーディオ信号２００のオーディオ周波数領域を生成したハプティック周波数領域にマップする。ハプティック周波数領域の生成は、一又はそれ以上のパラメータに基づきうる。このようなマッピングは、図３においてさらに詳細に説明される。ハプティック変換システムは、さらに、オーディオ信号２００の他の周波数領域を波形モジュール（波形モジュール２５０として図２に示される）へ送信し、波形モジュールは、オーディオ信号２００の各オーディオ周波数領域の最大値を算出し、さらに、オーディオ信号２００のオーディオ周波数領域の最大値に基づいてサイン搬送波形を算出する。波形モジュールは、さらに、算出された最大値及び算出されたサイン搬送波形に基づく一又はそれ以上のハプティック信号を含むハプティック周波数領域を生成し、オーディオ信号２００のオーディオ周波数領域を生成されたハプティック周波数領域にマップする。ハプティック周波数領域の生成は、一又はそれ以上のパラメータに基づきうる。このようなマッピングもまた、図３においてさらに詳細に説明される。

一又はそれ以上のハプティック周波数領域の一又はそれ以上のハプティック信号は、ミキサーモジュール２６０へ送信され、ミキサーモジュール２６０は、一又はそれ以上のハプティック信号を、信号飽和を防ぐために追加フィルタリングステップを含んでもよい単一の合成ハプティック信号に合成する。代替の実施形態では、ミキサーモジュール２６０は、また、各出力アクチュエータの周波数応答、振幅及び物理的な位置を考慮して、Ｎ入力信号をＭ出力アクチュエータにマップする。合成ハプティック信号は、続いて、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ（登録商標）５０００ プレーヤーモジュールのようなハプティック効果プレーヤーモジュール２７０へ送信され、ハプティック効果プレーヤーモジュール２７０は、合成ハプティック信号をアクチュエータ２８０へ送信することにより、アクチュエータ２８０において一又はそれ以上のハプティック効果をプレイするように構成される。追加して、合成ハプティック信号は、また、Ｉｍｍｅｒｓｉｏｎ Ｖｉｂｒａｔｉｏｎ Ｓｏｕｒｃｅ（“ＩＶＳ”）ハプティック効果ファイル又はＭＰＥＧ−４のような標準コンテナファイルにおける埋め込みトラックのようなハプティック効果ファイル２９０内に記憶される。

図３は、本発明の一実施形態に係る、オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割し、各オーディオ周波数領域をハプティック周波数領域にマップするハプティック変換システムのブロック図を示す。実施形態によれば、オーディオ−トゥ−ハプティック変換プロセスは、オーディオ周波数領域からハプティック周波数領域への周波数マッピングを含みうる。オーディオコンテントは、周波数で分析されることができ、その後、一又はそれ以上のオーディオ周波数領域に分割されることができ、各オーディオ周波数領域は、オーディオコンテントの一又はそれ以上のオーディオサブ信号を含む。また、各オーディオ周波数領域は、一又はそれ以上のハプティック周波数領域にマップされることができ、各ハプティック周波数領域は、一又はそれ以上のハプティック信号を含む。ハプティック周波数領域のための周波数の選択は、ハプティック周波数コンテントが容易に区別可能であるように人間によって認識され得る又はオーディオ信号自体の周波数コンテントによって認識され得るハプティック効果の特性により、アクチュエータ特性（例えば、アクチュエータが特定の周波数で十分な動的範囲を有する）に基づいて決定されうる。例えば、各オーディオ周波数領域におけるパワーコンテントは抽出され、各オーディオ周波数領域におけるハプティックコンテントを大きく変調するために用いることができる

実施形態によれば、ハプティック変換システムは、オーディオ信号３１０を受信する。特定の実施形態では、オーディオ信号３１０は、図２のオーディオ信号２００と同様である。ハプティック変換システムは、続いて、オーディオ信号３１０を前処理モジュール３２０へ送信し、オーディオ信号３１０に必要な前処理を行う。前処理の例は、図２において前述されたものである。ハプティック変換システムは、続いて、オーディオ信号３１０を推定器モジュール３３０へ送信し、オーディオ信号３１０の一又はそれ以上のオーディオ周波数を決定するためにオーディオ信号３１０を分析する。推定器モジュール３３０は、続いて、オーディオ信号３１０を一又はそれ以上の決定されたオーディオ周波数領域（オーディオ周波数領域３４０、３４１及び３４２として図３に示される）に分割する。さらに、オーディオ信号３１０を一又はそれ以上の決定されたオーディオ周波数領域に分割することの一部として、オーディオ信号３１０の各オーディオ周波数領域は、別のフィルタにより生成される。推定器モジュール３３０は、処理されたオーディオ信号における変更に応じてこのマッピングを変更又は更新しうる。特定の実施形態では、各オーディオ周波数領域は、オーディオ信号３１０内に含まれるサブ信号のための周波数の範囲を示す。例えば、オーディオ信号３１０が２つのオーディオ周波数領域に分割される実施形態では、第１のオーディオ周波数領域は、低域内に周波数を有するサブ信号を含むことができ、第２のオーディオ周波数領域は、中域内に周波数を有するサブ信号を含むことができ、第３のオーディオ周波数領域は、高域内に周波数を有するサブ信号を含むことができる。これは、オーディオ周波数領域の数の一例を示すだけのものであり、オーディオ信号は、任意の数のオーディオ周波数領域に分割されうる。

続いて、一又はそれ以上のオーディオ周波数領域は、一又はそれ以上のハプティック周波数領域（ハプティック周波数領域３５０、３５１及び３５２として図３に示される）にマップされる特定の実施形態では、各ハプティック周波数領域は、オーディオ信号３１０に基づいて生成される一又はそれ以上のハプティック信号のための周波数の範囲を示す。例えば、３つのハプティック周波数範囲を含む実施形態では、第１のハプティック周波数領域は、低域内に周波数を有するハプティック信号を含むことができ、第２のハプティック周波数領域は、中域内に周波数を有するハプティック信号を含むことができ、第３のハプティック周波数領域は、高域内に周波数を有するハプティック信号を含むことができる。これは、ハプティック周波数領域の数の一例を示すだけのものであり、任意の数のハプティック周波数領域が存在しうる。特定の実施形態では、図２のフィルタ２３０は、図３のオーディオ周波数範囲３４０及びハプティック周波数範囲３５０に対応し、図２のフィルタ２３１は、図３のオーディオ周波数範囲３４１及びハプティック周波数範囲３５１に対応し、図２のフィルタ２３２は、図３のオーディオ周波数範囲３４２及び周波数範囲３５２に対応する。

特定の実施形態では、低域内に周波数を有するサブ信号を含むオーディオ周波数領域は、低域内に周波数を有するハプティック信号を含むハプティック周波数領域にマップされうる。同様に、これらの実施形態では、高域内に周波数を有するサブ信号を含むオーディオ周波数領域は、高域内に周波数を有するハプティック信号を含むハプティック周波数領域にマップされうる。実施形態の一例では、ハプティック変換システムは、オーディオ信号３００を複数のオーディオ周波数領域に分割することができ、各オーディオ周波数領域を、以下のような対応するハプティック周波数領域にマップすることができる。

一又はそれ以上のハプティック周波数領域の一又はそれ以上のハプティック信号は、ミキサーモジュール３６０へ送信され、ミキサーモジュール３６０は、一又はそれ以上のハプティック信号を単一の合成ハプティック信号に合成する。合成ハプティック信号は、続いて、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ（登録商標）５０００ プレーヤーモジュールのようなハプティック効果プレーヤーモジュール３７０に送信し、ハプティック効果プレーヤーモジュール３７０は、合成ハプティック信号をアクチュエータ３８０へ送信することにより、アクチュエータ３８０において一又はそれ以上のハプティック効果をプレイするように構成される。追加として、合成ハプティック信号は、ＩＶＳハプティックファイルのようなハプティック効果ファイル３９０内にも記憶される。

図４は、本発明の一実施形態に係る、一又はそれ以上のハプティック周波数領域を複数のアクチュエータのうちの１つのアクチュエータにマップするハプティック変換システムのブロック図を示す。一般的に、人間は、周波数、特に特定の範囲内で閉じた周波数を識別することが困難であることが知られている。また、あるユーザは、特定のアクチュエータにより生成される低周波数ハプティック効果を好む一方で、他のユーザは、広い周波数帯域のアクチュエータにより生成される高いハプティック周波数効果を好む。実施形態によれば、（ＥＲＭｓのような）低周波数応答アクチュエータの合成は、アプリケーション用のリッチなハプティックコンテントを生成するために、（圧電アクチュエータのような）広帯域アクチュエータで合成されることができ、ハプティックコンテントは、単一のアクチュエータによって生成することができず、これは、以下の表に示すように、周波数の設計の動的及び周波数特性のためである。

ＥＲＭが低周波数振動（６０から２００Ｈｚ）を生成しうるが、各周波数で大きさが固定されるため、重ねあわせ効果は、低周波数及び高周波数コンテントを有する信号を出力するように生成されない。一方で、圧電アクチュエータは、この範囲で意義のあるハプティック効果を出力するために１００Ｈｚを下回る動的範囲を有さない。２つのアクチュエータの合成は、ハプティック効果デザイナーに選択するためのリッチなパレットを提供することができ、ユーザ体験を向上させる。

さらに、２つのアクチュエータを合成するために異なるアルゴリズムが生成され得る。例えば、一つの例では、圧電アクチュエータは、ゲームのバックグラウンドミュージックを表すために用いられることができる一方で、ＥＲＭは、（爆発、衝突等）のインタラクション効果を表すために用いられることができる。２つのアクチュエータの合成は、低周波数コンテント及び高周波数コンテントを合成することにより、リッチなテクスチャを生成するために用いられることもできる。

実施形態によれば、ハプティック変換システムは、オーディオ信号４１０を受信する。特定の実施形態では、オーディオ信号４１０は、図２のオーディオ信号２００及び図３のオーディオ信号３１０と同様である。ハプティック変換システムは、続いて、オーディオ信号４１０を前処理モジュール４２０へ送信し、オーディオ信号４００に必要な前処理を行う。前処理の例は、図２において前述したものである。前処理モジュール４２０は、また、オーディオ信号４１０を複数のオーディオ領域に分割し（対応するアクチュエータに基づいてオーディオ信号が領域に分割されるように、オーディオ信号のサブ信号の周波数ではなく、オーディオ周波数領域とは異なる。）、各オーディオ領域は、複数のアクチュエータ（アクチュエータ４７０、４７１及び４７２により図４に示される）に対応する。図示された実施形態では、前処理モジュール４２０は、オーディオ信号４１０を３つのオーディオ領域に分割する。しかし、これは、単に実施形態の一例を示すものであり、前処理モジュール４２０は、オーディオ信号４１０を任意の数のオーディオ領域に分割することができる。特定の実施形態では、複数のアクチュエータは、少なくとも１つの低周波数アクチュエータ及び１つの高周波数アクチュエータを含む。

実施形態によれば、各オーディオ領域は、一又はそれ以上のオーディオ周波数領域に分割され、各オーディオ周波数領域は、対応するオーディオ領域内に含まれるサブ信号用の周波数の範囲を表す。図示された実施形態では、第１のオーディオ領域は、オーディオ周波数領域４３０に分割され、第２のオーディオ領域は、オーディオ周波数領域４３１に分割され、第３のオーディオ領域は、オーディオ周波数領域４３２に分割される。続いて、各オーディオ領域に対して、一又はそれ以上のオーディオ周波数領域は、一又はそれ以上の周波数領域にマップされ、各ハプティック周波数領域は、オーディオ領域に基づいて生成された一又はそれ以上のハプティック信号用の周波数の範囲を表す。図示された実施形態では、オーディオ周波数領域４３０は、ハプティック周波数領域４４０にマップされ、オーディオ周波数領域４３１は、ハプティック周波数領域４４１にマップされ、オーディオ周波数領域４３２は、ハプティック周波数領域４４２にマップされる。

続いて、各オーディオ領域に対して、一又はそれ以上のハプティック周波数領域の一又はそれ以上のハプティック信号は、ミキサーモジュールへ送信され、ミキサーモジュールは、一又はそれ以上のハプティック信号を単一の合成ハプティック信号に合成する。図示された実施形態では、ハプティック周波数領域４４０の一又はそれ以上のハプティック信号は、ミキサーモジュール４５０へ送信され、ミキサーモジュール４５０は、一又はそれ以上のハプティック信号を第１の合成ハプティック信号に合成する。ハプティック周波数領域４４１の一又はそれ以上のハプティック信号は、ミキサーモジュール４５１へ送信され、ミキサーモジュール４５１は、一又はそれ以上のハプティック信号を第２の合成ハプティック信号に合成する。ハプティック周波数領域４４２の一又はそれ以上のハプティック信号は、ミキサーモジュール４５２へ送信され、ミキサーモジュール４５２は、一又はそれ以上のハプティック信号を第３の合成ハプティック信号に合成する。

各合成ハプティック信号は、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＴｏｕｃｈＳｅｎｓｅ（登録商標）５０００ プレーヤーモジュールのようなハプティック効果プレーヤーモジュールへ送信され、各ハプティック効果プレーヤーモジュールは、それぞれの合成信号をそれぞれのアクチュエータへ送信することにより、対応するアクチュエータにおいて一又はそれ以上のハプティック効果をプレイするように構成される。図示された実施形態では、ミキサーモジュール４５０は、第１の合成ハプティック信号をハプティック効果プレーヤーモジュール４６０へ送信し、ハプティック効果プレーヤーモジュール４６０は、第１の合成ハプティック信号をアクチュエータ４７０へ送信することにより、アクチュエータ４７０において一又はそれ以上のハプティック効果をプレイするように構成される。ミキサーモジュール４５１は、第２の合成ハプティック信号をハプティック効果プレーヤーモジュール４６１へ送信し、ハプティック効果プレーヤーモジュール４６１は、第２の合成ハプティック信号をアクチュエータ４７１へ送信することにより、アクチュエータ４７１において一又はそれ以上のハプティック効果をプレイするように構成される。ミキサーモジュール４５２は、第２の合成ハプティック信号をハプティック効果プレーヤーモジュール４６２へ送信し、ハプティック効果プレーヤーモジュール４６２は、第３の合成ハプティック信号をアクチュエータ４７２へ送信することにより、アクチュエータ４７２において一又はそれ以上のハプティック効果をプレイするように構成される。

図５は、本発明の一実施形態に係る、（図１のハプティック変換モジュール１６のような）ハプティック変換モジュールの機能のフロー図を示す。一実施形態では、図５の機能は、メモリ又は他のコンピュータ可読媒体若しくは有形的表現媒体に記憶されるソフトウェアにより実装され、プロセッサにより実行される。別の実施形態では、当該機能は、（例えば、特定用途向け集積回路（“ＡＳＩＣ”）、プログラマブルゲートアレイ（“ＰＧＡ”）、フィールドプログラマブルゲートアレイ（“ＦＰＧＡ”）等のアプリケーションを使用することによる）ハードウェアにより行われてもよく、ハードウェア及びソフトウェアの組み合わせにより行われてもよい。また、別の実施形態では、機能は、アナログ構成要素を用いたハードウェアにより行われてもよい。

フローは開始し、５１０へ進む。５１０において、オーディオ信号は、分析される。特定の実施形態では、オーディオ信号は、また、前処理される。また、特定の実施形態では、オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割するために用いられる一又はそれ以上のパラメータは、調整される。いくつかの実施形態では、オーディオ信号を前処理するために用いられる一又はそれ以上のパラメータは、調整される。フローは５２０へ進む。５２０では、オーディオ信号は、一又はそれ以上のオーディオ周波数領域に分割され、各オーディオ周波数領域は、オーディオ信号の一又はそれ以上のオーディオサブ信号を含む。フローは５３０へ進む。５３０では、一又はそれ以上のオーディオ周波数領域は、一又はそれ以上のハプティック周波数領域にマップされ、各オーディオ周波数領域は、一又はそれ以上の対応するハプティック周波数領域にマップされ、各ハプティック周波数領域は、一又はそれ以上のハプティック信号を含む。フローは５４０へ進む。５４０では、一又はそれ以上のハプティック周波数領域の一又はそれ以上のハプティック信号は、一又はそれ以上のアクチュエータにマップされ、各ハプティック信号は、一又はそれ以上の対応するアクチュエータにマップされる。一又はそれ以上のアクチュエータは、少なくとも１つの低周波数アクチュエータ及び少なくとも１つの高周波数アクチュエータを含みうる。フローは５５０へ進む。５５０では、一又はそれ以上のハプティック信号は、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のアクチュエータへ送信され、各ハプティック信号は、その対応するアクチュエータへ送信される。フローはその後終了する。オーディオ信号が歌の一部を含むような場合の特定の実施形態では、フローは、複数のオーディオ信号で繰り返されることができ、各オーディオ信号は、歌の分かれた部分である。例えば、２分間の歌は複数のオーディオ信号に分割され、各オーディオ信号は、１７ミリ秒（“ｍｓ”）の持続期間であり、フローは、複数のオーディオ信号の各オーディオ信号で繰り返されることができる。これは単に一例であり、歌は、任意の持続期間であることができ、複数のオーディオ信号の各オーディオ信号は、任意の持続期間であることができる。

よって、実施形態によれば、ハプティック変換システムは、オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割し、各オーディオ周波数領域を一又はそれ以上のハプティック周波数領域にマップし、一又はそれ以上のハプティック効果を生成するために一又はそれ以上のハプティック周波数領域を一又はそれ以上のアクチュエータに送信する。

ハプティック周波数領域内の周波数の選択は、ハプティック変換システムを（広帯域アクチュエータのような）一又はそれ以上のアクチュエータの機能をより良く利用できるようにし、一又はそれ以上のアクチュエータの利用は、リッチなユーザ体験を提供することができる。

本明細書を通して記載された本発明の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。例えば、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、又は他の類似の言語の使用は、本明細書を通じて、実施形態に関連して記載された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれ得るという事実に言及している。従って、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」の言い回し、又は他の類似の言語の登場は、これら全てが、実施形態の同じ群のことを必ずしも言及しているのではなく、記載された特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な方法において組み合わされてよい。

当業者は、上述した発明が、異なる順序におけるステップを用いて実施されてよく、及び／又は、記載された構成とは異なる構成における要素を用いて実施されてよいことを容易に理解する。それゆえ、本発明はこれらの好ましい実施形態に基づいて記載されているけれども、特定の修正、変更、及び代替の構成が明白であり、他方で本発明の趣旨及び範囲内にあることは、当業者にとって明白である。本発明の境界を決定するために、それゆえ、添付の特許請求の範囲に参照がなされるべきである。

Claims (14)

1. オーディオ信号を一又はそれ以上のハプティック効果に変換するコンピュータ実装方法であって、
   修正されたオーディオ信号を生成するために前記オーディオ信号を修正することによって、並びに前記修正されたオーディオ信号の尺度に基づいて一又はそれ以上のハプティック周波数領域を生成するために用いられる一又はそれ以上のパラメータを調整することによって、前記オーディオ信号を前処理するステップであって、前記調整することは、フォアグラウンドイベントに対するハプティックフィードバックを可能にするための、並びにバックグラウンドイベントに対するハプティックフィードバックを低減又はミュートするための前記一又はそれ以上のパラメータを備えるステップと、
   対応するオーディオ周波数領域の範囲内に周波数をもつ一又はそれ以上のオーディオサブ信号をそれぞれが備える複数のオーディオ周波数領域内において、前記修正されたオーディオ信号を分割するステップと、
   前記一又はそれ以上のパラメータに基づいて、前記一又はそれ以上のハプティック周波数領域を生成するステップであって、前記一又はそれ以上のハプティック周波数領域のそれぞれが、対応するハプティック周波数領域の範囲内に周波数をもつ一又はそれ以上のハプティック信号を備えるステップと、
   前記複数のオーディオ周波数領域のそれぞれを前記一又はそれ以上のハプティック周波数領域内の少なくとも一つの対応するハプティック周波数領域にマップするステップであって、オーディオ周波数領域のそれぞれが複数の対応するハプティック周波数領域にマップされるステップと、
   前記一又はそれ以上のハプティック効果を生成するために前記一又はそれ以上のハプティック信号をアクチュエータへ送信するステップと、を含むコンピュータ実装方法。
2. 前記一又はそれ以上のハプティック信号を複数のアクチュエータにマップするステップであって、各ハプティック信号は、一又はそれ以上の対応するアクチュエータにマップされる、ステップと、
   前記一又はそれ以上のハプティック効果を生成するために各ハプティック信号をその対応するアクチュエータへ送信するステップと、をさらに含む請求項１に記載のコンピュータ実装方法。
3. 前記オーディオ信号は、一又はそれ以上のフィルタを用いて前記複数のオーディオ周波数領域に分割される請求項１に記載のコンピュータ実装方法。
4. 前記一又はそれ以上のオーディオ周波数領域の各オーディオ周波数領域に対する最大値が算出され、
   前記最大値に基づいて各オーディオ周波数領域に対するサイン搬送波形が算出され、
   前記一又はそれ以上のハプティック周波数領域の各ハプティック周波数領域は、前記最大値及び前記サイン搬送波形に基づいて生成される請求項１に記載のコンピュータ実装方法。
5. 前記一又はそれ以上のハプティック周波数領域の各ハプティック周波数領域に対する一又はそれ以上の周波数の選択は、前記アクチュエータの一又はそれ以上の特性に基づいて決定される請求項１に記載のコンピュータ実装方法。
6. 前記複数のオーディオ周波数領域は、
   低域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第１のオーディオ周波数領域と、
   中域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第２のオーディオ周波数領域と、
   高域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第３のオーディオ周波数領域と、を含む請求項１に記載のコンピュータ実装方法。
7. 前記一又はそれ以上のハプティック周波数領域は、
   低域内に周波数を有する一又はそれ以上のハプティック信号を含む第１のハプティック周波数領域と、
   中域内に周波数を有する一又はそれ以上のハプティック信号を含む第２のハプティック周波数領域と、
   高域内に周波数を有する一又はそれ以上のハプティック信号を含む第３のハプティック周波数領域と、を含む請求項６に記載のコンピュータ実装方法。
8. 前記一又はそれ以上のハプティック信号は、単一の合成ハプティック信号に合成される請求項１に記載のコンピュータ実装方法。
9. 前記修正されたオーディオ信号を一又はそれ以上のオーディオ周波数領域に分割するために用いられる複数のパラメータを調整するステップをさらに含む請求項１に記載のコンピュータ実装方法。
10. ハプティック変換システムであって、
    ハプティック変換モジュールを記憶するように構成されるメモリと、
    前記メモリに記憶される前記ハプティック変換モジュールを実行するように構成されるプロセッサと、
    一又はそれ以上のハプティック効果を出力するように構成されるアクチュエータと、を備え、
    前記ハプティック変換モジュールは、
    修正されたオーディオ信号を生成するために前記オーディオ信号を修正することによって、並びに前記修正されたオーディオ信号の尺度に基づいて一又はそれ以上のハプティック周波数領域を生成するために用いられる一又はそれ以上のパラメータを調整することによって、オーディオ信号を前処理し、ここで、前記調整することは、フォアグラウンドイベントに対するハプティックフィードバックを可能にするための、並びにバックグラウンドイベントに対するハプティックフィードバックを低減又はミュートするための前記一又はそれ以上のパラメータを備え、
    対応するオーディオ周波数領域の範囲内に周波数をもつ一又はそれ以上のオーディオサブ信号をそれぞれが備える複数のオーディオ周波数領域内において、前記修正されたオーディオ信号を分割し、
    前記一又はそれ以上のパラメータに基づいて、前記一又はそれ以上のハプティック周波数領域を生成し、ここで、前記一又はそれ以上のハプティック周波数領域のそれぞれが、対応するハプティック周波数領域の範囲内に周波数をもつ一又はそれ以上のハプティック信号を備え、
    前記複数のオーディオ周波数領域のそれぞれを前記一又はそれ以上のハプティック周波数領域内の少なくとも一つの対応するハプティック周波数領域にマップし、ここで、オーディオ周波数領域のそれぞれが複数の対応するハプティック周波数領域にマップされ、
    前記オーディオ信号を一又はそれ以上のオーディオ周波数領域に分割し、各オーディオ周波数領域は、一又はそれ以上のオーディオサブ信号を含み、
    前記一又はそれ以上のオーディオ周波数領域を一又はそれ以上のハプティック周波数領域にマップし、各オーディオ周波数領域は、一又はそれ以上の対応するハプティック周波数領域にマップされ、各ハプティック周波数領域は、一又はそれ以上のハプティック信号を含み、
    前記一又はそれ以上のハプティック効果を生成するために前記一又はそれ以上のハプティック信号をアクチュエータへ送信するように構成されるハプティック変換システム。
11. 各アクチュエータが前記一又はそれ以上のハプティック効果を出力するように構成される複数のアクチュエータをさらに備え、
    前記ハプティック変換モジュールは、さらに、
    前記一又はそれ以上のハプティック信号を複数のアクチュエータにマップし、各ハプティック信号は、一又はそれ以上の対応するアクチュエータにマップされ、
    前記一又はそれ以上のハプティック効果を生成するために各ハプティック信号をその対応するアクチュエータへ送信するように構成される請求項１０に記載のハプティック変換システム。
12. 前記一又はそれ以上のオーディオ周波数領域は、
    低域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第１のオーディオ周波数領域と、
    中域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第２のオーディオ周波数領域と、
    高域内に周波数を有する一又はそれ以上のオーディオサブ信号を含む第３のオーディオ周波数領域と、を含む請求項１０に記載のハプティック変換システム。
13. 前記一又はそれ以上のハプティック周波数領域は、
    低域内に周波数を有する一又はそれ以上のハプティック信号を含む第１のハプティック周波数領域と、
    中域内に周波数を有する一又はそれ以上のハプティック信号を含む第２のハプティック周波数領域と、
    高域内に周波数を有する一又はそれ以上のハプティック信号を含む第３のハプティック周波数領域と、を含む請求項１０に記載のハプティック変換システム。
14. プロセッサにより実行されたときに、請求項１から９のいずれか一項に記載の方法を実行させる命令を有するコンピュータ可読媒体。