JP6494222B2 - 自動遠隔検出およびハプティック変換システム - Google Patents

Description

一実施形態は概して、デバイス、より具体的には、ハプティック効果を生成するデバイスに関する。

ハプティックは、力、振動および動作などのハプティックフィードバック効果（すなわち「ハプティック効果」）をユーザに適用することによってユーザの触覚を利用する触覚および力フィードバック技術である。モバイル機器、タッチスクリーン装置およびパーソナルコンピュータなどの装置はハプティック効果を生成するように構成され得る。一般に、ハプティック効果を生成できる内蔵されたハードウェア（アクチュエータなど）へのコールは、装置のオペレーティングシステム（ＯＳ）内でプログラム化され得る。これらのコールはどのハプティック効果をプレイするかを特定する。例えば、ユーザが、例えば、ボタン、タッチスクリーン、レバー、ジョイスティック、ホイールまたはいくつかの他のコントールを使用して装置とやり取りする場合、装置のＯＳは、制御回路を介して内蔵されたハードウェアにプレイコマンドを送信することができる。次いで内蔵されたハードウェアは適切なハプティック効果を生成する。

装置は、ハプティック効果が他のコンテンツ内に組み込まれるように、オーディオなどの他のコンテンツの出力と共にハプティック効果の出力を調整するように構成され得る。例えば、ゲーミングコンテキストにおいて、ゲームが開発される場合、オーディオ効果ディベロッパは、ゲームに関連し、機関銃の発射、爆発またはカークラッシュなどのゲーム内で発生するアクションを表すオーディオ効果を開発できる。別のコンテキストにおいて、オーディオ入力または他の種類の現実世界の入力が、マイクロフォンまたは他の種類のセンサによりキャプチャされ得る。ハプティック効果ディベロッパは続いて、装置のためのハプティック効果を作成でき、その装置は他のコンテンツと共にハプティック効果を出力するように構成され得る。しかしながら、このようなプロセスは、ハプティック効果ディベロッパがオーディオ入力または他の入力を分析し、オーディオ入力または他の入力と協調し得る適切なハプティック効果を作成する時間を必要とするので、一般的に瞬時ではない。

一実施形態は、入力を１つまたは複数のハプティック効果に準リアルタイムで自動的に変換できるシステムである。そのシステムは準リアルタイムで入力を検出できる。そのシステムはさらに、検出した入力を１つまたは複数のハプティック信号に準リアルタイムで自動的に変換できる。そのシステムはさらに、１つまたは複数のハプティック信号に基づいて１つまたは複数のハプティック効果を生成できる。

さらなる実施形態、詳細、利点および修飾は、添付の図面と併せて考慮される以下の好ましい実施形態の詳細な説明から明らかになるであろう。

図１は、本発明の一実施形態に係る、システムのブロック図を示す。 図２は、本発明の一実施形態に係る、入力を１つまたは複数のハプティック効果に準リアルタイムで自動的に変換するシステムのブロック図を示す。 図３は、本発明の一実施形態に係る、自動ハプティック変換モジュールの機能性のフロー図を示す。

一実施形態は、マイクロフォンまたはカメラあるいはマイクロフォンまたはカメラのアレイなどのセンサによってリモート位置において検出され、ハプティックデバイスに無線で送信され得るオーディオ信号などの入力から変換されたハプティックフィードバックを送達するハプティックデバイスを含み得るシステムである。ハプティックフィードバックは、入力に基づいて生成され、準リアルタイムで送信されるハプティック効果を送達するようにプログラムされ得る、アクチュエータまたはアクチュエータのセットなどのハプティック出力デバイスまたはハプティック出力デバイスのセットによるハプティックデバイス内の出力であってもよい。より具体的には、システムは検出した入力を１つまたは複数のハプティック信号に準リアルタイムで変換でき、そのシステムはさらに、１つまたは複数のハプティック効果を生成するために１つまたは複数のハプティック信号をハプティック出力デバイスに送信できる。一実施形態において、センサは、ノイズ除去し、入力の特定の周波数バンド、機構、または他の特性のみをハプティックデバイスに送達するように構成され得る。さらに、実施形態によれば、ハプティックデバイス内のハプティック出力デバイスは、入力の異なる周波数バンド、機構、または他の特性を抽出するように合わせられてもよく、ユーザの注意を調節するようにハプティックフィードバックを制御および／または増大する。したがって、ユーザは、遠隔位置において検出される入力の特定の周波数バンド、機構、または他の特性を強調するハプティックフィードバックを経験できる。一実施形態において、ハプティックデバイスはウェアラブルハプティックデバイスであってもよい。

当業者に理解されるように、遠隔通信およびコンピューティングにおいて「準リアルタイム」とは、自動化データ処理またはネットワーク送信によって導かれる時間遅延を指す。したがって、入力が準リアルタイムでシステムにより検出される実施形態において、入力を検出することに関連する時間遅延に加えて、入力がリモートソースによって生成される時点で入力は検出される。さらに、システムが準リアルタイムで検出した入力に基づいて１つまたは複数のハプティック効果を生成する実施形態において、そのシステムは、検出した入力を１つまたは複数のハプティック信号に変換することに関連する時間遅延に加えて、検出した入力がシステムによって受信される時点において、検出した入力を１つまたは複数のハプティック効果を生成するために使用される１つまたは複数のハプティック信号に変換できる。特定の実施形態において、時間遅延は存在しなくてもよく、それ故、これらの実施形態において、「準リアルタイム」は「リアルタイム」と同一であり得る。

このようなシステムは、本発明の特定の実施形態に係る、いくつかのアプリケーションを有してもよい。例えば、システムは、特定の聴覚信号、ビデオ信号または他の種類の検出される入力などの特定の入力のステルスリモートモニタリングを準リアルタイムで可能にできるように軍事状況に利用されてもよく、そのシステムは、ハプティック出力を使用してリモート位置において特定の事象に関するモニターされた入力を送達でき、ハプティック出力は完全にサイレント形式で送達され得る。ハプティック出力はまた、「アラート」能力を提供するように十分な記述的情報を送達できる。より具体的には、ハプティック出力は、人の発話事象、乗り物の動作または発砲などの行われる特定の種類の活動を個人に知らせることができる。

別の例として、システムは、科学者が、特有のオーディオ信号、ビデオ信号または他の種類の検出される入力などの特有の入力を有する生物学的または地質学的事象のリモートモニタリングをできるように科学的状況に利用されてもよい。例えば、システムは、送信され、ハプティック出力に変換され、ウェアラブルハプティックデバイスなどのハプティックデバイスでプレイされ得る、特有の鳥の鳴き声をモニターするために、鳥類学者がリモートマイクロフォンを使用することを可能にする。したがって、鳥類学者は、特定の種の鳥が巣の位置に戻って来たことまたは一部の他の場合、特定の時間における特定の挙動の事実を通知され得る。

さらに別の例として、システムは、聴覚情報などのリアルタイム情報を視聴者につなぎ、１つまたは複数のハプティック効果に変換できるように「没入型」またはエンターテイメント状況に利用されてもよい。例えば、モトクロスレースにおいて、視聴者は、レーサーが準リアルタイムで事象を経験していることを感じることができる。

図１は、本発明の一実施形態に係るシステム１０のブロック図を示す。一実施形態において、システム１０はモバイル機器の一部であり、システム１０はモバイル機器のための自動ハプティック変換機能を提供する。別の実施形態において、システム１０はウェアラブルデバイスの一部であり、システム１０はウェアラブルデバイスのための自動ハプティック変換機能を提供する。ウェアラブルデバイスの例としては、リストバンド、ヘッドバンド、眼鏡、リング、レッグバンド、衣服に取り付けられるアレイ、またはユーザが身体に装着できるもしくはユーザにより保持され得る任意の他の種類のデバイスが挙げられる。一部のウェアラブルデバイスは「ハプティック可能」であり得、それらがハプティック効果を生成するための機構を備えることを意味する。別の実施形態において、システム１０は、デバイス（例えばモバイル機器またはウェアラブルデバイス）から分離され、デバイスのための自動ハプティック変換機能をリモートで提供する。単一のシステムとして示されるが、システム１０の機能は分散システムとして実装されてもよい。システム１０は、情報を通信するためのバス１２または他の通信機構、および情報を処理するためのバス１２に連結されるプロセッサ２２を含む。プロセッサ２２は汎用または特定目的のプロセッサのいずれの種類であってもよい。システム１０はさらに、情報を記憶するためのメモリ１４およびプロセッサ２２により実行される命令を含む。メモリ１４は、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、磁気ディスクもしくは光ディスクなどの静的記憶デバイス、または任意の他の種類のコンピュータ可読媒体の任意の組み合わせから構成されてもよい。

コンピュータ可読媒体は、プロセッサ２２によりアクセスされ得る任意の利用可能な媒体であってもよく、揮発性媒体および非揮発性媒体の両方、リムーバルおよびノンリムーバル媒体、通信媒体、ならびに記憶媒体を含んでもよい。通信媒体は、搬送波または他の搬送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを含んでもよく、当該技術分野において公知の任意の他の形態の情報送信媒体を含んでもよい。記憶媒体は、ＲＡＭ、フラッシュメモリ、ＲＯＭ、消去可能プログラマブルリードオンリメモリ（「ＥＰＲＯＭ」）、電気的消去可能プログラマブルリードオンリメモリ（「ＥＥＰＲＯＭ」）、レジスタ、ハードディスク、リムーバルディスク、コンパクトディスクリードオンリメモリ（「ＣＤ−ＲＯＭ」）、または当該技術分野において公知の任意の他の形態の記憶媒体を含んでもよい。

一実施形態において、メモリ１４は、プロセッサ２２により実行される場合、機能を提供するソフトウェアモジュールを記憶する。モジュールは、システム１０のためのオペレーティングシステム機能を提供するオペレーティングシステム１５、ならびに一実施形態におけるモバイル機器の残りを含む。モジュールはさらに、以下により詳細に開示されるように入力を１つまたは複数のハプティック効果に自動的に変換する自動ハプティック変換モジュール１６を含む。特定の実施形態において、自動ハプティック変換モジュール１６は複数のモジュールを含んでもよく、各々のモジュールは入力を１つまたは複数のハプティック効果に自動的に変換するための特定の個々の機能を提供する。システム１０は典型的に、Ｉｍｍｅｒｓｉｏｎ ＣｏｒｐｏｒａｔｉｏｎによるＩｎｔｅｇｒａｔｏｒ（商標）ソフトウェアなどの追加の機能を含むように１つ以上の追加のアプリケーションモジュール１８を含む。

リモートソースからデータを送信および／または受信する実施形態において、システム１０はさらに、赤外線、無線、Ｗｉ−Ｆｉ、またはセルラーネットワーク通信などの移動無線ネットワーク通信を提供するために、ネットワークインターフェースカードなどの通信デバイス２０を含む。他の実施形態において、通信デバイス２０は、イーサネット（登録商標）接続またはモデムなどの有線ネットワーク接続を提供する。

プロセッサ２２はさらに、バス１２を介して、グラフィック表現を表示するための液晶ディスプレイ（「ＬＣＤ」）などのディスプレイ２４またはユーザに対するユーザインターフェースに接続される。ディスプレイ２４は、プロセッサ２２から信号を送信し、受信するように構成される、タッチスクリーンなどのタッチセンサ入力デバイスであってもよく、マルチタッチのタッチスクリーンであってもよい。

一実施形態において、システム１０はさらに、アクチュエータ２６を含む。プロセッサ２２は、生成されたハプティック効果に関連するハプティック信号をアクチュエータ２６に送信してもよく、次いで振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力する。アクチュエータ２６はアクチュエータ駆動回路を含む。アクチュエータ２６は、例えば、電気モータ、電磁気アクチュエータ、音声コイル、形状記憶合金、電気活性ポリマー、ソレノイド、偏心回転モータ（「ＥＲＭ」）、線形共鳴アクチュエータ（「ＬＲＡ」）、圧電アクチュエータ、高帯域アクチュエータ、電気活性ポリマー（「ＥＡＰ」）アクチュエータ、静電摩擦ディスプレイ、または超音波振動発生器であってもよい。代替の実施形態において、システム１０は、アクチュエータ２６に加えて１つ以上の追加のアクチュエータを含んでもよい（図１に示さず）。アクチュエータ２６はハプティック出力デバイスの一例であり、ハプティック出力デバイスは、駆動信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果または変形ハプティック効果などのハプティック効果を出力するように構成されるデバイスである。代替の実施形態において、アクチュエータ２６は一部の他の種類のハプティック出力デバイスにより置き換えられてもよい。さらに、他の代替の実施形態において、システム１０はアクチュエータ２６を含まなくてもよく、システム１０とは別個のデバイスが、ハプティック効果を生成するアクチュエータまたは他のハプティック出力デバイスを含み、システム１０は、生成されたハプティック信号を、通信デバイス２０を介して、そのデバイスに送信する。

一実施形態において、システム１０はさらに、スピーカ２８を含む。プロセッサ２２はオーディオ信号をスピーカ２８に送信でき、次にオーディオ効果を出力する。スピーカ２８は、例えば、ダイナミックラウドスピーカ、動電型スピーカ、圧電ラウドスピーカ、磁気歪みラウドスピーカ、静電ラウドスピーカ、リボンおよび平面磁気ラウドスピーカ、屈曲波ラウドスピーカ、平面パネルラウドスピーカ、ハイルエアモーショントランスデューサ（ｈｅｉｌ ａｉｒ ｍｏｔｉｏｎ ｔｒａｎｓｄｕｃｅｒ）、プラズマアークスピーカおよびデジタルラウドスピーカであってもよい。代替の実施形態において、システム１０はスピーカ２８（図１に示さず）に加えて１つまたは複数のさらなるスピーカを含んでもよい。さらに、他の代替の実施形態において、システム１０はスピーカ２８を含まなくてもよく、システム１０とは別のデバイスが、オーディオ効果を出力するスピーカを含む。システム１０は通信デバイス２０を介してオーディオ信号をそのデバイスに送信する。

一実施形態において、システム１０はさらにセンサ３０を含む。センサ３０は、エネルギーの形態、または限定されないが、音、運動、加速度、生体信号、距離、流量、力／圧力／歪／屈曲、湿度、線形位置、配向／傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などの他の物理特性を検出するように構成されてもよい。センサ３０はさらに、検出されたエネルギーまたは他の物理特性を、電気信号または仮想センサ情報を表す任意の信号に変換するように構成されてもよい。センサ３０は、限定されないが、加速度計、心電図、脳電図、筋電図、眼電図、電子口蓋図（ｅｌｅｃｔｒｏｐａｌａｔｏｇｒａｐｈ）、電気皮膚反応センサ、容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、屈曲センサ（ｆｌｅｘｉｏｎ ｓｅｎｓｏｒ）（または屈曲センサ（ｂｅｎｄ ｓｅｎｓｏｒ））、力感応抵抗器、ロードセル、ＬｕＳｅｎｓｅ ＣＰＳ^２１５５、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形電位差計（またはスライダ）、線形可変差動変圧器、コンパス、傾斜計、磁性タグ（または無線周波数識別タグ）、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オン・オフスイッチ、温度センサ（例えば温度計、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路）、マイクロフォン、光度計、高度計、温度計、生物学的モニター、カメラまたは光依存性抵抗器などの任意のデバイスであってもよい。代替の実施形態において、システム１０は、センサ３０に加えて、１つ以上のさらなるセンサ（図１に示さず）を含んでもよい。これらの実施形態の一部において、センサ３０および１つ以上の追加のセンサはセンサアレイの一部であってもよく、またはセンサの回収の一部の他の種類であってもよい。さらに、他の代替の実施形態において、システム１０はセンサ３０を含まなくてもよく、システム１０とは別個のデバイスがエネルギーの形態または他の物理特性を検出するセンサを含み、検出されたエネルギーまたは他の物理特性を仮想センサ情報を表す電気信号または他の種類の信号に変換する。デバイスは次いで、変換された信号を通信デバイス２０を介してシステム１０に送信する。

図２は、本発明の一実施形態に従って、入力を１つまたは複数のハプティック効果に準リアルタイムで自動的に変換するシステム２００のブロック図を示す。この実施形態によれば、システム２００は遠隔検出デバイス２１０およびハプティックデバイス２２０を含む。遠隔検出デバイス２１０は接続２３０を介してハプティックデバイス２２０に動作可能に接続されてもよい。特定の実施形態において、接続２３０はワイヤレスネットワーク接続を表す。他の代替の実施形態において、接続２３０は有線ネットワーク接続を表す。さらに、代替の実施形態において、システム２００は、遠隔検出デバイス２１０に加えて１つもしくは複数の追加の遠隔検出デバイスおよび／またはハプティックデバイス２２０に加えて１つもしくは複数の追加のハプティックデバイス（図２に示さず）を含んでもよい。一部の実施形態において、接続２３０は省略されてもよく、検出デバイス２１０およびハプティックデバイス２２０はシステム２００の単一のデバイス内に収容されてもよく、検出デバイス２１０およびハプティックデバイス２２０は、情報を通信するためのバスまたは他の通信機構により動作可能に接続されてもよい。さらに、一部の実施形態において、ハプティックデバイス２２０はウェアラブルハプティックデバイスであってもよい。

実施形態によれば、遠隔検出デバイス２１０はセンサ２１１を備える。センサ２１１は準リアルタイムで入力を検出するように構成される。より特には、センサ２１１は、遠隔検出デバイス２１０の近くで生成される入力を検出し、検出された入力を準リアルタイムで信号に変換するように構成される。代替の実施形態において、入力の検出は、リアルタイムまたは準リアルタイムであることを必要とされない。代わりに、この代替の実施形態において、入力は１つまたは複数のバッファ（図２に示さず）においてバッファリングされてもよい。特定の実施形態において、入力は、オーディオデータを含むオーディオ信号または他の種類のオーディオ入力であってもよい。他の代替の実施形態において、入力はビデオデータを含むビデオ信号または他の種類のビデオ入力であってもよい。さらに他の代替の実施形態において、入力は加速度データを含む加速度信号または他の種類の加速度入力であってもよい。さらに他の代替の実施形態において、入力は、方向データを含む方向信号、周囲光データを含む周囲光信号、またはセンサにより検出され得る別の種類の信号であってもよい。特定の実施形態において、センサ２１１は図１のセンサ３０と同一であってもよい。

入力がオーディオ信号である実施形態において、センサ２１１は、オーディオ信号を検出するように構成されるマイクロフォンまたは一部の他の種類のデバイスであってもよい。入力がビデオ信号である実施形態において、センサ２１１はビデオ信号を検出するように構成されるカメラまたは一部の他の種類のデバイスであってもよい。入力が加速度信号である実施形態において、センサ２１１は加速度信号を検出するように構成される加速度計または一部の他の種類のデバイスであってもよい。入力が運動信号である実施形態において、センサ２１１は運動信号を検出するように構成される歩数計または一部の他の種類のデバイスであってもよい。入力が温度信号である実施形態において、センサ２１１は温度信号を検出するように構成される温度センサまたは一部の他の種類のデバイスであってもよい。さらに、特定の実施形態において、遠隔検出デバイス２１０は、センサ２１１に加えて１つまたは複数の追加のセンサ（図２に示さず）を備えてもよい。これらの実施形態の一部において、センサ２１１および１つまたは複数の追加のセンサはセンサアレイ（例えばマイクロフォンアレイ）の一部であってもよい。

実施形態によれば、遠隔検出デバイス２１０は任意選択にフィルタ２１２を備える。フィルタ２１２は検出した入力にフィルタをかけるように構成される。より特に、フィルタ２１２は、検出した入力の特定の周波数バンド、特徴または他の特性をフィルタを通して除去するように構成される。例えば、検出した入力がオーディオ信号または他の種類のオーディオ入力である場合、フィルタ２１２はバックグラウンド音を表す検出した入力の特性をフィルタを通して除去でき、それにより検出した入力の残りの特性のみが音声または一部の他の種類の音を表す。代替の例として、音声が常に検出される状況において、フィルタ２１２は音声を表す検出した入力の特性をフィルタを通して除去でき、それにより検出した入力の残りの特性のみがバックグラウンド音を表す。さらに別の例として、検出した入力が別の種類の入力である場合、フィルタ２１２は小さな大きさの事象を除去するように検出した入力の特性をフィルタを通して除去でき、それにより検出した入力の残りの特性のみが、環境変化、周波数遷移などの顕著な大きさの事象を表す。特定の実施形態において、フィルタ２１２は高域フィルタであってもよい。さらに、代替の実施形態において、フィルタ２１２は遠隔検出デバイス２１０から省略されてもよく、対応するフィルタリングが省略されてもよい。

実施形態によれば、遠隔検出デバイス２１０はさらに、トランスミッタ２１３を備える。トランスミッタ２１３は、検出した入力を接続２３０を使用してハプティックデバイス２２０に送信するように構成される。接続２３０が無線接続である実施形態において、トランスミッタ２１３は、検出した入力を無線接続を使用してハプティックデバイス２２０に無線で送信するように構成される無線トランスミッタであってもよい。接続２３０が無線接続である代替の実施形態において、トランスミッタ２１３は、検出した入力を無線接続を使用してハプティックデバイス２２０に送信するように構成される無線トランスミッタであってもよい。代替の実施形態において、トランスミッタ２１３は遠隔検出デバイス２１０から省略されてもよく、対応する送信は省略されてもよい。

実施形態によれば、ハプティックデバイス２２０はレシーバ２２１を備える。レシーバ２２１は、接続２３０を使用して遠隔検出デバイス２１０から送信される検出した入力を受信するように構成される。接続２３０が無線接続である実施形態において、レシーバ２２１は、無線接続を使用して遠隔検出デバイス２１０から検出された入力を無線で受信するように構成される無線レシーバであってもよい。接続２３０が無線接続である代替の実施形態において、レシーバ２２１は、無線接続を使用して遠隔検出デバイス２１０から検出された入力を受信するように構成される無線レシーバであってもよい。代替の実施形態において、レシーバ２２１はハプティックデバイス２１０から省略されてもよく、対応する受信は省略されてもよい。

実施形態によれば、ハプティックデバイス２２０はさらに、制御装置２２２を備える。制御装置２２２は、検出した入力を１つまたは複数のハプティック信号に準リアルタイムで自動的に変換するように構成される。より特には、制御装置２２２は、レシーバ２２１から検出した入力を受信し、受信した検出した入力を１つまたは複数のハプティック信号に準リアルタイムで自動的に変換するように構成される。特定の実施形態において、このことは、検出された入力が、その検出された入力をメモリまたは一部の他の種類の記憶装置内に記憶せずに１つまたは複数のハプティック信号に直接変換されることを意味する。代替の実施形態において、受信した検出した入力の１つまたは複数のハプティック信号への変換はリアルタイムまたは準リアルタイムであることを必要とされず、検出した入力をメモリまたは一部の他の種類の記憶装置内に記憶することを含んでもよい。

制御装置２２２は、検出した入力を１つまたは複数のハプティック信号に変換するために、人または当業者に公知である任意のハプティック変換アルゴリズムを使用してもよい。例示的なハプティック変換アルゴリズムは以下の特許または特許文献に記載されている（これらの全てはその全体が参照として本明細書に組み込まれる）：米国特許第７，９７９，１４６号；米国特許第８，０００，８２５号；米国特許第８，３７８，９６４号；米国特許出願公開第２０１１／０２０２１５５号；米国特許出願公開第２０１１／０２１５９１３号；米国特許出願公開第２０１２／０２０６２４６号；米国特許出願公開第２０１２／０２０６２４７号；米国特許出願第１３／４３９，２４１号；米国特許出願第１３／６６１，１４０号；米国特許出願第１３／７４３，５４０号；米国特許出願第１３／７６７，１２９号；米国特許出願第１３／７８５，１６６号；米国特許出願第１３／７８８，４８７号；米国特許出願第１３／８０３，７７８号；および米国特許出願第１３／７９９，０５９号。

一部の実施形態において、制御装置２２２はさらに、検出した入力の１つまたは複数の周波数バンド、特徴または特性を識別および／または抽出してもよい。特性の例としては、振幅、周波数、持続時間、エンベロープ、密度、大きさおよび強さが挙げられ得る。特性は数値を含んでもよく、その数値は検出した入力の特性を規定してもよい。制御装置２２２はさらに、１つまたは複数の識別された特性に基づいて１つまたは複数のハプティック信号を修正してもよい。より特には、制御装置２２２は、１つまたは複数の識別された特性に一致するように１つまたは複数のハプティック信号の１つまたは複数のハプティックパラメータを修正してもよい。実施形態によれば、ハプティック信号は１つまたは複数のハプティックパラメータを含んでもよく、ハプティックパラメータは、ハプティック効果を生成するために使用されるハプティック信号を規定でき、したがってまた、生成されるハプティック効果を規定できるパラメータである。より特には、ハプティックパラメータは、大きさ、周波数、持続時間、振幅、強さ、エンベロープ、密度または任意の他の種類の定量可能なハプティックパラメータなどのハプティック効果の質の量である。実施形態によれば、ハプティック効果は、少なくとも部分的にハプティック信号の１つまたは複数のハプティックパラメータにより規定され得、１つまたは複数のハプティックパラメータはハプティック効果の特性を規定できる。ハプティックパラメータは数値を含んでもよく、その数値はハプティック信号の特性を規定でき、したがってまた、ハプティック信号によって生成されるハプティック効果の特性を規定できる。ハプティックパラメータの例としては、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、エンベロープハプティックパラメータ、密度ハプティックパラメータ、大きさハプティックパラメータおよび強さハプティックパラメータが挙げられ得る。

例として、制御装置２２２は、オーディオ信号または他の種類のオーディオ入力内の１つまたは複数の特定の周波数バンドを識別および／または抽出できる。次いで制御装置２２２は生成したハプティック信号の１つまたは複数のハプティックパラメータを修正してもよく、それによりハプティック信号は、オーディオ信号または他の種類のオーディオ入力内の識別された周波数バンドと同一または類似である１つまたは複数の特定の周波数バンドを含む。以下により詳細に記載しているように、修正したハプティック信号は次いで、１つまたは複数の特有のハプティック効果を生成するために使用されてもよく、その特有のハプティック効果はオーディオ信号／入力を識別してもよい。

別の例として、制御装置２２２はオーディオ入力から時間および／または周波数シグネチャを識別および／または抽出できる。次いで制御装置２２２は生成したハプティック信号の１つまたは複数のハプティックパラメータを修正してもよく、それによりハプティック信号は、オーディオ入力内の識別した時間および／または周波数シグネチャと同一または類似である時間および／または周波数シグネチャを含む。以下により詳細に記載しているように、修正したハプティック信号は次いで、１つまたは複数の特有のハプティック効果を生成するために使用されてもよく、その特有のハプティック効果はオーディオ入力を識別できる。１つの特定の例において、オーディオ入力はバードコール（ｂｉｒｄ ｃａｌｌ）の種類であってもよく、バードコール内の時間および／または周波数シグネチャはバードコールの種類を一意に識別できる。したがって、修正したハプティック信号は、修正したハプティック信号の対応する時間および／または周波数シグネチャに基づいてバードコールの種類を識別するハプティック効果を生成するために使用されてもよい。別の特定の例において、オーディオ入力は人の活動および人でない活動（例えば、人の言葉および乗り物のノイズ）を含んでもよく、オーディオ入力内の識別された特性は、人でない活動を区別するように人の活動を一意に識別できる。したがって、修正されたハプティック信号は、人の活動を識別する第１のハプティック効果、および人でない活動を識別する第２のハプティック効果を生成するために使用されてもよい。第１のハプティック効果および第２のハプティック効果の両方を感じる個人は、第１のハプティック効果が人の活動を識別し、第２のハプティック効果が人でない活動を識別することを識別できる。

さらに、代替の実施形態において、検出した入力を１つまたは複数のハプティック信号に自動的に変換すること以外に、制御装置２２２は、検出した入力の１つまたは複数の識別された特性に基づいて制御装置２２２内に記憶される１つまたは複数のハプティック信号を選択できる。より特には、制御装置２２２は、検出した入力の１つまたは複数の識別された特性に同一または最も類似である１つまたは複数のハプティックパラメータを含む１つまたは複数のハプティック信号を選択できる。１つまたは複数のハプティック信号はライブラリ内に記憶されてもよく、そのライブラリは制御装置２２２内に記憶される。

示した実施形態によれば、制御装置２２２は、プロセッサ２２３、メモリ２２４および自動ハプティック変換モジュール２２５を含んでもよい。プロセッサ２２３は任意の種類の汎用または特定目的プロセッサであってもよい。特定の実施形態において、プロセッサ２２３は図１のプロセッサ２２と同一であり得る。メモリ２２４はプロセッサ２２３により実行される情報および命令を記憶するように構成されてもよい。メモリ２２４は、ＲＡＭ、ＲＯＭ、磁気ディスクもしくは光ディスクなどの静的記憶装置、または任意の他の種類のコンピュータ可読媒体の任意の組合せから構成されてもよい。特定の実施形態において、メモリ２２４は図１のメモリ１４と同一であってもよい。自動ハプティック変換モジュール２２５は入力を１つまたは複数のハプティック効果に自動的に変換するための上述の機能を実施するように構成されてもよい。特定の実施形態において、自動ハプティック変換モジュール２２５は複数のモジュールを含んでもよく、各モジュールは入力を１つまたは複数のハプティック効果に自動的に変換するための上述の機能の特定の個々の部分を提供する。さらに、特定の実施形態において、自動ハプティック変換モジュール２２５は図１の自動ハプティック変換モジュール１６と同一である。

また、実施形態によれば、ハプティックデバイス２２０はさらに、ハプティック出力デバイス２２６を含む。制御装置２２２は１つまたは複数のハプティック信号をハプティック出力デバイス２２６に送信するように構成される。次に、ハプティック出力デバイス２２６は、制御装置２２２により送信される１つまたは複数のハプティック信号に応答して振動触覚ハプティック効果、静電摩擦ハプティック効果、または変形ハプティック効果などの１つまたは複数のハプティック効果を出力するように構成される。特定の実施形態において、ハプティック出力デバイス２２６は図１のアクチュエータ２６と同一である。

図３は、本発明の一実施形態に係る、自動ハプティック変換モジュール（例えば、図１の自動ハプティック変換モジュール１６および図２の自動ハプティック変換モジュール２２５）の機能性のフロー図を示す。一実施形態において、図３の機能性は、メモリまたは他のコンピュータ可読もしくは有形的表現媒体内に記憶されるソフトウェアによって実装され、プロセッサによって実行される。他の実施形態において、機能性は、ハードウェアによって（例えば、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）などの使用によって）、またはハードウェアとソフトウェアの任意の組合せによって実施されてもよい。

フローが開始し、３１０に進む。３１０において、入力が検出される。特定の実施形態において、入力は準リアルタイムで検出されてもよい。さらに、特定の実施形態において、入力はオーディオデータを含んでもよい。他の実施形態において、入力はビデオデータを含んでもよい。他の実施形態において、入力は加速度データを含んでもよい。他の実施形態において、入力は別の種類のデータを含んでもよい。次いでフローは３２０に進む。

３２０において、検出した入力はフィルタにかけられる。特定の実施形態において、３２０は省略されてもよい。次いでフローは３３０に進む。

３３０において、検出した入力は制御装置に送信される。一部の実施形態において、検出した入力は無線で制御装置に送信されてもよい。特定の実施形態において、３３０は省略されてもよい。次いでフローは３４０に進む。

３４０において、検出した入力の１つまたは複数の特性が識別される。特定の実施形態において、検出した入力の１つまたは複数の特性は、振幅、周波数、持続時間、エンベロープ、密度、大きさまたは強さのうちの少なくとも１つを含んでもよい。特定の実施形態において、３４０は省略されてもよい。フローは次いで３５０に進む。

３５０において、検出した入力は１つまたは複数のハプティック信号に自動的に変換される。検出した入力はハプティック変換アルゴリズムを使用して１つまたは複数のハプティック信号に自動的に変換され得る。特定の実施形態において、検出した入力は、１つまたは複数のハプティック信号に準リアルタイムで自動的に変換され得る。次いでフローは３６０に進む。

３６０において、１つまたは複数のハプティック信号は検出した入力の１つまたは複数の識別された特性に基づいて修正される。特定の実施形態において、１つまたは複数のハプティック信号の１つまたは複数のハプティックパラメータは検出した入力の１つまたは複数の識別された特性と一致するように修正されてもよい。これらの実施形態の一部において、１つまたは複数のハプティックパラメータは、振幅ハプティックパラメータ、周波数ハプティックパラメータ、持続時間ハプティックパラメータ、エンベロープハプティックパラメータ、密度ハプティックパラメータ、大きさパラメータまたは強さハプティックパラメータのうちの少なくとも１つを含んでもよい。特定の実施形態において、３６０は省略されてもよい。次いでフローは３７０に進む。

３７０において、１つまたは複数のハプティック効果は１つまたは複数のハプティック信号に基づいて生成される。特定の実施形態において、１つまたは複数のハプティック信号は１つまたは複数のハプティック効果を生成するために１つまたは複数のハプティック出力デバイスに送信されてもよい。これらの実施形態の一部において、１つまたは複数のハプティック出力デバイスの少なくとも１つはアクチュエータである。さらに、特定の実施形態において、ウェアラブルハプティックデバイスは１つまたは複数のハプティック信号に基づいて１つまたは複数のハプティック効果を生成できる。次いでフローは終了に進む。

したがって、実施形態によれば、オーディオ信号などの検出された入力をハプティック効果に自動的に変換するシステムが提供され、入力の検出および自動的変換は準リアルタイムで実施される。したがって、システムはオーディオ信号などの他の入力からハプティックコンテンツを自動的に生成できる。したがって、システムにより、ハプティックコンテンツが顕著に容易に生成できる。

本明細書全体にわたって記載した本発明の特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。例えば、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」、または他の同様の言語の使用は、実施形態と併せた記載した特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれてもよいことを指す。したがって、本明細書全体にわたって、「一実施形態」、「一部の実施形態」、「特定の実施形態」、「特定の実施形態（複数）」という用語、または他の同様の言語の出現は、必ずしも全て実施形態の同じ群を指すわけではなく、記載した特徴、構造、または特性は、１つ以上の実施形態において任意の適切な形式で組み合わされてもよい。

当業者は、上記の本発明が、異なる順序のステップで、および／または開示されるものとは異なる構造の要素と共に実施されてもよいことを容易に理解するであろう。したがって、本発明はこれらの好ましい実施形態に基づいて記載しているが、本発明の精神および範囲内のままで、特定の修飾、変更、および代替の構造が明らかになることは当業者には明らかであろう。したがって、本発明の境界および範囲を決定するために、添付の特許請求の範囲を参照すべきである。

Claims (11)

1. 入力を１つまたは複数のハプティック効果に準リアルタイムで自動的に変換するためのコンピュータ実装方法であって、
   前記入力を準リアルタイムで検出するセンサからオーディオ信号を受信するステップであって、前記オーディオ信号が音声及び乗り物のノイズを含むステップと、
   前記音声のみがフィルタリングされたオーディオ信号に残るように、前記フィルタリングされたオーディオ信号を生成するために、乗り物のノイズを表現する前記オーディオ信号の特性を除去するステップと、
   前記フィルタリングされたオーディオ信号を１つまたは複数のハプティック信号に準リアルタイムで自動的に変換するステップと、
   前記１つまたは複数のハプティック信号に基づいて１つまたは複数のハプティック効果を生成するステップと、
   を含む、コンピュータ実装方法。
2. 前記オーディオ信号の１つまたは複数の特性を識別するステップと、
   １つまたは複数の識別された特性に基づいて前記１つまたは複数のハプティック信号を修正するステップと、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記オーディオ信号の１つまたは複数の特性が、前記オーディオ信号の周波数であり、
   前記１つまたは複数のハプティック信号が、周波数ハプティックパラメータである、
   請求項２に記載のコンピュータ実装方法。
4. 前記オーディオ信号は、自動変換を実施するように構成される制御装置によって無線で受信されるステップをさらに含む、請求項１に記載のコンピュータ実装方法。
5. 前記１つまたは複数のハプティック効果を生成するステップが、ウェアラブルハプティックデバイスによって実施される、請求項１に記載のコンピュータ実装方法。
6. 前記１つまたは複数のハプティック効果を生成するステップが、前記１つまたは複数のハプティック効果を生成するために前記１つまたは複数のハプティック信号を１つまたは複数のハプティック出力デバイスに送信するステップをさらに含む、請求項１に記載のコンピュータ実装方法。
7. 前記１つまたは複数のハプティック出力デバイスの少なくとも１つのハプティック出力デバイスがアクチュエータを含む、請求項６に記載のコンピュータ実装方法。
8. 入力を１つまたは複数のハプティック効果に準リアルタイムで自動的に変換するシステムであって、
   自動ハプティック変換モジュールを記憶するように構成されるメモリと、
   前記メモリに記憶された前記自動ハプティック変換モジュールを実行するように構成されるプロセッサであって、前記プロセッサによって実行された場合に、前記自動ハプティック変換モジュールが前記プロセッサに、
   入力を準リアルタイムで検出するセンサからオーディオ信号を受信させ、前記オーディオ信号は、音声及び乗り物のノイズを含み、
   前記音声のみがフィルタリングされたオーディオ信号に残るように、前記フィルタリングされたオーディオ信号を生成するために、乗り物のノイズを表現する前記オーディオ信号の特性を除去させ、
   前記フィルタリングされたオーディオ信号を１つまたは複数のハプティック信号に準リアルタイムで自動変換させ、
   前記１つまたは複数のハプティック信号に基づいて１つまたは複数のハプティック効果を生成させるプロセッサと、
   を備えるシステム。
9. 前記自動ハプティック変換モジュールは、前記プロセッサに、前記オーディオ信号の１つまたは複数の特性を識別させ、
   １つまたは複数の識別された特性に基づいて前記１つまたは複数のハプティック信号を修正させるようにさらに構成される、請求項８に記載のシステム。
10. 前記オーディオ信号の１つまたは複数の特性が、前記オーディオ信号の周波数であり、
    前記１つまたは複数のハプティック信号が、周波数ハプティックパラメータである、
    請求項９に記載のシステム。
11. プロセッサにより実行される場合、前記プロセッサに請求項１〜７のいずれか一項に記載の方法を実装させる、記憶された命令を有するコンピュータ可読媒体。