JP2023540785A - 触覚シーン表現形式 - Google Patents

Abstract

触覚レンダリングデバイス及び対応する方法は、少なくとも１つの触覚チャネルについて、幾何モデルを表現する情報と、触覚フィードバックを適用する幾何モデルの要素を表現する情報とを含むメタデータによって記述される触覚効果をレンダリングすることを可能にし、関連する触覚ファイルは、適用される触覚信号を構成する。必要な情報を搬送するためのファイル形式が提供される。【選択図】図３

Description

本実施形態の少なくとも１つは、概して触覚に関し、より詳細には触覚シーン表現形式の定義に関する。

完全没入型ユーザ体験は、没入とインタラクションに基づく仮想現実（virtual reality：ＶＲ）システムを通じてユーザに提案される。現在の視覚及び聴覚フィードバックは、満足のいくリアルな没入感を提供する。インタラクションは、制御及びフィードバックを必要とする。ユーザのニーズを満たす多くの異なる制御方法が存在する。フィードバックは、触覚によって提供され、人間のユーザが自分自身の感覚で仮想環境を知覚することを可能にする。しかしながら、触覚は、仮想現実システムにおける全体的なユーザ体験を向上させるための、まだ進歩の可能性がある分野の１つである。

従来、ＶＲシステムは、仮想環境を表現する３Ｄシーンに基づいており、３Ｄシーン内に位置特定された仮想オブジェクトから構成されている。これらのオブジェクトは静的であっても動的であってもよい。仮想環境の要素とのユーザインタラクションを向上させるために、触覚フィードバックが使用されてもよい。したがって、生成される触覚フィードバックを記述する触覚信号は、仮想環境の要素に関連付けられることが好ましい。触覚信号は、仮想環境内でのユーザのインタラクションに基づいて触覚レンダリングデバイスによって取得され、次いで触覚レンダリングデバイスによってレンダリングされる。ＶＲシステムのコンテキストで示されているが、本明細書で説明される原理は、例えば、拡張現実又は触覚拡張ビデオレンダリングなどの触覚を使用する他のコンテキストにも適用され、より一般的には、あらゆる触覚ベースのユーザ体験に適用される。

触覚とは、接触の感覚を指し、触覚及び運動感覚の２つのタイプを含む。第１に、摩擦、ざらつき、硬さ、温度などの触覚に関するものであり、皮膚の機械受容器（メルケル細胞、ルフィニ終末、マイスナー小体、パチニ小体）を通じて感じられる。第２に、関節における筋肉、腱及び機械受容器によって提供される力／トルク、位置、運動／速度の感覚に関連するものである。これらのモダリティに対応する信号は、振動信号に対応する、より低い周波数範囲を有するオーディオ信号（すなわち、一次元）に匹敵する。周波数範囲は、モダリティのタイプにより異なるが、約０～１ＫＨｚである。触覚信号をレンダリングすることができるほとんどの既存のデバイスは、振動を生成することができる。そのようなデバイス、すなわち触覚アクチュエータの例としては、リニア共振アクチュエータ（linear resonant actuator：ＬＲＡ）、偏心回転質量（eccentric rotating mass：ＥＲＭ）、ボイスコイル・リニア・モータが挙げられる。これらのアクチュエータは、触覚スーツなどの触覚レンダリングデバイスに統合されてもよいが、スマートフォン又はゲームコントローラに統合されてもよい。

触覚信号を符号化するために、ＸＭＬのような形式（例えば、ＭＰＥＧ－Ｖ）を使用する高レベル記述、ｊｓｏｎのような形式（Ａｐｐｌｅ ＡＨＡＰ、ｉｍｍｅｒｓｉｏｎ．ｃｏｍ ＨＡＰＴ）を使用するパラメトリック表現、又は波形符号化（触覚信号及び運動感覚信号のためのＩＥＥＥ１９１８．１．１の現在進行中の標準化）のいずれかに関連する、いくつかの形式が定義されている。ＨＡＰＴ形式は、近年、ＭＰＥＧ ＩＳＯＢＭＦＦファイル形式仕様（ＩＳＯ／ＩＥＣ１４４９６ｐａｒｔ１２）に含められている。

以下に記載される実施形態は、上記を念頭に置いて設計されている。

触覚レンダリングデバイス及び対応する方法は、少なくとも１つの触覚チャネルについて、幾何モデルを表現する情報と、触覚フィードバックを適用する幾何モデルの要素を表現する情報とを含むメタデータ、及び適用される触覚信号を表現する情報によって記述される触覚効果をレンダリングすることを可能にする。少なくとも１つの実施形態では、触覚信号は、複数のチャネルを含むことができるオーディオファイル形式を使用して別個のファイル上で搬送される。必要なメタデータ情報を搬送するためのファイル形式が提供される。

少なくとも１つの実施形態の第１の態様は、幾何モデルを表現する情報を含む触覚チャネルを表現する少なくとも１つの情報と、触覚フィードバックを適用する幾何モデルの要素を表現する情報とを含むメタデータファイル、及びレンダリングされる少なくとも１つの触覚信号を含む触覚ファイルを含む、触覚フィードバックを表現する情報を搬送する触覚フィードバックをレンダリングするための信号を対象とする。

少なくとも１つの実施形態の第２の態様は、第１の態様による触覚フィードバックを表現する情報を取得し、触覚フィードバックを表現する情報に基づいて、触覚信号及び触覚レンダリングデバイスの触覚アクチュエータのセットを選択し、選択された触覚信号を触覚レンダリングデバイスの選択された触覚アクチュエータに適用することによって触覚フィードバックをレンダリングするように構成されたプロセッサを含む、触覚信号をレンダリングするための装置を対象とする。

少なくとも１つの実施形態の第３の態様は、第１の態様による触覚フィードバックを表現する情報を取得するステップと、触覚フィードバックを表現する情報に基づいて、触覚信号及び触覚レンダリングデバイスの触覚アクチュエータのセットを選択するステップと、選択された触覚信号を触覚レンダリングデバイスの選択された触覚アクチュエータに適用することによって触覚フィードバックをレンダリングするステップとを含む、触覚信号をレンダリングするための方法を対象とする。

少なくとも１つの実施形態の第４の態様によれば、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラムが提示され、コンピュータプログラムは、少なくとも第１の態様による方法のステップを実装する。

少なくとも１つの実施形態の第５の態様によれば、非一時的コンピュータ可読媒体に格納され、プロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品が提示され、コンピュータプログラム製品は、少なくとも第１の態様による方法のステップを実装する。

様々な態様及び実施形態が実装される、システムの一例のブロック図を示す。 少なくとも１つの実施形態による、触覚フィードバック記述ファイルをレンダリングするためのプロセスの例示的なフローチャートを示す。 少なくとも１つの実施形態による、触覚フィードバック記述ファイルのデータ編成の一例を示す。 少なくとも１つの実施形態による、触覚フィードバック記述ファイルの例示的なシンタックスを示す。 様々なメッシュ密度を有する３つの汎用幾何モデルを示す。 様々なメッシュ密度を有する３つの汎用幾何モデルを示す。 様々なメッシュ密度を有する３つの汎用幾何モデルを示す。 少なくとも１つの実施形態による、カスタム幾何モデルを使用するための例示的なシンタックスを示す。 少なくとも１つの実施形態による、触覚ファイルの例示的なシンタックスを示す。 少なくとも１つの実施形態による、身体部位の定義の一例を示す。 図９のカスタム幾何モデル上の身体部位のマッピングの一例を示す。 少なくとも１つの実施形態による、バイナリマスクを使用した身体部位の組み合わせの一例を示す。 それぞれ、上半身部、左脚部及び右腕部の身体部位のグループ分けを示す。 それぞれ、上半身部、左脚部及び右腕部の身体部位のグループ分けを示す。 それぞれ、上半身部、左脚部及び右腕部の身体部位のグループ分けを示す。

少なくとも１つの実施形態では、ファイル形式のシンタックス定義は、ユーザに触覚効果をレンダリングすることを可能にする情報を記述する。この目的のために、以下に説明される実施形態によれば、以下の用語が本明細書において使用される。

「触覚オブジェクト」は、ユーザに伝達される物理的現象に対応する。触覚オブジェクトは、微風などのグローバル環境に関連してもよいし、胸部のパンチなどの局所的な効果に関連してもよい。触覚オブジェクトの別の例としては、爆発が挙げられる。爆発は、振動及び熱を通じてレンダリングされ得、したがって、触覚フィードバックの異なる態様を必要とする。これは、複数の「触覚チャネル」を使用して行われる。「触覚フィードバック記述ファイル」は、触覚フィードバックを提供するために必要な要素を記述するために使用される。そのようなファイルには、複数のチャネルを搬送する複数の触覚オブジェクトそのものを集めてもよい。典型的には、ある触覚オブジェクトは、グローバルな効果（風）に関連付けられ得、ある触覚オブジェクトは、２つの触覚チャネルを通じて振動及び熱を使用することをレンダリングすることによって局所的な効果（爆発）に関連付けられ得る。

触覚効果は、正確な位置に適用されるときに最も効果的に発揮される。したがって、少なくとも１つの実施形態では、各触覚フィードバックチャネルに対して、効果が適用される位置を指定することが提案される。これは２つのステップで行われ得る。第１に、触覚知覚の空間的鋭敏さを表現する幾何モデルを選択するステップによって、第２に、触覚効果が適用される位置を選択するステップによって、行われてもよい。幾何モデルは、標準的な所定のモデルのセットから選択された汎用モデルとしていずれかを選択されてもよい。この場合、モデルは人体のメッシュに基づく。幾何モデルはまた、その幾何学的形状を指定することによってカスタム幾何モデルとして判定されてもよい。これは、例えば触覚チェアなどの非標準触覚レンダリングデバイスに適合することを可能にする。この場合、触覚知覚の空間的鋭敏さは、レンダリングデバイス上のアクチュエータの正確な位置によって制限される。提案されたファイル形式では、幾何モデルは「アバターモデル」と呼ばれ、「ａｖａｔａｒ＿ＩＤ」によって識別される。加えて、触覚効果の「タイプ（type）」は、ａｖａｔａｒ＿ＩＤに関連付けられる。爆発の例では、２つの触覚チャネルが使用され、第１のチャネルは振動を伝達し、第２のチャネルは熱を伝達する。これらの触覚チャネルは、対応するａｖａｔａｒ＿ＩＤに関連付けられ、１つは振動に適合され、１つは熱に適合される。更には、適用される触覚効果を記述するオーディオ信号が、触覚チャネルの各々に関連付けられる。これらの触覚信号は、オーディオファイル内に別個のオーディオチャネルとして格納される。

図１は、様々な態様及び実施形態が実装されるシステムの一例のブロック図を示す。図示された仮想現実システムにおいて、ユーザＡｌｉｃｅは、触覚レンダリングデバイス１００を使用して、通信ネットワーク１７０を通じて仮想現実シーン１９０をホストするサーバ１８０とインタラクションを行う。この仮想現実シーン１９０は、オーディオ、ビデオ、３Ｄモデル、ＶＲシーン記述、及び少なくとも１つの触覚フィードバック記述ファイル１９１など、異なるタイプのコンテンツを表現する様々なファイルを含んでもよい。

触覚レンダリングデバイスはプロセッサ１０１を備える。プロセッサ１０１は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（digital signal processor：ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアに関連付けられた１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（Application Specific Integrated Circuits：ＡＳＩＣｓ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Gate Array：ＦＰＧＡｓ）回路、任意の他のタイプの集積回路（integrated circuit：ＩＣ）、状態機械などであってもよい。プロセッサは、触覚信号復号、入力／出力処理、及び／又はデバイスが仮想現実システムにおいて動作することを可能にする任意の他の機能などのデータ処理を行ってもよい。

プロセッサ１０１は、ユーザインタラクションを伝達するように構成された入力ユニット１０２に結合されてもよい。複数のタイプの入力及びモダリティが、その目的のために使用されることができる。物理的なキーパッド及びタッチセンサ面は、この用途に適合された入力ユニットの典型的な例であるが、音声制御も使用することができる。加えて、入力ユニットは、静止画像又はビデオを取り込むことができるデジタルカメラを備えてもよい。プロセッサ１０１は、スクリーン上に表示される視覚データを出力するように構成されたディスプレイユニット１０３に結合されてもよい。液晶ディスプレイ（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）ディスプレイユニットなど、複数のタイプのディスプレイがその目的のために使用されることができる。プロセッサ１０１はまた、例えば、ラウドスピーカなどの適合されたトランスデューサを通じてオーディオ波に変換されるサウンドデータをレンダリングするように構成されたオーディオユニット１０４に結合されてもよい。プロセッサ１０１は、外部デバイスとデータを交換するように構成された通信インターフェース１０５に結合されてもよい。通信は、好ましくは、ＬＴＥ通信、Ｗｉ－Ｆｉ通信など、触覚レンダリングデバイスのモビリティを提供する無線通信規格を使用する。プロセッサ１０１は、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、ハードディスク、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカード、任意の他のタイプのメモリ記憶デバイスを含む、複数のタイプのメモリを備え得る、メモリ１０６からの情報にアクセスし、データをそこに格納してもよい。一実施形態では、プロセッサ１０１は、サーバ、ホームコンピュータ、又は別のデバイスなど、デバイス上に物理的に配置されていないメモリからの情報にアクセスし、そのメモリにデータを格納してもよい。

プロセッサ１０１は、ユーザに触覚フィードバックを提供するように構成された触覚ユニット１０７に結合されてもよく、触覚フィードバックは、仮想現実シーン１９０に関連付けられた触覚フィードバック記述ファイル１９１によって記述される。触覚フィードバック記述ファイル１９１は、以下で更に説明されるシンタックスに従って提供されるフィードバックのタイプを記述する。そのような記述ファイルは、典型的には、サーバ１８０から触覚レンダリングデバイス１００に伝達される。触覚ユニット１０７は、触覚レンダリングデバイス上の複数の位置に配置された複数の触覚アクチュエータを備えてもよい。異なる触覚ユニットは異なる数のアクチュエータを有してもよく、及び／又はアクチュエータは触覚レンダリングデバイス上に異なるように配置されてもよい。

プロセッサ１０１は、電源１０８から電力を受信してもよく、デバイス１００における他の構成要素に電力を分配し、且つ／又は制御するように構成されてもよい。電源は、デバイスに電力を供給するための任意の適切なデバイスであってもよい。例として、電源は、１つ以上の乾電池（例えば、ニッケル－カドミウム（nickel-cadmium：ＮｉＣｄ）、ニッケル－亜鉛（nickel-zinc：ＮｉＺｎ）、ニッケル水素（nickel metal hydride：ＮｉＭＨ）、リチウムイオン（lithium-ion：Ｌｉ－ｉｏｎ）など）、太陽電池、燃料電池などを含んでもよい。

この図は、プロセッサ１０１及び他の要素１０２～１０８を別個の構成要素として示しているが、これらの要素は、電子パッケージ又はチップ内に共に統合されてもよいことが理解されよう。触覚レンダリングデバイス１００は、一実施形態との整合性を保ちつつ、本明細書に記載の要素の任意の部分的組み合わせを含んでもよいことが理解されよう。プロセッサ１０１は、追加の特徴、機能、及び／又は有線若しくは無線接続を提供する１つ以上のソフトウェア及び／又はハードウェアモジュールを含み得る、図１に示されていない他の周辺機器又はユニットに更に結合されてもよい。例えば、周辺機器は、ユニバーサル・シリアル・バス（universal serial bus：ＵＳＢ）ポート、振動デバイス、テレビトランシーバ、ハンズ・フリー・ヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（frequency modulated：ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオ・ゲーム・プレーヤ・モジュール、インターネットブラウザなどのセンサを含んでもよい。例えば、プロセッサ１０１は、その環境内で触覚レンダリングデバイスを位置特定するように構成された位置特定ユニットに結合されてもよい。位置特定ユニットは、触覚レンダリングデバイスの現在位置に関する経度及び緯度の位置を提供するＧＰＳチップセットだけでなく、位置特定サービスを提供する加速度計及び／又は電子コンパスなどの他のモーションセンサも統合してもよい。

触覚レンダリングデバイス１００の典型的な例としては、触覚スーツ、スマートフォン、ゲームコントローラ、触覚グローブ、触覚チェア、触覚プロップ、モーションプラットフォームなどが挙げられるが、同様の機能を提供する任意のデバイス又はデバイスの構成が、本開示の原理に準拠しつつ、触覚レンダリングデバイス１００として使用され得る。

少なくとも１つの実施形態では、デバイスは、ディスプレイユニットを含まないが、触覚ユニットを含む。そのような実施形態では、デバイスは、シーンを視覚的にレンダリングせず、触覚効果のみをレンダリングする。しかしながら、デバイスは、表示のためのデータを準備し、そのデータをスクリーンなどのディスプレイデバイスに提供してもよく、その結果、このデバイスは表示を実行することができる。そのようなデバイスの例としては、触覚スーツ又はモーションプラットフォームが挙げられる。

少なくとも１つの実施形態では、デバイスは、触覚ユニットを含まないが、ディスプレイユニットを含む。そのような実施形態では、デバイスは、触覚効果をレンダリングせず、シーンを視覚的にレンダリングするのみである。しかしながら、デバイスは、触覚効果をレンダリングするためのデータを準備し、触覚プロップなどの触覚レンダリングデバイスにデータを提供してもよく、その結果、このデバイスは触覚レンダリングを実行することができる。そのようなデバイスの例としては、スマートフォン、ヘッドマウントディスプレイ又はラップトップが挙げられる。

少なくとも１つの実施形態では、デバイスは、ディスプレイユニットも触覚ユニットも含まない。そのような実施形態では、デバイスは、シーンを視覚的にレンダリングせず、触覚効果をレンダリングしないが、表示のためのデータを準備し、データをスクリーンなどのディスプレイデバイスに提供する結果、このデバイスは表示を実行できる。また、触覚効果をレンダリングするためのデータを準備し、データを触覚プロップなどの触覚レンダリングデバイスに提供する結果、このデバイスは触覚レンダリングを実行できる。そのようなデバイスの例としては、デスクトップコンピュータ、光メディアプレーヤ、又はセットトップボックスが挙げられる。

少なくとも１つの実施形態では、仮想現実シーン及び関連する触覚フィードバック記述ファイルは、局所的なインタラクションを可能にする触覚レンダリングデバイス１００のメモリ１０６に直接ホストされる。

図２は、少なくとも１つの実施形態による、触覚フィードバック記述ファイルをレンダリングするためのプロセスの例示的なフローチャートを示す。そのようなプロセス２００は、典型的には、触覚レンダリングデバイス１００において実装され、そのようなデバイスのプロセッサ１０１によって実行される。ステップ２０１において、プロセッサは、触覚フィードバック記述ファイルを取得する（図１の１９１）。これは、例えば、通信ネットワークを通じてサーバからそれを受信することによって、外部記憶デバイス又はローカルメモリからそれを読み取ることによって、又は任意の他の手段によって行われてもよい。ステップ２０２において、プロセッサは、触覚レンダリングデバイスの触覚効果をどのように適用するかを判定するために、言い換えれば、どの触覚信号がどのアクチュエータ又はアクチュエータのセットに適用される必要があるかを選択するために、触覚フィードバック記述ファイルを解析する。ステップ２０３において、プロセッサは、選択された触覚信号を、触覚アクチュエータ又はアクチュエータのセットに適用する触覚ユニットに提供し、それにより、触覚フィードバックをレンダリングする。

少なくとも１つの実施形態では、ファイルの組合せを使用して触覚フィードバックを配信することが提案され、触覚フィードバック記述ファイルは、触覚フィードバックの異なるパラメータを記述するメタデータを含み、触覚ファイルは、典型的にはオーディオ信号の形態でレンダリングされる触覚信号を伝達する。少なくとも１つの実施形態では、メタデータは、ＭＰＥＧオブジェクト・オーディオ・メタデータ「．ｏａｍ」ファイル形式から示唆された別個のファイルに格納される（触覚ファイルは、波形オーディオファイル形式としても知られる「．ｗａｖ」ファイル形式を使用する別個のファイルである）。他の実施形態では、本明細書で開示された原理を尊重しながら、他のファイル形式が使用される。

図３は、少なくとも１つの実施形態による、触覚フィードバック記述ファイルのデータ編成の一例を示す。この例としては、第１の触覚レンダリングデバイスは、２つのスリーブのみが振動をレンダリングするための触覚アクチュエータを備える触覚ベスト３８０が挙げられる。第２の触覚レンダリングデバイスは触覚チェア３９０であり、これも振動をレンダリングすることができる。

まず、触覚フィードバック記述ファイル３００に、レンダリングされる触覚効果が記述される。少なくとも１つの実施形態によれば、このファイルは、ａｏｍファイル形式及びシンタックスを使用する。この例では、１つの触覚オブジェクト３１０が触覚フィードバック記述ファイル３００内に存在する。しかしながら、上で紹介したように、触覚フィードバック記述ファイルは、複数の触覚オブジェクトを含んでもよい。

触覚オブジェクト３１０は、３つの触覚チャネル３１１、３１２、３１３から構成される。触覚チャネル３１１は、標準的な汎用事前定義幾何モデル３５０のセットから選択された幾何モデル３５１（ａｖａｔａｒ＿ＩＤ）に関連付けられ、より正確には、幾何モデル３５１の左腕（左腕に対応するｂｏｄｙ＿ｐａｒｔ＿ｍａｓｋ）に関連付けられる。触覚チャネル３１０はまた、オーディオファイル３１１に関連付けられ、より具体的には、オーディオ信号３２１を含むオーディオファイルの第１のチャネルに関連付けられる。したがって、触覚レンダリングデバイス３８０は、左腕の触覚アクチュエータに適用されるオーディオ信号３２１を選択することができる。同様に、右腕については、第２の触覚チャネル３１２の情報によって定義されるように、オーディオ信号３２２（オーディオファイルの第２のチャネル）が右腕の触覚アクチュエータに適用され、触覚フィードバック記述ファイル３００において定義されるような振動を触覚ベスト３８０上でレンダリングすることができる。

同じ原理が触覚チェア３９０に適用されるが、ｃｕｓｔｏｍ ａｖａｔａｒ＿ＩＤを使用する点が異なる。実際、その幾何学的形状は、汎用幾何モデルのセットの一部ではない。したがって、対応する幾何学的形状は、触覚フィードバック記述ファイル３００内のｃｕｓｔｏｍ ａｖａｔａｒ＿ＩＤ３３０として定義される。第３のオーディオ信号３２３は、触覚チェア３９０のアクチュエータに適用されるように選択される。

触覚チャネルとオーディオチャネルとの間の関連付けは暗黙的であり、出現の順序に従って行われる。触覚オブジェクトの第１の触覚チャネルは、触覚オブジェクトに（明示的に）関連付けられたオーディオファイルの第１のオーディオチャネルに関連付けられる。

少なくとも１つの実施形態による触覚フィードバック記述ファイルのデータ編成の第２の例（図示せず）では、ファイルは、２つの異なる触覚オブジェクトを含む。したがって、触覚チャネルは異なる触覚オブジェクト内にある。この場合、２つの異なるオーディオファイルｆｉｌｅ１．ｗａｖ及びｆｉｌｅ２．ｗａｖを使用することが可能である。

モデル３５０のセットは、典型的には、異なるレベルの詳細を有する人体の幾何学的形状を表現し、したがって、異なるレベルの精度を提供する。図において、幾何モデル３５１の精度は、幾何モデル３５２の詳細メッシュよりもはるかに低い。

図４は、少なくとも１つの実施形態による触覚フィードバック記述ファイルの例示的なシンタックスを示す。この実施形態では、触覚フィードバック記述ファイルは、「．ａｏｍ」オブジェクト・メタデータ・ファイル形式によって示唆される。別の実施形態では、ｘｍｌ形式が使用され、図４に記載されるシンタックスがこの形式に適合される。任意の他の記述形式（例えば、ｊｓｏｎ、ＣＳＶ、バイナリなど）が、そのような情報を伝達するように適合されてもよい。触覚フィードバック記述ファイルは、適用される触覚フィードバックを記述するメタデータを含む。それは、複数の触覚オブジェクト及び触覚チャネルをサポートする。特に、それは、触覚チャネルをユーザの身体メッシュの部位にマッピングする。これは、触覚効果の空間化を可能にし、レンダリングデバイスからの独立性を提供する。各チャネルは、身体部位にマッピングされる。マッピングは、バイナリマスクで指定されてもよく、触覚効果が生じる広い領域をカバーする大まかな定義を可能にする。あるいは、マッピングはまた、識別器によって識別された頂点のセットによって直接指定されてもよく、触覚効果のはるかに正確な配置を可能にする。

「．ａｏｍ」オブジェクト・メタデータ・ファイル形式によって示唆されたメタデータファイルのシンタックス要素は、以下の通りであることができる。
－ｆｏｒｍａｔ＿ｉｄ＿ｓｔｒｉｎｇ：形式を識別するための一意の文字識別子であり、「ＯＡＭ」に等しい。
－ｆｏｒｍａｔ＿ｖｅｒｓｉｏｎ：ファイル形式のバージョン番号であり、例えば１に等しい。
－ｎｕｍｂｅｒ＿ｏｆ＿ｈａｐｔｉｃ＿ｏｂｊｅｃｔｓ：シーンをコンパイルする触覚オブジェクトの数。オブジェクトは、典型的には、エンドユーザの触覚レンダリングデバイスに対応する。
－ｎｕｍｂｅｒ＿ｏｆ＿ａｖａｔａｒ＿ｍｏｄｅｌｓ：１つ又はいくつかのモデルに対応する、アバター記述の数。
－ｄｅｓｃｒｉｐｔｉｏｎ＿ｓｔｒｉｎｇ：人間が読めるコンテンツの記述を含む記述文字列。３２バイトより短い場合には、その後にヌル文字がパディングされる。文字列が３２バイト長である場合、文字列はヌル文字なしで終了する。
－ａｖａｔａｒ＿ｄｅｓｃｒｉｐｔｉｏｎ（）：ユーザのアバター身体表現、又はより一般的には触覚アクチュエータが基づく幾何学的形状を記述するためのモデル。このモデルは、図６及び図８に関連して以下で更に説明される。
－ｈａｐｔｉｃ＿ｏｂｊｅｃｔ＿ｆｉｌｅ＿ｎａｍｅ：対応する触覚オブジェクトファイルのファイル名を含む記述文字列。６４バイトより短い場合には、その後にヌル文字がパディングされる。文字列が６４バイト長である場合、文字列はヌル文字なしで終了する。触覚オブジェクトファイルは、２つ以上のチャネルを含むことができる。
－ｎｕｍｂｅｒ＿ｏｆ＿ｈａｐｔｉｃ＿ｃｈａｎｎｅｌｓ：触覚オブジェクトごとの同時チャネルの数。
－ａｖａｔａｒ＿ＩＤ：幾何モデルの識別子（触覚信号のタイプごとに１つのメッシュ解像度を有してもよい）。
－ｂｏｄｙ＿ｐａｒｔ＿ｍａｓｋ：効果が適用される身体部位を指定するバイナリマスク。
－ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒｔｉｃｅｓ：触覚効果によって影響を受ける幾何モデル上の追加の頂点の数。
－ｖｅｒｔｅｘ＿ＩＤ：アバターモデル内の頂点の識別子へのリンク。
－ｃｏｅｆｆｉｃｉｅｎｔ：特定の頂点に適用されるゲイン。

ｆｏｒｍａｔ＿ｉｄ＿ｓｔｒｉｎｇは、例えばオブジェクト触覚メタデータを表すことができる「ＯＨＭ」などの他の文字識別子を使用してもよいことに留意されたい。

係数は、触覚効果の適用をスケーリングするために使用されてもよい。全身触覚スーツ上で振動を生成すべき爆発の例では、身体の前面が爆発に面していると仮定すると、触覚効果は、１．０より大きい係数を適用することによってスーツの前面で増幅されてもよく、１．０より小さい係数を適用することによってスーツの背面で低減されてもよく、同じ触覚オーディオ信号を使用しても、異なる振幅になる。

少なくとも１つの実施形態では、ｄｅｓｃｒｉｐｔｉｏｎ＿ｓｔｒｉｎｇは、トップレベルではなく、チャネルループ内に配置されており、より低レベルの正確な記述を可能にする一方で、サイズが増加する可能性がある。

一般に、幾何モデルは、人体のモデルに対応するが、いくつかの特定の場合において、レンダリングデバイスのトポロジは、触覚チェアの例を用いて図３に示されるように、人体モデルとは異なっていてもよい。この幾何モデルを特定するために２つの方法が提案され、第１の方法は汎用幾何モデルを使用し、第２の方法はカスタム幾何モデルを使用する。

汎用モデルの場合、ａｖａｔａｒ＿ＩＤの範囲、例えば０から２５５が予約される。これらの汎用モデルは、既知の身体セグメンテーション（すなわち、既知の頂点位置、頂点ＩＤ、顔及び身体部位）を有する。汎用幾何モデルはまた、詳細のレベル及び触覚効果のタイプが決められている。

カスタム幾何モデルが必要とされるときは、予約された範囲外の値のａｖａｔａｒ＿ＩＤ値が使用される必要がある。この場合、幾何モデルも提供される必要がある。そのようなモデルは、一般に、レンダリングデバイス上の触覚アクチュエータの位置を直接表現している（上記の触覚チェアの例を参照）。

図５Ａ、図５Ｂ、図５Ｃは、例えば、温度、振動、又は圧力のレンダリングに適合される、種々のメッシュ密度を伴う汎用幾何モデルの３つの例を図示する。これらのモデルの各々のトポロジは、様々な触覚効果に対する感度に相関する異なるレベルの詳細を提示する。例えば、触覚効果は、運動感覚効果よりも高いメッシュ密度を必要とする。他方では、風又はグローバルな温度変動などの効果を、非常に粗い幾何モデルに適用することができる。

標準的な汎用モデルを使用することで、伝達するのに必要なデータの量を低減することができる。しかしながら、メッシュの各頂点と触覚デバイスの異なるアクチュエータとの間のマッピングを学習するために、更なる較正を必要とする場合がある。そのような較正は、典型的には、デバイスを送達する前に製造業者によって直接行われる。しかしながら、場合によっては、較正は、例えば、ユーザの触覚の好みを考慮するために、幾何学的形状処理方法を通じて自動的に、又はユーザによって手動で行われることができる。

図６は、少なくとも１つの実施形態によるカスタム幾何モデルを使用するための例示的なシンタックスを示す。用途に応じて、各コンテンツに対して、カスタム幾何モデルが使用されることができる。このモデルは、例えば、それ自身の特異性を考慮して、ユーザに適合されてもよい。少なくとも１つの実施形態では、モデルは、頂点のセット、面のセット、及びメッシュの関連付けられた身体部位を提供する、図６に提示された形式を使用して指定される。

カスタム幾何モデルのシンタックス要素は以下の通りである。
－ｆｏｒｍａｔ＿ｖｅｒｓｉｏｎ：ファイル形式のバージョン番号であり、例えば１に等しい。
－ａｖａｔａｒ＿ＩＤ：アバター記述の識別子（触覚信号のタイプごとに１つのメッシュ解像度を有してもよい）。
－ｌｏｄ：アバターの詳細のレベルを指定する数：例えば、それぞれの低解像度、平均解像度、及び高解像度ついて、０、１、又は２。それは、多かれ少なかれ複雑な表現を使用することを可能にする。
－ｔｙｐｅ：モデルに関連付けられた触覚効果のタイプ。典型的には、振動、圧力、温度などである。異なるタイプを異なるロッド解像度に関連付けることができる。
－ｎｕｍｂｅｒ＿ｏｆ＿ｖｅｒｔｉｃｅｓ：メッシュの頂点の数。
－ｎｕｍｂｅｒ＿ｏｆ＿ｆａｃｅｓ：メッシュ内の面の数。
－ｖｅｒｔｅｘ＿ＩＤ：ｖｅｒｔｅｘ＿ｘ、ｖｅｒｔｅｘ＿ｙ、ｖｅｒｔｅｘ＿ｚを有するその空間的位置（ｘ，ｙ，ｚ）を有する対応する頂点のインデックス。
－ｆａｃｅ＿ＩＤ：メッシュ内の対応する面のインデックス。
－ｖｅｒｔｅｘ＿ＩＤ＿１、ｖｅｒｔｅｘ＿ＩＤ＿２及びｖｅｒｔｅｘ＿ＩＤ＿３：現在の頂点ｖｅｒｔｅｘ＿ＩＤに接続された３つの面。
－ｂｏｄｙ＿ｐａｒｔ＿ＩＤ：対応する頂点に関連付けられた身体部位のインデックス。

上述の実施形態は、三角形メッシュを使用する。少なくとも１つの実施形態では、カスタム幾何モデルは、例えば四辺形を使用する別のタイプの多角形メッシュを使用する。

少なくとも１つの実施形態では、多角形メッシュは、外部幾何学的形状定義ファイル（例えば、ＯＢＪファイル又はメッシュを定義するための任意の他の既存の形式など）において定義される。この場合、外部ファイルの頂点とｖｅｒｔｅｘ＿ＩＤとの間の対応は、外部ファイルの第１の頂点は、０に等しいｖｅｒｔｅｘ＿ＩＤを有し、ｖｅｒｔｅｘ＿ＩＤは、外部ファイルの各頂点についてインクリメントされるように、行われてもよい。

一実施形態では、タイプのシンタックス要素は、異なるタイプの触覚フィードバックの固定値の中から選択された符号なし整数値によって置き換えられる。例えば、振動については「１」、圧力については「２」、温度については「３」である。

図７は、少なくとも１つの実施形態による、触覚ファイルの例示的なシンタックスを示す。この実施形態では、触覚ファイルは、「．ｗａｖ」オーディオ波形ファイル形式に基づく。別の実施形態では、「．ｆｌａｃ」形式が使用され、図５に記載されるシンタックスがこの形式に適合される。他の実施形態は、同様に使用される他のファイル形式、例えば、「．ｏｇｇ」、「．ａａｃ」、「．ａｃ３」を使用する。

「．ｗａｖ」形式は、一般にオーディオ信号を対象としており、したがって、いくつかのパラメータがそれらの信号に対して指定される。したがって、パラメータのいくつかは、触覚信号をサポートするように特に設定されている。符号化形式は、圧縮が適用されないように、ＰＣＭ符号化を示す１に設定される。サンプリング周波数は、触覚信号に対して０～２ＫＨｚの間に設定される。チャネルの数は最大６５５３５であってもよい。これはｗａｖヘッダと互換性がある。ビット／サンプルの数は、最高解像度を得るために２４に設定される。

図８は、少なくとも１つの実施形態による、身体部位の定義の一例を示す。この図の表では、第１列はｂｏｄｙ＿ｐａｒｔ＿ＩＤを識別し、第２列は身体部位の名称を記述し、第３列は身体部位のバイナリマスク値を定義し、第４列はマスクの１６進数相当値を示す。身体部位ＩＤは、幾何モデルの各面に割り当てられる（例えば、図７の最後の行）。したがって、共通の身体部位の面は、効率的に選択されるように共にグループ化される。図９は、図５Ａの汎用幾何モデル上の身体部位のマッピングの一例を示す。これは、モデルの異なる身体部位（１は頭部、２は胸部など）上に重ねられたｂｏｄｙ＿ｐａｒｔ＿ＩＤ（図８の第１列）を示す。

図１０は、少なくとも１つの実施形態による、バイナリマスクを使用した身体部位の組み合わせの一例を示す。表の第１列は身体部位の名称に対応し、第２列は身体部位のバイナリマスク値を定義し、第３列はマスクの１６進数相当値を示す。

上記のように、各身体部位はバイナリマスクに関連付けられる（図１０の第３列）。これにより、容易に複数の身体部位を組み合わせることができる。例えば、上半身部は、ＩＤ１～１４の身体部位をグループ化することに相当する。この組み合わせは、対応するマスク値を得るために、異なる身体部位のマスクに対するビットごとのＯＲ演算によって実行される。したがって、００００００００００１１１１１１１１１１１１１１のバイナリマスク（１６進値で０ｘ００３ＦＦＦ）は、ＩＤ１～ＩＤ１４の身体部位を容易にグループ化することを可能にし、したがって、非常に効率的な方法で完全な上半身部を表現する。このグループ分けは図１１Ａに示され、一方、図１１Ｂは左脚のグループ分け（マスク＝０ｘＡＡ８０００）を示し、図１１Ｃは右腕のグループ分け（マスク値０ｘ００１５５０）を示す。

本明細書で説明される実施形態は、触覚波形信号を符号化することを可能にする触覚効果記述ファイルを使用して触覚効果を指定し、様々な触覚信号のための統一されたファイル形式記述及びコンテナを提供し、マルチチャネル機能及びコーディングをサポートするための解決策を提供する。この解決策は、既存の信号ベースのワークフロー（別名オーディオワークフロー）と互換性があり、多くの触覚レンダリングデバイス（単一アクチュエータ、ゲームパッド、携帯電話、ベスト又はベルトなどの複雑なマルチアクチュエータデバイス）と互換性があり、ユーザのどこに効果が適用されるべきかを記述し、ユーザの生理機能及び触感覚に適応可能であり、潜在的にユーザごとにパーソナライズされ、エンドユーザのレンダリングデバイスとは独立している（効果をその機能及び位置に適応させるのはこのデバイス次第である）。

「一実施形態」若しくは「実施形態」又は「一実装形態」若しくは「実装形態」、並びにそれらの他の変形形態への言及は、実施形態に関連して記載される特定の特徴、構造、特性などが、少なくとも一実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では（in one embodiment）」若しくは「ある実施形態では（in an embodiment）」又は「一実装形態では（in one implementation）」若しくは「ある実装形態では（in an implementation）」、並びに他の変形する語句の出現は、必ずしも全てが同じ実施形態を指すとは限らない。

加えて、本出願は、様々な情報を「判定すること」に言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの１つ以上が含み得る。

加えて、本出願又はその特許請求の範囲は、様々な情報を「取得すること」に言及し得る。取得することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を取得することは、例えば、情報を受信すること、情報にアクセスすること、又は情報を（例えば、メモリ又は光学媒体記憶装置から）取り出すことのうちの１つ以上を含み得る。更に、「取得すること」は、一般には、例えば、情報を格納する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。

例えば、「Ａ／Ｂ」、「Ａ及び／又はＢ（A and/or B）」及び「Ａ及びＢのうちの少なくとも１つ（at least one of A and B）」の場合、次の「／」、「及び／又は（and/or）」、及び「のうちの少なくとも１つ（at least one of）」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「Ａ、Ｂ、及び／又はＣ（A,B,and/or C）」及び「Ａ、Ｂ、及びＣのうちの少なくとも１つ（at least one of A,B,and C）」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、又は第２のリストされた選択肢（Ｂ）のみの選択、又は第３のリストされた選択肢（Ｃ）のみの選択、又は第１及び第２のリストされた選択肢（Ａ及びＢ）のみの選択、又は第１及び第３のリストされた選択肢（Ａ及びＣ）のみの選択、又は第２及び第３のリストされた選択肢のみの選択（Ｂ及びＣ）のみ、又は３つ全ての選択肢の選択（Ａ及びＢ及びＣ）を包含することが意図される。このことは、本技術分野及び関連技術分野の当業者によって容易に明らかであるように、列挙された項目の数だけ拡張され得る。

Claims (43)

1. 触覚フィードバックをレンダリングするための方法であって、
   前記触覚フィードバックを表現する情報であって、
   メタデータファイル（３００）であって、
   少なくとも１つの触覚チャネル（３１１、３１２、３１３）を表現する少なくとも１つの情報であって、
   幾何モデルを表現する情報と、
   前記触覚フィードバックを適用する前記幾何モデルの要素を表現する情報とを含む、少なくとも１つの情報を含む、メタデータファイルと、
   レンダリングされる少なくとも１つの触覚信号（３２１、３２２、３２３）を含む触覚ファイル（３２０）とを含む、情報を取得するステップ（２０１）と、
   前記触覚フィードバックを表現する前記情報に基づいて、触覚信号及び触覚レンダリングデバイスの触覚アクチュエータのセットを選択するステップ（２０２）と、
   前記選択された触覚信号を前記触覚レンダリングデバイスの前記選択された触覚アクチュエータに提供するステップ（２０３）とを含む、方法。
2. 前記メタデータファイルが、前記触覚ファイルへの参照を更に含む、請求項１に記載の方法。
3. 前記触覚ファイルが、触覚コーディングファイル若しくはオーディオ・コーディング・ファイル又は他のタイプの波形コーディングファイルである、請求項２に記載の方法。
4. 前記オーディオファイルが波形オーディオファイルであり、前記波形オーディオファイルのチャネルが触覚チャネルに関連付けられ、レンダリングされる前記触覚信号を表現する、請求項３に記載の方法。
5. 前記幾何モデルが、汎用モデルのセットの中から選択される、請求項１～４のいずれか一項に記載の方法。
6. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの対応する要素を識別するバイナリマスクである、請求項１～５のいずれか一項に記載の方法。
7. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの頂点のリストである、請求項１～６のいずれか一項に記載の方法。
8. 前記幾何モデルが識別子によって識別され、識別子の範囲が汎用幾何モデルのために予約される、請求項１～７のいずれか一項に記載の方法。
9. 前記幾何モデルが、人体の前記触覚の空間的鋭敏さを表現する、請求項１～８のいずれか一項に記載の方法。
10. 前記幾何モデルが、前記触覚アクチュエータを含む前記触覚レンダリングデバイスの要素を表現する、請求項１～９のいずれか一項に記載の方法。
11. 前記メタデータファイルが、非汎用幾何モデルの前記メッシュであって、前記メッシュが頂点のセット及び面のセットを含む、前記メッシュの記述（３２５）を更に含み、面が頂点のサブセットによって判定される、請求項１～５のいずれか一項に記載の方法。
12. 前記幾何モデルの各頂点について、前記頂点への前記触覚信号の適用をスケーリングするための係数を更に含む、請求項１１に記載の方法。
13. 複数の触覚フィードバックを表現する情報を更に含む、請求項１～１２のいずれか一項に記載の方法。
14. 触覚フィードバックをレンダリングするための装置であって、プロセッサ（１０１）であって、
    前記触覚フィードバックを表現する情報であって、
    メタデータファイル（３００）であって、
    少なくとも１つの触覚チャネル（３１１、３１２、３１３）を表現する少なくとも１つの情報であって、
    幾何モデルを表現する情報と、
    前記触覚フィードバックを適用する前記幾何モデルの要素を表現する情報とを含む、少なくとも１つの情報を含む、メタデータファイルと、
    レンダリングされる少なくとも１つの触覚信号（３２１、３２２、３２３）を含む触覚ファイル（３２０）とを含む、情報を取得し、
    前記触覚フィードバックを表現する前記情報に基づいて、触覚信号及び前記触覚レンダリングデバイスの少なくとも１つの触覚アクチュエータを選択し、
    前記選択された触覚信号を前記触覚レンダリングデバイスの前記少なくとも１つの選択された触覚アクチュエータに提供するように構成された、プロセッサを備える、装置。
15. 前記触覚レンダリングデバイスを更に備える、請求項１４に記載の装置。
16. 前記メタデータファイルが、前記触覚ファイルへの参照を更に含む、請求項１４又は１５に記載の装置。
17. 前記触覚ファイルが、触覚コーディングファイル若しくはオーディオ・コーディング・ファイル又は他のタイプの波形コーディングファイルである、請求項１６に記載の装置。
18. 前記オーディオファイルが波形オーディオファイルであり、前記波形オーディオファイルのチャネルが触覚チャネルに関連付けられ、レンダリングされる前記触覚信号を表現する、請求項１７に記載の装置。
19. 前記幾何モデルが、汎用モデルのセットの中から選択される、請求項１４～１８のいずれか一項に記載の装置。
20. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの対応する要素を識別するバイナリマスクである、請求項１４～１９のいずれか一項に記載の装置。
21. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの頂点のリストである、請求項１４～２０のいずれか一項に記載の装置。
22. 前記幾何モデルが識別子によって識別され、識別子の範囲が汎用幾何モデルのために予約される、請求項１４～２１のいずれか一項に記載の装置。
23. 前記幾何モデルが、人体の前記触覚の空間的鋭敏さを表現する、請求項１４～２２のいずれか一項に記載の装置。
24. 前記幾何モデルが、前記触覚アクチュエータを含む前記触覚レンダリングデバイスの要素を表現する、請求項１４～２３のいずれか一項に記載の装置。
25. 前記メタデータファイルが、非汎用幾何モデルの前記メッシュであって、前記メッシュが頂点のセット及び面のセットを含む、前記メッシュの記述（３２５）を更に含み、面が頂点のサブセットによって判定される、請求項１４～１８のいずれか一項に記載の装置。
26. 前記幾何モデルの各頂点について、前記頂点への前記触覚信号の適用をスケーリングするための係数を更に含む、請求項２２に記載の装置。
27. 複数の触覚フィードバックを表現する情報を更に含む、請求項１４～２６のいずれか一項に記載の装置。
28. 前記デバイスが、触覚スーツ、スマートフォン、ゲームコントローラ、触覚グローブ、触覚チェア、触覚プロップ、及びモーションプラットフォームを含むリストに属する、請求項１４～２７のいずれか一項に記載の装置。
29. 触覚フィードバックをレンダリングするための信号であって、前記触覚フィードバックを表現する情報であって、
    メタデータファイル（３００）であって、
    少なくとも１つの触覚チャネル（３１１、３１２、３１３）を表現する少なくとも１つの情報であって、
    幾何モデルを表現する情報と、
    前記触覚フィードバックを適用する前記幾何モデルの要素を表現する情報とを含む、少なくとも１つの情報を含む、メタデータファイルと、
    レンダリングされる少なくとも１つの触覚信号（３２１、３２２、３２３）を含む触覚ファイル（３２０）とを含む、情報を搬送する、信号。
30. 前記メタデータファイルが、前記触覚ファイルへの参照を更に含む、請求項２９に記載の信号。
31. 前記触覚ファイルが、触覚コーディングファイル若しくはオーディオ・コーディング・ファイル又は他のタイプの波形コーディングファイルである、請求項３０に記載の信号。
32. 前記オーディオファイルが波形オーディオファイルであり、前記波形オーディオファイルのチャネルが触覚チャネルに関連付けられ、レンダリングされる前記触覚信号を表現する、請求項３１に記載の信号。
33. 前記幾何モデルが、汎用モデルのセットの中から選択される、請求項２９～３２のいずれか一項に記載の信号。
34. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの対応する要素を識別するバイナリマスクである、請求項２９～３３のいずれか一項に記載の信号。
35. 前記触覚フィードバックを適用する前記幾何モデルの要素を表現する前記情報が、前記幾何モデルの頂点のリストである、請求項２９～３４のいずれか一項に記載の信号。
36. 前記幾何モデルが識別子によって識別され、識別子の範囲が汎用幾何モデルのために予約される、請求項２９～３５のいずれか一項に記載の信号。
37. 前記幾何モデルが、人体の前記触覚の空間的鋭敏さを表現する、請求項２９～３６のいずれか一項に記載の信号。
38. 前記幾何モデルが、前記触覚アクチュエータを含む前記触覚レンダリングデバイスの要素を表現する、請求項２９～３７のいずれか一項に記載の信号。
39. 前記メタデータファイルが、非汎用幾何モデルの前記メッシュであって、前記メッシュが頂点のセット及び面のセットを含む、前記メッシュの記述（３２５）を更に含み、面が頂点のサブセットによって判定される、請求項２９～３２のいずれか一項に記載の信号。
40. 前記幾何モデルの各頂点について、前記頂点への前記触覚信号の適用をスケーリングするための係数を更に含む、請求項３９に記載の信号。
41. 複数の触覚フィードバックを表現する情報を更に含む、請求項２９～４０のいずれか一項に記載の信号。
42. プロセッサによって実行されるときに、請求項１～１３のいずれか一項に記載の方法のステップを実装するためのプログラムコード命令を備える、コンピュータプログラム。
43. プロセッサによって実行されるときに、請求項１～１３のいずれか一項に記載の方法のステップを実装するためのプログラムコード命令を備える、非一時的コンピュータ可読媒体。