JP6630798B2 - 触覚データを符号化及びストリーミングする方法及びシステム - Google Patents

Description

（関連出願の相互参照）
本出願は、米国特許仮出願第６１／８２７，３４１号（出願日：２０１３年５月２４日、名称：「触覚メディア符号化のシステム及び方法」）、米国特許仮出願第６１／８７４，９２０号（出願日：２０１３年９月６日、名称：「触覚コンテンツの生成、配信、及び再生の方法」）、及び米国特許仮出願第６１／９０７，３１８号（出願日：２０１３年１１月２１日、名称：「触覚データを符号化及びストリーミングする方法及びシステム」）に基づく優先権を主張し、その内容は全体として参照により本明細書に組み込まれる。

本発明は、ネットワーク経由で保存及び／又は伝送するために触覚ストリームをデジタル・コンテンツの一部として符号化するシステム及び方法に関する。

過剰に存在するデジタル・コンテンツ・アプリケーションにおけるユーザの体験を向上させるために、触覚効果がより一層使用されるようになっている。これに伴って、触覚データを他のデジタル・コンテンツ（例えば、マルチメディア・データ）とともにネットワーク経由で効率的に保存及び／又は伝送することが望ましい。触覚データ・ストリームは、通常未加工のパルス・コード変調（「ＰＣＭ」）データ・フォーマットで表される。８ビットで１秒間に８０００回サンプリングされる触覚データを（有線又は無線の）ネットワーク経由でストリーミングするためには、毎秒６４Ｋビット（８ＫＢ）、又はさらに８ＫＢをその帯域幅で伝送する必要がある。しかし、ストリーム中にはサイレントな期間、すなわち触覚データがストリーミングされない期間があり、これは何も伝送しないか或いは不要なデータをネットワーク経由でストリーミングすることで時間と帯域幅を浪費することになり、コンテンツ配信者及びエンド・ユーザの双方にとって理想的ではない。触覚データの保存についても同様の問題がある。

デジタル・コンテンツ・ストリーミングでは、デジタル・ネットワーク経由で大量のデータをストリーミング又は伝送する場合に音声／動画信号の品質を変化させるために、適応ビットレート・ストリーミングを用いることが一般的である。このため、様々なネットワーク速度及び／又は輻輳に適応することによって、音声及び動画信号の円滑なストリーミングが依然として実現可能である。例えば、動画が非常に高い品質でストリーミングされ、そのストリームが経由するネットワークが重大なネットワーク輻輳に陥るか、またはダウンロード速度が突然低下した場合でも、ストリーミング・サーバはやはりデータを送信することができる。ただし、ネットワーク帯域幅を節約するために低品質でのデータ送信となる。輻輳が軽減しネットワーク速度が向上すると、ネットワーク帯域幅がより自由に使用できるようになり、送信されるデータの品質も高くなる。これは、複数のビット・レートでデータを符号化し送信されるデータの量を大きく低減することにより行われる。

触覚信号は、単純に波形の信号であれば、音声信号（audio signal）として解釈されてもよい。しかし、触覚信号を単純に音声信号として扱い、複数のビット・レートでコード変換すると、様々なネットワーク速度に品質を適応させる余地が得られない。高品質触覚信号とはサンプル・レートが８ｋＨｚの信号と考えられており、これは音声信号としてはかなり低いサンプル・レートであって、低品質信号ということもできる。触覚信号の品質を単純に低下させることにより、完全に異なるユーザ体験を導入することができ、単に同じストリームの任意のビットを除去することで品質を低下させれば、意図しない質感が表れ、信号の明瞭さが低減する。

より効率的に触覚データをネットワーク経由で保存及び／又は伝送できるようにする触覚データ符号化方式を提供することが望まれている。

本発明の一態様によれば、提供される方法は、音声データ及び／又は動画データを含むデジタル・コンテンツ・データを受信する工程と、受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、通信ネットワーク経由で効率的に伝送するために触覚データを符号化する工程と、符号化した触覚データを受信したデジタル・コンテンツ・データと多重化する工程と、多重化したデータ・ストリームのメタ・データ内に、符号化した触覚データを復号するための情報を埋め込む工程と、多重化したデータを通信ネットワーク経由で送信する工程と、を含む。

一実施形態において、この方法は、触覚データを用いてユーザのデジタル・コンテンツ体験を豊かにするためのコンピュータ実装型の方法であり、コンピュータ・プログラム・モジュールを書き込まれたプロセッサを有する計算装置上で実装される。このコンピュータ実装型の方法は、触覚データを他のデジタル・コンテンツ・データとともに通信ネットワーク経由でエンド・ユーザに向けて伝送し、このエンド・ユーザがネットワークに接続されたエンド・ユーザ装置上で生成された触覚効果を体験する。

一実施形態において、この方法は、触覚データを分析して触覚データの少なくとも１つの特性を決定する工程を含み、触覚データを符号化する工程は、決定された特性に基づいて、所定の基準を満たすように触覚データを符号化することを含む。

一実施形態において、この所定の基準は、最小のビット数を有する出力符号化触覚ビット・ストリームを含む。

一実施形態において、この方法は、エンド・ユーザ装置のエンド・ポイント構成を当該エンド・ユーザ装置から受信する工程を含み、前記所定の基準は、受信したエンド・ユーザ装置のエンド・ポイント構成に対応する触覚データの周波数の範囲を維持することを含む。

一実施形態において、触覚データを符号化する工程は、決定された特性に基づいて所定のエンコーダのリストからエンコーダを選択する工程と、選択したエンコーダを触覚データを変換するために適用する工程と、を含む。

一実施形態において、所定のエンコーダのリストは、高等音声符号化エンコーダ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ ｅｎｃｏｄｅｒ）及び／又はフリー無損失音声エンコーダ（Ｆｒｅｅ Ｌｏｓｓｌｅｓｓ Ａｕｄｉｏ ｅｎｃｏｄｅｒ）を含む。

一実施形態において、触覚データの特性は、触覚データに基づいて触覚効果を生成するために用いる触覚出力装置の一又は複数の種類と、触覚データの意図される使用事例と、触覚データの重要度と、触覚データの周波数と、触覚データ内の無音部分の長さと、を含む。

一実施形態において、触覚出力装置の種類は、偏心回転質量体アクチュエータ、リニア共振アクチュエータ、及び圧電アクチュエータからなる群のうちの一又は複数を含む。

一実施形態において、触覚データの意図される使用事例は、音楽、映画、及びゲームからなる群から選択される。

一実施形態において、触覚データを符号化する工程は、所定のエンコーダのリストの各々を触覚データに適用して、符号化された触覚データの対応するリストを生成する工程と、所定の基準を用いて、符号化された触覚データ・ストリームのリストから符号化された触覚データ・ストリームを選択する工程と、を含む。

一実施形態において、触覚データを符号化する工程は、密度係数の所定のリストに対応して触覚データを符号化して、各々が密度係数の所定のリストの１つの密度係数に対応する複数の符号化された触覚データ・ストリームを生成する工程を含む。また、この方法は、エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工程と、通信ネットワーク帯域幅の条件に合致する対応する密度係数に基づいて、符号化された触覚データ・ストリームの１つを選択し、受信したデジタル・コンテンツ・データと多重化する工程と、を含む。

一実施形態において、複数の符号化されたデータ・ストリームのうちの第１の符号化されたデータ・ストリームは、密度係数の所定のリストのうちの第１の密度係数に対応しており、前記複数の符号化されたデータ・ストリームのうちの第２の符号化されたデータ・ストリームは、密度係数の所定のリストのうちの第２の密度係数に対応しており、第２の符号化されたデータ・ストリームは、第１のデータ・ストリームよりも多くの触覚データを含み、第２の密度係数は第１の密度係数よりも大きい。

一実施形態において、この方法は、ネットワーク帯域幅情報の変化を検出する工程と、通信ネットワーク帯域幅の条件と合致する対応する密度係数に基づいて、複数の符号化された触覚データ・ストリームのうちの異なる触覚データ・ストリームを選択する工程と、複数の符号化された触覚データ・ストリームのうちの前記選択された異なる触覚データ・ストリームをエンド・ユーザ装置に伝送する工程と、を含む。

本発明の一態様によれば、提供されるシステムは、音声データ及び／又は動画データを含むデジタル・コンテンツ・データを受信し、受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成し、通信ネットワーク経由で効率的に伝送するために触覚データを符号化し、符号化した触覚データを受信したデジタル・コンテンツ・データと多重化し、多重化したデータ・ストリームのメタ・データ内に、符号化した触覚データを復号するための情報を埋め込み、多重化したデータを通信ネットワーク経由で送信するように構成されたプロセッサを含む。このシステムは、多重化された符号化された触覚データ及びデジタル・コンテンツ・データを通信ネットワーク経由で受信するように構成されたユーザ装置を含む。このユーザ装置は、触覚データに基づいて触覚効果を出力するように構成された触覚出力装置を含む。

一実施形態において、このプロセッサは、触覚データを分析して触覚データの少なくとも１つの特性を決定し、決定された特性に基づいて、所定の基準を満たすように触覚データを符号化するようにさらに構成される。

一実施形態において、このプロセッサは、エンド・ユーザ装置のエンド・ポイント構成を当該ユーザ装置から受信するように構成され、前記所定の基準は、受信したエンド・ユーザ装置のエンド・ポイント構成に対応する触覚データの周波数の範囲を維持することを含む。

一実施形態において、このプロセッサは、決定された特性に基づいて所定のエンコーダのリストからエンコーダを選択し、選択したエンコーダを触覚データを変換するために適用するように構成される。

一実施形態において、このプロセッサは、所定のエンコーダのリストの各々を触覚データに適用して、符号化された触覚データの対応するリストを生成し、所定の基準を用いて、符号化された触覚データ・ストリームのリストから符号化された触覚データ・ストリームを選択するように構成される。

一実施形態において、このプロセッサは、密度係数の所定のリストに対応して触覚データを符号化して、各々が密度係数の所定のリストの１つの密度係数に対応する複数の符号化された触覚データ・ストリームを生成し、エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信し、受信したデジタル・コンテンツ・データと多重化するための通信ネットワーク帯域幅の条件に合致する対応する密度係数に基づいて、符号化された触覚データ・ストリームの１つを選択するように構成される。

一実施形態において、このプロセッサは、ネットワーク帯域幅情報の変化を検出し、通信ネットワーク帯域幅の条件と合致する対応する密度係数に基づいて、複数の符号化された触覚データ・ストリームのうちの異なる触覚データ・ストリームを選択し、複数の符号化された触覚データ・ストリームのうちの前記選択された異なる触覚データ・ストリームをエンド・ユーザ装置に伝送するように構成される。

本技術の上記及び上記以外の特徴、及び性質、並びに、関連する構成要素の動作方法及び機能、そして製造における各部分の組み合わせと経済性については、添付図面を参照しつつ以下の詳細な説明と添付の特許請求の範囲を検討することによってさらに明らかになる。これらはいずれも本明細書の一部を構成する。本明細書において、同様の参照符号は種々の図における対応部分を表している。添付図面は例示及び説明のためのものであり、本発明の発明特定事項の定義として用いることは意図されていない。本明細書及び特許請求の範囲における用法によれば、単数形の「ａ」、「ａｎ」及び「ｔｈｅ」には複数のものへの言及が含まれる。ただし、文脈によって別に解すべきことが明白な場合はこの限りでない。

他のマルチメディア・データとともにローカル又はリモートで再生される触覚データを生成及び符号化するための方法の一実施形態を示す図である。

他の符号化されたマルチメディア・データと同期して触覚データを復号及び表示するための方法の一実施形態を示す。

符号化された触覚データをマルチメディア・データとともに通信ネットワーク経由で伝送するためのシステムの一実施形態を示す図である。

触覚データの生成に用いられる異なるプロファイルを保存するデータ構造体の一実施形態を示す図である。

触覚データがエンド・ポイント及び使用事例に基づいて生成される、ユーザ選択可能方法の一実施形態を示す図である。

触覚データがエンド・ポイント及び使用事例に基づいて生成される、自動検出方法の一実施形態を示す図である。

ネットワーク経由で伝送するために触覚データ・ストリームを符号化する方法の一実施形態を示す図である。

異なる密度係数を有する触覚信号の一実施形態を示す図である。 異なる密度係数を有する触覚信号の一実施形態を示す図である。 異なる密度係数を有する触覚信号の一実施形態を示す図である。

適応触覚密度コード変換を行う方法の一実施形態を示す図である。

一定の期間にわたって使用可能なネットワーク帯域幅に関連して行われる適応密度コード変換の一実施形態を示す図である。

ＭＰ４形式のファイル内の音声データのためのハンドラ構造体の一実施形態を示す図である。

ＭＰ４形式のファイル内の動画データのためのハンドラ構造体の一実施形態を示す図である。

ＭＰ４形式のファイル内の触覚データのためのハンドラ構造体の一実施形態を示す図である。

ＭＰ４形式のファイル内の音声、動画、触覚データ・ヘッダの一実施形態を示す図である。

ＭＰ４形式のファイル内の触覚データのための有効な設定の一実施形態を示す図である。

ＭＰ４形式のファイル内の触覚データのための無効な設定の一実施形態を示す図である。

本発明の実施形態は、触覚データをデジタル・コンテンツの一部として生成、伝送、及び／又は保存することで、このデジタル・コンテンツを消費するユーザの体験を豊かにするためのシステム及び方法に関する。本明細書で用いられるように、「デジタル・コンテンツ」とは、伝送及び持続性の記憶媒体での保存が可能であり、例えば音声及び／又は動画データを含む情報のことである。よってデジタル・コンテンツは、伝送及び持続性の記憶媒体での保存が可能な、様々なファイル形式を用いて符号化された情報及び／又はその他の符号化されていないコンテンツを含む。

一実施形態において、マルチメディア・データの再生に触覚効果を加えることが望ましい。図１は、本発明の一実施形態に従い、最終的にローカル又はリモートで他のデジタル・コンテンツとともに再生される触覚データを生成及び符号化するための方法１００を示す。図に示すように、方法１００はソース・マルチメディア処理段階１１０と、音声触覚変換段階１２０と、触覚符号化段階１３０と、多重化段階１４０と、マルチメディア・インターリーブ段階１５０とを含む。

一実施形態において、触覚データはマルチメディア・データ・ストリームの音声データから生成される。音声データはソース・マルチメディア処理段階１１０で抽出され、以下に詳述するように、音声触覚変換段階１２０で未加工の触覚データ・ストリームに変換される。この未加工の触覚データは触覚符号化段階１３０でさらに符号化され、これにより触覚データの伝送又は保存に必要なネットワーク帯域幅又は記憶領域がより少なくなる。多重化段階１４０では、符号化された触覚データはソース・マルチメディア・データ・ストリームと結合され、符号化された触覚データ及びソース・マルチメディア・データはマ
ルチメディア・インターリーブ段階１５０でインターリーブされる。

一実施形態において、段階１１０でマルチメディア・データから抽出された音声データは、例えば、ＰＣＭ形式のビット・ストリーム中の単なる未加工のデータである。一実施形態において、音声データは例えば高等音声符号化（ＡＡＣ）エンコーダを用いてすでに符号化されている場合もある。後者の場合、符号化された音声データは、段階１１０の最後の工程として、又は段階１２０の最初の工程として、最初に復号される。一実施形態において、段階１３０で用いられる触覚データはマルチメディア・データに含まれる音声データから生成されるのではなく、異なるソース、例えば図１に示される未加工触覚データ記憶装置１２５から取得される。一実施形態において、上述の方法１００では音声データの代わりに、又は音声データに加えて、動画データを用いて触覚データを生成してもよい。例えば、ある動画データの変化、例えば雷の場面を触覚効果をユーザに提供するトリガとして用いて、ユーザが雷の場面に関連する雷鳴の感覚を体験できるようにしてもよい。

図２は本発明の一実施形態に従い、触覚データを他の符号化されたマルチメディア・データと同期して復号及び表示する方法２００を示す。一実施形態において、インターリーブされたマルチメディア・データ２０２が再生される端末装置では、最初にデマルチプレクサ２０４がインターリーブされたマルチメディア・データ・ストリーム２０２を音声データ・ストリーム２０６、動画データ・ストリーム２０８、及び触覚データ・ストリーム２１０を含む異なるデータ・ストリームに分離する。一実施形態において、デコーダ／シンクロナイザ２１２は一又は複数の音声デコーダ、一又は複数の動画デコーダ、及び一又は複数の触覚デコーダ（図示せず）を含む。復号された音声データ及び動画データは音声／動画再現装置２１４（例えば、スピーカ及び表示スクリーン）に送られて再生される。復号された触覚データ・ストリーム２１６は、一又は複数の触覚出力装置、例えば装置Ｈ１、Ｈ２、Ｈ３、Ｈ４、及び／又はＨ５に送られ、音声データ及び動画データと同期して表示される。

一実施形態において、触覚出力装置Ｈ１−Ｈ５は少なくとも１つのエンド・ポイント・プロセッサ２１８、振幅変調器２２０、振動再現装置２２４、及び少なくとも１つのアクチュエータ２２６からなる。加えて他の信号処理装置２２２を用いて、エンド・ポイント・プロセッサから出力される信号を改変してもよい。図示の実施形態は、いかなる限定をも意図するものではない。

本明細書で述べたように、触覚出力装置が含み得るアクチュエータは、例えば、偏心質量体がモータにより動かされる偏心回転質量体（「ＥＲＭ」）などの電磁アクチュエータ、ばねに取り付けられた質量体が前後に駆動されるリニア共振アクチュエータ（「ＬＲＡ」）、または圧電材料、電気活性ポリマー、もしくは形状記憶合金などの「スマートマテリアル」、マクロ複合繊維アクチュエータ、静電気アクチュエータ、電気触感アクチュエータ、および／または触覚（例えば、振動触知）フィードバックなどの物理的フィードバックを提供する他の種類のアクチュエータ、である。触覚出力装置は、非機械的または非振動装置、例えば、静電摩擦（「ＥＳＦ」）や超音波表面摩擦（「ＵＳＦ」）を用いる装置、超音波触覚トランスデューサを用いて音響放射圧力を生じさせる装置、触覚基板および可撓性もしくは変形可能な表面を用いる装置、またはエアジェットを用いた空気の吹きかけなどの発射型の触覚出力を提供する装置などを含んでもよい。触覚出力装置のこのような実施形態は通常の技能を有する当業者に知られており、本明細書ではこれ以上議論しない。

図３は符号化された触覚データをマルチメディア・データとともに通信ネットワーク経由で伝送するためのシステム３００の一実施形態を示す。図示するように、システム３００は、プロセッサ３１０と、リモート記憶装置３３０と、エンド・ユーザ装置３３４、３
３６、及び３３８と、一又は複数の通信ネットワーク３３２とを含み、この一又は複数の通信ネットワーク３３２は、プロセッサ３１０と、リモート記憶装置３３０と、エンド・ユーザ装置３３４、３３６、及び３３８とを接続する。一実施形態において、プロセッサ３１０は、リモート記憶装置３３０に加えて、又はリモート記憶装置３３０に代えて、自身の電子記憶装置３２８を含む。一実施形態において、リモート記憶装置３３０は、プロセッサ３２９及び持続性記憶媒体３３１をも含む。プロセッサ３２９はデジタル・コンテンツ・データベース及びエンド・ユーザ装置３３４、３３６、３３８のプロファイル情報を維持する。これらについては以下で図４に関連してさらに説明する。

プロセッサ３１０は、汎用または特殊用途プロセッサ、あるいはシステム３００の動作および機能を管理または制御するマイクロ・コントローラである。一実施形態において、プロセッサ３１０は、例えばエンド・ユーザ装置３３４に組み込まれる特定用途向け集積回路（「ＡＳＩＣ」）として特別に設計されており、エンド・ユーザ装置３３４内の触覚出力装置を通して触覚効果を提供することで、エンド・ユーザ装置３３４で再生される映画におけるユーザの楽しみを増進するように構成される。一実施形態において、プロセッサ３１０はまた、他のリモートなエンド・ユーザ装置３３６から通信ネットワークを経由して受信したフィードバックに基づいてどのような触覚効果を生成するべきかを、所定の係数を基に決定し、その後例えばエンド・ユーザ装置３３６上の触覚出力装置を駆動するために用いられるストリーミング命令を提供するように構成される。ネットワーク３３２には、有線接続又は無線接続が含まれる。本発明の一部の態様において、当該ネットワークは、例えば、インターネット、イントラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ
Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ネットワーク、セルラー通信ネットワーク、公衆交換電話網、および／またはこれら以外のネットワークの一又は複数である。

例えば、通信ネットワーク３３２はコンテンツ配信ネットワーク（「ＣＤＮ」）であってもよく、これは通常、コンテンツ（ウェブサイト、動画、音楽など）を配信してそのような資産又はコンテンツにグローバルにより早くアクセスできるようにするために用いられる。ＣＤＮは世界中のエッジ・サーバを利用して、頻繁にアクセスされるコンテンツを基本的にミラーリングし、また当該エッジ・サーバ上のコンテンツのライフサイクルを自動的に管理する。実際の資産又はコンテンツは通常、より永続的な配信元サーバ上で保存及び更新され、ＣＤＮは必要に応じて自動的に資産及びコンテンツにアクセスし、それらを適切なエッジ・サーバにミラーリングする。

一実施形態において、プロセッサ３１０は複数のプロセッサを含み、当該プロセッサの各々がシステム３００の内部で特定の機能を果たすように構成されている。一実施形態において、プロセッサ３１０は、一又は複数のコンピュータ・プログラム・モジュールを実行するように構成されてもよい。当該一又は複数のコンピュータ・プログラム・モジュールは、少なくとも１つのマルチメディア・モジュール３１２と、一又は複数の触覚符号化モジュール３１４と、ユーザ・インターフェース・モジュール３２４と、通信モジュール３２６とを含む。一実施形態において、触覚符号化モジュール３１４は、音声触覚変換モジュール３１６と、触覚圧縮モジュール３１８と、触覚密度コード変換モジュール３２０と、マルチメディア・アセンブル・モジュール３２２とを含む。例えば、マルチメディア・アセンブル・モジュール３２２は、図３に示すとおり、ＭＰ４コンテナ形式に従って音声、動画、及び触覚データを含むマルチメディア・データ・ストリームを組み立てるように構成される。一実施形態において、ローカル記憶装置３２８及びリモート記憶装置３３０を用いて、触覚の異なる使用事例に用いる様々なプロファイル及び生成された触覚データ・ストリームを圧縮の前後に保存してもよい。これについては以下に詳述する。

図３においてモジュール３１２−３２６は単一のプロセッサ３１０内の同じ位置に配置されるものとして示されるが、プロセッサ３１０が複数のプロセッサを含む実施形態においては、モジュール３１２−３２６のうちの一または複数が他のモジュールから離れて配置されてもよい。以下で詳述される異なるモジュール３１２−３２６によって提供される機能の記載は説明のためのものであり、限定を意図したものではない。モジュール３１２−３２６はいずれも記述されるよりも多くの、または少ない機能を提供してもよい。例えば、モジュール３１２−３２６のうちの一または複数を取り除き、その機能の一部またはすべてを、モジュール３１２−３２６のうちの他のモジュールで提供してもよい。他の例として、以下でモジュール３１２−３２６のうちの１つに帰せられる機能の一部またはすべてを実行する１つまたは複数の追加的なモジュールを実行するように、プロセッサ３１０が構成されてもよい。モジュール３１２−３２６の機能及び動作は、以下で詳述する。適応音声触覚変換

上述のように、触覚データを表示又は再生するために使用できる触覚出力装置には様々な種類がある。音声触覚変換アルゴリズムは触覚出力装置の各々の種類に特化して設計されており、異なる種類の触覚出力装置及び異なる音声触覚変換アルゴリズムが存在することによって、異なる特性を有する触覚データ・ストリームがもたらされる。触覚出力装置の各々の種類及び特定のエンド・ユーザ装置に特化して設計された特定の音声触覚変換アルゴリズムを含む、触覚データ生成のための音声触覚変換アルゴリズムのリストを維持することは、音声触覚変換アルゴリズム及び触覚出力装置の数が増えるに従って困難になる。

一実施形態において、音声触覚変換アルゴリズムを含むエンド・ユーザ装置に含まれる各々の種類の触覚出力装置はエンド・ポイントとして扱われ、この触覚出力装置に用いられる各アルゴリズムは、特定の体験を与えることを目的とするプロファイルとして扱われる。本発明の実施形態は、触覚出力措置の種類、及び音声触覚変換プロファイルを変更するために用いられる任意の付加的な係数を、このシステムが自動的に検出することを可能にする。このシステムの一実施形態において、ユーザは所与の使用事例においてどのプロファイルをアクティブにしたいのかを選択することもできる。

本発明の実施形態は、開発者が各エンド・ポイント（すなわち、触覚出力装置）についてすべての使用可能なアルゴリズムを多くて１度コンパイルするだけで、コンパイル時間を短縮することができる。ユーザが異なる体験を欲する異なる状況が存在するため、装置に同時に存在するアルゴリズムが１つでは不十分な場合がある。音楽に用いる音声触覚自動変換アルゴリズムは、映画に用いるものとは異なる場合があり、さらにはゲーム等に用いるものとも異なる場合がある。エンド・ユーザ装置におけるエンド・ポイント（すなわち、触覚出力装置）は通常固定されているが、本明細書で説明する実施形態では、エンド・ユーザ装置が、アプリケーション・フォーカス、センサに基づくデータ、及び環境要素に基づいてその振る舞いを適応させることが可能である。

図４は触覚データの生成に用いられる異なるプロファイルのデータベース４００の一実施形態を示す。一実施形態において、これらのプロファイルは電子記憶装置３２８に記憶される。一実施形態において、これらのプロファイルはその使用事例、例えば、映画使用事例４１０、音楽使用事例４２０、及びゲーム使用事例４３０に従って編成される。映画使用事例４１０においては、エンド・ユーザが映画又は他の動画、例えばテレビのショー又は宣伝を見ているときに、触覚効果を体験することを意図している。音楽使用事例４２０においては、エンド・ユーザが音楽を聴いているときに触覚効果を体験することを意図している。同様に、ゲーム使用事例４３０においては、エンド・ユーザがゲームをプレイしているときに触覚効果を体験することを意図している。

各々の異なる使用事例においては、ユーザは異なる触覚体験を欲するため、使用事例に基づいてプロファイルを編成することは有利である。理想的には音楽に用いる触覚効果は、映画に用いるものとは異なっており、さらにはゲーム等に用いるものとも異なっている。各使用事例の範囲内では、プロファイルは各エンド・ポイント（すなわち、一般に音声触覚変換アルゴリズムを有するエンド・ユーザ装置上の触覚出力装置）ごとに保存される。例えば、映画使用事例４１０の場合、プロファイル４１２は圧電アクチュエータ専用の音声触覚変換アルゴリズムを有するエンド・ユーザ装置３３４用に保存されており、プロファイル４１４はＥＲＭアクチュエータ及び対応する音声触覚変換アルゴリズムを有するエンド・ユーザ装置３３６用に保存されており、プロファイル４１６はＬＲＡ及び対応する音声触覚変換アルゴリズムを有するエンド・ユーザ装置３３８用に保存されている。音楽使用事例４２０の場合、プロファイル４２２は圧電アクチュエータを有するエンド・ユーザ装置３３４用に保存されており、プロファイル４２４はＥＲＭアクチュエータを有するエンド・ユーザ装置３３６用に保存されており、プロファイル４２６はＬＲＡを有するエンド・ユーザ装置３３８用に保存されている。同様に、プロファイル４３２は、触覚出力装置が圧電アクチュエータであるゲーム使用事例４３０用に保存されており、プロファイル４３４はゲーム使用事例及びＥＲＭアクチュエータ用に保存されており、プロファイル４３６はゲーム使用事例及びＬＲＡ用に保存されている。一実施形態において、単一のエンド・ユーザ装置は複数のエンド・ポイントを含む。

本発明の実施形態は、各エンド・ポイントについてすべての使用可能なプロファイル・アルゴリズムが、オフラインであれリアルタイムであれ、多くても１回コンパイルされることで、コンパイル時間を短縮することができる。さらに、本発明の実施形態では、単一の装置内のエンド・ポイント（触覚出力装置）は変更できないものの、エンド・ポイントがアプリケーション・フォーカス、センサに基づくデータ、及び環境要素に基づいてその振る舞いを適応させることが可能である。

一実施形態において、システム３００は自動的に触覚出力装置の種類及び付加的な要素を検出する。例えば、音声触覚変換モジュール３１６は、通信モジュール３２６を介して通信ネットワーク３３２経由でエンド・ユーザ装置３３４と通信し、エンド・ユーザ装置３３４が有する触覚出力装置の種類を決定し、これが音声触覚変換プロファイルを変更するために用いられる。一実施形態において、エンド・ユーザ装置３３６のユーザは、ユーザ・インターフェース・モジュール３２４を介して通信ネットワーク３３２経由で触覚符号化モジュール３１４と通信し、所与の使用事例において自身がどのプロファイルをアクティブにしたいかを選択することができる。

図５は触覚データがエンド・ポイント及び使用事例に基づいて生成される、音声触覚変換モジュール３１６のユーザによって選択可能な実施形態を示す。本実施形態において、工程５０２では、音声触覚変換モジュール３１６はすべての使用可能な音声触覚変換アルゴリズムを図４中のデータベース４００に事前保存する。音声触覚変換アルゴリズムの各々は、ユーザに理解できる方法で識別される。これは、音声触覚設定アプリケーション／アクティビティ又は別個のアプリケーション／アクティビティによって行われる。

エンド・ユーザ装置で再生されるデジタル・コンテンツに触覚効果を付与することが望ましい場合は、工程５０４で音声触覚変換モジュール３１６が要求された情報又はユーザ入力に基づいて使用事例を決定する。一実施形態において、音声触覚変換モジュール３１６は使用事例決定工程５０４において、どのアプリケーションがフォアグラウンド又はバックグラウンドで実行中であるかを確認し、装置が音声触覚変換モジュール３１６を再構成してユーザにより選択された音声触覚変換アルゴリズムを実行する。

工程５０６では、音声触覚変換モジュール３１６は要求を行ったエンド・ユーザ装置のエンド・ポイント構成を決定する。一実施形態において、音声触覚変換モジュール３１６は単純にユーザ・インターフェース・モジュール３２４を介してユーザ入力を取得することによって上記の決定を行う。一実施形態において、音声触覚変換モジュール３１６は、電子記憶装置３２８に保存された登録エンド・ユーザ装置データベースを検索し、エンド・ポイント構成を取得する。一実施形態において、音声触覚変換モジュール３１６は、要求を行ったエンド・ユーザ装置と通信モジュール３２６を介して通信し、エンド・ポイント構成を取得する。一実施形態において、エンド・ユーザ装置は様々な種類の触覚効果を表示するために複数のエンド・ポイントを有する。例えば、エンド・ユーザ装置３３８は、ＬＲＡ、圧電アクチュエータ、及びＥＲＭアクチュエータを有する。

使用事例及びエンド・ポイント構成に関する情報をともに取得した後、工程５０８において、音声触覚変換モジュール３１６はユーザによって選択されたプロファイルを識別する。一実施形態において、これは図４に示されるようにデータベース４００内の検索テーブルを用いることによって実現できる。

エンド・ポイントの構成及びユーザによって選択されたプロファイルに基づき、工程５１２において、音声触覚変換モジュール３１６は適切なアルゴリズムを音声データ５１０に適用し未加工の触覚データ５１４を生成するように自らを構成する。例えば、ユーザがＬＲＡを備える装置を有しており、音楽の再生用に「超低音の」プロファイルを選択する場合、音楽の再生中に、音声触覚変換モジュール３１６はこれが音楽の使用事例であることを理解し、ＬＲＡ専用に生成されたプロファイル４１６から「超低音」処理アルゴリズム（例えば、低周波数のみ）を選択する。装置がＬＲＡの代わりに圧電アクチュエータ又はＥＲＭアクチュエータをを有している場合、それらのエンド・ポイント用に対応するアルゴリズムがプロファイル４１０、４１４から選択される。

一実施形態において、プロセッサ３１０は、適切なアルゴリズムを適用して一のエンド・ポイント用の未加工の触覚データ５１４を他のエンド・ポイント用の未加工の触覚データに変換するように構成された触覚触覚モジュール（図示せず）を含む。例えば、この触覚触覚モジュールはＬＲＡ用に生成された未加工の触覚データ５１４を圧電アクチュエータ用の触覚データに変換することができ、またその逆もできる。このような触覚触覚信号変換は、触覚データが符号化されているときか又は触覚データがエンド・ユーザ装置で復号されているときに完了する。

図６は、ユーザが音声触覚変換アルゴリズムを特定せずに触覚データがエンド・ポイント及び使用事例に基づいて生成される、音声触覚変換モジュール３１６の自動検出実施形態６００を示す。工程６１０において、音声触覚変換モジュール３１６は、デジタル・コンテンツ再生用のアプリケーションがエンド・ユーザ装置（又はシステム３００）にインストールされている場合、当該アプリケーションの情報を登録する。このようなアプリケーションは例えば音声プレイヤ、動画プレイヤ、又はゲーム・プレイヤなどである。工程６１２において、音声触覚変換モジュール３１６は、例えばエンド・ユーザ装置又はシステム上のセンサによって計測される要因などの環境要因を登録する。例えば、エンド・ユーザ装置の周りの照明（例えば、明るいもの又は暗いもの）や装置の外側の温度などが感知され、所与の時間にどのプロファイルを使用するかを決定するための入力として用いられる。例えば、装置が低照明環境で用いられていると決定された場合、より顕著な又はより顕著でない触覚効果がユーザによって求められる。

エンド・ユーザ装置で再生されるデジタル・コンテンツに触覚効果を付与することが望ましい場合は、工程６１４で音声触覚変換モジュール３１６が要求情報又はユーザ入力に基づいて使用事例を決定する。工程６１６において、音声触覚変換モジュール３１６は、
マルチメディア・データとともに触覚効果が表示されるエンド・ユーザ装置のエンド・ポイント構成を決定する。

一実施形態において、音声触覚変換モジュール３１６はユーザ・インターフェース・モジュール３２４を介してユーザ入力を取得することによって上記の決定を行う。一実施形態において、音声触覚変換モジュール３１６は、要求を行ったエンド・ユーザ装置（例えば、エンド・ユーザ装置３３８）と通信モジュール３２６を介して通信し、エンド・ポイント構成を取得する。一実施形態において、エンド・ユーザ装置は様々な触覚効果を表示するために複数のエンド・ポイントを有する。例えば、エンド・ユーザ装置３３８は、ＬＲＡ、圧電アクチュエータ、及び／又はＥＲＭアクチュエータを有する。

使用事例及びエンド・ポイント構成の情報をともに取得した後、工程６１８において音声触覚変換モジュール３１６は、ユーザによる選択によらず、工程６１０−６１６で収集及び決定されたすべての情報を考慮に入れた使用に適したプロファイル又は変換アルゴリズムを識別する。一実施形態において、これは図４に示されるようにデータベース４００内の検索テーブルを用いることによって実現できる。工程６２０において、音声触覚変換モジュール３１６は決定された変換アルゴリズムを音声データ６２２に適用し未加工の触覚データ６２４を生成するように自らを構成する。

図６に示す自動検出実施形態６００が図５に示すユーザ選択可能な実施形態５００と異なる点は、音声触覚変換モジュール３１６を構成するためにユーザがシステム３００又はエンド・ユーザ装置３３４、３３６、３３８と直接インタラクトする必要がないことである。自動検出実施形態６００において、音声触覚変換モジュール３１６は、エンド・ユーザ装置内のセンサ情報、使用事例、並びにエンド・ポイント（触覚出力装置）構成を含む外部要因を用いて、デジタル・コンテンツが再生される特定のアプリケーションに最適な音声触覚変換アルゴリズムを順応的に選択する。

一実施形態において、エンコーダは各エンド・ポイントについて触覚データを符号化して触覚ストリームを多重化し、すべての触覚ストリームはエンド・ユーザ装置に伝達される。エンド・ユーザ装置は、その特定のエンド・ユーザ装置内のエンド・ポイント（触覚出力装置）にマッチする適切な触覚信号を識別及び抽出する。
触覚ストリームの様々な符号化

上述の生成された触覚データは、未加工の触覚データ・ストリームと称する。上述のように、未加工の触覚データ・ストリームを保存及び／又は伝送することは、様々な理由により、触覚データを伝達する最も効率的な方法ではない。例えば、ストリーム中には無音（触覚データがない）の期間が存在する。

図７はネットワーク経由で伝送するために未加工の触覚データ・ストリームを符号化する方法７００の一実施形態を示す図である。一実施形態において、工程７０２では、音声触覚変換モジュール３１６（例えば、図５の工程５１４及び図６の工程６２４）及び／又は触覚触覚モジュールによって生成された未加工の触覚データを、触覚符号化モジュール３１４が受信する。工程７０４では、触覚データのコンテンツは未加工の触覚データ・ストリームの特性を決定するために分析される。この特性には、触覚データが再生される触覚出力装置の種類、未加工の触覚データの使用事例、未加工の触覚データの周波数、未加工の触覚データ・ストリーム中の無音部分の長さ、未加工の触覚データの大きさ、などが含まれる。工程７０６では、触覚符号化モジュール３１４は、未加工の触覚データの決定された特性に基づいて、所定の基準に合致するように未加工の触覚データを符号化する。

一実施形態において、工程７０８で触覚符号化モジュール３１４は最初に、その特定の
ストリーム用にエンコーダのリストからエンコーダを選択し、その後工程７１０で、選択したエンコーダをその未加工の触覚データ・ストリームに適用する。例えば、触覚ストリームを符号化して圧縮するために多くの音声エンコーダが用いられる。しかし、音声エンコーダにはメリットとデメリットがある。例えば、一般的な符号化のための空間及び品質の観点では上述のＡＡＣがよく、ストリームに多くの無音部分が含まれる場合にはフリー無損失音声コーデック（ＦＬＡＣ）がよい。その他の適切なエンコーダ、すなわち、ＡＡＣ及びＦＬＡＣ以外のデジタル信号コーダ／コンプレッサを用いてもよい。未加工の触覚データ・ストリームの決定された特性にマッチするように適切なエンコーダを選択し、符号化されたデータ・ストリームの有効性及び効率を確実にする必要がある。

一実施形態において、ユーザ装置での再生のために使用される触覚出力装置にマッチする未加工の触覚データの周波数範囲を維持するために、所定の基準を用いてもよい。これにより、触覚符号化モジュール３１４は、図４に関して上述した事前に保存した使用事例及びエンド・ポイント・プロファイルを含むデータベース４００にアクセスしなければならなくなる。

一実施形態において、工程７１２において、触覚符号化モジュール３１４は、所定のエンコーダのリスト内の各エンコーダを用いて未加工の触覚データ・ストリームを符号化し、その後工程７１４において、符号化出力として最小のビット数を有する符号化された触覚データ・ストリームを選択する。一実施形態において、工程７１６では、触覚符号化モジュール３１４は使用されるエンコーダに関する情報及び符号化された触覚データ・ストリームを復号するために必要な他の情報を保存する。一実施形態において、符号化された触覚データ・ストリームについてのエンコーダ情報は、コンテナ形式のメタデータに埋め込まれる。エンド・ユーザ装置の側では、この情報は解析され、正しいデコーダを用いてストリームを復号する。例えば、エンコーダ情報はＭＰＥＧ４形式でユーザ・プライベート又はカスタム・アトム（ｃｕｓｔｏｍ ａｔｏｍ）に埋め込まれる。

一実施形態において、触覚符号化モジュール３１４はまた、未加工の触覚データを通信ネットワーク経由でストリーミングするとき、当該未加工の触覚データを符号化する際に帯域幅の可用性を考慮に入れる。これについては以下でより詳細に述べる。
適応密度コード変換

一実施形態において、触覚信号品質を維持する方法は、触覚データ・ストリーム内の触覚波形の特性を活用しつつより少ないビット数を送信することによって提供される。多重符号化方式の目的は、輻輳したネットワークのためによりデータ送信量を低減することであるため、本発明の実施形態は触覚データ・ストリームに適応密度ストリーミングを提供する。密度係数は、閾値に基づいて所定量のデータに触覚を適用することで、信号がどの程度密あるいは疎であるかを決定する。これがコード変換段階で異なる密度係数を用いて触覚データ・ストリームを符号化するために行われた場合、触覚は、ネットワーク帯域幅が自由に使用できない場合にはより少ないデータとともに送信され、使用可能なネットワーク帯域幅が豊富な場合にはより多くのデータとともに送信される。

一実施形態において、触覚データの適切かつ高品質な部分は保持され、一方で不要なデータは切り捨てられる。それにより、所与の時間において使用可能なネットワーク帯域幅のうち占有される部分がより少なくなる。デジタル・コンテンツを送信するとき、音声／動画／メタデータとともにストリーミングされる別個の種類のメディアを付加することは、当然音声／動画／メタデータの品質に影響する。本発明の実施形態は、音声／動画信号の品質が受ける影響の程度を最小化しつつ、より小さなオーバーヘッドで快適な触覚体験を提供するための役に立つ。

図８Ａ−８Ｃは未加工の触覚信号を符号化してネットワーク経由でストリーミングするために用いられる密度係数が異なる実施形態を示す。図９Ａは中間の密度係数を示し、図８Ｂは高い密度係数を示し、図８Ｃは低い密度係数を示す。図８Ａ−８Ｃの網掛けの薄い領域（「使用データ」領域）は、信号のどの部分が使用及び符号化されるかを示し、図８Ａ−８Ｃの網掛けの濃い領域（「無視データ」領域）は、信号のどの部分が無視されるかを示す。

例えば、図８Ａは中間の密度係数を用いて符号化される未加工の触覚データ信号を示す。信号がトランスコーダに入力される未加工の触覚データを表す場合、トランスコーダは「使用データ」領域の範囲内の信号のみに対応する触覚データを出力し、この触覚データは高い密度係数を有する信号内に存在するデータよりも少なくなる。図８Ｂは高い密度係数を用いて符号化される未加工の触覚データを示す。ネットワーク帯域幅が使用可能な時のストリームの場合、コード変換においてこのような高い密度係数を用いると、より多くのデータがネットワークをストリーミングするため有用である。図８Ｃは低い密度係数を用いて符号化される未加工の触覚データを示す。大量のネットワーク輻輳が発生しているときのストリームの場合は、この種のコード変換が適している。それは、出力ストリームがより少数のビットのデータを伝送し、比較的重要度の高いイベントに関するデータのみを送信することになるからである。

図８Ａ−８Ｃに示すように、出力信号に現れるデータの量は密度係数を変更することで調整が可能であり、これにより触覚符号化モジュール３１４は、必要に応じて信号内の重要度の低い所定の情報を処理しないことが可能になり（例えば、信号を再生する価値もない程度に重要度が低い信号や、帯域幅を維持するために無視される触覚信号内の取るに足りない詳細）、またネットワーク経由でより広い帯域幅が使用可能な場合により多くのデータを含むことも可能になる。一実施形態において、信号内のゼロ値を有するデータ（すなわち、図８Ａ−８Ｃの中央線にある）は触覚信号から伝送する必要のあるものがないことを示す。

図９は適応触覚密度コード変換方法９００の一実施形態を示す。本明細書で用いるように、コード変換とは未加工の触覚データの符号化と交換可能な用語であるが、この用語は符号化がソース（例えば、ストリーミング・サーバ）から異なる目的地（例えば、リモートなエンド・ユーザ装置）への変換のためのものであることを強調している。図示するように、入力は未加工の触覚データ９０２であり、これは例えば上述のように音声触覚変換モジュール３１６によって生成されたデータである。触覚トランスコーダ９０４は複数のビット・レートで未加工の触覚データ９０２を符号化し、各ビット・レートは図８Ａ−８Ｃについて上述した特定の密度係数に対応している。触覚ウェブ・サーバ９０６は、異なる密度係数を用いて符号化された触覚ビット・ストリームを保存し、符号化された触覚データ・ストリームについて目録ファイル９０８を保持する。エンド・ユーザ装置９１２（例えば、図３のエンド・ユーザ装置３３４、３３６、３３８）がネットワーク９１０（又は図３の３３２）を介して触覚ウェブ・サーバ９０６と通信し、所与の未加工の触覚信号９０２のための符号化された触覚データ・ストリームの１つを受信する。

一実施形態において、触覚データ・ストリームの密度は、密度係数を１と１５（１５は最高密度であり、１は最低密度である）の間で修正することにより調整できる。この値は、符号化された触覚データ・ストリーム含まれるデータ量の閾値（上述）として機能する。結果として、この密度値が低いほど、符号化された触覚データ・ストリームに含まれる低重要度の（より重要でない）未加工の触覚データの量が少なくなる。トランスコーダ９０４が密度の閾値を高めるにつれて、より重要度が低く詳細なデータが、符号化された触覚データ・ストリームに累加的に追加される。よって、高い密度はよいネットワーク接続性に対応し、低い密度は乏しいネットワーク接続性に対応する。

図９に示すように、触覚ウェブ・サーバ９０６は５つの異なる密度係数で符号化された触覚ビット・ストリーム１−５を保存し、特定の未加工の触覚データ入力に対応する符号化された触覚データ・ストリームについての目録ファイル９０８を維持する。例えば、ウェブ・サーバ９０６のストリーム１は密度係数１で符号化され、ストリーム２は密度係数２で符号化され、という具合である。エンド・ユーザ装置９１２は、異なるビット・レートで使用可能な触覚データ・ストリーム及び符号化された触覚データ・ストリームのセグメントを認識するようになっている。開始時に、エンド・ユーザ装置９１２は、最低ビット・レートの触覚データ・ストリーム１からセグメントを要求する。エンド・ユーザ装置９１２が、ネットワークのダウンロード速度がダウンロードされたセグメントのビット・レートよりも大きいと判断した場合、図１０に示されるように、エンド・ユーザ装置９１２は次のより高いビット・レートのセグメント、例えば、ストリーム２のセグメントすなわち中間密度ストリームとみなされるものを要求する。その後、エンド・ユーザ装置９１２が、あるセグメントのダウンロード速度がこのセグメントのビット・レートよりも低いと判断した場合、エンド・ユーザ装置９１２はネットワークのスループットが低下したと判断し、図１０に示すように、より低いビット・レートのセグメントを要求する。使用可能な帯域幅が顕著に増加した場合、図１０に示すように、エンド・ユーザ装置９１２はより高いビット・レートのセグメント、すなわち高密度ストリームとみなされるものを要求する、という具合である。セグメントのサイズは実施形態によって異なる。一実施形態においては、セグメントのサイズは２秒と小さい。一実施形態においては、セグメントのサイズは１０秒と大きい。

一実施形態においては、触覚密度コード変換モジュール３２０は、ネットワーク伝送のために音声／動画をコード変換するアルゴリズムと同じアルゴリズムと一体化している（例えば、図３のマルチメディア・モジュール３１２）。生成される触覚ストリームの数は、生成される音声／動画ストリームの数と等しく、各触覚ストリームの密度係数は必ずしも各コード変換ごとに異なるものでなくてもよい。例えば、一実施形態において、１０個の異なる音声／動画ストリームが生成された場合、未加工の触覚データは５つの異なる密度係数で５回コード変換される。

上述の触覚データの適応ビットレート・コード変換は、メディア・データをストリーミングする際に各種のネットワーク接続性に対応するために異なる品質で音声／動画を事前再現するために用いられる適応ビットレート・ストリーミングとは異なる。後者は通常、入力音声データ又は動画データのすべてに圧縮アルゴリズムを適用することにより送信するビット数を減らすことに主眼が置かれている。触覚データ・ストリームについては、本発明の実施形態に従う適応ビットレート・コード変換では、より少ない信号を送信しながらも、触覚信号の重要でない（すなわち、重要度の低い）特定の部分を放棄して触覚信号の優先度の高い部分に集中することにより、相対的な触覚効果を提供する。これは触覚波形の特性を利用して実際の触覚品質を維持しつつ、送信ビット数を減らすことによって必要な帯域幅を少なくすることになる。本発明の他の潜在的なメリットは、元の触覚信号と同じ形式が、異なる密度を有する符号化された触覚データにおいても維持されることである。従来のコード変換において、ソースの形式は維持されず、異なる形式に再符号化されてデータを圧縮しネットワーク伝送される。
埋め込まれた触覚を有するＭＰ４

本発明の実施形態はまた、触覚ビット・ストリームをＭＰ４互換ファイル・コンテナに埋め込み、触覚データが他のデジタル・コンテンツとともに当該他のデジタル・コンテンツの伝送に影響を与えることなくストリーミングされるようにする方法を提供する。同様の方法が他の同様のファイル・コンテナに適用される。

ＭＰ４はネットワーク経由でデジタル・コンテンツをストリーミングするためのコンテナ形式として以下で説明されるが、ＭＰ４は現在、対応する形式、並びに標準的な音声及び動画ストリームにインターリーブされた各種のデータを埋め込むための可変性の観点で、最高の柔軟性を持つと考えられているため、本発明の実施形態は他のコンテナ形式にも適用できることを理解されたい。各種のデータは付加的な音声ストリームや閉鎖的な字幕ストリームなどを含んでいるが、本発明の実施形態は、ＭＰ４コンテナ内に存在する音声及び／又は動画ストリームに触覚ストリームをインターリーブすることについて説明する。エンド・ユーザ装置の側では、埋め込まれた触覚信号は抽出され、標準的な音声及び動画の再生と同時に、触覚出力装置によって再生される。ここで提案される方式は音声及び動画以外のデジタル・コンテンツにも適用できることを理解されたい。

音声信号と触覚信号には多くの類似点がある。上記の図７についての説明の中で各種の触覚エンコーダを用いる際に、触覚信号は音声信号と同様に符号化される。現在の形式では、これは触覚信号がＭＰ４に対応することを可能にしているが、触覚及び音声のボックス構造の間に十分な区別がされており、標準のＭＰ４プレイヤによって触覚信号が音声信号と解釈されないようにすることも必要になる。逆に、既存の音声信号が触覚信号であると誤って判断されてはならない。

触覚信号は利便性のためにＡＡＣとして符号化されてもよい。この符号化処理は、上述の符号化された触覚信号（データ・ストリーム）を提供する各種の方法により変更が可能であるが、ボックス構造は類似のままでよい。触覚信号は標準の「ｍｏｏｖ」ボックス内で、音声及び動画用に存在する「ｔｒａｋ」ボックスの他に、別途「ｔｒａｋ」ボックスが必要になる。以下の表１は触覚ボックス構造を示す。ＭＰＥＧ４パート１２標準（ＩＳＯ／ＩＥＣ１４４９６−１２ メディア・ファイル形式）（以下、「形式標準」とする）は、表１においてＭＰ４のボックス階層に関する一般的な情報を提供する。

触覚データは音声又は動画として再現してはならない。ほとんどのプレイヤはそれぞれの「ｔｒａｋ」ボックスで特定される動画ストリームの任意の組合せ又は数、又は音声ストリームの任意の組合せを再現しようとするため、触覚データは時限メタデータ・トラック（「ｍｅｔａ」）として表す必要がある。これはｈａｎｄｌｅｒ＿ｔｙｐｅフィールドに「ｈｄｒ」ボックス内の「ｍｅｔａ」を設定することによって行われる。

形式標準内の第８．４．３節で特定される時限メタデータ・トラックは時間ベースのメディア・コンテンツを保存するためのものである。この種のトラックに触覚信号を保存することで、ストリームが音声又は動画形式でないメディアとして見なされる。この場合、触覚データ用の時限メタデータ・ストリームは、元の符号化処理が音声形式であるにもかかわらず、再生中に触覚データが音声として再現されないようになっていなければならない。

図１１−１３は音声１１００、動画１２００、及び触覚１３００用のハンドラ参照ボックスを示しており、音声、動画、及び触覚ハンドラ・タイプがＭＰ４ファイル内に埋め込まれた場合、それぞれどのように異なるかを表している。「ｔｒａｋ」１１０２、１２０２、１３０２の各々のｈａｎｄｌｅｒ＿ｔｙｐｅは、図１１−１３に示すように、「ｈｄｒ」ボックス１１０４、１２０４、１３０４内で特定される。形式標準の第８．４．３節で特定されているように、音声、動画、及び時限メタデータ・トラック用のハンドラ・タイプはそれぞれ、「ｓｏｕｎ」（図１１の１１０６）、「ｖｉｄｅ」（図１２の１２０６）、及び「ｍｅｔａ」（図１３の１３０６）である。

さらに、形式標準の第８．４．５．５節で特定されているように、触覚ストリームは時
限メタデータ・トラックとして標示されているので、ヌル・メディア・ヘッダ・ボックス（「ｎｍｈｄ」参照）（図１４の１４０８）は「ｍｉｎｆ」コンテナ・ボックス（図１４の１４０６）の下にある。これはストリームが音声（「ｓｍｈｄ」 音声メディア・ヘッダ）（図１４の１４０２）又は動画（「ｖｍｈｄ」 動画メディア・ヘッダ）（図１４の１４０４）ではないことを示しているが、やはりメディア・ストリームであると解釈できる。図１４は音声、動画、触覚の各々の全体ボックス構造を示すことで、これをより詳細に示している。

ボックス構造のさらに内部には、「ｓｔｂｌ」（サンプル・テーブル・ボックス）の下に「ｓｔｓｄ」ボックスがあり、これは上記表１にあるように、サンプル説明ボックスである。このボックス内では、「ｔｒａｋ」の形式が特定される。例えば、「ｓｔｓｄ」内の最初の子ボックスは、通常ＡＡＣ音声トラック用の「ｍｐ４ａ」である。触覚に関して、４文字のコード（「ＦＯＵＲＣＣ」）値「ｈａｐｔ」を有する新しい汎用ボックスが生成される。これは、この時限メタデータ・トラックが触覚信号を説明する情報を含んでいることを示している。形式標準の第８．５．２．２節によれば、「ｍｅｔａ」ハンドラ・タイプにはメタデータ・サンプル・エントリ（「ＭｅｔａＤａｔａＳａｍｐｌｅＥｎｔｔｒｙ」）クラスが実装される必要があるが、新しいサブクラスによって拡張される中身のないクラスとして定義されている。一実施形態において、この中身のないクラスは付加的な情報では拡張されない。表１及び以下の記載にあるように、触覚特有のあらゆる情報は「ｅｓｄｓ」ボックス内に保存される。

トラック継続時間及び時間尺度などのタイミング情報はすべて「ｍｄｈｄ」ボックス内にあり、触覚トラック全体の継続時間及び時間尺度を記述している。ＭＰＥＧ４パート１標準（ＩＳＯ／ＩＥＣ１４４９６−１ システム）（以下、「システム標準」とする）によれば、時間尺度は１秒間で経過する時間単位の数が格納される３２ビットの符号なし整数である。例えば、触覚トラックが１秒間に５０サンプルの更新レートを有している場合、この時間尺度は５０に設定される。継続時間フィールドは、時間尺度のスケールでこの触覚トラックの長さを示す６４ビットの符号なし整数である。例えば、時間尺度が５０に設定されると、各サンプルの長さは２０ｍｓになる。触覚トラックの長さが５秒であれば、継続時間フィールドの値は２５０（５＊１０００／２０）になる。

上記の表１に記載したように、「ｈａｐｔ」コンテナ・ボックスの下にある唯一の子ボックスは「ｅｓｄｓ」ボックス（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ Ｄｅｓｃｒｉｐｔｉｏｎ）であり、ＥＳ＿Ｄｅｓｃｒｉｐｔｏｒとも呼ばれる。音声に適用されると、このボックスにはそれが入っている「ｔｒａｋ」に関連付けられたストリームを復号するために用いられる情報が格納される。このボックスは触覚と同様に用いられる。「ｅｓｄｓ」ボックスに関する構文の詳細は、システム標準の第８．３．３．１節に記載されている。

図１５はＭＰ４ファイル中の触覚データについてのオブジェクト・プロファイル表示（「ｏｂｊｅｃｔＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ」）値の有効な設定の一実施形態を示す。システム標準の第８．３．３節によれば、ＥＳ＿Ｄｅｓｃｒｉｐｔｏｒボックスにはデコーダ構成記述子（「ＤｅｃｏｄｅｒＣｏｎｆｉｇＤｅｓｃｒｉｔｏｒ」）構造体が格納されており、これにはエレメンタリ・ストリームを解析及び読解するためのパラメータ及び要求事項が格納されている。ＤｅｃｏｄｅｒＣｏｎｆｉｇＤｅｓｃｒｉｐｔｏｒ内には、ｏｂｊｅｃｔＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ値及びデコーダ特有情報（「ＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏ」）構造体のためのフィールドがある。

ｏｂｊｅｃｔＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ値はストリームに対するオブジェクト・プロファイル・タイプを提供する。このフィールドは０ｘＣ０とＯｘＦＥの間の値に
設定され、これはユーザ・プライベートのオブジェクト・プロファイル・タイプの範囲であり、「ｈａｐｔ」ボックス構造内で使用される場合は、触覚タイプとして知られる（システム標準の表８−５を参照）。

ＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏ構造体は、ｏｂｊｅｃｔＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ値に基づいて他のクラスによって拡張された抽象クラスである（システム標準の表８−５参照）。１つの触覚実施形態について、この構造体は触覚特有構成（「ＨａｐｔｉｃＳｐｅｃｉｆｉｃＣｏｎｆｉｇ」）クラスによって拡張され、このクラスは符号タイプや、符号化された信号が生成された対象であるアクチュエータなどの触覚特有情報を含む。

明確にするために、図１５に見られるとおり、オブジェクト・プロファイル・タイプとして０ｘＣ０とＯｘＦＥの間の値を用いて「ｈａｐｔ」ボックスが格納される「ｔｒａｋ」ボックス構造のみを触覚ストリームと見なす。図１６に見られるとおり、オブジェクト・プロファイル・タイプが他の任意の値であれば、それは無効と見なされる。ここで、ｏｂｊｅｃｔＰｒｏｆｉｌｅＩｎｄｉｃａｔｉｏｎ値はＡＡＣメイン・プロファイルに設定されている。

ＭＰＥＧ４システムは一般に、エレメンタリ記述子内に構成情報を期待するが、この情報は復号処理に必要である。システム標準の第８．３．３節に記載されるように、ＤｅｃｏｄｅｒＣｏｎｆｉｇＤｅｓｃｒｉｐｔｏｒはＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏ抽象クラスのサブクラスでなければならない。音声ストリームについては、ＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏは音声特有構成（「ＡｕｄｉｏＳｐｅｃｉｆｉｃＣｏｎｆｉｇ」）クラスによって拡張される。これは、ＭＰＥＧ４パート３標準（ＩＳＯ／ＩＥＣ１４４９６−３ 音声）（以下、「音声標準」とする）の第１．６．２．１節に記載されている。触覚ストリームについて、ＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏはＨａｐｔｉｃＳｐｅｃｉｆｉｃＣｏｎｆｉｇクラスによって、本明細書に記載するとおり拡張される。

システム標準に定義されるように、ＨａｐｔｉｃＳｐｅｃｉｆｉｃＣｏｎｆｉｇは抽象クラスであるＤｅｃｏｄｅｒＳｐｅｃｉｆｉｃＩｎｆｏを拡張するが、このときｏｂｊｅｃｔＴｙｐｅＩｎｄｉｃａｔｉｏｎの値とｓｔｒｅａｍＴｙｐｅの値が０ｘＣ０とＯｘ２０であり、これらの値はこのストリームが触覚情報を含んでいることを示している。以下の表２から表８は、ＨａｐｔｉｃＳｐｅｃｉｆｉｃＣｏｎｆｉｇの構文、触覚ストリーム・タイプ、サンプリング周波数、アクチュエータ構成、チャネル構成、エンド・ポイント構成、及び触覚デコーダ・タイプに用いることができる付加的な情報を提供する。

上記の記載は実際のストリームそのものよりもむしろ符号化された触覚ストリームを特定している。通常は、音声、動画、又は時限メタデータのタイプを有する各「ｔｒａｋ」オブジェクトに関連付けられたストリームが存在する。これらのストリームは「ｍｄａｔ」ボックス内でインターリーブされるが、このボックスはＭＰ４のボックス構造内の「ｍｏｏｖ」と同じレベルにある。「ｍｄａｔ」ボックスにはプレイヤがエンド・プラットフォームで解析、復号、及び再現を行う実際のデータが格納される。各ストリームのセグメント・サイズを決定し、動画、音声、及びメタデータ（触覚）のサンプルの符号化されたセグメントのすべてをインターリーブするのは、フォーマッティング・ソフトウェアの役割である。この場合、サンプル表のセグメントに対する相殺を参照することにより、インターリーブされたデータ・ボックスから触覚信号が抽出される。これは音声信号及び動画信号が抽出される場合と同様である。

様々な入力、出力、設定、および／または本明細書で記憶され（ｓｔｏｒｅｄ）又は記憶可能（ｓｔｏｒａｂｌｅ）として説明される前記以外の情報は、一又は複数のデータベースに記憶することができる。かかるデータベースは、例えば、オラクルコーポレーションによって市販されているオラクル（商標）リレーショナル・データベースであり、当該リレーショナル・データベースを含み、または当該リレーショナル・データベースと接続することができる。これ以外のデータベース、たとえば、Ｉｎｆｏｒｍｉｘ（商標）、Ｄ
Ｂ２（Ｄａｔａｂａｓｅ ２）、又はこれら以外のデータストレージを使用し、組み込み、又はこれらにアクセスすることができる。このデータストレージには、ファイルベースのもの、クエリフォーマット、またはＯＬＡＰ（Ｏｎ Ｌｉｎｅ Ａｎａｌｙｔｉｃａｌ
Ｐｒｏｃｅｓｓｉｎｇ）、ＳＱＬ（Ｏｎ Ｌｉｎｅ Ａｎａｌｙｔｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｍｉｃｒｏｓｏｆｔ Ａｃｃｅｓｓ（商標）又は前記以外のリソースが含まれる。このデータベースは、一又は複数の物理的な装置および一又は複数の物理的な場所に配置されるようなデータベースを含む。このデータベースは、複数の種類のデータおよび／もしくはファイル、並びに／または、関連するデータ記述もしくはファイル記述、管理情報、または前記以外の任意の情報を記憶することができる。

本発明の一態様によれば、ユーザのデジタル・コンテンツ体験を触覚データによってより豊かにするための、コンピュータにより実装される方法が提供される。この方法は、コンピュータ・プログラム・モジュールを書き込まれたプロセッサを有する計算装置上で実装される。この方法は、音声データ及び／又は動画データを含むデジタル・コンテンツ・データを受信する工程と、受信したデジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、通信ネットワーク経由で効率的に伝送するために生成された触覚データを符号化する工程と、符号化した触覚データを受信したデジタル・コンテンツ・データと多重化する工程と、多重化したデータ・ストリームのメタ・データ内に、符号化した触覚データを復号するための情報を埋め込む工程と、多重化したデータを通信ネットワーク経由で送信する工程と、を含む。

本発明の一態様によれば、提供されるコンピュータ実装型の方法は、触覚データを他のデジタル・コンテンツ・データとともにネットワーク経由でエンド・ユーザに向けて伝送し、このエンド・ユーザがエンド・ユーザ装置上で生成された触覚効果を体験する。このエンド・ユーザ装置はネットワークに接続されている。この方法は、コンピュータ・プログラム・モジュールを書き込まれたプロセッサを有する計算装置上で実装される。この方法は、触覚データを分析して触覚データの少なくとも１つの特性を決定する工程と、決定された特性に基づいて、所定の基準を満たすように触覚データを符号化する工程とを含む。

本発明の一態様によれば、ユーザのデジタル・コンテンツ体験を触覚データによってより豊かにするための、コンピュータにより実装される方法が提供される。この方法は、コンピュータ・プログラム・モジュールを書き込まれたプロセッサを有する計算装置上で実装される。この方法は、未加工の触覚データを受信する工程と、密度係数の所定のリストに対応して受信した未加工の触覚データを符号化して、各々が密度係数の所定のリストの１つの密度係数に対応する符号化された触覚データ・ストリームのリストを生成する工程と、エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工程と、通信ネットワーク帯域幅の条件に合致する対応する密度係数に基づいて、符号化された触覚データ・ストリームの１つを選択する工程と、選択された符号化された触覚データ・ストリームをエンド・ユーザ装置に送信する工程と、を含む。

本発明の他の態様、使用、および有利な効果は、明細書を考慮し、本明細書に記載された発明の実施を通じて、当業者に明らかなものとなる。本明細書は例示的なものに過ぎず、本発明の趣旨は以下の特許請求の範囲に基づいてのみ限定されることが意図されている。

Claims (16)

1. 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受
   信する工程と、
   前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工
   程と、
   通信ネットワーク経由の伝送のために前記触覚データを符号化して、符号化された複数
   の触覚データ・ストリームを生成する工程であって、当該複数の触覚データ・ストリーム
   の各々は対応する密度係数を有し、当該対応する密度係数にしたがって異なるビットレー
   トで符号化される、工程と、
   前記複数の触覚データ・ストリームのうちの１つを選択触覚データ・ストリームとして
   選択する工程と、
   前記選択触覚データ・ストリームをマルチプレクサによって前記デジタル・コンテンツ
   ・データと多重化して多重化データ・ストリームを生成する工程と、
   前記多重化データ・ストリームを前記通信ネットワーク経由で送信する工程と、
   を備える方法。
2. 前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリーム
   のファイルコンテナのメタデータ内に埋め込む工程をさらに備える、請求項１に記載の方
   法。
3. 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ
   ・データのボックス構造とを区別するように構成されたＭＰ４対応ファイルコンテナであ
   る、請求項２に記載の方法。
4. エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工
   程と、
   前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係
   数とにしたがって前記選択触覚データ・ストリームを決定する工程と、
   をさらに備える、請求項１に記載の方法。
5. 前記ネットワーク帯域幅情報の変化を検出する工程と、
   新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新
   しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と
   、
   をさらに備える、請求項４に記載の方法。
6. エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を
   受信する工程と、
   新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新
   しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と
   、
   をさらに備える、請求項４に記載の方法。
7. 前記対応する密度係数にしたがって前記複数の触覚データ・ストリームの各々を符号化
   する工程は、前記触覚データの一部を取り除く工程を含む、請求項１に記載の方法。
8. 前記触覚データの一部を取り除く工程は、前記触覚データの重要度の低い信号を取り除
   く工程を含む、請求項７に記載の方法。
9. 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受
   信し、
   前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成し、
   通信ネットワーク経由の伝送のために前記触覚データを符号化して、符号化された複数
   の触覚データ・ストリームを生成し、当該複数の触覚データ・ストリームの各々は対応す
   る密度係数を有し、当該対応する密度係数にしたがって異なるビットレートで符号化され
   、
   前記複数の触覚データ・ストリームのうちの１つを選択触覚データ・ストリームとして
   選択し、
   前記選択触覚データ・ストリームをマルチプレクサによって前記デジタル・コンテンツ
   ・データと多重化して多重化データ・ストリームを生成し、
   前記多重化データ・ストリームを前記通信ネットワーク経由で送信するように構成され
   たプロセッサを備える、
   システム。
10. 前記プロセッサはさらに、
    前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリーム
    のファイルコンテナのメタデータ内に埋め込むように構成された、請求項９に記載のシス
    テム。
11. 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ
    ・データのボックス構造とを区別するように構成されたＭＰ４対応ファイルコンテナであ
    る、請求項１０に記載のシステム。
12. 前記プロセッサはさらに、
    エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信し、
    前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係
    数とにしたがって前記選択触覚データ・ストリームを決定するように構成された、
    請求項９に記載のシステム。
13. 前記プロセッサはさらに、
    前記ネットワーク帯域幅情報の変化を検出し、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新
    しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように
    構成された、
    請求項１２に記載のシステム。
14. 前記プロセッサはさらに、
    エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を
    受信し、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新
    しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように
    構成された、
    請求項１２に記載のシステム。
15. 前記プロセッサは、前記対応する密度係数にしたがって前記複数の触覚データ・ストリ
    ームの各々を符号化する際に、前記触覚データの一部を取り除くように構成された、請求
    項９に記載のシステム。
16. 前記プロセッサは、前記触覚データの一部を取り除く際に、前記触覚データの重要度の
    低い信号を取り除くように構成された、請求項１５に記載のシステム。