WO2024024874A1

WO2024024874A1 - 情報処理装置および方法

Info

Publication number: WO2024024874A1
Application number: PCT/JP2023/027489
Authority: WO
Inventors: 光浩平林; 遼平高橋; 佑輔中川; 健太郎吉田; 正樹折橋; 修一郎錦織
Original assignee: ソニーグループ株式会社
Priority date: 2022-07-27
Filing date: 2023-07-27
Publication date: 2024-02-01

Abstract

本開示は、コンテンツ制作者の意図により近いハプティクス体験を提供することができるようにする情報処理装置および方法に関する。ハプティクスメディアに関する周波数特性情報、ハプティクスメディアに関する信号立ち上がり特性情報、ハプティクスメディアの選択合成情報、および、マルチモーダルな代替手段に関する情報の内の少なくともいずれか１つが存在するシーンディスクリプションを供給する。また、そのシーンディスクリプションに含まれる情報に基づいて、ハプティクスメディアの出力を制御する。また、これらの情報はMPDに含まれてもよいし、ファイルコンテナのサンプルエントリに格納されてもよい。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。

Description

情報処理装置および方法

　本開示は、情報処理装置および方法に関し、特に、コンテンツ制作者の意図により近いハプティクス体験を提供することができるようにした情報処理装置および方法に関する。

　従来、3D（３次元）オブジェクトを３次元空間内に配置し、レンダリングするためのシーンディスクリプション（Scene Description）のフォーマットであるglTF（The GL Transmission Format）（登録商標）2.0があった（例えば非特許文献１参照）。

　また、MPEG（Moving Picture Experts Group）-I Scene Descriptionにおいて、glTF2.0を拡張し、時間方向に動的なコンテンツを扱う方法が提案された（例えば非特許文献２参照）。

　ところで、ハプティクスメディア（Haptics media）は、オーディオメディア（audio media）やビデオメディア（video media）と同期して再生（振動）する、同期型のモデルと、視聴ユーザと3Dビデオオブジェクトとの間でのインタラクション（例えば、触る、動かす、ぶつかる等）型のモデルが想定される。そのインタラクション型のモデルについて、MPEG-I Scene Descriptionにおけるインタラクション処理に対応する技術探索検討が進んでいる（例えば、非特許文献３参照）。また、ハプティクスメディアの圧縮伝送技術の規格化と並行して、MPEG-I Scene Descriptionにおいてハプティクスメディアを扱うための技術探索検討が進んでいる（例えば、非特許文献４参照）。

　そして、2Dビデオコンテンツや3DoFビデオコンテンツや6DoFビデオコンテンツの構成要素であるオーディオメディアやビデオメディアに加えて、触覚情報を圧縮するハプティクスメディアの圧縮伝送技術の規格化が進んでいる（例えば、非特許文献５参照）。

　非特許文献３に記載のインタラクティビティフレームワークでは、インタラクション発生条件としてトリガ（Trigger）が定義され、発生するインタラクションとしてアクション（Action）が定義されている。さらに、複数のトリガと複数のアクションを列挙するビヘイビア（behavior）が定義されている。そのアクションとして非特許文献４に記載のMPEG_hapticsがメディアコントロール（media_control）で呼び出され、MPEG_hapticsが参照する、非特許文献２に記載のMPEGメディア（MPEG_media）に記述されたハプティクスメディアの再生が行われる。同期型の場合は、AVメディアと同期して、所定の時間でMPEGメディアに記述されたハプティクスメディアの再生が行われる。どちら場合も、ハプティクスメディアは、非特許文献５に記載のように、レンダリングするリファレンスハプティクスデバイスの情報と共に提供される。

Saurabh Bhatia, Patrick Cozzi, Alexey Knyazev, Tony Parisi, "Khronos glTF2.0", https://github.com/KhronosGroup/glTF/tree/master/specification/2.0, June 9, 2017 "Text of ISO/IEC CD 23090-14 Scene Description for MPEG Media", ISO/IEC JTC 1/SC 29/WG 3 N00485, 2021/10/12 "Exploration Experiments for MPEG-I Scene Description", ISO/IEC JTC 1/SC 29/WG 3 N 0540, 2022/4/29 Quentin Galvane, Eric Vezzoli, Yeshwant Muthusamy, Philippe Guillotel, Titouan Rabu,"Haptic Support extensions for MPEG-I SD ",ISO/IEC JTC 1/SC 29/WG 3 m59268,April 2022 "Considerations for a WD on Haptics", ISO/IEC JTC 1/SC 29/WG 2 N 0208, 2022/4/29

　しかしながら、例えば振動等のハプティクスメディアのユーザ体験は、そのハプティクスメディアを出力するハプティクスデバイスの仕様に大きく依存する。そのため、出力に使用されるハプティクスデバイスの仕様によっては、コンテンツ制作者の意図通りのハプティクス体験を提供することが困難になるおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、コンテンツ制作者の意図により近いハプティクス体験を提供することができるようにするものである。

　本技術の一側面の情報処理装置は、シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部を備える情報処理装置である。

　本技術の一側面の情報処理方法は、シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する情報処理装置である。

　本技術の他の側面の情報処理装置は、ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する供給部を備える情報処理装置である。

　本技術の他の側面の情報処理方法は、ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する供給部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する供給部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する出力制御部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する情報処理方法である。

　本技術のさらに他の側面の情報処理装置は、再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する供給部を備える情報処理装置である。

　本技術のさらに他の側面の情報処理方法は、再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する情報処理方法である。

　本技術の一側面の情報処理装置および方法においては、シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディアの出力が制御される。

　本技術の他の側面の情報処理装置および方法においては、ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションが供給される。

　本技術のさらに他の側面の情報処理装置および方法においては、シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディアの出力が制御される。

　本技術のさらに他の側面の情報処理装置および方法においては、ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションが供給される。

　本技術のさらに他の側面の情報処理装置および方法においては、シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、ハプティクスメディアの出力が制御される。

　本技術のさらに他の側面の情報処理装置および方法においては、ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションが供給される。

　本技術のさらに他の側面の情報処理装置および方法においては、再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、そのハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力が制御される。

　本技術のさらに他の側面の情報処理装置および方法においては、再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションが供給される。

glTF2.0の主な構成例を示す図である。 glTFオブジェクトと参照関係の例を示す図である。シーンディスクリプションの記述例を示す図である。バイナリデータへのアクセス方法について説明する図である。シーンディスクリプションの記述例を示す図である。 buffer object、buffer view object、accessor objectの関係を説明する図である。 buffer object、buffer view object、accessor objectの記述例を示す図である。シーンディスクリプションのオブジェクトの構成例を説明する図である。シーンディスクリプションの記述例を示す図である。オブジェクトの拡張方法について説明する図である。クライアント処理の構成について説明する図である。タイムドメタデータを扱うためのextensionの構成例を示す図である。シーンディスクリプションの記述例を示す図である。シーンディスクリプションの記述例を示す図である。タイムドメタデータを扱うためのextensionの構成例を示す図である。クライアントの主な構成例を示す図である。クライアント処理の流れの例を説明するフローチャートである。 MPEGメディアの定義について説明する図である。 MPEGメディアの定義について説明する図である。 MPEGメディアの定義について説明する図である。 MPEGメディアの定義について説明する図である。 MPEG-I シーンディスクリプションインタラクティビティフレームワークについて説明する図である。インタラクション機能の概要について説明する図である。トリガとアクションのアーキテクチャについて説明する図である。トリガの定義について説明する図である。アクションの定義について説明する図である。アクションの定義について説明する図である。ビヘイビアの定義について説明する図である。 MPEG_scene_interactionの拡張構造の例を示す図である。処理モデルの例を示す図である。処理モデルの例を示す図である。ハプティクスメディアを扱うためのシーンディスクリプションの拡張例を示す図である。 MPEGハプティックの例を示す図である。ハプティクスメディアの符号化の概要を説明する図である。バイナリヘッダの構成例を示す図である。ハプティクスファイルメタデータのセマンティクスの例を示す図である。アバターメタデータのセマンティクスの例を示す図である。パーセプションメタデータのセマンティクスの例を示す図である。リファレンスデバイスメタデータのセマンティクスの例を示す図である。トラックヘッダのセマンティクスの例を示す図である。バンドヘッダのセマンティクスの例を示す図である。トランジェントバンドボディとカーブバンドボディのセマンティクスの例を示す図である。ウェーブバンドボディのセマンティクスの例を示す図である。一般的なデータモデルの主な構成例を示す図である。デバイス定義の例を示す図である。トラックに格納されるデバイスの定義の例を示す図である。バンド定義の例を示す図である。エフェクト定義の例を示す図である。ハプティクスメディアを格納するためのISOBMFFの拡張例を示す図である。ハプティクスメディアの提供に有意な拡張例を示す図である。 MPEGメディアの拡張例を示す図である。シーンディスクリプションの記述例を示す図である。 MPEGメディアの拡張例を示す図である。シーンディスクリプションの記述例を示す図である。 MPEGメディアの拡張例を示す図である。 MPEGメディアの拡張例を示す図である。シーンディスクリプションの記述例を示す図である。 MPEGメディアの拡張例を示す図である。 MPEGメディアの拡張例を示す図である。 MPDの拡張例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの拡張例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの拡張例を示す図である。 MPDの記述例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。ファイルフォーマットの具体例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。ファイルフォーマットの具体例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 MPDの記述例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。 ISOBMFFのサンプルエントリの拡張例を示す図である。ファイルフォーマットの具体例を示す図である。 MPDの記述例を示す図である。ファイル生成装置の主な構成例を示すブロック図である。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。クライアント装置の主な構成例を示すブロック図である。再生処理の流れの例を示すフローチャートである。 3Dオブジェクトコンテンツ再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ファイル生成装置の主な構成例を示すブロック図である。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。クライアント装置の主な構成例を示すブロック図である。再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ファイル生成装置の主な構成例を示すブロック図である。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。クライアント装置の主な構成例を示すブロック図である。再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ファイル生成装置の主な構成例を示すブロック図である。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。ファイル生成処理の流れの例を示すフローチャートである。クライアント装置の主な構成例を示すブロック図である。再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。ハプティクスメディア再生処理の流れの例を示すフローチャートである。コンピュータの主な構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．技術内容・技術用語をサポートする文献等
　２．ハプティクスメディアの再生
　３．ハプティクスメディアの再生制御のための拡張
　４．第１の実施の形態（ファイル生成装置・クライアント装置）
　５．第２の実施の形態（ファイル生成装置・クライアント装置）
　６．第３の実施の形態（ファイル生成装置・クライアント装置）
　７．第４の実施の形態（ファイル生成装置・クライアント装置）
　８．付記

　＜１．技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。

　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：（上述）
　非特許文献５：（上述）
　非特許文献６：Yeshwant Muthusamy, Chris Ullrich, Manuel Cruz,"Everything You Wanted to Know About Haptics", m59834_Haptics Tutorial, 2022/3/21
　非特許文献７："Information technology - Dynamic adaptive streaming over HTTP (DASH) - Part 1: Media presentation description and segment formats", ISO/IEC JTC 1/SC 29/WG 3, WG3_00227, ISO 23009-1:2021(X), 2021-06-24
　非特許文献８："Information technology - Coding of audio-visual objects - Part 12: ISO base media file format, TECHNICAL CORRIGENDUM 1",ISO/IEC 14496-12:2015/Cor.1, ISO/IEC JTC 1/SC 29/WG 11, [8]WG03N0233_20295-1_14496-12-7th, 2016/6/3

　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。例えば、上述の非特許文献に記載されるglTF2.0やそのextensionなどのシンタックスや用語が本開示において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、本開示において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。

　＜２．ハプティクスメディアの再生＞
　　＜gltf2.0＞
　従来、例えば、非特許文献１に記載のように、3D（３次元）オブジェクトを３次元空間内に配置するためのフォーマットであるglTF（The GL Transmission Format）（登録商標）2.0があった。glTF2.0では、例えば図１に示されるように、JSONフォーマットファイル（.glTF）と、バイナリファイル（.bin）と、イメージファイル（.pngや.jpg等）とにより構成される。バイナリファイルは、ジオメトリやアニメーション等のバイナリデータを格納する。イメージファイルは、テクスチャ等のデータを格納する。

　JSONフォーマットファイルは、JSON（JavaScript（登録商標） Object Notation）で記述されたシーンディスクリプションファイル（scene description file）である。シーンディスクリプションとは、3Dコンテンツのシーン（の説明）を記述するメタデータである。このシーンディスクリプションの記述により、どのようなシーンであるかが定義される。シーンディスクリプションファイルは、そのようなシーンディスクリプションを格納するファイルである。本開示においては、シーンディスクリプションファイルのことをシーン記述ファイルとも称する。

　JSONフォーマットファイルの記述は、キー（KEY）とバリュー（VALUE）のペアの羅列により構成される。以下にその書式の例を示す。
　“KEY”:”VALUE”

　キーは文字列により構成される。バリューは数値、文字列、真偽値、配列、オブジェクト、またはnull等により構成される。

　また、複数のキーとバリューのペア（“KEY”:”VALUE”）を、｛｝（中かっこ）を用いてまとめることができる。この中かっこでまとめたものをJSONオブジェクトとも称する。以下にその書式の例を示す。
　“user”:{"id":1, "name":"tanaka”}

　この例の場合、キー（user）に対応するバリューとして、"id":1のペアと"name":"tanaka”のペアをまとめたJSONオブジェクトが定義されている。

　また、０個以上のバリューを、[]（大かっこ）を用いて配列化することもできる。この配列をJSON配列とも称する。このJSON配列の要素として、例えば、JSONオブジェクトを適用することもできる。以下にその書式の例を示す。
　test":["hoge", "fuga", "bar"]
　"users":[{"id":1, "name":"tanaka"},{"id":2,"name":"yamada"},{"id":3, "name":"sato"}]

　JSONフォーマットファイルの最上位に記載できるglTFオブジェクト（glTF object）と、それらが持てる参照関係を図２に示す。図２に示されるツリー構造の長丸がオブジェクトを示し、そのオブジェクト間の矢印が参照関係を示している。図２に示されるように、"scene"、"node"、"mesh"、"camera"、"skin"、"material"、"texture"等のオブジェクトがJSONフォーマットファイルの最上位に記述される。

　このようなJSONフォーマットファイル（シーンディスクリプション）の記述例を図３に示す。図３のJSONフォーマットファイル２０は、最上位の一部の記述例を示している。このJSONフォーマットファイル２０において、使用されるトップレベルオブジェクト（top-level object）２１は、全て最上位に記述される。このトップレベルオブジェクト２１は、図２に示されるglTFオブジェクトである。また、JSONフォーマットファイル２０においては、矢印２２として示されるように、オブジェクト（object）間の参照関係が示される。より具体的には、上位オブジェクトのプロパティ（property）で、参照するオブジェクトの配列の要素のインデックス（index）を指定することによりその参照関係が示される。

　図４は、バイナリデータへのアクセス方法について説明する図である。図４に示されるように、バイナリデータは、バッファオブジェクト（buffer object）に格納される。つまり、バッファオブジェクトにおいてバイナリデータにアクセスするための情報（例えばURI（Uniform Resource Identifier）等）が示される。JSONフォーマットファイルにおいては、図４に示されるように、例えばメッシュ（mesh）、カメラ（camera）、スキン（skin）等のオブジェクトから、そのバッファオブジェクトに対して、アクセサオブジェクト（accessor object）とバッファビューオブジェクト（bufferView object）を介してアクセスすることができる。

　つまり、メッシュ（mesh）、カメラ（camera）、スキン（skin）等のオブジェクトにおいては、参照するアクセサオブジェクトが指定される。JSONフォーマットファイルにおけるメッシュオブジェクト（mesh）の記述例を図５に示す。例えば、図５のように、メッシュオブジェクトにおいては、NORMAL、POSITION、TANGENT、TEXCORD_0等の頂点の属性（アトリビュート（attribute））がキーとして定義され、その属性毎に、参照するアクセサオブジェクトがバリューとして指定されている。

　バッファオブジェクト、バッファビューオブジェクト、アクセサオブジェクトの関係を図６に示す。また、JSONフォーマットファイルにおけるそれらのオブジェクトの記述例を図７に示す。

　図６において、バッファオブジェクト４１は、実データであるバイナリデータにアクセスするための情報（URI等）と、そのバイナリデータのデータ長（例えばバイト長）を示す情報とを格納するオブジェクトである。図７のＡは、そのバッファオブジェクト４１の記述例を示している。図７のＡに示される「"bytelength":102040」は、図６に示されるように、バッファオブジェクト４１のバイト長が102040バイト（bytes）であることを示している。また、図７のＡに示される「"uri":"duck.bin"」は、図６に示されるように、バッファオブジェクト４１のURIが"duck.bin"であることを示している。

　図６において、バッファビューオブジェクト４２は、バッファオブジェクト４１において指定されたバイナリデータのサブセット（subset）領域に関する情報（つまりバッファオブジェクト４１の一部の領域に関する情報）を格納するオブジェクトである。図７のＢは、そのバッファビューオブジェクト４２の記述例を示している。図６や図７のＢに示されるように、バッファビューオブジェクト４２は、例えば、そのバッファビューオブジェクト４２が属するバッファオブジェクト４１の識別情報、そのバッファオブジェクト４１内におけるそのバッファビューオブジェクト４２の位置を示すオフセット（例えばバイトオフセット）、そのバッファビューオブジェクト４２のデータ長（例えばバイト長）を示すレングス（例えばバイトレングス）等の情報を格納する。

　図７のＢに示されるように、バッファビューオブジェクトが複数存在する場合、そのバッファビューオブジェクト毎（つまりサブセット領域毎）に情報が記述される。例えば、図７のＢにおいて上側に示される、「"buffer":0」、「"bytelength":25272」、「"byteOffset":0」等の情報は、図６においてバッファオブジェクト４１内に示される１つ目のバッファビューオブジェクト４２（bufferView[0]）の情報である。また、図７のＢにおいて下側に示される、「"buffer":0」、「"bytelength":76768」、「"byteOffset":25272」等の情報は、図６においてバッファオブジェクト４１内に示される２つ目のバッファビューオブジェクト４２（bufferView[1]）の情報である。

　図７のＢに示される１つ目のバッファビューオブジェクト４２（bufferView[0]）の「"buffer":0」は、図６に示されるように、そのバッファビューオブジェクト４２（bufferView[0]）が属するバッファオブジェクト４１の識別情報が「0」（Buffer[0]）であることを示している。また、「"bytelength":25272」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイト長が25272バイトであることを示している。さらに、「"byteOffset":0」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが0バイトであることを示している。

　図７のＢに示される２つ目のバッファビューオブジェクト４２（bufferView[1]）の「"buffer":0」は、図６に示されるように、そのバッファビューオブジェクト４２（bufferView[0]）が属するバッファオブジェクト４１の識別情報が「0」（Buffer[0]）であることを示している。また、「"bytelength":76768」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイト長が76768バイトであることを示している。さらに、「"byteOffset":25272」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが25272バイトであることを示している。

　図６において、アクセサオブジェクト４３は、バッファビューオブジェクト４２のデータの解釈方法に関する情報を格納するオブジェクトである。図７のＣは、そのアクセサオブジェクト４３の記述例を示している。図６や図７のＣに示されるように、アクセサオブジェクト４３は、例えば、そのアクセサオブジェクト４３が属するバッファビューオブジェクト４２の識別情報、そのバッファビューオブジェクト４２の、バッファオブジェクト４１内における位置を示すオフセット（例えばバイトオフセット）、そのバッファビューオブジェクト４２のコンポーネントタイプ、そのバッファビューオブジェクト４２に格納されるデータ数、そのバッファビューオブジェクト４２に格納されるデータのタイプ等の情報を格納する。これらの情報は、バッファビューオブジェクト毎に記述される。

　図７のＣの例では、「"bufferView":0」、「"byteOffset":0」、「"componentType":5126」、「"count":2106」、「"type":"VEC3"」等の情報が示されている。「"bufferView":0」は、図６に示されるように、そのアクセサオブジェクト４３が属するバッファビューオブジェクト４２の識別情報が「0」（bufferView[0]）であることを示している。また、「"byteOffset":0」は、そのバッファビューオブジェクト４２（bufferView[0]）のバイトオフセットが0バイトであることを示している。さらに、「"componentType":5126」は、コンポーネントタイプが、FLOAT型（OpenGLマクロ定数）であることを示している。また、「"count":2106」は、そのバッファビューオブジェクト４２（bufferView[0]）に格納されるデータが2106個であることを示している。さらに、「"type":"VEC3"」は、そのバッファビューオブジェクト４２（bufferView[0]）に格納されるデータ（のタイプ）が３次元ベクトルであることを示している。

　イメージ（image）以外のデータへのアクセスは、全てこのアクセサオブジェクト４３への参照により（アクセサのインデックスを指定することにより）定義される。

　次に、このようなglTF2.0に準拠するシーンディスクリプション（JSONフォーマットファイル）において、ポイントクラウドの3Dオブジェクトを指定する方法について説明する。ポイントクラウドは、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する3Dコンテンツである。ポイントクラウドのデータは、各点の位置情報（ジオメトリ（geometry）とも称する）と属性情報（アトリビュート（attribute）とも称する）とにより構成される。アトリビュートは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートに含まれるようにしてもよい。このようにポイントクラウドは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。

　ポイントクラウドが時間方向に変化しない（静的であるとも称する）場合、glTF2.0のmesh.primitives objectを用いて3Dオブジェクトを指定する。図８は、ポイントクラウドが静的な場合の、シーンディスクリプションにおけるオブジェクトの構成例を示す図である。図９は、そのシーンディスクリプションの記述例を示す図である。

　図９に示されるように、primitives objectのmodeは、データ（data）がポイントクラウドの点（point）として扱われることを示す0に指定される。図８や図９に示されるように、mesh.primitives内のattributesオブジェクトのポジションプロパティ（POSITION property）において、点（Point）の位置情報を格納するバッファ（buffer）へのアクセサ（accessor）が指定される。同様に、attributesオブジェクトのカラープロパティ（COLOR property）において、点（Point）の色情報を格納するバッファ（buffer）へのアクセサ（accessor）が指定される。バッファ（buffer）とバッファビュー（bufferView）は１つであってもよい（１つのファイル（file）にデータ（data）が格納されてもよい）。

　次に、このようなシーンディスクリプションのオブジェクトの拡張について説明する。glTF2.0の各オブジェクトは、拡張オブジェクト（extension object）内に新たに定義されたオブジェクトを格納することができる。図１０は、新たに定義されたオブジェクト（ExtensionExample）を規定する場合の記述例を示す。図１０に示されるように、新たに定義されたextensionを使用する場合、“extensionUsed”と”extensionRequired”にそのextension object名（図１０の例の場合、ExtensionExample）が記述される。これにより、このextensionが、使用されるextensionであること、または、ロード（load）に必要なextensionであることが示される。

　　＜クライアント処理＞
　次に、MPEG-I Scene Descriptionにおけるクライアント装置の処理について説明する。クライアント装置は、シーンディスクリプションを取得し、そのシーンディスクリプションに基づいて3Dオブジェクトのデータを取得し、そのシーンディスクリプションや3Dオブジェクトのデータを用いて表示画像を生成する。

　非特許文献２に記載のように、クライアント装置では、プレゼンテーションエンジンやメディアアクセスファンクション等が処理を行う。例えば、図１１に示されるように、クライアント装置５０のプレゼンテーションエンジン（Presentation Engine）５１が、シーンディスクリプションの初期値やそのシーンディスクリプションを更新するための情報（以下、更新情報とも称する）を取得し、処理対象時刻のシーンディスクリプションを生成する。そして、プレゼンテーションエンジン５１は、そのシーンディスクリプションを解析し、再生するメディア（動画や音声等）を特定する。そして、プレゼンテーションエンジン５１は、メディアアクセスAPI（Media Access API（Application Program Interface））経由で、メディアアクセスファンクション（Media Access Function）５２に対してそのメディアの取得を要求する。また、プレゼンテーションエンジン５１は、パイプライン処理の設定やバッファの指定等も行う。

　メディアアクセスファンクション５２は、プレゼンテーションエンジン５１から要求されたメディアの各種データをクラウド（Cloud）やローカルストレージ（Local Storage）等から取得する。メディアアクセスファンクション５２は、取得したメディアの各種データ（符号化データ）をパイプライン（Pipeline）５３に供給する。

　パイプライン５３は、供給されたメディアの各種データ（符号化データ）を、パイプライン処理により復号し、その復号結果をバッファ（Buffer）５４に供給する。バッファ５４は、供給されたメディアの各種データを保持する。

　プレゼンテーションエンジン５１は、バッファ５４に保持されているメディアの各種データを用いてレンダリング（Rendering）等を行う。

　　＜Timed mediaの適用＞
　近年、例えば、非特許文献２に示されるように、MPEG-I Scene Descriptionにおいて、glTF2.0を拡張し、３Ｄオブジェクトコンテンツとしてタイムドメディア（Timed media）を適用することが検討されている。タイムドメディアとは、２次元画像における動画像のように、時間軸方向に変化するメディアデータである。

　glTFは、メディアデータ（3Dオブジェクトコンテンツ）として、静止画データのみ適用可能であった。つまり、glTFは、動画像のメディアデータには対応していなかった。3Dオブジェクトを動かす場合は、アニメーション（時間軸に沿って静止画を切り替える方法）が適用されていた。

　MPEG-I Scene Descriptionでは、そのglTF2.0を適用し、シーンディスクリプションとしてJSONフォーマットファイルを適用し、さらに、メディアデータとして、タイムドメディア（例えばビデオデータ）を扱うことができるようにglTFを拡張することが検討されている。タイムドメディアを扱うために、例えば以下のような拡張が行われる。

　図１２は、タイムドメディアを扱うための拡張について説明する図である。図１２の例において、MPEGメディアオブジェクト（MPEG_media）は、glTFのextensionであり、例えば、uri, track, renderingRate, startTime等、ビデオデータ等のMPEGメディアの属性を指定するオブジェクトである。

　また、図１２に示されるように、テクスチャオブジェクト（texture）の拡張オブジェクト（extensions）として、MPEGテクスチャビデオオブジェクト（MPEG_texture_video）が設けられる。そのMPEGテクスチャビデオオブジェクトには、アクセスするバッファオブジェクトに対応するアクセサの情報が格納される。すなわち、MPEGテクスチャビデオオブジェクトは、MPEGメディアオブジェクト（MPEG_media）で指定されたテクスチャメディア（texture media）が復号されて格納されるバッファ（buffer）に対応するアクセサ（accessor）のインデックスを指定するオブジェクトである。

　図１３は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGメディアオブジェクト（MPEG_media）およびMPEGテクスチャビデオオブジェクト（MPEG_texture_video）の記述例を示す図である。図１３の例の場合、上から２行目において下記のように、テクスチャオブジェクト（texture）の拡張オブジェクト（extensions）として、MPEGテクスチャビデオオブジェクト（MPEG_texture_video）が設定されている。そして、そのMPEGビデオテクスチャオブジェクトのバリューとして、アクセサのインデックス（この例では「2」）が指定されている。

"texture":[{"sampler":0, "source":1, "extensions":{"MPEG_texture_video ":"accessor":2}}],

　また、図１３の例の場合、上から７行目乃至１６行目において下記のように、glTFの拡張オブジェクト（extensions）として、MPEGメディアオブジェクト（MPEG_media）が設定されている。そして、そのMPEGメディアオブジェクトのバリューとして、例えば、そのMPEGメディアオブジェクトの符号化やURI等といった、MPEGメディアオブジェクトに関する様々な情報が格納されている。

"MPEG_media":{
  "media":[
        {"name":"source_1", "renderingRate":30.0, "startTime":9.0, "timeOffset":0.0,
          "loop":"true", "controls":"false",
          "alternatives":[{"mimeType":"video/mp4;codecs=\"avc1.42E01E\"", "uri":"video1.mp4",
                                     "tracks":[{"track":""#track_ID=1"}]
                         }]
        }
  ]
}

　また、各フレームデータはデコードされ順次バッファに格納されるが、その位置などが変動するため、シーンディスクリプションには、その変動する情報を格納して、レンダラ（renderer）がデータを読みだせるようにする仕組みが設けられる。例えば、図１２に示されるように、バッファオブジェクト（buffer）の拡張オブジェクト（extensions）として、MPEGバッファサーキュラオブジェクト（MPEG_buffer_circular）が設けられる。そのMPEGバッファサーキュラオブジェクトには、バッファオブジェクト内にデータを動的に格納するための情報が格納される。例えば、バッファヘッダ（bufferHeader）のデータ長を示す情報や、フレーム数を示す情報等といった情報がこのMPEGバッファサーキュラオブジェクトに格納される。なお、バッファヘッダは、例えば、インデックス（index）、格納されるフレームデータのタイムスタンプやデータ長等といった情報を格納する。

　また、図１２に示されるように、アクセサオブジェクト（accessor）の拡張オブジェクト（extensions）として、MPEGアクセサタイムドオブジェクト（MPEG_timed_accessor）が設けられる。この場合、メディアデータは動画なので時間方向に参照するバッファビューオブジェクト（bufferView）が変化し得る（位置が変動し得る）。そこで、その参照するバッファビューオブジェクトを示す情報が、このMPEGアクセサタイムドオブジェクトに格納される。例えば、MPEGアクセサタイムドオブジェクトには、タイムドアクセサインフォメーションヘッダ（timedAccessor information header）が記述されるバッファビューオブジェクト（bufferView）への参照を示す情報が格納される。なお、タイムドアクセサインフォメーションヘッダは、例えば、動的に変化するアクセサオブジェクトとバッファビューオブジェクト内の情報を格納するヘッダ情報である。

　図１４は、タイムドメディアを扱うための拡張について説明するための、シーンディスクリプションにおけるMPEGバッファサーキュラオブジェクト（MPEG_buffer_circular）およびMPEGアクセサタイムドオブジェクト（MPEG_accessor_timed）の記述例を示す図である。図１４の例の場合、上から５行目において下記のように、アクセサオブジェクト（accessors）の拡張オブジェクト（extensions）として、MPEGアクセサタイムドオブジェクト（MPEG_accessor_timed）が設定されている。そして、そのMPEGアクセサタイムドオブジェクトのバリューとして、バッファビューオブジェクトのインデックス（この例では「1」）、アップデートレート（updataRate）、不変の情報（immutable）等のパラメータとその値が指定されている。

"MPEG_accessor_timed":{"bufferView":1, "updateRate":25.0, "immutable":1,"}

　また、図１４の例の場合、上から１３行目において下記のように、バッファオブジェクト（buffer）の拡張オブジェクト（extensions）として、MPEGバッファサーキュラオブジェクト（MPEG_buffer_circular）が設定されている。そして、そのMPEGバッファサーキュラオブジェクトのバリューとして、バッファフレームカウント（count）、ヘッダ長（headerLength）、アップデートレート（updataRate）等のパラメータとその値が指定されている。

"MPEG_buffer_circular":{"count":5, "headerLength":12, "updateRate":25.0}

　図１５は、タイムドメディアを扱うための拡張について説明するための図である。図１５において、MPEGアクセサタイムドオブジェクトやMPEGバッファサーキュラオブジェクトと、アクセサオブジェクト、バッファビューオブジェクト、およびバッファオブジェクトとの関係の例を示す。

　バッファオブジェクトのMPEGバッファサーキュラオブジェクトには、上述したように、バッファフレームカウント（count）、ヘッダ長（headerLength）、アップデートレート（updataRate）等といった、バッファオブジェクトによって示されるバッファ領域に時間変化するdataを格納するのに必要な情報が格納される。また、そのバッファ領域のヘッダであるバッファヘッダ（bufferHeader）には、インデックス（idex）、タイムスタンプ（timestamp）、データ長（length）等のパラメータが格納される。

　アクセサオブジェクトのMPEGアクセサタイムドオブジェクトには、上述したように、バッファビューオブジェクトのインデックス（bufferView）、アップデートレート（updataRate）、不変の情報（immutable）等といった、参照するバッファビューオブジェクトに関する情報が格納される。また、このMPEGアクセサタイムドオブジェクトには、参照するタイムドアクセサインフォメーションヘッダが格納されるバッファビューオブジェクトに関する情報が格納される。タイムドアクセサインフォメーションヘッダには、タイムスタンプデルタ（timestamp_delta）、アクセサオブジェクトの更新データ、バッファビューオブジェクトの更新データ等が格納され得る。

　　＜MPEG_texture_video使用時のクライアント処理＞
　シーンディスクリプションは、１つ以上の3Dオブジェクトを3D空間に配置するための空間配置情報である。このシーンディスクリプションは、時間軸に沿ってその内容を更新することができる。つまり、時間の経過とともに、3Dオブジェクトの配置を更新することができる。その際のクライアント装置において行われるクライアント処理について説明する。

　図１６は、クライアント装置の、クライアント処理に関する主な構成例を示し、図１７は、そのクライアント処理の流れの例を示すフローチャートである。図１６に示されるように、クライアント装置は、プレゼンテーションエンジン（PresentaionEngine（以下、PEとも称する））５１、メディアアクセスファンクション（MediaAccessFuncon（以下、MAFとも称する））５２、パイプライン（Pipeline）５３、およびバッファ（Buffer）５４を有する。プレゼンテーションエンジン（PE）５１は、glTF解析部６３およびレンダリング（Rendering）処理部６４を有する。

　プレゼンテーションエンジン（PE）５１は、メディアアクセスファンクション５２にメディアを取得させ、バッファ５４を介してそのデータを取得し、表示に関する処理等を行う。具体的には例えば以下のような流れで処理が行われる。

　クライアント処理が開始されると、プレゼンテーションエンジン（PE）５１のglTF解析部６３は、図１７の例のようにPE処理を開始し、ステップＳ２１において、シーンディスクリプションファイルであるSD(glTF)ファイル６２を取得し、そのシーンディスクリプションを解析（parse）する。

　ステップＳ２２において、glTF解析部６３は、3Dオブジェクト（texture）に紐づくメディア（media）と、そのメディアを処理後に格納するバッファ（buffer）と、アクセサ（accessor）を確認する。ステップＳ２３において、glTF解析部６３は、ファイル取得要求として、メディアアクセスファンクション５２にその情報を通知する。

　メディアアクセスファンクション（MAF）５２は、図１７の例のようにMAF処理を開始し、ステップＳ１１において、その通知を取得する。ステップＳ１２において、メディアアクセスファンクション５２は、その通知に基づいてメディア（3Dオブジェクトファイル（mp4））を取得する。

　ステップＳ１３において、メディアアクセスファンクション５２は、取得したメディア（3Dオブジェクトファイル（mp4））を復号する。ステップＳ１４において、メディアアクセスファンクション５２は、復号して得られたメディアのデータを、プレゼンテーションエンジン（PE５１）からの通知に基づいて、バッファ５４に格納する。

　ステップＳ２４において、プレゼンテーションエンジン５１のレンダリング処理部６４は、そのデータを適切なタイミングにおいてバッファ５４から読み出す（取得する）。ステップＳ２５において、レンダリング処理部６４は、取得したデータを用いてレンダリングを行い、表示用画像を生成する。

　メディアアクセスファンクション５２は、ステップＳ１３およびステップＳ１４の処理を繰り返すことにより、各時刻（各フレーム）についてこれらの処理を実行する。また、プレゼンテーションエンジン５１のレンダリング処理部６４は、ステップＳ２４およびステップＳ２５の処理を繰り返すことにより、各時刻（各フレーム）についてこれらの処理を実行する。全てのフレームについて処理が終了すると、メディアアクセスファンクション５２はMAF処理を終了し、プレゼンテーションエンジン５１はPE処理を終了する。つまり、クライアント処理が終了する。

　　＜MPEG_mediaの定義＞
　非特許文献２には、また、MPEGメディア（MPEG_media）の拡張について記載されている。MPEGメディアの拡張は、シーンディスクリプションにおいて参照されるメディアアイテムの配列として提供される。MPEGメディアのmedia array内において使用されるアイテムの定義の例を図１８および図１９に示す。例えば、startTimeは、時間指定されたメディアのレンダリングが開始される時刻を示す。値は秒単位で指定される。時間制限付きテクスチャの場合、startTimeに達するまで静的画像をテクスチャとしてレンダリングする必要がある。startTimeが「0」の場合、現在のシーンのプレゼンテーション時間を意味する。autoplayは、メディアの準備ができたらすぐに再生を開始することを指定する。autoplayGroupは、autoplayをグループ単位で指定できる機能である。Loopは、繰り返し再生を指定する。contorolsは、メディアの再生に関するユーザインタフェースの表示を指定する。alternativesは、同じメディアの代替手段（例えば、使用されているものとは異なるビデオコーデック等）を示す。なお、メディアアイテムに対してstartTimeまたはautoplayのいずれかが存在する必要がある。

　図２０は、alternatives arrayの拡張例を示す。alternatives array内においては、図２０において定義されるようなアイテムが使用される。図２１は、tracks arrayの拡張例を示す。tracks array内においては、図２１において定義されるようなアイテムが使用される。

　　＜MPEG-I Scene Description Interactivity Framework＞
　非特許文献３においては、MPEG-I Scene Description Interactivity Frameworkについて記載されている。このフレームワークにおいては、メディアのインタラクティブ処理が定義される。インタラクティブ処理とは、ある実行条件が成立したことをトリガとしてメディア処理（アクション）が実行されるインタラクション型の処理である。このフレームワークにおいては、シーンディスクリプション（MPEG-I Scene Description）においてこの実行条件（トリガ）および処理内容（アクション）が提供される。つまり、非特許文献３においては、シーンディスクリプションによってメディアのインタラクティブ処理を制御するためのフレームワークについて記述されている。

　図２２に示すように、MPEG_scene_interactivityと称するMPEGインタラクティビティのglTF拡張機能がシーンレベルで導入される。このシーンレベルのMPEG_scene_interactivityの拡張は、ビヘイビア（bihavior）、トリガ（trigger）、およびアクション（action）の定義に基づいたセマンティクスのアプローチを採用している。図２３にそのセマンティクスの例を示す。

　ビヘイビアは、glTFノードに対応する専用仮想オブジェクトに対して、実行時にどの種類の対話性が許可されるかを定義する。ビヘイビアは、単数または複数のトリガと、単数または複数のアクションとを関連付ける機能を有する。トリガは、アクションを実行する前に満たすべき実行条件を定義する。つまり、トリガはインタラクティブ処理の実行条件を示す。アクションは、その動作がシーンにどのような影響を与えるかを定義する。つまり、アクションはインタラクティブ処理の処理内容を示す。ビヘイビアは、このようなトリガとアクションを関連付けることにより、インタラクティブ処理（どのような条件でどのような処理が実行されるか）を表現する。

　トリガとアクションのアーキテクチャの例を図２４に示す。トリガがノードに提供されるとアクションが返される。つまり、トリガは、何らかの形式のインタラクティビティ（対話性）のきっかけとなるイベントであり、アクションはそのトリガに対するインタラクション型のフィードバックである。例えば、（仮想の）３次元空間において、3Dオブジェクト同士の衝突が検出されると、アニメーション、音声、または触覚（例えば振動等）等といった、フィードバック（インタラクション型のアクション）が返される。

　このトリガのセマンティクスの例を図２５に示す。図２５に示されるように、実行条件のタイプ（type）が定義され、さらに各タイプについて詳細（各種項目）が定義される。例えば、このトリガのタイプには、VISIBIRITY、PROXIMITY、USER_INPUT、TIMED、COLLIDER等がある。VISIBIRITYは視錘台（画角）によって作動するトリガである。PROXIMITYは、仮想シーンとアバターとの間の距離によって作動するトリガである。USER_INPUTは、ハンドジェスチャ等のユーザインタラクションによって作動するトリガである。TIMEDは、タイムドメディアによって特定の時間に作動するトリガである。COLLIDERは、シーン内のオブジェクト同士の衝突によって作動するトリガである。

　また、アクションのセマンティクスの例を図２６および図２７に示す。図２６および図２７に示されるように、処理内容のタイプ（type）が定義され、さらに、各タイプについて詳細（各種項目）が定義される。例えば、このアクションのタイプには、ACTIVATE、TRANSFORM、ANIMATE、CONTROL_MEDIA、PLACE_AT、MANIPULATE、SET_MATERIAL等がある。ACTIVATEは、ノードに対するアプリケーションによる作動に関するアクションである。TRANSFORMは、ノードに適用する変換行列の適用に関するアクションである。ANIMATEは、アニメーションの再生動作（通常再生（Play）、一時停止（Pouse）、再生再開（Resume）、再生終了（Stop）等）に関するアクションである。CONTROL_MEDIAは、メディアの再生動作（通常再生（Play）、一時停止（Pouse）、再生再開（Resume）、再生終了（Stop）等）に関するアクションである。PLACE_ATは、ノードを指定位置に配置する事に関するアクションである。MANIPULATEは、ユーザのポインティングデバイスによるノードに対する操作（例えば、追跡、移動、平行移動、回転、スケール変換等）に関するアクションである。SET_MATERIALは、ノードに対するマテリアルの設定に関するアクションである。

　また、ビヘイビアのセマンティクスの例を図２８に示す。ビヘイビアにおいては、トリガとアクションの組み合わせが提供される。トリガとアクションはそれぞれ単数であってもよいし複数であってもよい。つまり、複数条件（and/or）による実行や、複数動作（シーケンシャル/同時）の実行が可能である。priorityは、複数のビヘイビアが同時に有効になった場合の優先度を示す。triggersControlは、複数のトリガ（trigger array）の組み合わせ条件（AND/OR）を示すフラグ情報である。actionsControlは、複数のアクション（action array）の組み合わせパタン（シーケンシャルに実行するか、並行して実行するか等）を示すフラグ情報である。InterruptActionは、シーンアップデート（SceneUpdate）の際にビヘイビアが「still-on-going」であれば実行するアクションである。

　MPEG_scene_interactionの拡張構造の例を図２９に示す。図２９において、トリガの対象となり得るものは、User Inputs、MPEG_media_collision、MPEG_avatar、MPEG_recommended_viewportである。またアクションの対象となり得るものは、MPEG_media、MPEG_haptic、MPEG_audio_spatial、MPEG_material_hapticである。

　実行時、アプリケーションは定義された各動作を反復し、図３０に示されるような手順に従って、関連するトリガの実現を確認する。まず、定義されたビヘイビアのトリガがアクティブ化されると、対応するアクションが起動される。ビヘイビアは、起動から定義されたアクションの完了までの間、「進行中」ステータスを持つ。複数のビヘイビアが同一ノードに対して同時に影響を与える場合、最も高い優先度を持つビヘイビアがこのノードに対して処理される。他のビヘイビアは同時に処理されない。このような処理が繰り返し実行される。

　また、新しいシーンディスクリプションが提供されると、アプリケーションは図３１に示されるような手順に従って処理を行う。シーンが更新される際に関連するアクションが実行中である場合、ビヘイビアは進行中であるとみなされる。シーン更新後もトリガとアクションの一意の関連付けが記述されている場合、そのビヘイビアは「まだ定義されている」とみなされる。ビヘイビアが「まだ定義されていない」場合は、その割り込みアクションが実行される。全ての割り込みアクション（割り込みアクションが存在する場合）が完了すると、アプリケーションは古いシーンデータを削除し、新しいデータが更新されたシーンディスクリプションと一致するとみなす。

　　＜ハプティクスメディア＞
　ところで、例えば非特許文献４に記載のように、2Dビデオコンテンツや3DoF（Degree of Freedom）/6DoFビデオコンテンツの構成要素であるオーディオメディアやビデオメディアに加えて、触覚情報（ハプティクスメディア（haptics media）とも称する）の符号化伝送技術の規格化が始まった。ハプティクスメディアは、例えば振動等を用いて仮想の感覚を表現する情報である。ハプティクスメディアは例えば、3次元空間を表現する情報である3Dデータに関連付けられて利用される。3Dデータには、例えば、3次元空間に配置された3Dオブジェクトの3次元形状を表現するコンテンツ（例えば、メッシュやポイントクラウド等）や、3次元空間に展開されるビデオコンテンツやオーディオコンテンツ（例えばビデオやオーディオの6DoFコンテンツ等）等が含まれる。

　なお、3Dデータに関連付けられたメディアはどのような情報であってもよく、このハプティクスメディアに限定されない。例えば、画像や音声等がこのメディアに含まれてもよい。3Dデータに関連付けられたメディア（例えば、画像、音声、振動等）には、シーン（3次元空間の状態）の時間方向の進行（変化）に同期して再生される同期型メディアと、ユーザ操作等によりシーンにおいて所定の条件が満たされる場合に再生される（つまり、所定のイベントに対して再生される）インタラクション型メディアとがある。同期型メディアのハプティクスメディアを同期型ハプティクスメディアとも称する。また、インタラクション型メディアのハプティクスメディアをインタラクション型ハプティクスメディアとも称する。同期型ハプティクスメディアは、例えば、風が吹いたり、3Dオブジェクトが移動したりした場合に、その様子に合わせて（そのシーンの変化の様子を表現するように）発生する振動等である。インタラクション型ハプティクスメディアは、例えば、ユーザのアバターが3Dオブジェクトに触れた場合、アバターが3Dオブジェクトを動かした場合、または、アバターが3Dオブジェクトにぶつかった場合等に、その感覚を表現するように発生する振動等である。勿論、これらはハプティクスメディアの一例であり、ハプティクスメディアはこれらの例に限定されない。

　また、3Dデータに関連付けられたメディアには、時間方向に変化し得るメディアと変化しないメディアとがある。

　「時間方向に変化し得るメディア」には、例えば、再生内容（アクション）が時間方向に変化し得るメディアが含まれてもよい。その「再生内容が時間方向に変化し得るメディア」には、例えば、動画像や、長時間の音声情報や振動情報等が含まれてもよい。また、「再生内容が時間方向に変化し得るメディア」には、例えば、所定の時間帯においてのみ再生されるメディアや、時刻に応じた内容が再生されるメディア（例えば、時刻に応じて表示される画像、再生される音声、振動の仕方等が切り替わるメディア）等が含まれてもよい。また、「時間方向に変化し得るメディア」には、例えば、紐づけられる再生条件（イベント）が時間方向に変化し得るメディアが含まれてもよい。その「紐づけられる再生条件が時間方向に変化し得るメディア」には、例えば、触れる、押す、倒す等の、イベントの内容が時間方向に変化し得るメディアが含まれてもよい。また、「紐づけられる再生条件が時間方向に変化し得るメディア」には、例えば、イベントが発生する位置が時間方向に変化し得るメディアが含まれてもよい。例えば、時刻T1においてはオブジェクトの右側に触れた場合に再生され、時刻T2においてはオブジェクトの左側に触れた場合に再生されるメディアが含まれてもよい。勿論、時間方向に変化するものであればどのようなメディアであってもよく、これらの例には限定されない。これに対して、「時間方向に変化しないメディア」には、例えば、再生内容（アクション）が時間方向に変化しないメディア（どの時刻においてもアクションが同一なメディア）が含まれてもよい。また、「時間方向に変化しないメディア」には、例えば、紐づけられる再生条件（イベント）が時間方向に変化しないメディア（イベントの内容やイベントが発生する位置がどの時刻においても同一なメディア）が含まれてもよい。本明細書において、時間方向に変化し得ることを「動的」とも称する。例えば、時間方向に変化し得るメディア（Timed media）のことを動的なメディアとも称する。例えば、時間方向に変化し得るハプティクスメディアを動的なハプティクスメディアとも称する。また、時間方向に変化しないことを「静的」とも称する。例えば、時間方向に変化しないメディアのことを静的なメディアとも称する。例えば、時間方向に変化しないハプティクスメディアを静的なハプティクスメディアとも称する。

　　＜シーンディスクリプションのハプティクスメディア用の拡張＞
　また、非特許文献４に記載のように、ハプティクスメディアの符号化伝送技術の規格化と並行して、MPEG-I Scene Descriptionでハプティクスメディアを扱うための技術探索検討が始まった。非特許文献４においては、シーンディスクリプションにおいてハプティクスメディアをサポートするために、図３２に示されるように、MPEG_haptic、MPEG_material_haptic、MPEG_avatar、およびMPEG_interactionの4つのgLTF拡張が提案された。

　MPEG_hapticは、シーンディスクリプションから参照されるハプティクスメディアのデータ（ハプティクスデータとも称する）を参照するための情報（例えばリンク情報等）である。このハプティクスデータは、オーディオや画像等のデータと同様に、独立したデータとして存在する。また、このハプティクスデータは、符号化されていてもよい（符号化データであってもよい）。

　既に定義されている3Dオブジェクトのmesh/material拡張であるMPEG_material_hapticは、ハプティクス素材情報（3Dオブジェクト（メッシュ）の何処にどのハプティクスメディアが関連付けられるか等）を定義する。この素材情報には、静的なハプティクスメディアの情報が定義される。また、このハプティクス素材情報には、MPEG_hapticにアクセスするための情報（例えばリンク情報等）を定義することもできる。

　MPEG_avatarは、3次元空間を移動するユーザの3D形状（アバター）を定義する。MPEG_interactionは、アバター（ユーザ）が実行可能な条件（ユーザができること）と可能なアクション（オブジェクトの反応方法）をリストアップする。例えば、MPEG_interactionは、ユーザ（MPEG_avatar）と3Dオブジェクトとの間で発生するインタラクション（つまり、イベント）と、その結果発生するアクションを定義する（例えば、ユーザが3Dオブジェクトを触ると振動が起きる等）。

　例えば、MPEG_avatarに定義されるアバターがMPEG_interactionに定義されるインタラクション（イベント）を発生させると、そのインタラクションに対応するアクションを起こすように、MPEG_materal_hapticsの素材情報に従ってインタラクションが発生した場所等に応じた静的なハプティクスメディアが生成され、再生される（例えば、振動デバイスにより出力される振動がレンダリングされる）。MPEG_material_hapticは、シーンディスクリプションのテクスチャ情報に紐づく静的な情報である。または、MPEG_materal_hapticsに示されるMPEG_hapticが参照するハプティクスデータが読み出され、動的なハプティクスメディアが生成され、再生される。つまり、インタラクティビティのトリガ（実行条件）により、MPEG_hapticは、アクションのmedia_controlから起動される。MPEG_hapticのセマンティクスの例を図３３に示す。

　非特許文献５においては、このようなハプティクスメディアの符号化方法が提案されている。この方法では、図３４の上側に示されるようなアーキテクチャを用いて、ハプティクス信号（wav）や、ハプティクス信号記述（ivs,ahap）が符号化され、インターチェンジフォーマット（gmap）やディストリビューションフォーマット（mpg）が生成される。図３４の下側の表は、ディストリビューションフォーマットの構成例を示す。この表に示されるように、ハプティクスメディアのビットストリームは、バイナリヘッダ（Binary Header）とバイナリボディ（Binary Body）とにより構成される。バイナリヘッダには、ハプティクスメディアの符号化データ（Haptics stream）の特性、レンダリングデバイス、符号化手法の情報等が格納される。また、バイナリボディには、ハプティクスメディアの符号化データ（Haptics stream）が格納される。

　バイナリヘッダは、例えば図３５に示されるように、ハプティクスファイルメタデータ（Haptics file metadata）、アバターメタデータ（avatar metadata）、パーセプションメタデータ（perception metadata）、リファレンスデバイスメタデータ（reference device metadata）、およびトラックヘッダ（track header）を含み、図３５に示されるような階層構造を有する。

　ハプティクスファイルメタデータは、ハプティクスメディアに関する情報を含む。そのハプティクスファイルメタデータのセマンティクスの例を図３６に示す。アバターメタデータは、アバターに関する情報を含む。そのアバターメタデータのセマンティクスの例を図３７に示す。パーセプションメタデータは、アイテムがどのような振る舞いをするかに関する情報を含む。そのパーセプションメタデータのセマンティクスの例を図３８に示す。リファレンスデバイスメタデータは、参照デバイス（どのデバイスをどのように動かすか）に関する情報を含む。そのリファレンスデバイスメタデータのセマンティクスの例を図３９に示す。トラックヘッダは、アイテムのバイナリデータが格納されるトラックと、そのバイナリデータの再生に関する情報を含む。そのトラックヘッダのセマンティクスの例を図４０に示す。

　バイナリボディは、バンドヘッダ（Band header）、トランジェントバンドボディ（Transient band body）、カーブバンドボディ（Curve band body）、ウェーブバンドボディ（Wave band body）を含む。そのバンドヘッダのセマンティクスの例を図４１に示す。また、トランジェントバンドボディおよびカーブバンドボディのセマンティクスの例を図４２に示す。

　ウェーブバンドボディは、ベクトリアルバンドボディ（Vectorial band body）、クオンタイズドバンドボディ（Quantized band body）、ウェーブレットバンドボディ（Wavelet band body）のいずれかで符号化される。それらのセマンティクスの例を図４３に示す。

　このような情報を有するハプティクスメディアのデータ構造は、一般的に、図４４に示されるような階層構造を有する。

　図４５に示されるように、参照デバイスは、ID（id）、名前（name）、および本体の位置（body location）によって定義される。オプションで、デバイス毎に特定のプロパティを指定することができる。

　図４６に示されるように、トラックは、ID（id）、記述（description）、身体部分（body_part）、混合重み（mixing weight）、ゲイン値（gain value）、および触覚バンドのリスト（list of haptic bands）によって定義される。参照デバイスID（reference device id）、必要なサンプリング周波数（the desired sampling frequency）、サンプル数（the sample count）など、さまざまな追加プロパティを指定することもできる。

　図４７に示されるように、ハプティックバンドは、バンドのタイプ（the type of the band）、エンコードモダリティ（the encoding modality）、補間関数（the interpolation function）、ウィンドウの長さ（window length）、周波数範囲（frequency range）、およびハプティックエフェクトのリスト（list of haptic effects）によって定義されます。

　図４８に示されるように、エフェクトは、位置（タイムスタンプ）（its position (timestamp)）、フェーズ（its phase）、信号タイプ（its signal type）、およびキーフレームのリスト（list of keyframes）によって定義される。

　　＜ISOBMFFのハプティクスメディア用の拡張＞
　また、非特許文献８においては、そのハプティクスメディアが符号化されたビットストリームをISOBMFFに格納するための基本機能が作成された。図４９は、そのハプティクスメディアを格納するためのISOBMFFの拡張例を示す図である。非特許文献８に記載の方法の場合、ハプティクスメディアを格納するために、メディアタイプ'hapt'が定義された。また、メディアインフォメーションボックスとして、ハプティクスサンプルエントリ（HapticsSampleEntry）が用意された。ただし、ハプティクスサンプルエントリの内部の構造については未定義であった。

　　＜ハプティクスメディアのユーザ体験＞
　しかしながら、例えば振動等のハプティクスメディアのユーザ体験は、そのハプティクスメディアを出力するハプティクスデバイスの仕様に大きく依存する。そのため、出力に使用されるハプティクスデバイスの仕様によっては、コンテンツ制作者の意図通りのハプティクス体験を提供することが困難になるおそれがあった。

　＜３．ハプティクスメディアの再生制御のための拡張＞
　　＜周波数特性の違い＞
　例えば、ハプティクスメディアの場合、そのハプティクスメディアの再生（復号、変換、レンダリング等）を想定した参照デバイスが定義され、その情報が付加される。つまり、ハプティクスメディアを生成する際に、制作者は、そのハプティクスメディアを出力するハプティクスデバイス（の仕様）を想定し、そのハプティクスデバイスにより出力されることを前提としてハプティクスメディアを生成する。このように出力デバイスとして想定されたハプティクスデバイスの仕様のモデルを参照モデルとも称する。ハプティクスメディアを再生する端末は、その端末が有するハプティクスデバイス（端末ハプティクスデバイスとも称する）とこの参照デバイスとの特性の違いを考慮して、復号したハプティクスメディアに対して、信号変換処理を行い、レンダリングする。しかしながら、この端末ハプティクスデバイスと参照デバイスとの間の周波数特性の違いが大きい場合、端末が、コンテンツ制作者が意図したハプティクス体験を提供することが困難になるおそれがあった。

　　＜方法１＞
　そこで、図５０の表の最上段に示されるように、ハプティクスメディアに関する周波数特性情報を提供してもよい（方法１）。

　例えば、第１の情報処理装置が、シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する。

　例えば、図５１の上側に示されるように、MPEGメディアの拡張パラメータとして、より具体的には、MPEG_media.media.alternatives alternatives arraryのextraParamsオブジェクトの拡張として、HapticsDeviceInfoオブジェクトを定義する。HapticsDeviceInfoオブジェクトは、ハプティクスメディアやそのハプティクスメディアを出力するハプティクスデバイスの周波数特性に関する情報を提供するオブジェクトである。このHapticsDeviceInfoオブジェクトより提供される周波数特性は、コンテンツ制作者により指定されるか、または、コンテンツ等、コンテンツ制作者による制作物に基づいて指定される。つまり、このHapticsDeviceInfoオブジェクトには、コンテンツ制作者の意図が反映される。

　つまり、シーンディスクリプションにおいて、MPEGメディアの拡張パラメータとしてこのようなHapticsDeviceInfoオブジェクトを定義することにより、第１の情報処理装置に対して、ハプティクスメディアに関する周波数特性情報を提供することができる。第１の情報処理装置は、そのハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図に従って、ハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、第２の情報処理装置は、このようなHapticsDeviceInfoオブジェクトが存在するシーンディスクリプションを供給することにより、第１の情報処理装置に対して、ハプティクスメディアに関する周波数特性情報を提供することができる。第１の情報処理装置は、その周波数特性に応じて、ハプティクスメディアの出力を制御することができる。つまり、第２の情報処理装置は、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、MPEG_media.media.alternatives.tracks tracks arrayを拡張して、このようなHapticsDeviceInfoオブジェクトを定義してもよい。

　　＜ハプティクスデバイスの選択＞
　このハプティクスメディアに関する周波数特性情報（HapticsDeviceInfoオブジェクト）に基づく、ハプティクスメディアの出力制御はどのような制御であってもよい。例えば、ハプティクスメディアを出力するハプティクスデバイスの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その周波数特性情報により許容される仕様を有するハプティクスデバイスにそのハプティクスメディアを出力させてもよい。換言するに、出力制御部が、周波数特性が許容されないハプティクスデバイスの適用を禁止してもよい。

　このように制御することにより、第１の情報処理装置は、コンテンツ制作者の意図に従って、ハプティクスメディアを出力するハプティクスデバイスを選択することができる。つまり、第１の情報処理装置は、ハプティクスメディアを、コンテンツ制作者が意図した周波数特性を有するハプティクスデバイスから出力させることができる。換言するに、コンテンツ制作者が、ハプティクスデバイスがハプティクスメディアを出力することによりどのように振舞うか（ユーザがどのようなハプティクス体験をするか）を制御することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディアの選択＞
　また、ハプティクスメディアの出力制御は、出力するハプティクスメディアの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適なハプティクスメディアを選択し、その選択したハプティクスメディアをそのハプティクスデバイスに出力させてもよい。

　つまり、互いに異なる周波数特性を有する複数のハプティクスメディアを用意しておき、ハプティクスメディアを再生する端末（第１の情報処理装置）が有するハプティクスデバイスの周波数特性に最も近いハプティクスメディアを選択して再生する。このように互いに異なる周波数特性を有する複数のハプティクスメディアを用意することにより、第１の情報処理装置は、より多様な周波数特性のハプティクスデバイスに対応することができる。つまり、第１の情報処理装置は、より多様な周波数特性のハプティクスデバイスを用いてハプティクスメディアを出力することができる。また、第１の情報処理装置は、適用するハプティクスデバイスの周波数特性により近い周波数特性のハプティクスメディアを選択することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsDeviceInfoオブジェクト定義＞
　また、このハプティクスメディアに関する周波数特性情報（HapticsDeviceInfoオブジェクト）に、どのような情報が含まれていてもよい。例えば、この周波数特性情報が、参照デバイスの中心周波数を示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアの中心周波数における振幅の強さを示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される、ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含んでもよい。

　例えば、図５１の下側に示されるように、HapticsDeviceInfoオブジェクトに、CenterFrequency、AcceptableFrequencyRange、SignalAcceleration、およびAcceptableSignalAcceleration等のオブジェクト定義が含まれてもよい。CenterFrequencyは、参照デバイスの中心周波数f0（単位Hz）を示す情報である。AcceptableFrequencyRangeは、端末ハプティクスデバイスの中心周波数の許容範囲を示す情報である。AcceptableFrequencyRangeは、プラスマイナスの周波数（単位Hz）により、この許容範囲を示す。SignalAccelerationは、ハプティクスメディアの信号の中心周波数における振幅の強さを、加速度のpeak to peakの値（単位GPP）を用いて示す情報である。AcceptableSignalAccelerationは、端末ハプティクスデバイスにおいて、ハプティクスメディアの信号の中心周波数における振幅の強さの許容範囲を、加速度のpeak to peakの値を用いて示す情報である。AcceptableSignalAccelerationは、プラスマイナスの値（単位GPP）により、この許容範囲を示す。

　図５２にHapticsDeviceInfoオブジェクトを含むシーンディスクリプションの記述例を示す。図５２に示されるように、この場合、ハプティクスメディアhap1として、３種類のデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4）が用意されている。そして、haptic1.mp4、haptic2.mp4、haptic3.mp4のそれぞれについて、拡張パラメータ（exParam）として、HapticsDeviceInfoオブジェクトが記述されており、上述した各種定義が記述されている。このhaptic1.mp4、haptic2.mp4、haptic3.mp4は、互いに異なる周波数特性を有する。例えば、haptic1.mp4については、参照デバイスの中心周波数が40Hzであり、端末ハプティクスデバイスの中心周波数の許容範囲がプラスマイナス20Hzであり、ハプティクスメディアの信号の中心周波数における振幅の強さが5GPPであり、端末ハプティクスデバイスにおいて、ハプティクスメディアの信号の中心周波数における振幅の強さの許容範囲がプラスマイナス1GPPであることが示されている。

　HapticsDeviceInfoオブジェクトにこれらの情報が含まれることにより、第１の情報処理装置は、これらの情報に基づいてハプティクスメディアの出力を制御することができる。例えば、第１の情報処理装置は、中心周波数がCenterFrequency定義とAcceptableFrequencyRange定義により示される許容範囲内であるハプティクスデバイスを、ハプティクスデバイスメディアの出力に適用することができる。また、第１の情報処理装置は、ハプティクスメディアの信号の中心周波数における振幅の強さがSignalAcceleration定義とAcceptableSignalAcceleration定義により示される許容範囲内であるハプティクスデバイスを、ハプティクスデバイスメディアの出力に適用することができる。また、第１の情報処理装置は、中心周波数や信号の中心周波数における振幅の強さ等に基づいて、ハプティクスデバイスに最適なハプティクスメディアを選択し、再生することができる。換言するに、第２の情報処理装置は、第１の情報処理装置を介して、これらの情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、AcceptableFrequencyRangeは、プラス方向とマイナス方向で互いに独立したオブジェクト定義でもよい。つまり、プラス方向の値とマイナス方向の値が互いに異なり得るようにしてもよい。同様に、AcceptableSignalAccelerationは、プラス方向とマイナス方向で互いに独立したオブジェクト定義でもよい。つまり、プラス方向の値とマイナス方向の値が互いに異なり得るようにしてもよい。

　また、HapticsDeviceInfoオブジェクトに、CenterFrequency、AcceptableFrequencyRange、SignalAcceleration、およびAcceptableSignalAccelerationの内の一部のオブジェクト定義が含まれてもよい。例えば、CenterFrequency定義とAcceptableFrequencyRange定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。また、SignalAcceleration定義とAcceptableSignalAcceleration定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。また、CenterFrequency定義とSignalAcceleration定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。

　　＜信号立ち上がり特性の違い＞
　また、端末ハプティクスデバイスと参照デバイスとの間の信号立ち上がり特性の違いが大きい場合、端末が、コンテンツ制作者が意図したハプティクス体験を提供することが困難になるおそれがあった。

　ここで、信号立ち上がり特性とは、信号の到達すべき加速度や、信号の加速度の所定の到達レベルに達するまでの時間等といった、信号の変化の速度に関する特性を示す。つまり、その信号がどの程度の速さで変化するかを示す。デバイスの信号立ち上がり特性とは、そのデバイスが対応可能な（出力することができる）、つまり、そのデバイスが信号の変化をどの程度の速さまで表現することができるかを示す。

　例えば、ハプティクスメディアの信号立ち上がり特性に対して、出力可能な信号立ち上がり特性が遅過ぎるハプティクスデバイスでは、そのハプティクスメディアを正しく出力することができないおそれがあった。例えば、そのハプティクスデバイスが、そのハプティクスメディアが表現する高速に振動が変化する様子を表現することができないおそれがあった。つまり、コンテンツ制作者が意図したハプティクス体験を提供することが困難になるおそれがあった。

　　＜方法２＞
　そこで、図５０の表の上から２段目に示されるように、ハプティクスメディアに関する信号立ち上がり特性情報を提供してもよい（方法２）。

　例えば、第１の情報処理装置が、シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する。

　例えば、図５３の上側に示されるように、MPEGメディアの拡張パラメータとして、より具体的には、MPEG_media.media.alternatives alternatives arraryのextraParamsオブジェクトの拡張として、HapticsDeviceTimingInfoオブジェクトを定義する。HapticsDeviceTimingInfoオブジェクトは、ハプティクスメディアやそのハプティクスメディアを出力するハプティクスデバイスの信号立ち上がり特性に関する情報を提供するオブジェクトである。このHapticsDeviceTimingInfoオブジェクトより提供される信号立ち上がり特性は、コンテンツ制作者により指定されるか、または、コンテンツ等、コンテンツ制作者による制作物に基づいて指定される。つまり、このHapticsDeviceTimingInfoオブジェクトには、コンテンツ制作者の意図が反映される。

　つまり、シーンディスクリプションにおいて、MPEGメディアの拡張パラメータとしてこのようなHapticsDeviceTimingInfoオブジェクトを定義することにより、第１の情報処理装置に対して、ハプティクスメディアに関する信号立ち上がり情報を提供することができる。第１の情報処理装置は、そのハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図に従って、ハプティクスメディアの出力を制御することができる。例えば、参照デバイスの周波数特性、信号立ち上がり特性の違いの許容範囲を提示することで、コンテンツ制作者が意図したタイミングでハプティクス体験を提供することができる。また、様々な周波数特性、信号立ち上がり特性のハプティクスデバイスに対して、複数の特性のハプティクスメディアを選択可能にすることで、端末デバイスのハプティクスデバイスの特性に適切なハプティクスメディアを選択し、復号、変換、レンダリング処理を行うことで、コンテンツ制作者が意図したタイミングでハプティクス体験を提供することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、第２の情報処理装置は、このようなHapticsDeviceTimingInfoオブジェクトが存在するシーンディスクリプションを供給することにより、第１の情報処理装置に対して、ハプティクスメディアに関する信号立ち上がり特性情報を提供することができる。第１の情報処理装置は、その信号立ち上がり特性に応じて、ハプティクスメディアの出力を制御することができる。つまり、第２の情報処理装置は、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、MPEG_media.media.alternatives.tracks tracks arrayを拡張して、このようなHapticsDeviceTimingInfoオブジェクトを定義してもよい。

　　＜ハプティクスデバイスの選択＞
　このハプティクスメディアに関する信号立ち上がり特性情報（HapticsDeviceTimingInfoオブジェクト）に基づく、ハプティクスメディアの出力制御はどのような制御であってもよい。例えば、ハプティクスメディアを出力するハプティクスデバイスの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスにそのハプティクスメディアを出力させてもよい。換言するに、出力制御部が、信号立ち上がり特性が許容されないハプティクスデバイスの適用を禁止してもよい。

　このように制御することにより、第１の情報処理装置は、コンテンツ制作者の意図に従って、ハプティクスメディアを出力するハプティクスデバイスを選択することができる。つまり、第１の情報処理装置は、ハプティクスメディアを、コンテンツ制作者が意図した信号立ち上がり特性を有するハプティクスデバイスから出力させることができる。換言するに、コンテンツ制作者が、ハプティクスデバイスがハプティクスメディアを出力することによりどのように振舞うか（ユーザがどのようなハプティクス体験をするか）を制御することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディアの選択＞
　また、ハプティクスメディアの出力制御は、出力するハプティクスメディアの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適なハプティクスメディアを選択し、その選択したハプティクスメディアをそのハプティクスデバイスに出力させてもよい。

　つまり、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアを用意しておき、ハプティクスメディアを再生する端末（第１の情報処理装置）が有するハプティクスデバイスの信号立ち上がり特性に最も近いハプティクスメディアを選択して再生する。このように互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアを用意することにより、第１の情報処理装置は、より多様な信号立ち上がり特性のハプティクスデバイスに対応することができる。つまり、第１の情報処理装置は、より多様な信号立ち上がり特性のハプティクスデバイスを用いてハプティクスメディアを出力することができる。また、第１の情報処理装置は、適用するハプティクスデバイスの信号立ち上がり特性により近い信号立ち上がり特性のハプティクスメディアを選択することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsDeviceTimingInfoオブジェクト定義＞
　また、このハプティクスメディアに関する信号立ち上がり特性情報（HapticsDeviceTimingInfoオブジェクト）に、どのような情報が含まれていてもよい。例えば、この信号立ち上がり特性情報が、参照デバイスの中心周波数を示す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアの信号が到達すべき加速度を表す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアの信号の加速度の到達レベルを表す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含んでもよい。

　例えば、図５３の下側に示されるように、HapticsDeviceTimingInfoオブジェクトに、CenterFrequency、SignalAcceleration、SignalLevelRate、およびMaxReachTime等のオブジェクト定義が含まれてもよい。CenterFrequencyは、参照デバイスの中心周波数f0（単位Hz）を示す情報である。SignalAccelerationは、信号が到達すべき加速度（単位G）を表す情報である。SignalLevelRateは、信号の加速度の到達レベル（単位％）を表す情報である。MaxReachTimeは、信号の加速の到達レベルに達するまでの最大許容遅延時間（単位ms）を表す情報である。

　図５４にHapticsDeviceTimingInfoオブジェクトを含むシーンディスクリプションの記述例を示す。図５４に示されるように、この場合、ハプティクスメディアhap1として、３種類のデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4）が用意されている。そして、haptic1.mp4、haptic2.mp4、haptic3.mp4のそれぞれについて、拡張パラメータ（exParam）として、HapticsDeviceTimingInfoオブジェクトが記述されており、上述した各種定義が記述されている。このhaptic1.mp4、haptic2.mp4、haptic3.mp4は、互いに異なる信号立ち上がり特性を有する。例えば、haptic1.mp4については、参照デバイスの中心周波数が40Hzであり、信号が到達すべき加速度が5Gであり、信号の加速度の到達レベルが80％であり、信号の加速の到達レベルに達するまでの最大許容遅延時間が50msであることが示されている。

　HapticsDeviceTimingInfoオブジェクトにこれらの情報が含まれることにより、第１の情報処理装置は、これらの情報に基づいてハプティクスメディアの出力を制御することができる。例えば、第１の情報処理装置は、信号の加速の到達レベルに達するまでの遅延時間が、CenterFrequency、SignalAcceleration、SignalLevelRate、MaxReachTime等の定義により示される許容範囲内であるハプティクスデバイスを、ハプティクスデバイスメディアの出力に適用することができる。また、第１の情報処理装置は、信号の加速の到達レベルに達するまでの遅延時間に基づいて、ハプティクスデバイスに最適なハプティクスメディアを選択し、再生することができる。換言するに、第２の情報処理装置は、第１の情報処理装置を介して、これらの情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜複数ハプティクスメディアの再生＞
　例えば、単一のハプティクスデバイスにおいて、複数のハプティクスメディアを同時に出力する場合、端末の処理能力によっては、その全てのハプティクスメディアを処理できない場合がある。ここで、「同時」とは、複数のメディアの出力期間が重複することを意味する。複数メディアの出力開始タイミングや出力終了タイミングが一致している場合は勿論含まれるが、それらが一致していない場合も含まれる。

　つまり、ハプティクスデバイスが同時に再生可能なハプティクスメディアの数よりも多いハプティクスメディアを同時に再生するシーンが発生する場合が考えられる。このような場合、例えば、その複数のハプティクスメディアの中から出力可能な数のハプティクスメディアを選択して出力する方法が考えられる。また、複数のハプティクスメディアを合成することにより、ハプティクスメディアの数を、ハプティクスデバイスが出力可能な数まで低減し、出力する方法が考えられる。

　しかしながら、このようなハプティクスメディアの選択や合成は、その再生時において、出力するハプティクスデバイスの仕様等に基づいて行われるので、それをコンテンツ制作者側が制御することは困難であった。例えば、どのハプティクスメディアを優先的に選択するかをコンテンツ制作者側が制御することは困難であった。また、ハプティクスメディアを合成する際に、例えば、レベル調整等の信号処理をどのように行うかをコンテンツ制作者側が制御することは困難であった。そのため、コンテンツ制作者が意図しないハプティクスメディアが出力されるおそれがあり、コンテンツ制作者が意図したハプティクス体験を提供することが困難になるおそれがあった。

　　＜方法３＞
　そこで、図５０の表の上から３段目に示されるように、複数ハプティクスメディアの選択または合成のための選択合成情報を提供してもよい（方法３）。この選択合成情報として、例えば、ハプティクスメディアの優先度に関する優先度情報を提供してもよい。

　例えば、第１の情報処理装置が、シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する。

　　＜出力制御＞
　このハプティクスメディアの出力の制御はどのような制御であってもよい。例えば、複数のハプティクスメディアから所望のハプティクスメディアを選択してもよいし、複数のハプティクスメディアを合成してもよい。例えば、第１の情報処理装置において、出力制御部が、優先度情報において単一のデバイスにおいて同時に再生可能なメディアとして指定される、複数のハプティクスメディアを選択し、その選択した複数のハプティクスメディアを合成してハプティクスデバイスに出力させてもよい。

　　＜優先度情報＞
　また、優先度情報には、ハプティクスメディアの優先度に関する情報であれば、どのような情報が含まれてもよい。例えば、図５５に示されるように、MPEGメディアの拡張パラメータとして、より具体的には、MPEG_media.mediaのmedia arraryの拡張として、複数のmediaから任意のmediaを取得可能にするPriorityGroupと取得優先度を示すProirityを拡張定義する。

　PriorityGroupは、同時に再生可能なメディアのグループを示す情報である。つまり、選択や合成が可能な複数のハプティクスメディアに対して互いに同一のPriorityGroupが割り当てられる。つまり、優先度情報は、単一のデバイスにおいて同時に再生可能なメディアのグループを示す情報を含んでもよい。

　Proirityは、そのグループ内における各ハプティクスメディアの優先度を示す情報である。つまり、優先度情報は、そのグループ内のメディアの優先度を示す情報を含んでもよい。

　これらの値は、コンテンツ制作者により指定されるか、または、コンテンツ等、コンテンツ制作者による制作物に基づいて指定される。つまり、このPriorityGroupやProirityの値には、コンテンツ制作者の意図が反映される。

　つまり、シーンディスクリプションにおいて、MPEGメディアの拡張パラメータとしてこのようなPriorityGroupやPriporityを定義することにより、第１の情報処理装置に対して、ハプティクスメディアの優先度に関する優先度情報を提供することができる。第１の情報処理装置は、その優先度情報に基づいて、出力するハプティクスメディアを選択したり合成したりすることにより、コンテンツ制作者の意図に従って、ハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、第２の情報処理装置は、このような優先度情報が存在するシーンディスクリプションを供給することにより、第１の情報処理装置に対して、その優先度情報を提供することができる。したがって、第１の情報処理装置は、その優先度情報に応じて、ハプティクスメディアの出力を制御することができる。つまり、第２の情報処理装置は、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、MPEG_media.media.alternativeを拡張して、このような優先度情報を定義してもよい。

　　＜合成情報＞
　また、上述の選択合成情報として、例えば、ハプティクスメディアの合成に関する合成情報を提供してもよい。例えば、第１の情報処理装置において、出力制御部が、シーンディスクリプションに含まれる、ハプティクスメディアの合成に関する合成情報に基づいて、選択した複数のハプティクスメディアを合成してもよい。また、第２の情報処理装置の供給部が供給するシーンディスクリプションには、ハプティクスメディアの合成に関する合成情報がさらに存在してもよい。

　例えば、図５６の上側に示されるように、MPEGメディアの拡張パラメータとして、より具体的には、MPEG_media.media.alternatives alternatives arraryのextraParamsオブジェクトの拡張として、HapticsMediaInfoオブジェクトを定義する。HapticsMediaInfoオブジェクトは、ハプティクスメディアの合成に利用される、メディアの情報と許容範囲指定の情報を提供するオブジェクトであり、ハプティクスメディアの合成に関する合成情報である。このHapticsMediaInfoオブジェクトより提供される合成情報は、コンテンツ制作者により指定されるか、または、コンテンツ等、コンテンツ制作者による制作物に基づいて指定される。つまり、このHapticsMediaInfoオブジェクトには、コンテンツ制作者の意図が反映される。

　つまり、シーンディスクリプションにおいて、MPEGメディアの拡張パラメータとしてこのようなHapticsMediaInfoオブジェクトを定義することにより、第１の情報処理装置に対して、合成情報を提供することができる。第１の情報処理装置は、その合成情報に基づくことにより、コンテンツ制作者の意図に従って複数のハプティクスメディアを合成することができる。例えば、その合成する各ハプティクスメディアに対して、コンテンツ制作者の意図に従って適宜信号レベル等の調整をしてから合成することができる。そして、第１の情報処理装置は、その合成結果（合成ハプティクスメディアとも称する）をハプティクスデバイスに出力させることができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、第２の情報処理装置は、このようなHapticsMediaInfoオブジェクトが存在するシーンディスクリプションを供給することにより、第１の情報処理装置に対して、合成情報を提供することができる。第１の情報処理装置は、その合成情報に基づいて複数のハプティクスメディアを合成し、出力することができる。つまり、第２の情報処理装置は、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsMediaInfoオブジェクト定義＞
　また、この合成情報（HapticsMediaInfoオブジェクト）に、どのような情報が含まれていてもよい。例えば、この合成情報が、ハプティクスメディアの信号の振幅の強さを示す情報を含んでもよい。また、この合成情報が、ハプティクスメディアの信号のピークレベルを示す情報を含んでもよい。また、この合成情報が、ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。また、この合成情報が、複数のハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。

　例えば、図５６の下側に示されるように、HapticsMediaInfoオブジェクトに、SignalAcceleration、SignalLevel、MaxSignalDistortionLevel、およびMixedMaxSignalDistortionLevel等のオブジェクト定義が含まれてもよい。SignalAccelerationは、ハプティクスメディアの信号の振幅の強さを加速度のpeak to peakの値（単位GPP）で示す情報である。SignalLevelは、ハプティクスメディアの信号のピークレベル（単位dB）を示す情報である。MaxSignalDistortionLevelは、信号の振幅を大きくする許容最大レベル（単位dB）を示す情報である。MixedMaxSignalDistortionLevelは、複数の信号を合成した後に振幅を大きくする場合の許容最大レベル（単位dB）を示す情報である。この情報は、Priorityが最も高いハプティクスメディアに付加することができる。

　なお、HapticsMediaInfoオブジェクトには、SignalAcceleration、SignalLevel、MaxSignalDistortionLevel、およびMixedMaxSignalDistortionLevelの内の一部のオブジェクト定義が含まれてもよい。例えば、SignalAcceleration定義がHapticsMediaInfoオブジェクトに含まれてもよい。また、SignalLevel定義がHapticsMediaInfoオブジェクトに含まれてもよい。また、MaxSignalDistortionLevel定義とMixedMaxSignalDistortionLevel定義がHapticsMediaInfoオブジェクトに含まれてもよい。

　図５７に上述の優先度情報や合成情報を含むシーンディスクリプションの記述例を示す。図５７に示されるように、この場合、ハプティクスメディアhap1として、４種類のデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4、haptic4.mp4）が用意されている。そして、haptic1.mp4、haptic2.mp4、haptic3.mp4、haptic4.mp4のそれぞれについて、PriorityGroup、Priority、およびHapticsMediaInfoオブジェクトが記述されている。このhaptic1.mp4、haptic2.mp4、haptic3.mp4、haptic4.mp4には、互いに異なる選択合成情報が付されている。例えば、haptic1.mp4については、ハプティクスメディアの信号の振幅の強さが5GPPであり、ハプティクスメディアの信号のピークレベルが0dBであり、信号の振幅を大きくする許容最大レベルがプラスマイナス6dBであり、複数の信号を合成した後に振幅を大きくする場合の許容最大レベルがプラスマイナス6dBであることが示されている。

　シーンディスクリプションにこれらの情報が含まれることにより、第１の情報処理装置は、これらの情報に基づいてハプティクスメディアを選択したり合成したりすることができる。例えば、第１の情報処理装置は、PriorityGroupに基づいて、同時再生可能な複数のハプティクスメディアを選択することができる。また、第１の情報処理装置は、Priorityに基づいて、その複数のハプティクスメディアの中から優先度の高いハプティクスメディアを選択することができる。また、第１の情報処理装置は、HapticsMediaInfoオブジェクトの各種情報に基づいて、複数のハプティクスメディアの信号を調整して合成することができる。また、第１の情報処理装置は、ハプティクスメディアの信号の強度を示すアクセラレート情報等を用いて、信号の調整の必用性を事前に判断し、適切なタイミングにおいてそのハプティクスメディアを取得することができる。また、第１の情報処理装置は、Priority情報とアクセラレート情報により、端末の処理能力に応じた、復号処理と変換処理を考慮した選択処理が可能になり、その端末で最適なハプティクス体験を提供することができる。換言するに、第２の情報処理装置は、第１の情報処理装置を介して、これらの情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜マルチモーダルな代替手段＞
　ハプティクスメディアの出力制御として、例えば上述のようにコンテンツ制作者の意図に従って適用するハプティクスデバイスを選択する場合、ハプティクスメディアを出力可能な性能を有するハプティクスデバイスが存在しないことがあり得る。また、上述のようにハプティクスデバイスの性能に対して最適なハプティクスメディアを選択して出力させる場合、そのハプティクスデバイスが出力可能な仕様のハプティクスメディアが存在しないことがあり得る。これらのケースの場合、ハプティクスメディアを再生・出力することができない。

　　＜方法４＞
　そこで、図５０の表の上から４段目に示されるように、マルチモーダルな代替手段に関する情報を提供してもよい（方法４）。

　例えば、第１の情報処理装置が、再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、そのハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、そのハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する。

　例えば、第２の情報処理装置が、再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する。

　例えば、図５８に示されるように、MPEGメディアの拡張パラメータとして、より具体的には、MPEG_media.mediaに Multi-modal alternativeのarrayを拡張して、Multi-modal alternativesオブジェクトを定義する。Multi-modal alternativesオブジェクトは、ハプティクスメディアのマルチモーダルな代替手段（代わりに再生する代替メディア）を指定する情報である。このオブジェクトにおいては、配列として代替メディアを複数指定することもできる。このオブジェクトにおいて代替メディアとして指定するアイテムは、例えば、URIとトラック等でもよい。この代替メディアは、ハプティクスメディア以外のメディア（本明細書において異種メディアとも称する）も対象とすることができる。例えば、ハプティクスメディアの代替メディアとしてオーディオメディアやビデオメディアが指定されてもよい。つまり、例えば、あるコンテンツにおいて、ユーザのアバターがオブジェクトに衝突した際に、その衝突時の振動が出力される演出があるとする。例えば、出力されるハプティクスメディアに対して適切な性能を有するハプティクスデバイスが存在しなかったり、存在するハプティクスデバイスに対して適切な信号特性を有するハプティクスメディアが得られなかったりして、その衝突時の演出を実行できないとする。その場合、その振動の代わりとなり得る音声や映像を出力することにより、本来の衝突時の演出（振動）を疑似的に実行することができる。Multi-modal alternativesオブジェクトによって、このようなマルチモーダルな代替手段を指定することにより、このような疑似的な演出を実行することができる。このMulti-modal alternativesオブジェクトにより示される代替手段は、コンテンツ制作者により指定されるか、または、コンテンツ等、コンテンツ制作者による制作物に基づいて指定される。つまり、このMulti-modal alternativesオブジェクト（代替手段）には、コンテンツ制作者の意図が反映される。

　つまり、シーンディスクリプションにおいて、MPEGメディアの拡張パラメータとしてこのようなMulti-modal alternativesオブジェクトを定義することにより、第１の情報処理装置に対して、マルチモーダルな代替手段の指定を提供することができる。第１の情報処理装置は、その指定された代替手段を用いて演出を疑似的に実行することにより、コンテンツ制作者の意図に従って、ハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、第２の情報処理装置は、このようなMulti-modal alternativesオブジェクトが存在するシーンディスクリプションを供給することにより、第１の情報処理装置に対して、マルチモーダルな代替手段の指定を提供することができる。第１の情報処理装置は、その指定された代替手段を用いて演出を疑似的に実行することができる。つまり、第２の情報処理装置は、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、図５９に示されるように、MPEG_media.media.alternativesを拡張し、マルチモーダルな代替手段を指定することができるようにしてもよい。つまり、alternativesオブジェクトにより、異種メディアを代替手段として指定することができるようにしてもよい。

　　＜方法５＞
　以上においては、シーンディスクリプションを用いて、上述した方法１乃至方法４を実現するように説明したが、シーンディスクリプションの代わりに、MPEG-DASH（Moving Picture Experts Group Dynamic Adaptive Streaming over HTTP（Hypertext Transfer Protocol））で用いられるMPD（Media Presentation Description）を適用してもよい。つまり、図５０の表の上から５段目に示されるように、MPDを用いて上述した各種情報を提供してもよい（方法５）。

　　＜MPDを用いた周波数特性情報の提供＞
　例えば、MPDを用いて上述した方法１を実現してもよい。すなわち、MPDを用いてハプティクスメディアに関する周波数特性情報を提供してもよい。

　例えば、第１の情報処理装置が、MPDに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、MPDに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアに関する周波数特性情報が存在するMPDを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアに関する周波数特性情報が存在するMPDを供給する。

　例えば、図６０に示されるように、MPDのエッセンシャルプロパティを拡張してHapticsDeviceInfoオブジェクト（ハプティクスメディアに関する周波数特性情報）を定義する。より具体的には、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022: hapticsDeviceInfo”」の記述を付加する。＜方法１＞において上述したように、このHapticsDeviceInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する周波数特性情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する周波数特性情報を含むMPDを供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスデバイスの選択＞
　シーンディスクリプションの場合と同様に、このハプティクスメディアに関する周波数特性情報（HapticsDeviceInfoオブジェクト）に基づく、ハプティクスメディアの出力制御はどのような制御であってもよい。例えば、ハプティクスメディアを出力するハプティクスデバイスの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その周波数特性情報により許容される仕様を有するハプティクスデバイスにそのハプティクスメディアを出力させてもよい。換言するに、出力制御部が、周波数特性が許容されないハプティクスデバイスの適用を禁止してもよい。このように制御することにより、第１の情報処理装置は、コンテンツ制作者の意図に従って、ハプティクスメディアを出力するハプティクスデバイスを選択することができる。

　　＜ハプティクスメディアの選択＞
　また、シーンディスクリプションの場合と同様に、ハプティクスメディアの出力制御は、出力するハプティクスメディアの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適なハプティクスメディアを選択し、その選択したハプティクスメディアをそのハプティクスデバイスに出力させてもよい。このようにすることにより、第１の情報処理装置は、より多様な周波数特性のハプティクスデバイスを用いてハプティクスメディアを出力することができる。また、第１の情報処理装置は、適用するハプティクスデバイスの周波数特性により近い周波数特性のハプティクスメディアを選択することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsDeviceInfoオブジェクト定義＞
　また、シーンディスクリプションの場合と同様に、このハプティクスメディアに関する周波数特性情報（HapticsDeviceInfoオブジェクト）に、どのような情報が含まれていてもよい。例えば、この周波数特性情報が、参照デバイスの中心周波数を示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアの中心周波数における振幅の強さを示す情報を含んでもよい。また、この周波数特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される、ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含んでもよい。

　例えば、図６０に示されるように、HapticsDeviceInfoオブジェクトに、@CenterFrequency、@AcceptableFrequencyRange、@SignalAcceleration、および@AcceptableSignalAcceleration等の属性が定義されてもよい。@CenterFrequencyは、参照デバイスの中心周波数f0（単位Hz）を示す属性である。@AcceptableFrequencyRangeは、端末ハプティクスデバイスの中心周波数の許容範囲を示す属性である。@AcceptableFrequencyRangeは、プラスマイナスの周波数（単位Hz）により、この許容範囲を示す。@SignalAccelerationは、ハプティクスメディアの信号の中心周波数における振幅の強さを、加速度のpeak to peakの値（単位GPP）を用いて示す属性である。@AcceptableSignalAccelerationは、端末ハプティクスデバイスにおいて、ハプティクスメディアの信号の中心周波数における振幅の強さの許容範囲を、加速度のpeak to peakの値を用いて示す属性である。AcceptableSignalAccelerationは、プラスマイナスの値（単位GPP）により、この許容範囲を示す。

　図６１にHapticsDeviceInfoオブジェクトを含むMPDの記述例を示す。図６１に示されるように、この場合、１つのアダプテーションセット（AdaptationSet）内に３つのリプレゼンテーション（Representation）が設けられ、各リプレゼンテーションに、周波数特性が互いに異なるハプティクスデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4）の情報が格納されている。つまりこの場合、アダプテーションセット内のリプレゼンテーション群の中の１つが選択され、そのリプレゼンテーションに対応するハプティクスデータが適用される。各リプレゼンテーションのエッセンシャルプロパティにおいて、それぞれのハプティクスデータの周波数特性情報（HapticsDeviceInfoオブジェクト）が定義され、その属性（@CenterFrequency、@AcceptableFrequencyRange、@SignalAcceleration、および@AcceptableSignalAcceleration）が設定されている。例えば、haptic1.mp4については、参照デバイスの中心周波数が40Hzであり、端末ハプティクスデバイスの中心周波数の許容範囲がプラスマイナス20Hzであり、ハプティクスメディアの信号の中心周波数における振幅の強さが5GPPであり、端末ハプティクスデバイスにおいて、ハプティクスメディアの信号の中心周波数における振幅の強さの許容範囲がプラスマイナス1GPPであることが示されている。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置および第２の情報処理装置は、このMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、シーンディスクリプションの場合と同様に、AcceptableFrequencyRangeは、プラス方向とマイナス方向で互いに独立したオブジェクト定義でもよい。つまり、プラス方向の値とマイナス方向の値が互いに異なり得るようにしてもよい。同様に、AcceptableSignalAccelerationは、プラス方向とマイナス方向で互いに独立したオブジェクト定義でもよい。つまり、プラス方向の値とマイナス方向の値が互いに異なり得るようにしてもよい。

　また、シーンディスクリプションの場合と同様に、HapticsDeviceInfoオブジェクトに、CenterFrequency、AcceptableFrequencyRange、SignalAcceleration、およびAcceptableSignalAccelerationの内の一部のオブジェクト定義が含まれてもよい。例えば、CenterFrequency定義とAcceptableFrequencyRange定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。また、SignalAcceleration定義とAcceptableSignalAcceleration定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。また、CenterFrequency定義とSignalAcceleration定義が、HapticsDeviceInfoオブジェクトに含まれてもよい。

　なお、各ハプティクスデータの情報を互いに異なるアダプテーションセットに格納してもよい。その場合のMPDの記述例を図６２に示す。ID「１」乃至「３」の各アダプテーションセットは、「Group=”0”」に属する。つまり、これらのアダプテーションセットは、互いに同一のグループに属す。これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。つまり、各ハプティクスデータのHapticsDeviceInfoオブジェクトとその属性は、各リプレゼンテーションのエッセンシャルプロパティにおいて定義される。その定義の方法は、図６１の場合と同様である。図６１の例の場合と同様に、第１の情報処理装置および第２の情報処理装置は、このようなMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、プリセレクション（Preselection）により、アダプテーションセットを１つ選択してもよい。その場合のMPDの記述例を図６３に示す。この例の場合も、図６２の例の場合と同様に、各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納され、各ハプティクスデータのHapticsDeviceInfoオブジェクトとその属性は、各リプレゼンテーションのエッセンシャルプロパティにおいて定義される。その定義の方法は、図６１の場合と同様である。図６１の例の場合と同様に、第１の情報処理装置および第２の情報処理装置は、このようなMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜MPDを用いた信号立ち上がり特性情報の提供＞
　例えば、MPDを用いて上述した方法２を実現してもよい。すなわち、MPDを用いてハプティクスメディアに関する信号立ち上がり特性情報を提供してもよい。

　例えば、第１の情報処理装置が、MPDに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、MPDに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアに関する信号立ち上がり特性情報が存在するMPDを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアに関する信号立ち上がり特性情報が存在するMPDを供給する。

　例えば、図６４に示されるように、MPDのエッセンシャルプロパティを拡張してHapticsDeviceTimingInfoオブジェクト（ハプティクスメディアに関する信号立ち上がり特性情報）を定義する。より具体的には、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022: hapticsDeviceTimingInfo”」の記述を付加する。＜方法２＞において上述したように、このHapticsDeviceTimingInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する信号立ち上がり特性情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する信号立ち上がり特性情報を含むMPDを供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスデバイスの選択＞
　シーンディスクリプションの場合と同様に、このハプティクスメディアに関する信号立ち上がり特性情報（HapticsDeviceTimingInfoオブジェクト）に基づく、ハプティクスメディアの出力制御はどのような制御であってもよい。例えば、ハプティクスメディアを出力するハプティクスデバイスの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスにそのハプティクスメディアを出力させてもよい。換言するに、出力制御部が、信号立ち上がり特性が許容されないハプティクスデバイスの適用を禁止してもよい。このように制御することにより、第１の情報処理装置は、コンテンツ制作者の意図に従って、ハプティクスメディアを出力するハプティクスデバイスを選択することができる。

　　＜ハプティクスメディアの選択＞
　また、シーンディスクリプションの場合と同様に、ハプティクスメディアの出力制御は、出力するハプティクスメディアの選択であってもよい。例えば、第１の情報処理装置において、出力制御部が、その信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適なハプティクスメディアを選択し、その選択したハプティクスメディアをそのハプティクスデバイスに出力させてもよい。このようにすることにより、第１の情報処理装置は、より多様な信号立ち上がり特性のハプティクスデバイスを用いてハプティクスメディアを出力することができる。また、第１の情報処理装置は、適用するハプティクスデバイスの信号立ち上がり特性により近い信号立ち上がり特性のハプティクスメディアを選択することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　例えば、図６４に示されるように、HapticsDeviceTimingInfoオブジェクトに、@CenterFrequency、@SignalAcceleration、@SignalLevelRate、および@MaxReachTime等の属性が定義されてもよい。@CenterFrequencyは、参照デバイスの中心周波数f0（単位Hz）を示す属性である。@SignalAccelerationは、信号が到達すべき加速度（単位G）を表す属性である。@SignalLevelRateは、信号の加速度の到達レベル（単位％）を表す属性である。@MaxReachTimeは、信号の加速の到達レベルに達するまでの最大許容遅延時間（単位ms）を表す属性である。

　図６５にHapticsDeviceTimingInfoオブジェクトを含むMPDの記述例を示す。図６５に示されるように、この場合、１つのアダプテーションセット（AdaptationSet）内に３つのリプレゼンテーション（Representation）が設けられ、各リプレゼンテーションに、信号立ち上がり特性が互いに異なるハプティクスデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4）の情報が格納されている。つまりこの場合、アダプテーションセット内のリプレゼンテーション群の中の１つが選択され、そのリプレゼンテーションに対応するハプティクスデータが適用される。各リプレゼンテーションのエッセンシャルプロパティにおいて、それぞれのハプティクスデータの信号立ち上がり特性情報（HapticsDeviceTimingInfoオブジェクト）が定義され、その属性（@CenterFrequency、@SignalAcceleration、@SignalLevelRate、および@MaxReachTime）が設定されている。例えば、haptic1.mp4については、参照デバイスの中心周波数が40Hzであり、信号が到達すべき加速度が5Gであり、信号の加速度の到達レベルが80％であり、信号の加速の到達レベルに達するまでの最大許容遅延時間が50msであることが示されている。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置および第２の情報処理装置は、このMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、各ハプティクスデータの情報を互いに異なるアダプテーションセットに格納してもよい。その場合のMPDの記述例を図６６に示す。ID「１」乃至「３」の各アダプテーションセットは、「Group=”0”」に属する。つまり、これらのアダプテーションセットは、互いに同一のグループに属す。これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。つまり、各ハプティクスデータのHapticsDeviceTimingInfoオブジェクトとその属性は、各リプレゼンテーションのエッセンシャルプロパティにおいて定義される。その定義の方法は、図６５の場合と同様である。図６５の例の場合と同様に、第１の情報処理装置および第２の情報処理装置は、このようなMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、プリセレクション（Preselection）により、アダプテーションセットを１つ選択してもよい。その場合のMPDの記述例を図６７に示す。この例の場合も、図６６の例の場合と同様に、各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納され、各ハプティクスデータのHapticsDeviceTimingInfoオブジェクトとその属性は、各リプレゼンテーションのエッセンシャルプロパティにおいて定義される。その定義の方法は、図６５の場合と同様である。図６５の例の場合と同様に、第１の情報処理装置および第２の情報処理装置は、このようなMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜MPDを用いた選択合成情報の提供＞
　例えば、MPDを用いて上述した方法３を実現してもよい。すなわち、MPDを用いてハプティクスメディアに関する選択合成情報を提供してもよい。

　例えば、第１の情報処理装置が、MPDに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、MPDに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報が存在するMPDを供給する供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報が存在するMPDを供給する。

　例えば、図６８に示されるように、MPDのエッセンシャルプロパティを拡張してHapticsMediaInfoオブジェクト（ハプティクスメディアに関する選択合成情報）を定義する。より具体的には、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022: hapticsMediaInfo”」の記述を付加する。＜方法３＞において上述したように、このHapticsMediaInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する選択合成情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する選択合成情報を含むMPDを供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜出力制御＞
　このハプティクスメディアの出力の制御はどのような制御であってもよい。例えば、複数のハプティクスメディアから所望のハプティクスメディアを選択してもよいし、複数のハプティクスメディアを合成してもよい。例えば、第１の情報処理装置において、出力制御部が、選択合成情報に基づいて複数のハプティクスメディアを選択し、選択した複数のハプティクスメディアを合成してハプティクスデバイスに出力させてもよい。

　　＜HapticsMediaInfoオブジェクト定義＞
　また、この選択合成情報には、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する情報であれば、どのような情報が含まれてもよい。例えば、この選択合成情報が、ハプティクスメディアの優先度を示す情報を含んでもよい。また、この選択合成情報が、ハプティクスメディアの信号の振幅の強さを示す情報を含んでもよい。また、この選択合成情報が、ハプティクスメディアの信号のピークレベルを示す情報を含んでもよい。また、この選択合成情報が、ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。また、この選択合成情報が、複数のハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。

　例えば、図６８に示されるように、HapticsMediaInfoオブジェクトに、@Priority、@SignalAcceleration、@SignalLevel、@MaxSignalDistortionLevel、および@MixedMaxSignalDistortionLevel等の属性が定義されてもよい。@Priorityは、ハプティクスメディアの優先度を示す属性である。@SignalAccelerationは、ハプティクスメディアの信号の振幅の強さを加速度のpeak to peakの値（単位GPP）で示す属性である。@SignalLevelは、ハプティクスメディアの信号のピークレベル（単位dB）を示す属性である。@MaxSignalDistortionLevelは、信号の振幅を大きくする許容最大レベル（単位dB）を示す属性である。@MixedMaxSignalDistortionLevelは、複数の信号を合成した後に振幅を大きくする場合の許容最大レベル（単位dB）を示す属性である。この属性は、Priorityが最も高いハプティクスメディアに付加することができる。

　図６９にHapticsMediaInfoオブジェクトを含むMPDの記述例を示す。図６９に示されるように、この場合、ハプティクスデータ（haptic1.mp4、haptic2.mp4、haptic3.mp4、haptic4.mp4）の情報が、互いに異なるアダプテーションセット（のリプレゼンテーション）に格納されている。これらのアダプテーションセットは、互いに同一のグループ（Group=”1”）に属す。つまり、これらのアダプテーションセットは、これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータのHapticsMediaInfoオブジェクトとその属性は、各アダプテーションセットのリプレゼンテーションのエッセンシャルプロパティにおいて定義される。例えば、haptic1.mp4については、ハプティクスメディアの優先度が１であり、ハプティクスメディアの信号の振幅の強さが5GPPであり、ハプティクスメディアの信号のピークレベルが0dBであり、信号の振幅を大きくする許容最大レベルがプラスマイナス6dBであり、複数の信号を合成した後に振幅を大きくする場合の許容最大レベルがプラスマイナス6dBであることが示されている。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置および第２の情報処理装置は、このMPDを用いて、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜方法６＞
　また、図５０の表の最下段に示されるように、シーンディスクリプションの代わりに、ファイルコンテナのサンプルエントリを用いて上述した各種情報を提供してもよい（方法６）。3Dデータやハプティクスメディア等のコンテンツは、配信用ファイル（ファイルコンテナとも称する）に格納して配信してもよい。その場合、上述したようなハプティクスメディア等に関する各種情報を、そのファイルコンテナに格納してもよい。このようなファイルコンテナとして例えば、ISOBMFF（International Organization for Standardization Base Media File Format）ファイルがある。ISOBMFFは、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であり、例えば動画像（MP4ファイル）等のコンテンツデータを配信するための配信用ファイルである。3Dデータやハプティクスメディア等のコンテンツを配信する際に、このようなISOBMFFファイルにコンテンツを格納して配信するようにしてもよい。その場合、さらに、上述したようなハプティクスメディア等に関する各種情報を、シーンディスクリプションやMPDを用いて提供する代わりに、そのISOBMFFファイルに格納してもよい。

　　＜ファイルコンテナを用いた周波数特性情報の提供＞
　例えば、ファイルコンテナのサンプルエントリ（SampleEntry）を用いて上述した方法１を実現してもよい。すなわち、ISOBMFFファイルのサンプルエントリを用いてハプティクスメディアに関する周波数特性情報を提供してもよい。

　例えば、第１の情報処理装置が、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、サンプルエントリにハプティクスメディアに関する周波数特性情報を格納するファイルコンテナを供給する第１の供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、サンプルエントリにハプティクスメディアに関する周波数特性情報を格納するファイルコンテナを供給する。

　例えば、図７０に示されるように、ISOBMFFファイルのサンプルエントリ（sample entry）を拡張してハプティクスメディア用のサンプルエントリ「HapticSampleEntry」を定義し、ハプティクスメディア用のコンフィグレーションボックス「HapticConfigurationBox()」を定義する。なお、サンプルエントリの4CC ‘hap1’はハプティクスメディア用のコーデック「haptics codec」を適用することを示す。そして、図７０に示されるように、HapticConfigurationBox()において、HapticsDeviceInfoオブジェクトを格納するボックス「HapticsDeviceInforbox()」を拡張定義する。なお、このHapticsDeviceInforbox()は、任意のボックスにおいて定義してもよい。例えば、サンプルエントリ以外のボックスにおいて定義してもよい。サンプルストラクチャ（MPEGHapticSample()）においては、図７０に示されるように、BandHeader()、TransientBandBody()、CureveBandBody()、VectorialBandBody()、QuantizedBandBody()、WaveletBandBody()等が定義される。

　シーンディスクリプションの場合と同様に、このHapticsDeviceInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する周波数特性情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する周波数特性情報を含むファイルコンテナ（例えばISOBMFFファイル）を供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　HapticsDeviceInforbox()の例を図７１に示す。図７１に示されるように、このHapticsDeviceInforbox()において、HapticsDeviceInfoオブジェクトの各種情報が定義される。例えば、CenterFrequency、AcceptableFrequencyRange、SignalAcceleration、およびAcceptableSignalAccelerationが定義される。これらの情報は、シーンディスクリプションの場合と同様である。

　図７２にHapticsDeviceInfoオブジェクトを含むISOBMFFファイルの構成例を示す。図７２に示されるように、この例の場合、３つのハプティクスデータが１つのファイル（点線枠）の互いに異なるトラック（Haptics track1、Haptics track2、Haptics track3）に格納されている。各ハプティクスデータに対応するHapticsDeviceInfoオブジェクトは、各トラックのサンプルエントリにおいて定義される。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置は、各トラックのサンプルエントリに格納されるこの周波数特性情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　また、上述した複数のハプティクスデータを、互いに異なるファイルに格納してもよい。例えば、互いに異なるハプティクスデータを格納する各トラック（図７２の例の場合、Haptics track1、Haptics track2、Haptics track3）を、互いに異なるファイル（例えば、haptics1.mp4、haptics2.mp4、haptics3.mp4等）に格納してもよい。

　　＜MPDからの参照＞
　また、このハプティクストラック（Haptics Track）がDASHのMPDから参照され、MPDからInitialization Segmentを取得することで、track情報を取得する構造でもよい。例えば、複数のハプティクスメディアが互いに異なるハプティクストラックに格納されており、第１の情報処理装置において、出力制御部が、ハプティクストラックの情報が存在するMPDの記述に基づいて、そのハプティクストラックのサンプルエントリに含まれるハプティクスメディアに関する周波数特性情報を参照し、その参照した周波数特性情報に基づいてハプティクスメディアを選択してもよい。また、第２の情報処理装置が、互いに異なる前記ハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPDを供給する第２の供給部をさらに備えてもよい。その場合の、MPDの記述例を図７３乃至図７５に示す。図７３は、アダプテーションセット内の複数のリプレゼンテーションから１つを選択する場合の記述例を示す。つまり、MPDにおいて、複数のハプティクストラックの情報が、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在してもよい。この例では、Haptics Track1がhaptics1.mp4に格納され、Haptics Track2がhaptics2.mp4に格納され、Haptics Track3がhaptics3.mp4に格納されているものとする。図７３に示されるように、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceInfo”」の記述により、HapticsDeviceInfoオブジェクトの取得を示す。つまり、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceInfoオブジェクトを取得し、そのHapticsDeviceInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　図７４は、各ハプティクスデータの情報を互いに異なるアダプテーションセットに格納する場合の、MPDの記述例を示す。つまり、MPDにおいて、複数のハプティクストラックの情報が、互いに異なるアダプテーションセットのリプレゼンテーションに存在してもよい。ID「１」乃至「３」の各アダプテーションセットは、「Group="0"」に属する。つまり、これらのアダプテーションセットは、互いに同一のグループに属す。これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。各リプレゼンテーションにおいて、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceInfo”」が定義され、HapticsDeviceInfoオブジェクトの取得が示される。したがって、この例の場合も、図７３の例の場合と同様に、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceInfoオブジェクトを取得し、そのHapticsDeviceInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　図７５は、プリセレクション（Preselection）によりアダプテーションセットを１つ選択する場合のMPDの記述例を示す。この例の場合も、図７４の例の場合と同様に、各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。つまり、MPDにおいて、複数のハプティクストラックの情報が、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在してもよい。各リプレゼンテーションにおいて、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceInfo”」が定義され、HapticsDeviceInfoオブジェクトの取得が示される。したがって、この例の場合も、図７４の例の場合と同様に、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceInfoオブジェクトを取得し、そのHapticsDeviceInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイルコンテナを用いた信号立ち上がり特性情報の提供＞
　例えば、ファイルコンテナのサンプルエントリ（SampleEntry）を用いて上述した方法２を実現してもよい。すなわち、ISOBMFFファイルのサンプルエントリを用いてハプティクスメディアに関する信号立ち上がり特性情報を提供してもよい。

　例えば、第１の情報処理装置が、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、サンプルエントリにハプティクスメディアに関する信号立ち上がり特性情報を格納するファイルコンテナを供給する第１の供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、サンプルエントリにハプティクスメディアに関する信号立ち上がり特性情報を格納するファイルコンテナを供給する。

　例えば、図７６に示されるように、ISOBMFFファイルのサンプルエントリ（sample entry）を拡張してハプティクスメディア用のサンプルエントリ「HapticSampleEntry」を定義し、ハプティクスメディア用のコンフィグレーションボックス「HapticConfigurationBox()」を定義する。なお、サンプルエントリの4CC ‘hap1’はハプティクスメディア用のコーデック「haptics codec」を適用することを示す。そして、図７６に示されるように、HapticConfigurationBox()において、HapticsDeviceTimingInfoオブジェクトを格納するボックス「HapticsDeviceTimingInfoBox()」を拡張定義する。なお、このHapticsDeviceTimingInfoBox()は、任意のボックスにおいて定義してもよい。例えば、サンプルエントリ以外のボックスにおいて定義してもよい。サンプルストラクチャ（MPEGHapticSample()）においては、図７６に示されるように、BandHeader()、TransientBandBody()、CureveBandBody()、VectorialBandBody()、QuantizedBandBody()、WaveletBandBody()等が定義される。

　シーンディスクリプションの場合と同様に、このHapticsDeviceTimingInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する信号立ち上がり特性情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する信号立ち上がり特性情報を含むファイルコンテナ（例えばISOBMFFファイル）を供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsDeviceTimingInfoオブジェクト定義＞
　また、シーンディスクリプションの場合と同様に、このハプティクスメディアに関する信号立ち上がり特性情報（HapticsDeviceTimingInfoオブジェクト）に、どのような情報が含まれていてもよい。例えば、この信号立ち上がり特性情報が、参照デバイスの中心周波数を示す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアの信号が到達すべき加速度を表す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアの信号の加速度の到達レベルを表す情報を含んでもよい。また、この信号立ち上がり特性情報が、ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含んでもよい。

　HapticsDeviceTimingInfoBox()の例を図７７に示す。図７７に示されるように、このHapticsDeviceTimingInfoBox()において、HapticsDeviceTimingInfoオブジェクトの各種情報が定義される。例えば、CenterFrequency、SignalAcceleration、SignalLevelRate、およびMaxReachTimeが定義される。これらの情報は、シーンディスクリプションの場合と同様である。

　図７８にHapticsDeviceTimingInfoオブジェクトを含むISOBMFFファイルの構成例を示す。図７８に示されるように、この例の場合、３つのハプティクスデータが１つのファイル（点線枠）の互いに異なるトラック（Haptics track1、Haptics track2、Haptics track3）に格納されている。各ハプティクスデータに対応するHapticsDeviceTimingInfoオブジェクトは、各トラックのサンプルエントリにおいて定義される。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置は、各トラックのサンプルエントリに格納されるこの信号立ち上がり特性情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、上述した複数のハプティクスデータを、互いに異なるファイルに格納してもよい。例えば、互いに異なるハプティクスデータを格納する各トラック（図７８の例の場合、Haptics track1、Haptics track2、Haptics track3）を、互いに異なるファイル（例えば、haptics1.mp4、haptics2.mp4、haptics3.mp4等）に格納してもよい。

　　＜MPDからの参照＞
　また、このハプティクストラック（Haptics Track）がDASHのMPDから参照され、MPDからInitialization Segmentを取得することで、track情報を取得する構造でもよい。例えば、複数のハプティクスメディアが互いに異なるハプティクストラックに格納されており、第１の情報処理装置において、出力制御部が、ハプティクストラックの情報が存在するMPDの記述に基づいて、そのハプティクストラックのサンプルエントリに含まれる信号立ち上がり特性情報を参照し、その参照した信号立ち上がり特性情報に基づいてハプティクスメディアを選択してもよい。また、第２の情報処理装置が、互いに異なるハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPDを供給する第２の供給部をさらに備えてもよい。その場合の、MPDの記述例を図７９乃至図８１に示す。図７９は、アダプテーションセット内の複数のリプレゼンテーションから１つを選択する場合の記述例を示す。つまり、MPDにおいて、複数のハプティクストラックの情報が、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在してもよい。この例では、Haptics Track1がhaptics1.mp4に格納され、Haptics Track2がhaptics2.mp4に格納され、Haptics Track3がhaptics3.mp4に格納されているものとする。図７９に示されるように、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceTimingInfo”」の記述により、HapticsDeviceTimingInfoオブジェクトの取得を示す。つまり、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceTimingInfoオブジェクトを取得し、そのHapticsDeviceTimingInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　図８０は、各ハプティクスデータの情報を互いに異なるアダプテーションセットに格納する場合の、MPDの記述例を示す。つまり、MPDにおいて、複数のハプティクストラックの情報が、互いに異なるアダプテーションセットのリプレゼンテーションに存在してもよい。ID「１」乃至「３」の各アダプテーションセットは、「Group="0"」に属する。つまり、これらのアダプテーションセットは、互いに同一のグループに属す。これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。各リプレゼンテーションにおいて、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceTimingInfo”」が定義され、HapticsDeviceTimingInfoオブジェクトの取得が示される。したがって、この例の場合も、図７９の例の場合と同様に、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceTimingInfoオブジェクトを取得し、そのHapticsDeviceTimingInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　図８１は、プリセレクション（Preselection）によりアダプテーションセットを１つ選択する場合のMPDの記述例を示す。この例の場合も、図８０の例の場合と同様に、各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。つまり、MPDにおいて、複数のハプティクストラックの情報が、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在してもよい。各リプレゼンテーションにおいて、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsDeviceTimingInfo”」が定義され、HapticsDeviceTimingInfoオブジェクトの取得が示される。したがって、この例の場合も、図８０の例の場合と同様に、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsDeviceTimingInfoオブジェクトを取得し、そのHapticsDeviceTimingInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイルコンテナを用いた選択合成情報の提供＞
　例えば、ファイルコンテナのサンプルエントリ（SampleEntry）を用いて上述した方法３を実現してもよい。すなわち、ISOBMFFファイルのサンプルエントリを用いてハプティクスメディアに関する選択合成情報を提供してもよい。

　例えば、第１の情報処理装置が、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、そのハプティクスメディアの出力を制御する出力制御部を備えるようにする。例えば、第１の情報処理装置が実行する第１の情報処理方法において、ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、そのハプティクスメディアの出力を制御する。

　例えば、第２の情報処理装置が、サンプルエントリにハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報を格納するファイルコンテナを供給する第１の供給部を備えるようにする。例えば、第２の情報処理装置が実行する第２の情報処理方法において、サンプルエントリにハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報を格納するファイルコンテナを供給する。

　例えば、図８２に示されるように、ISOBMFFファイルのサンプルエントリ（sample entry）を拡張してハプティクスメディア用のサンプルエントリ「HapticSampleEntry」を定義し、ハプティクスメディア用のコンフィグレーションボックス「HapticConfigurationBox()」を定義する。なお、サンプルエントリの4CC ‘hap1’はハプティクスメディア用のコーデック「haptics codec」を適用することを示す。そして、図８２に示されるように、HapticConfigurationBox()において、HapticsMediaInfoオブジェクトを格納するボックス「HapticsMediaInforBox()」を拡張定義する。なお、このHapticsMediaInforBox()は、任意のボックスにおいて定義してもよい。例えば、サンプルエントリ以外のボックスにおいて定義してもよい。サンプルストラクチャ（MPEGHapticSample()）においては、図８２に示されるように、BandHeader()、TransientBandBody()、CureveBandBody()、VectorialBandBody()、QuantizedBandBody()、WaveletBandBody()等が定義される。

　シーンディスクリプションの場合と同様に、このHapticsMediaInfoオブジェクトには、コンテンツ制作者の意図が反映される。したがって、第１の情報処理装置は、このハプティクスメディアに関する選択合成情報に基づいてハプティクスメディアの出力を制御することにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。また、第２の情報処理装置は、このハプティクスメディアに関する選択合成情報を含むファイルコンテナ（例えばISOBMFFファイル）を供給することにより、第１の情報処理装置を介して、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜HapticsMediaInfoオブジェクト定義＞
　また、この選択合成情報には、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する情報であれば、どのような情報が含まれてもよい。例えば、この選択合成情報が、ハプティクスメディアの信号の振幅の強さを示す情報を含んでもよい。また、この選択合成情報が、ハプティクスメディアの信号のピークレベルを示す情報を含んでもよい。また、この選択合成情報が、ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。また、この選択合成情報が、複数のハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含んでもよい。

　HapticsMediaInforBox()の例を図８３に示す。図８３に示されるように、このHapticsMediaInforBox()において、HapticsMediaInfoオブジェクトの各種情報が定義される。例えば、SignalAcceleration、SignalLevel、MaxSignalDistortionLevel、およびMixedMaxSignalDistortionLevelが定義される。これらの情報は、シーンディスクリプションの場合と同様である。

　図８４にHapticsMediaInfoオブジェクトを含むISOBMFFファイルの構成例を示す。図８４に示されるように、この例の場合、４つのハプティクスデータが１つのファイル（点線枠）の互いに異なるトラック（Haptics track1、Haptics track2、Haptics track3、Haptics track4）に格納されている。各ハプティクスデータに対応するHapticsMediaInfoオブジェクトは、各トラックのサンプルエントリにおいて定義される。したがって、シーンディスクリプションの場合と同様に、第１の情報処理装置は、各トラックのサンプルエントリに格納されるこの選択合成情報に基づいてハプティクスメディアの出力を制御することができる。したがって、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　なお、上述した複数のハプティクスデータを、互いに異なるファイルに格納してもよい。例えば、互いに異なるハプティクスデータを格納する各トラック（図８４の例の場合、Haptics track1、Haptics track2、Haptics track3、Haptics track4）を、互いに異なるファイル（例えば、haptics1.mp4、haptics2.mp4、haptics3.mp4、haptics4.mp4等）に格納してもよい。

　　＜MPDからの参照＞
　また、このハプティクストラック（Haptics Track）がDASHのMPDから参照され、MPDからInitialization Segmentを取得することで、track情報を取得する構造でもよい。例えば、複数のハプティクスメディアが互いに異なるハプティクストラックに格納されており、第１の情報処理装置において、出力制御部が、そのハプティクストラックの情報が存在するMPDの記述に基づいて、そのハプティクストラックのサンプルエントリに含まれる選択合成情報を参照し、その参照した選択合成情報に基づいてハプティクスメディアを選択してもよい。また、第２の情報処理装置が、互いに異なるハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPDを供給する第２の供給部をさらに備えてもよい。その場合の、MPDの記述例を図８５に示す。図８５に示されるように、この場合、ハプティクスデータ（haptics1.mp4、haptics2.mp4、haptics3.mp4、haptics4.mp4）の情報が、互いに異なるアダプテーションセット（のリプレゼンテーション）に格納されている。つまり、MPDにおいて、複数のハプティクストラックの情報が、互いに異なるアダプテーションセットに存在してもよい。これらのアダプテーションセットは、互いに同一のグループ（Group="1"）に属す。つまり、これらのアダプテーションセットは、これは、これらのアダプテーションセットの中の１つが選択されて、そのハプティクスデータが適用されることを示す。各ハプティクスデータの情報は、各アダプテーションセットのリプレゼンテーションに格納される。各リプレゼンテーションにおいて、「EssentialProperty schemeIdUri=“urn:mpeg:haptics:2022:hapticsMediaInfo”」が定義され、HapticsMediaInfoオブジェクトの取得が示される。したがって、第１の情報処理装置は、このようなMPDを用いて、ISOBMFFに格納されるHapticsMediaInfoオブジェクトを取得し、そのHapticsMediaInfoオブジェクトに基づいてハプティクスメディアの出力を制御することができる。つまり、第１の情報処理装置および第２の情報処理装置は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜組み合わせ＞
　上述した方法１乃至方法６は、単独で適用することもできるし、複数を適宜組み合わせて適用してもよい。また、これらの方法を、上述した以外の方法と組み合わせて適用してもよい。

　例えば、本実施例に記載されているサンプルエントリ（SampleEntry）に格納されるハプティクスメディア用のコンフィグレーションボックス（hapticConfigurationBox）下のHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderといったデータ構造体、または、hapticsMediaInfo、hapticsDeveiinfo、およびhapticsDeviceTimingInfoといった、ハプティクス再生のための選択情報のデータ構造体を定義してもよい。そして、シーンディスクリプション規格のMPEG.mediaの拡張により、DASH規格のEssentialPropertyの拡張により、または、SampleEntryに格納されるhapticConfigurationBox下、または、他の階層下のbox拡張定義によりその値を格納してもよい。また、SampleEntryに格納されるhapticConfigurationBox下、または、他の階層下の拡張定義boxを、DASH規格のEssentialPropertyの拡張により指し示してもよい。

　例えば、HapticsMediaInforBox()構造体をシーンディスクリプションまたはMPDで記述する例と同様に、HapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeader構造体の情報をシーンディスクリプションまたはMPDに記述してもよい。また、MPDにおいてHapticsMediaInfoBox()構造体を示す「EssentialProperty schemeIdUri="urn:mpeg:haptics:2022: hapticsMediaInfo"」を記述する例と同様に、HapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeader構造体をMPDのEssentialPropertyで記述してもよい。

　例えば、第１の情報処理装置において、出力制御部が、シーンディスクリプションのMPEG.mediaに格納されるサンプルエントリのデータ構造を示す情報に基づいて、ハプティクスメディアの出力を制御してもよい。また、第２の情報処理装置が、サンプルエントリのデータ構造を示す情報がMPEG.mediaに格納されるシーンディスクリプションを供給する第２の供給部をさらに備えてもよい。データ構造を示す情報は、例えば、データ構造体を定義する情報を含んでもよい。データ構造を示す情報は、例えば、データ構造体を定義する情報を含んでもよい。データ構造体は、どのようなものであってもよく、例えば、HapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを含んでもよい。なお、この情報の格納場所はどこであってもよく、MPEG.media以外でもよい。なお、この方法は、ハプティクスメディアに関する周波数特性情報が提供される場合、ハプティクスメディアに関する信号立ち上がり特性情報が提供される場合、ハプティクスメディアに関する選択合成情報が提供する場合のいずれの場合に適用してもよい。

　例えば、第１の情報処理装置において、出力制御部が、MPDのエッセンシャルプロパティに格納されるサンプルエントリのデータ構造を示す情報に基づいて、ハプティクスメディアの出力を制御してもよい。また、第２の情報処理装置が、サンプルエントリのデータ構造を示す情報がエッセンシャルプロパティに格納されるMPDを供給する第２の供給部をさらに備えてもよい。データ構造を示す情報は、例えば、データ構造体を定義する情報を含んでもよい。データ構造体は、どのようなものであってもよく、例えば、HapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを含んでもよい。また、データ構造を示す情報は、ファイルコンテナの、データ構造を示す情報を格納するボックスを示す情報であってもよい。なお、この情報の格納場所はどこであってもよく、エッセンシャルプロパティ以外でもよい。なお、この方法は、ハプティクスメディアに関する周波数特性情報が提供される場合、ハプティクスメディアに関する信号立ち上がり特性情報が提供される場合、ハプティクスメディアに関する選択合成情報が提供する場合のいずれの場合に適用してもよい。

　＜４．第１の実施の形態＞
　　＜ファイル生成装置１＞
　上述した本技術（方法１乃至方法４）は、任意の装置に適用し得る。図８６は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図８６に示されるファイル生成装置３００は、ハプティクスメディアが関連付けられた3Dオブジェクトコンテンツ（例えばポイントクラウド等の3Dデータ）を符号化する装置である。また、ファイル生成装置３００は、その3Dオブジェクトコンテンツのシーンディスクリプションファイルを生成する。

　なお、図８６においては、処理部やデータの流れ等の主なものを示しており、図８６に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図８６においてブロックとして示されていない処理部が存在したり、図８６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図８６に示されるようにファイル生成装置３００は、制御部３０１およびファイル生成処理部３０２を有する。制御部３０１は、ファイル生成処理部３０２を制御する。ファイル生成処理部３０２は、制御部３０１により制御されて、ファイルの生成に関する処理を行う。

　ファイル生成処理部３０２は、入力部３１１、前処理部３１２、符号化部３１３、ファイル生成部３１４、記憶部３１５、および出力部３１６を有する。

　入力部３１１は、ファイル生成装置３００の外部から供給されるデータの取得に関する処理を行う。したがって、入力部３１１は、取得部とも言える。入力部３１１は、SD入力部３２１、3D入力部３２２、およびHM入力部３２３を有する。SD入力部３２１は、ファイル生成装置３００に供給されるシーン構成データ（シーンディスクリプションの生成に用いられるデータ）を取得する。SD入力部３２１は、その取得したシーン構成データを用いてシーンディスクリプションを生成する。したがって、SD入力部３２１は、シーンディスクリプションを生成する生成部（またはSD生成部）とも言える。なお、シーンディスクリプションがファイル生成装置３００の外部から供給されてもよい。その場合、SD入力部３２１は、そのシーンディスクリプションを取得し、シーンディスクリプションの生成をスキップ（省略）すればよい。したがって、SD入力部３２１は、シーン構成データまたはシーンディスクリプションを取得する取得部（またはSD取得部）とも言える。SD入力部３２１は、取得または生成したシーンディスクリプションを前処理部３１２のSD前処理部３３１へ供給する。3D入力部３２２は、ファイル生成装置３００に供給される3Dデータを取得する。3D入力部３２２は、その取得した3Dデータを前処理部３１２の3D前処理部３３２へ供給する。したがって、3D入力部３２２は、3Dデータを取得する取得部（または3D取得部）とも言える。HM入力部３２３は、ファイル生成装置３００に供給されるハプティクスメディアのデータ（HMデータとも称する）を取得する。HM入力部３２３は、その取得したHMデータを前処理部３１２のHM前処理部３３３へ供給する。したがって、HM入力部３２３は、HMデータを取得する取得部（またはHM取得部）とも言える。また、HM入力部３２３は、ファイル生成装置３００に供給される代替メディアのデータ（代替メディアデータとも称する）を取得してもよい。代替メディアとは、ハプティクスメディアの代わりに再生されるメディアである。HM入力部３２３は、その取得した代替メディアデータを前処理部３１２のHM前処理部３３３へ供給してもよい。したがって、HM入力部３２３は、代替メディア入力部とも言える。また、HM入力部３２３は、代替メディアデータを取得する取得部（または代替メディア取得部）とも言える。この代替メディアは、どのようなメディアであってもよい。つまり、HM入力部３２３は、任意のメディアを処理することができる。したがって、HM入力部３２３は、メディア入力部とも言える。また、HM入力部３２３は、任意のメディアのデータを取得する取得部（またはメディア取得部）とも言える。

　前処理部３１２は、入力部３１１から供給されたデータに対して符号化前に行う前処理に関する処理を実行する。前処理部３１２は、SD前処理部３３１、3D前処理部３３２、およびHM前処理部３３３を有する。SD前処理部３３１は、例えば、SD入力部３２１から供給されたシーンディスクリプションから、そのシーンディスクリプションを格納するファイル（SDファイルとも称する）の生成に必要な情報を取得し、ファイル生成部３１４のSDファイル生成部３５１へ供給する。また、SD前処理部３３１は、3D前処理部３３２から供給される3Dデータに関する情報や、HM前処理部３３３から供給されるHMデータに関する情報や代替メディアデータに関する情報を、シーンディスクリプションに格納する。その際、SD前処理部３３１は、供給された情報に基づいて新たな情報を生成し、シーンディスクリプションに格納してもよい。また、SD前処理部３３１は、シーンディスクリプションを符号化部３１３のSD符号化部３４１へ供給する。3D前処理部３３２は、例えば、3D入力部３２２から供給された3Dデータから、3Dデータを格納するファイル（3Dファイルとも称する）の生成に必要な情報を取得し、ファイル生成部３１４の3Dファイル生成部３５２へ供給する。また、3D前処理部３３２は、3Dデータから、シーンディスクリプションに格納する情報や、シーンディスクリプションに格納する情報を生成するための情報を抽出し、それらを3Dデータに関する情報としてSD前処理部３３１へ供給する。また、3D前処理部３３２は、3Dデータを符号化部３１３の3D符号化部３４２へ供給する。HM前処理部３３３は、例えば、HM入力部３２３から供給されたHMデータから、HMデータを格納するファイル（HMファイルとも称する）の生成に必要な情報を取得し、ファイル生成部３１４のHMファイル生成部３５３へ供給する。また、HM前処理部３３３は、HMデータから、シーンディスクリプションに格納する情報や、シーンディスクリプションに格納する情報を生成するための情報を抽出し、それらをHMデータに関する情報としてSD前処理部３３１へ供給する。また、HM前処理部３３３は、HMデータを符号化部３１３のHM符号化部３４３へ供給する。また、HM前処理部３３３は、例えば、HM入力部３２３から供給された代替メディアデータから、代替メディアデータを格納するファイル（代替メディアファイルとも称する）の生成に必要な情報を取得し、ファイル生成部３１４のHMファイル生成部３５３へ供給してもよい。また、HM前処理部３３３は、代替メディアデータから、シーンディスクリプションに格納する情報や、シーンディスクリプションに格納する情報を生成するための情報を抽出し、それらを代替メディアデータに関する情報としてSD前処理部３３１へ供給してもよい。また、HM前処理部３３３は、代替メディアデータを符号化部３１３のHM符号化部３４３へ供給してもよい。したがって、HM前処理部３３３は、代替メディア前処理部とも言える。つまり、HM前処理部３３３は、任意のメディアを処理することができる。したがって、HM前処理部３３３は、任意のメディアのデータを処理する前処理部（またはメディア前処理部）とも言える。

　符号化部３１３は、前処理部３１２から供給されたデータの符号化に関する処理を実行する。符号化部３１３は、SD符号化部３４１、3D符号化部３４２、およびHM符号化部３４３を有する。SD符号化部３４１は、SD前処理部３３１から供給されるシーンディスクリプションを符号化し、その符号化データをファイル生成部３１４のSDファイル生成部３５１へ供給する。3D符号化部３４２は、3D前処理部３３２から供給される3Dデータを符号化し、その符号化データをファイル生成部３１４の3Dファイル生成部３５２へ供給する。HM符号化部３４３は、HM前処理部３３３から供給されるHMデータを符号化し、その符号化データをファイル生成部３１４のHMファイル生成部３５３へ供給する。また、HM符号化部３４３は、HM前処理部３３３から供給される代替メディアデータを符号化し、その符号化データをファイル生成部３１４のHMファイル生成部３５３へ供給してもよい。したがって、HM符号化部３４３は、代替メディア符号化部とも言える。つまり、HM符号化部３４３は、任意のメディアを処理することができる。したがって、HM符号化部３４３は、任意のメディアのデータを符号化する符号化部（またはメディア符号化部）とも言える。

　ファイル生成部３１４は、ファイル等の生成に関する処理を行う。ファイル生成部３１４は、SDファイル生成部３５１、3Dファイル生成部３５２、およびHMファイル生成部３５３を有する。SDファイル生成部３５１は、SD前処理部３３１やSD符号化部３４１から供給された情報に基づいて、シーンディスクリプションを格納するSDファイルを生成する。SDファイル生成部３５１は、そのSDファイルを記憶部３１５のSD記憶部３６１へ供給する。3Dファイル生成部３５２は、3D前処理部３３２や3D符号化部３４２から供給された情報に基づいて、3Dデータの符号化データを格納する3Dファイルを生成する。3Dファイル生成部３５２は、その3Dファイルを記憶部３１５の3D記憶部３６２へ供給する。HMファイル生成部３５３は、HM前処理部３３３やHM符号化部３４３から供給された情報に基づいて、HMデータの符号化データを格納するHMファイルを生成する。HMファイル生成部３５３は、そのHMファイルを記憶部３１５のHM記憶部３６３へ供給する。また、HMファイル生成部３５３は、HM前処理部３３３やHM符号化部３４３から供給された情報に基づいて、代替メディアデータの符号化データを格納する代替メディアファイルを生成してもよい。HMファイル生成部３５３は、その代替メディアファイルを記憶部３１５のHM記憶部３６３へ供給してもよい。したがって、HMファイル生成部３５３は、代替メディアファイル生成部とも言える。つまり、HMファイル生成部３５３は、任意のメディアの符号化データを格納するファイルを生成することができる。したがって、HMファイル生成部３５３は、任意のメディアの符号化データを格納するファイルを生成するファイル生成部（またはメディアファイル生成部）とも言える。

　記憶部３１５は、例えば、ハードディスクや半導体メモリ等、任意の記憶媒体を有し、データの記憶に関する処理を実行する。記憶部３１５は、SD記憶部３６１、3D記憶部３６２、およびHM記憶部３６３を有する。SD記憶部３６１は、SDファイル生成部３５１から供給されたSDファイルを記憶する。また、SD記憶部３６１は、出力部３１６のSD出力部３７１等からの要求に応じて、または、所定のタイミングにおいて、そのSDファイルをSD出力部３７１へ供給する。3D記憶部３６２は、3Dファイル生成部３５２から供給された3Dファイルを記憶する。また、3D記憶部３６２は、出力部３１６の3D出力部３７２等からの要求に応じて、または、所定のタイミングにおいて、その3Dファイルを3D出力部３７２へ供給する。HM記憶部３６３は、HMファイル生成部３５３から供給されたHMファイルを記憶する。また、HM記憶部３６３は、出力部３１６のHM出力部３７３等からの要求に応じて、または、所定のタイミングにおいて、そのHMファイルをHM出力部３７３へ供給する。なお、HM記憶部３６３は、HMファイル生成部３５３から供給された代替メディアファイルを記憶してもよい。また、HM記憶部３６３は、出力部３１６のHM出力部３７３等からの要求に応じて、または、所定のタイミングにおいて、その代替メディアファイルをHM出力部３７３へ供給してもよい。したがって、HM記憶部３６３は、代替メディア記憶部とも言える。つまり、HM記憶部３６３は、任意のメディアのファイルを記憶することができる。したがって、HM記憶部３６３は、任意のメディアのファイルを記憶する記憶部（またはメディア記憶部）とも言える。

　出力部３１６は、記憶部３１５から供給されるファイル等を取得し、そのファイル等をファイル生成装置３００の外部（例えば配信サーバや再生装置等）に出力する。出力部３１６は、SD出力部３７１、3D出力部３７２、およびHM出力部３７３を有する。SD出力部３７１は、SD記憶部３６１から読み出されたSDファイルを取得し、ファイル生成装置３００の外部に出力する。3D出力部３７２は、3D記憶部３６２から読み出された3Dファイルを取得し、ファイル生成装置３００の外部に出力する。HM出力部３７３は、HM記憶部３６３から読み出されたHMファイルを取得し、ファイル生成装置３００の外部に出力する。また、HM出力部３７３は、HM記憶部３６３から読み出された代替メディアファイルを取得し、ファイル生成装置３００の外部に出力してもよい。したがって、HM出力部３７３は、代替メディア出力部とも言える。つまり、HM出力部３７３は、任意のメディアのファイルをファイル生成装置３００の外部に出力することができる。したがって、HM出力部３７３は、任意のメディアのファイルをファイル生成装置３００の外部に出力する出力部（またはメディア出力部）とも言える。

　つまり、出力部３１６は、ファイルを他の装置に供給する供給部とも言える。SD出力部３７１は、SDファイルを他の装置に供給する供給部（またはSDファイル供給部）とも言える。3D出力部３７２は、3Dファイルを他の装置に供給する供給部（または3Dファイル供給部）とも言える。HM出力部３７３は、HMファイルを他の装置に供給する供給部（またはHMファイル供給部）とも言える。また、HM出力部３７３は、代替メディアファイルを他の装置に供給する供給部（または代替メディアファイル供給部）とも言える。また、HM出力部３７３は、任意のメディアのファイルを他の装置に供給する供給部（またはメディアファイル供給部）とも言える。

　以上のような構成のファイル生成装置３００において、上述した第２の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法１乃至方法４の内のいずれか１つ以上を、このファイル生成装置３００に適用してもよい。

　このようにすることにより、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ１＞
　次に、このファイル生成装置３００が実行するファイル生成処理の流れについて説明する。上述したように、ファイル生成装置３００には、上述した方法１を適用してもよい。その場合の、ファイル生成処理の流れの例を、図８７のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ３０１において、SD入力部３２１は、シーンディスクリプションを取得する。なお、SD入力部３２１は、シーン構成データを取得し、そのシーン構成データを用いてシーンディスクリプションを生成してもよい。3D入力部３２２は、3Dオブジェクトコンテンツ（3Dデータ）を取得する。HM入力部３２３は、ハプティクスメディア（HMデータ）を取得する。

　ステップＳ３０２において、SD前処理部３３１は、シーンディスクリプションに対して前処理を行い、シーンディスクリプションから、SDファイルの生成に必要な情報を抽出する。3D前処理部３３２は、3Dデータに対して前処理を行い、3Dデータから3Dファイルの生成に必要な情報を抽出する。HM前処理部３３３は、HMデータに対して前処理を行い、HMデータから、HMファイルの生成に必要な情報を抽出する。

　ステップＳ３０３において、3D前処理部３３２は、3Dデータに関する情報を生成する。また、HM前処理部３３３は、HMデータに関する情報を生成する。SD前処理部３３１は、それらの情報等に基づいて、3Dオブジェクトコンテンツ（3Dデータ）とハプティクスメディア（HMデータ）との関連性の記述を生成し、シーンディスクリプションに格納する。

　ステップＳ３０４において、SD前処理部３３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアに関する周波数特性情報を生成し、シーンディスクリプションに格納する。

　ステップＳ３０５において、SD符号化部３４１は、シーンディスクリプションを符号化し、シーンディスクリプションの符号化データを生成する。3D符号化部３４２は、3Dオブジェクトコンテンツ（3Dデータ）を符号化し、3Dデータの符号化データを生成する。HM符号化部３４３は、ハプティクスメディア（HMデータ）を符号化し、HMデータの符号化データを生成する。

　ステップＳ３０６において、SDファイル生成部３５１は、シーンディスクリプションの符号化データを格納するSDファイルを生成する。3Dファイル生成部３５２は、3Dデータの符号化データを格納する3Dファイルを生成する。HMファイル生成部３５３は、HMデータの符号化データを格納するHMファイルを生成する。

　ステップＳ３０７において、SD記憶部３６１は、SDファイルを記憶する。3D記憶部３６２は、3Dファイルを記憶する。HM記憶部３６３は、HMファイルを記憶する。

　ステップＳ３０８において、SD出力部３７１は、SDファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。3D出力部３７２は、3Dファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。HM出力部３７３は、HMファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。

　ステップＳ３０８の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置３００は、本技術の方法１を適用することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ２＞
　また、ファイル生成装置３００には、上述した方法２を適用してもよい。その場合の、ファイル生成処理の流れの例を、図８８のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ３２１乃至ステップＳ３２３の各処理が、ステップＳ３０１乃至ステップＳ３０３の各処理（図８７）と同様に実行される。

　ステップＳ３２４において、SD前処理部３３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアに関する信号立ち上がり特性情報を生成し、シーンディスクリプションに格納する。

　ステップＳ３２５乃至ステップＳ３２８の各処理は、ステップＳ３０５乃至ステップＳ３０８の各処理（図８７）と同様に実行される。

　ステップＳ３２８の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置３００は、本技術の方法２を適用することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ３＞
　また、ファイル生成装置３００には、上述した方法３を適用してもよい。その場合の、ファイル生成処理の流れの例を、図８９のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ３４１乃至ステップＳ３４３の各処理が、ステップＳ３０１乃至ステップＳ３０３の各処理（図８７）と同様に実行される。

　ステップＳ３４４において、SD前処理部３３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアの優先度に関する情報を生成し、シーンディスクリプションに格納する。

　ステップＳ３４５において、SD前処理部３３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアの合成に関する情報を生成し、シーンディスクリプションに格納する。

　ステップＳ３４６乃至ステップＳ３４９の各処理は、ステップＳ３０５乃至ステップＳ３０８の各処理（図８７）と同様に実行される。

　ステップＳ３４９の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置３００は、本技術の方法３を適用することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ４＞
　また、ファイル生成装置３００には、上述した方法４を適用してもよい。その場合の、ファイル生成処理の流れの例を、図９０のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ３６１において、SD入力部３２１は、シーンディスクリプションを取得する。なお、SD入力部３２１は、シーン構成データを取得し、そのシーン構成データを用いてシーンディスクリプションを生成してもよい。3D入力部３２２は、3Dオブジェクトコンテンツ（3Dデータ）を取得する。HM入力部（代替メディア入力部）３２３は、ハプティクスメディア（HMデータ）と代替メディア（代替メディアデータ）を取得する。

　ステップＳ３６２において、SD前処理部３３１は、シーンディスクリプションに対して前処理を行い、シーンディスクリプションから、SDファイルの生成に必要な情報を抽出する。3D前処理部３３２は、3Dデータに対して前処理を行い、3Dデータから3Dファイルの生成に必要な情報を抽出する。HM前処理部３３３は、HMデータに対して前処理を行い、HMデータから、HMファイルの生成に必要な情報を抽出する。また、HM前処理部（代替メディア前処理部）３３３は、代替メディアデータに対して前処理を行い、代替メディアデータから、代替メディアファイルの生成に必要な情報を抽出する。

　ステップＳ３６３において、3D前処理部３３２は、3Dデータに関する情報を生成する。また、HM前処理部（代替メディア前処理部）３３３は、HMデータに関する情報と代替メディアデータに関する情報を生成する。SD前処理部３３１は、それらの情報等に基づいて、3Dオブジェクトコンテンツ（3Dデータ）と、ハプティクスメディア（HMデータ）および代替メディア（代替メディアデータ）との関連性の記述を生成し、シーンディスクリプションに格納する。

　ステップＳ３６４において、SD前処理部３３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、マルチモーダルな代替手段に関する情報を生成し、シーンディスクリプションに格納する。

　ステップＳ３６５において、SD符号化部３４１は、シーンディスクリプションを符号化し、シーンディスクリプションの符号化データを生成する。3D符号化部３４２は、3Dオブジェクトコンテンツ（3Dデータ）を符号化し、3Dデータの符号化データを生成する。HM符号化部３４３は、ハプティクスメディア（HMデータ）を符号化し、HMデータの符号化データを生成する。また、HM符号化部（代替メディア符号化部）３４３は、代替メディア（代替メディアデータ）を符号化し、代替メディアデータの符号化データを生成する。

　ステップＳ３６６において、SDファイル生成部３５１は、シーンディスクリプションの符号化データを格納するSDファイルを生成する。3Dファイル生成部３５２は、3Dデータの符号化データを格納する3Dファイルを生成する。HMファイル生成部３５３は、HMデータの符号化データを格納するHMファイルを生成する。また、HMファイル生成部（代替メディアファイル生成部）３５３は、代替メディアデータの符号化データを格納する代替メディアファイルを生成する。

　ステップＳ３６７において、SD記憶部３６１は、SDファイルを記憶する。3D記憶部３６２は、3Dファイルを記憶する。HM記憶部（代替メディア記憶部）３６３は、HMファイルと代替メディアファイルを記憶する。

　ステップＳ３０８において、SD出力部３７１は、SDファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。3D出力部３７２は、3Dファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。HM出力部（代替メディア出力部）３７３は、HMファイルと代替メディアファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。

　このように各処理を実行することにより、ファイル生成装置３００は、本技術の方法４を適用することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　本技術の方法１乃至方法４の内の、複数の方法を組み合わせて適用してももちろんよい。

　　＜クライアント装置１＞
　上述した本技術は、任意の装置に適用し得る。図９１は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図９１に示されるクライアント装置４００は、シーンディスクリプションに基づいて、3Dデータやその3Dデータに関連付けられたHMデータ等の再生処理を行う再生装置である。例えば、クライアント装置４００は、ファイル生成装置３００により生成されたファイルを取得し、そのファイルに格納される3DデータやHMデータ等を再生する。

　なお、図９１においては、処理部やデータの流れ等の主なものを示しており、図９１に示されるものが全てとは限らない。つまり、クライアント装置４００において、図９１においてブロックとして示されていない処理部が存在したり、図９１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図９１に示されるようにクライアント装置４００は、制御部４０１およびクライアント処理部４０２を有する。制御部４０１は、クライアント処理部４０２の制御に関する処理を行う。クライアント処理部４０２は、3DデータやHMデータの再生に関する処理を行う。

　クライアント処理部４０２は、取得部４１１、ファイル処理部４１２、復号部４１３、SD解析部４１４、出力制御部４１５、および出力部４１６を有する。

　取得部４１１は、配信サーバやファイル生成装置３００等からクライアント装置４００に供給されるデータの取得に関する処理を行う。例えば、取得部４１１は、SD取得部４２１、3D取得部４２２、およびHM取得部４２３を有する。SD取得部４２１は、クライアント装置４００の外部から供給されるSDファイルを取得し、ファイル処理部４１２のSDファイル処理部４３１へ供給する。3D取得部４２２は、クライアント装置４００の外部から供給される3Dファイルを取得し、ファイル処理部４１２の3Dファイル処理部４３２へ供給する。HM取得部４２３は、クライアント装置４００の外部から供給されるHMファイルを取得し、ファイル処理部４１２のHMファイル処理部４３３へ供給する。また、HM取得部４２３は、HMファイルの代わりに、クライアント装置４００の外部から供給される代替メディアファイルを取得し、ファイル処理部４１２のHMファイル処理部４３３へ供給してもよい。代替メディアファイルは、ハプティクスメディアの代わりに再生される代替メディアを格納するファイルである。したがって、HM取得部４２３は、代替メディア取得部とも言える。この代替メディアは、どのようなメディアであってもよい。つまり、HM取得部４２３は、任意のメディアを処理することができる。したがって、HM取得部４２３は、任意のメディアのデータを取得する取得部（またはメディア取得部）とも言える。

　ファイル処理部４１２は、取得部４１１により取得されたファイルに関する処理を行う。例えば、ファイル処理部４１２は、ファイルに格納されるデータを抽出してもよい。ファイル処理部４１２は、SDファイル処理部４３１、3Dファイル処理部４３２、およびHMファイル処理部４３３を有する。SDファイル処理部４３１は、SD取得部４２１から供給されたSDファイルを取得し、そのSDファイルからシーンディスクリプションの符号化データを抽出し、SD復号部４４１へ供給する。3Dファイル処理部４３２は、3D取得部４２２から供給された3Dファイルを取得し、その3Dファイルから3Dデータの符号化データを抽出し、3D復号部４４２へ供給する。HMファイル処理部４３３は、HM取得部４２３から供給されたHMファイルを取得し、そのHMファイルからHMデータの符号化データを抽出し、HM復号部４４３へ供給する。また、HMファイル処理部４３３は、HM取得部４２３から供給された代替メディアファイルを取得し、その代替メディアファイルから代替メディアデータの符号化データを抽出し、HM復号部４４３へ供給してもよい。代替メディアデータとは代替メディアのデータである。したがって、HMファイル処理部４３３は、代替メディアファイル処理部とも言える。つまり、HMファイル処理部４３３は、任意のメディアのファイルを処理することができる。したがって、HMファイル処理部４３３は、任意のメディアのファイルを処理するファイル処理部（またはメディアファイル処理部）とも言える。

　復号部４１３は、ファイル処理部４１２から供給される符号化データの復号に関する処理を行う。復号部４１３は、SD復号部４４１、3D復号部４４２、およびHM復号部４４３を有する。SD復号部４４１は、SDファイル処理部４３１から供給されたシーンディスクリプションの符号化データを復号し、シーンディスクリプションを生成（復元）し、SD解析部４１４へ供給する。3D復号部４４２は、3Dファイル処理部４３２から供給された3Dデータの符号化データを復号し、3Dデータを生成（復元）し、3D出力制御部４５２へ供給する。HM復号部４４３は、HMファイル処理部４３３から供給されたHMデータの符号化データを復号し、HMデータを生成（復元）し、HM出力制御部４５３へ供給する。また、HM復号部４４３は、HMファイル処理部４３３から供給された代替メディアデータの符号化データを復号し、代替メディアデータを生成（復元）し、HM出力制御部４５３へ供給してもよい。したがって、HM復号部４４３は、代替メディア復号部とも言える。つまり、HM復号部４４３は、任意のメディアの符号化データを復号することができる。したがって、HM復号部４４３は、任意のメディアの符号化データを復号する復号部（またはメディア復号部）とも言える。

　SD解析部４１４は、シーンディスクリプションの解析に関する処理を行う。例えば、SD解析部４１４は、SD復号部４４１から供給されるシーンディスクリプションを取得し、そのシーンディスクリプションを解析する。また、SD解析部４１４は、その解析結果、または、その解析結果に基づいて導出したり、取得したりした情報を、取得部４１１や出力制御部４１５へ供給し、情報の取得やコンテンツの再生を制御する。つまり、取得部４１１（3D取得部４２２およびHM取得部４２３）や、出力制御部４１５（3D出力制御部４５２およびHM出力制御部４５３）は、そのSD解析部４１４の制御に従って、処理を実行する。したがって、SD解析部４１４は、制御部（または、取得制御部若しくは再生制御部）とも言える。

　出力制御部４１５は、3DデータやHMデータ等の出力制御に関する処理を行う。例えば、出力制御部４１５は、3DデータやHMデータの信号変換やレンダリング等の処理を行うことができる。出力制御部４１５は、3D出力制御部４５２およびHM出力制御部４５３を有する。3D出力制御部４５２は、3D復号部４４２から供給される3Dデータを用いてレンダリング等を行い、出力する情報（例えば画像等）を生成し、出力部４１６の3D出力部４６２に供給する。HM出力制御部４５３は、HM復号部４４３から供給されるHMデータの信号変換やレンダリング等を行い、出力する情報（例えば振動情報等）を生成し、出力部４１６のHM出力部４６３へ供給する。また、HM出力制御部４５３は、HM復号部４４３から供給される代替メディアデータの信号変換やレンダリング等を行い、出力する情報（例えば音声情報や画像情報等）を生成し、出力部４１６のHM出力部４６３へ供給してもよい。したがって、HM出力制御部４５３は、代替メディア出力制御部とも言える。つまり、HM出力制御部４５３は、任意のメディアの出力を制御することができる。したがって、HM出力制御部４５３は、任意のメディアの出力を制御する出力制御部（またはメディア出力制御部）とも言える。

　出力制御部４１５は、3DデータやHMデータを再生するとも言える。つまり、出力制御部４１５は、それらのデータを再生する再生部とも言える。3D出力制御部４５２は、3Dデータを再生するとも言える。つまり、3D出力制御部４５２は、3Dデータを再生する再生部（または3D再生部）とも言える。HM出力制御部４５３は、HMデータを再生するとも言える。つまり、HM出力制御部４５３は、HMデータを再生する再生部（または、HM再生部）とも言える。また、HM出力制御部４５３は、代替メディアデータを再生するとも言える。つまり、HM出力制御部４５３は、代替メディアデータを再生する再生部（または、代替メディア再生部）とも言える。また、HM出力制御部４５３は、任意のメディアのデータを再生するとも言える。つまり、HM出力制御部４５３は、任意のメディアのデータを再生する再生部（または、メディア再生部）とも言える。

　出力部４１６は、表示デバイス、音声出力デバイス、ハプティクスデバイス（例えば振動デバイス）等を有し、情報の出力（画像表示、音声出力、ハプティクスメディア出力（例えば振動出力）等）に関する処理を行う。出力部４１６は、3D出力部４６２およびHM出力部４６３を有する。3D出力部４６２は、例えばディスプレイ等の画像表示デバイスやスピーカ等の音声出力デバイス等を有し、それらのデバイスを用いて、3D出力制御部４５２から供給される3Dデータの出力用情報（例えば、表示画像や出力音声情報等）を出力する。HM出力部４６３は、例えば振動デバイス等の、ハプティクスメディアの出力デバイスであるハプティクスデバイスを有し、そのハプティクスデバイスを用いて、HM出力制御部４５３から供給されるメディアデータの出力用情報（例えば、振動情報等）を出力する。また、HM出力部４６３は、例えば表示デバイスや音声出力デバイス等の、ハプティクスメディア以外のメディア（異種メディア）の出力デバイスを有してもよい。そして、HM出力部４６３は、その出力デバイスを用いて、HM出力制御部４５３から供給される代替メディアの出力用情報（例えば、音声情報や画像情報等）を出力してもよい。したがって、HM出力部４６３は、代替メディア出力部とも言える。つまり、HM出力部４６３は、任意のメディアを出力することができる。したがって、HM出力部４６３は、任意のメディアを出力する出力部（またはメディア出力部）とも言える。

　以上のような構成のクライアント装置４００において、上述した第１の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法１乃至方法４の内のいずれか１つ以上を、このクライアント装置４００に適用してもよい。

　このようにすることにより、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜再生処理の流れ１＞
　このクライアント装置４００が実行する再生処理の流れの例を図９２のフローチャートを参照して説明する。

　再生処理が開始されると、SD取得部４２１は、ステップＳ４０１において、SDファイルを取得する。

　ステップＳ４０２において、SDファイル処理部４３１は、そのSDファイルに格納されているシーンディスクリプションの符号化データを抽出する。

　ステップＳ４０３において、SD復号部４４１は、抽出したシーンディスクリプションの符号化データを復号し、シーンディスクリプションを生成（復元）する。

　ステップＳ４０４において、SD解析部４１４は、そのシーンディスクリプションを解析する。

　ステップＳ４０５において、3D取得部４２２乃至3D出力部４６２は、解析されたシーンディスクリプションに基づいて3Dオブジェクトコンテンツ再生処理を開始する。

　ステップＳ４０６において、HM取得部４２３乃至HM出力部４６３は、解析されたシーンディスクリプションに基づいてハプティクスメディア再生処理を開始する。

　ステップＳ４０６の処理が終了すると、再生処理が終了する。

　　＜3Dオブジェクトコンテンツ再生処理の流れ１＞
　次に、図９２のステップＳ４０５において実行される3Dオブジェクトコンテンツ再生処理の流れの例を、図９３のフローチャートを参照して説明する。

　3Dオブジェクトコンテンツ再生処理が開始されると、3D取得部４２２は、ステップＳ４２１において、3Dファイルを取得する。ステップＳ４２２において、3Dファイル処理部４３２は、3Dファイルから、3Dオブジェクトコンテンツ（3Dデータ）の符号化データを抽出する。ステップＳ４２３において、3D復号部４４２は、3Dオブジェクトコンテンツ（3Dデータ）の符号化データを復号する。ステップＳ４２４において、3D出力制御部４５２は、3Dオブジェクトコンテンツ（3Dデータ）を再構成し、レンダリングし、表示画像を生成する。ステップＳ４２５において、3D出力部４６２は、その表示画像を表示する。

　ステップＳ４２６において、制御部４０１は、3Dオブジェクトコンテンツ再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４２１に戻り、それ以降の処理を繰り返す。3Dオブジェクトコンテンツ再生処理を終了すると判定された場合、3Dオブジェクトコンテンツ再生処理が終了し、処理は図９２に戻る。

　　＜ハプティクスメディア再生処理の流れ１＞
　次に、図９２のステップＳ４０６において実行されるハプティクスメディア再生処理の流れについて説明する。上述したように、クライアント装置４００には、上述した方法１を適用してもよい。その場合の、ハプティクスメディア再生処理の流れの例を、図９４のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ４４１において、制御部４０１は、シーンディスクリプションに格納されたハプティクスメディアに関する周波数特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部４６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ４４２へ進む。

　ステップＳ４４２において、HM取得部４２３は、そのハプティクスメディアに関する周波数特性情報に基づいて、端末ハプティクスデバイスの周波数特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzなので、中心周波数が最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、その周波数でのデバイス加速度が5GPPなので、両数値が最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が2GPPなので、両数値が最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルがないため、取得再生しない」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルはないが、haptics2.mp4を取得し、信号を調整して再生する」等のように、ハプティクスメディアに関する周波数特性情報に基づいてHMファイルの取得が制御される。

　ステップＳ４４３において、HM出力制御部４５３は、ハプティクスメディアの再生条件（ハプティクス再生条件とも称する）を満たすか否かを判定する。その条件を満たすと判定された場合、つまり、ハプティクスメディアを再生する状態にあると判定された場合、処理はステップＳ４４４へ進む。

　ステップＳ４４４において、HMファイル処理部４３３は、そのHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部４４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ４４５において、HM出力制御部４５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの周波数特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部４６３の端末ハプティクスデバイスに出力させる。

　ステップＳ４４５の処理が終了すると処理はステップＳ４４６へ進む。なお、ステップＳ４４１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ４４６へ進む。また、ステップＳ４４３において、ハプティクス再生条件を満たさないと判定された場合、つまり、ハプティクスメディアを再生する状態にないと判定された場合、処理はステップＳ４４６へ進む。

　ステップＳ４４６において、制御部４０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４４１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置４００は、本技術の方法１を適用することができる。したがって、クライアント装置４００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ２＞
　また、クライアント装置４００には、上述した方法２を適用してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図９５のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ４６１において、制御部４０１は、シーンディスクリプションに格納されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部４６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ４６２へ進む。

　ステップＳ４６２において、HM取得部４２３は、そのハプティクスメディアに関する信号立ち上がり特性情報に基づいて、端末ハプティクスデバイスの周波数特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が50Hzで、4.0GPP(5GPPx80%)に到達する時間が50msなので、最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないため、再生しない」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないが、haptics2.mp4を取得し、50msで立ち上がるように信号を調整する」等のように、ハプティクスメディアに関する信号立ち上がり特性情報に基づいてHMファイルの取得が制御される。

　なお、ステップＳ４６１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ４６６へ進む。ステップＳ４６３乃至ステップＳ４６６の各処理は、ステップＳ４４３乃至ステップＳ４４６の各処理（図９４）と同様に実行される。ただし、ステップＳ４６５において、ハプティクスメディア（HMデータ）は、端末ハプティクスデバイスの信号立ち上がり特性に合わせて変換されてレンダリングされる。ステップＳ４６６において、ハプティクスメディア再生処理を終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置４００は、本技術の方法２を適用することができる。したがって、クライアント装置４００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ３＞
　また、クライアント装置４００には、上述した方法３を適用してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図９６のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、HM取得部４２３は、ステップＳ４８１において、シーンディスクリプションに格納されたハプティクスメディアの優先度に関する情報に基づいて、再生するハプティクスメディアを選択し、そのハプティクスメディアを格納するHMファイルを取得する。HM取得部４２３は、SD解析部４１４の解析結果に基づいてこの処理を行う。

　ステップＳ４８２において、HM出力制御部４５３は、ハプティクス再生条件を満たすか否かを判定する。満たすと判定された場合、処理はステップＳ４８３へ進む。

　ステップＳ４８３において、HMファイル処理部４３３は、ステップＳ４８１において取得されたHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部４４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ４８４において、HM出力制御部４５３は、ハプティクスメディアを合成するか否かを判定する。複数のハプティクスメディアを同時に再生するために、その複数のハプティクスメディアを合成すると判定された場合、処理はステップＳ４８５へ進む。

　ステップＳ４８５において、HM出力制御部４５３は、シーンディスクリプションに格納されたハプティクスメディアの合成に関する情報に基づいて、必要に応じて信号調整して、ハプティクスメディアを合成する。例えば、「加速度情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動の方がファイル２の振動よりもレベルが大きいため、ユーザがファイル２の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きく、ファイル２の振動のピークレベルが0dBを超えているため、ユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報と歪み情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きいため、歪許容範囲内でユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」等のように、ハプティクスメディアに関する選択合成情報に基づいてHMファイルやHMデータに対する処理（取得や合成等）が制御される。

　ステップＳ４８５の処理が終了すると処理はステップＳ４８６へ進む。また、ステップＳ４８４において、合成しないと判定された場合、処理はステップＳ４８６へ進む。

　ステップＳ４８６において、HM出力制御部４５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部４６３の端末ハプティクスデバイスに出力させる。

　ステップＳ４８６の処理が終了すると処理はステップＳ４８７へ進む。また、ステップＳ４８２において、ハプティクス再生条件を満たさないと判定された場合、処理はステップＳ４８７へ進む。

　ステップＳ４８７において、制御部４０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ４８１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置４００は、本技術の方法３を適用することができる。したがって、クライアント装置４００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ４＞
　また、クライアント装置４００には、上述した方法４を適用してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図９７のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、HM出力制御部４５３は、ステップＳ５０１において、シーンディスクリプションに基づいて、ハプティクスメディアの再生出力が可能か否かを判定する。HM出力制御部４５３は、SD解析部４１４の解析結果に基づいてこの処理を行う。

　再生出力可能であると判定された場合、処理はステップＳ５０２へ進む。ステップＳ５０２において、HM取得部４２３は、シーンディスクリプションに基づいてHMファイルを取得する。HM取得部４２３は、SD解析部４１４の解析結果に基づいてこの処理を行う。ステップＳ５０２の処理が終了すると、処理はステップＳ５０４へ進む。

　また、ステップＳ５０１において、ハプティクスメディアの再生出力が不可能であると判定された場合、処理はステップＳ５０３へ進む。ステップＳ５０３において、HM取得部（代替メディア取得部）４２３は、シーンディスクリプションのマルチモーダルな代替手段に関する情報に基づいて、ハプティクスメディアの代替メディアを格納する代替メディアファイルを取得する。ステップＳ５０３の処理が終了すると、処理はステップＳ５０４へ進む。

　ステップＳ５０４において、HM出力制御部（代替メディア出力制御部）４５３は、ハプティクスメディアまたは代替メディアの再生条件を満たすか否かを判定する。満たすと判定された場合、処理はステップＳ５０５へ進む。

　ステップＳ５０５において、HMファイル処理部４３３は、ステップＳ５０１において取得されたHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部４４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。または、HMファイル処理部（代替メディアファイル処理部）４３３は、ステップＳ５０１において取得された代替メディアファイルから代替メディアデータの符号化データを抽出する。HM復号部（代替メディア復号部）４４３は、その抽出した代替メディアデータの符号化データを復号し、代替メディア（代替メディアデータ）を生成する。

　ステップＳ５０６において、HM出力制御部（代替メディア出力制御部）４５３は、そのハプティクスメディア（HMデータ）または代替メディア（代替メディアデータ）をHM出力部（代替メディア出力部）４６３が有する出力デバイスの特性に合わせて変換し、変換後のHMデータまたは変換後の代替メディアデータをレンダリングし、HM出力部（代替メディア出力部）４６３のその出力デバイスに出力させる。例えば、HM出力制御部４５３は、HMデータをHM出力部４６３が有する端末ハプティクスデバイスの特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部４６３のその端末ハプティクスデバイスに出力させる。また、HM出力制御部（代替メディア出力制御部）４５３は、代替メディアデータをHM出力部（代替メディア出力部）４６３が有する、その代替メディアデータを出力する出力デバイス（例えば、音声出力デバイスや表示デバイス等）の特性に合わせて変換し、変換後の代替メディアデータをレンダリングし、HM出力部（代替メディア出力部）４６３のその出力デバイスに出力させる。

　ステップＳ５０６の処理が終了すると、処理はステップＳ５０７へ進む。また、ステップＳ５０４において、ハプティクスメディアまたは代替メディアの再生条件を満たさないと判定された場合、処理はステップＳ５０７へ進む。

　ステップＳ５０７において、制御部４０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ５０１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置４００は、本技術の方法４を適用することができる。したがって、クライアント装置４００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　＜５．第２の実施の形態＞
　　＜ファイル生成装置２＞
　上述した本技術（方法５）は、任意の装置に適用し得る。図９８は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図９８に示されるファイル生成装置５００は、ファイル生成装置３００の場合と同様に、ハプティクスメディアが関連付けられた3Dオブジェクトコンテンツ（例えばポイントクラウド等の3Dデータ）を符号化する装置である。また、ファイル生成装置５００は、その3DオブジェクトコンテンツのMPDを生成する。

　なお、図９８においては、処理部やデータの流れ等の主なものを示しており、図９８に示されるものが全てとは限らない。つまり、ファイル生成装置５００において、図９８においてブロックとして示されていない処理部が存在したり、図９８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図９８に示されるようにファイル生成装置５００は、基本的にファイル生成装置３００と同様の構成を有する。ファイル生成装置５００は、制御部５０１およびファイル生成処理部５０２を有する。制御部５０１は、ファイル生成処理部５０２を制御する。ファイル生成処理部５０２は、制御部５０１により制御されて、ファイルの生成に関する処理を行う。

　ファイル生成処理部５０２は、入力部５１１、前処理部５１２、符号化部５１３、ファイル生成部５１４、記憶部５１５、および出力部５１６を有する。

　入力部５１１は、ファイル生成装置３００の入力部３１１と同様の処理部であり、入力部３１１と同様の処理を行う。したがって、入力部５１１は、取得部とも言える。入力部５１１は、MPD入力部５２１、3D入力部５２２、およびHM入力部５２３を有する。MPD入力部５２１は、ファイル生成装置５００に供給される、MPDの生成に用いられるデータを取得する。MPD入力部５２１は、その取得したデータを用いてMPDを生成する。したがって、MPD入力部５２１は、MPDを生成する生成部（またはMPD生成部）とも言える。なお、MPDがファイル生成装置５００の外部から供給されてもよい。その場合、MPD入力部５２１は、そのMPDを取得し、MPDの生成処理をスキップ（省略）すればよい。したがって、MPD入力部５２１は、MPDを生成するためのデータまたはMPDを取得する取得部（またはMPD取得部）とも言える。MPD入力部５２１は、取得または生成したMPDを前処理部５１２のMPD前処理部５３１へ供給する。3D入力部５２２は、3D入力部３２２と同様の処理部であり、3D入力部３２２と同様の処理を行う。したがって、3D入力部５２２は、3Dデータを取得する取得部（または3D取得部）とも言える。HM入力部５２３は、HM入力部３２３と同様の処理部であり、HM入力部３２３と同様の処理を行う。したがって、HM入力部５２３は、HMデータを取得する取得部（またはHM取得部）とも言える。また、HM入力部５２３は、代替メディア入力部とも言える。また、HM入力部５２３は、代替メディアデータを取得する取得部（または代替メディア取得部）とも言える。また、HM入力部５２３は、メディア入力部とも言える。また、HM入力部５２３は、任意のメディアのデータを取得する取得部（またはメディア取得部）とも言える。

　前処理部５１２は、ファイル生成装置３００の前処理部３１２と同様の処理部であり、前処理部３１２と同様の処理を行う。前処理部５１２は、MPD前処理部５３１、3D前処理部５３２、およびHM前処理部５３３を有する。MPD前処理部５３１は、例えば、MPD入力部５２１から供給されたMPDから、そのMPDを格納するファイル（MPDファイルとも称する）の生成に必要な情報を取得し、ファイル生成部５１４のMPDファイル生成部５５１へ供給する。また、MPD前処理部５３１は、3D前処理部５３２から供給される3Dデータに関する情報や、HM前処理部５３３から供給されるHMデータに関する情報や代替メディアデータに関する情報を、MPDに格納する。その際、MPD前処理部５３１は、供給された情報に基づいて新たな情報を生成し、MPDに格納してもよい。また、MPD前処理部５３１は、MPDを符号化部５１３のMPD符号化部５４１へ供給する。3D前処理部５３２は、3D前処理部３３２と同様の処理部であり、3D前処理部３３２と同様の処理を行う。HM前処理部５３３は、HM前処理部３３３と同様の処理部であり、HM前処理部３３３と同様の処理を行う。したがって、HM前処理部５３３は、代替メディア前処理部とも言える。また、HM前処理部５３３は、任意のメディアのデータを処理する前処理部（またはメディア前処理部）とも言える。

　符号化部５１３は、ファイル生成装置３００の符号化部３１３と同様の処理部であり、符号化部３１３と同様の処理を行う。符号化部５１３は、MPD符号化部５４１、3D符号化部５４２、およびHM符号化部５４３を有する。MPD符号化部５４１は、MPD前処理部５３１から供給されるMPDを符号化し、その符号化データをファイル生成部５１４のMPDファイル生成部５５１へ供給する。3D符号化部５４２は、3D符号化部３４２と同様の処理部であり、3D符号化部３４２と同様の処理を行う。HM符号化部５４３は、HM符号化部３４３と同様の処理部であり、HM符号化部３４３と同様の処理を行う。したがって、HM符号化部５４３は、代替メディア符号化部とも言える。また、HM符号化部５４３は、任意のメディアのデータを符号化する符号化部（またはメディア符号化部）とも言える。

　ファイル生成部５１４は、ファイル生成装置３００のファイル生成部３１４と同様の処理部であり、ファイル生成部３１４と同様の処理を行う。ファイル生成部５１４は、MPDファイル生成部５５１、3Dファイル生成部５５２、およびHMファイル生成部５５３を有する。MPDファイル生成部５５１は、MPD前処理部５３１やMPD符号化部５４１から供給された情報に基づいて、MPDを格納するMPDファイルを生成する。MPDファイル生成部５５１は、そのMPDファイルを記憶部５１５のMPD記憶部５６１へ供給する。3Dファイル生成部５５２は、3Dファイル生成部３５２と同様の処理部であり、3Dファイル生成部３５２と同様の処理を行う。HMファイル生成部５５３は、HMファイル生成部３５３と同様の処理部であり、HMファイル生成部３５３と同様の処理を行う。したがって、HMファイル生成部５５３は、代替メディアファイル生成部とも言える。また、HMファイル生成部５５３は、任意のメディアの符号化データを格納するファイルを生成するファイル生成部（またはメディアファイル生成部）とも言える。

　記憶部５１５は、ファイル生成装置３００の記憶部３１５と同様の処理部であり、記憶部３１５と同様の処理を行う。記憶部５１５は、MPD記憶部５６１、3D記憶部５６２、およびHM記憶部５６３を有する。MPD記憶部５６１は、MPDファイル生成部５５１から供給されたMPDファイルを記憶する。また、MPD記憶部５６１は、出力部５１６のMPD出力部５７１等からの要求に応じて、または、所定のタイミングにおいて、そのMPDファイルをMPD出力部５７１へ供給する。3D記憶部５６２は、3D記憶部３６２と同様の処理部であり、3D記憶部３６２と同様の処理を行う。HM記憶部５６３は、HM記憶部３６３と同様の処理部であり、HM記憶部３６３と同様の処理を行う。したがって、HM記憶部５６３は、代替メディア記憶部とも言える。また、HM記憶部５６３は、任意のメディアのファイルを記憶する記憶部（またはメディア記憶部）とも言える。

　出力部５１６は、ファイル生成装置３００の出力部３１６と同様の処理部であり、出力部３１６と同様の処理を行う。出力部５１６は、MPD出力部５７１、3D出力部５７２、およびHM出力部５７３を有する。MPD出力部５７１は、MPD記憶部５６１から読み出されたMPDファイルを取得し、ファイル生成装置５００の外部に出力する。3D出力部５７２は、3D出力部３７２と同様の処理部であり、3D出力部３７２と同様の処理を行う。HM出力部５７３は、HM出力部３７３と同様の処理部であり、HM出力部３７３と同様の処理を行う。したがって、HM出力部５７３は、代替メディア出力部とも言える。また、HM出力部５７３は、任意のメディアのファイルをファイル生成装置３００の外部に出力する出力部（またはメディア出力部）とも言える。

　つまり、出力部５１６は、ファイルを他の装置に供給する供給部とも言える。MPD出力部５７１は、MPDファイルを他の装置に供給する供給部（またはMPDファイル供給部）とも言える。3D出力部５７２は、3Dファイルを他の装置に供給する供給部（または3Dファイル供給部）とも言える。HM出力部５７３は、HMファイルを他の装置に供給する供給部（またはHMファイル供給部）とも言える。また、HM出力部５７３は、代替メディアファイルを他の装置に供給する供給部（または代替メディアファイル供給部）とも言える。また、HM出力部５７３は、任意のメディアのファイルを他の装置に供給する供給部（またはメディアファイル供給部）とも言える。

　以上のような構成のファイル生成装置５００において、上述した第２の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法５を、このファイル生成装置５００に適用してもよい。

　　＜ファイル生成処理の流れ５＞
　次に、このファイル生成装置５００が実行するファイル生成処理の流れについて説明する。上述したように、ファイル生成装置５００には、上述した方法５を適用してもよい。例えば、MPDを用いて方法１を実現してもよい。その場合の、ファイル生成処理の流れの例を、図９９のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ５２１において、MPD入力部５２１は、MPDを取得する。なお、MPD入力部５２１は、MPDを生成するためのデータを取得し、そのデータを用いてMPDを生成してもよい。3D入力部５２２は、3Dオブジェクトコンテンツ（3Dデータ）を取得する。HM入力部５２３は、ハプティクスメディア（HMデータ）を取得する。

　ステップＳ５２２において、MPD前処理部５３１は、MPDに対して前処理を行い、MPDから、MPDファイルの生成に必要な情報を抽出する。3D前処理部５３２は、3Dデータに対して前処理を行い、3Dデータから3Dファイルの生成に必要な情報を抽出する。HM前処理部５３３は、HMデータに対して前処理を行い、HMデータから、HMファイルの生成に必要な情報を抽出する。

　ステップＳ５２３において、3D前処理部５３２は、3Dデータに関する情報を生成する。また、HM前処理部５３３は、HMデータに関する情報を生成する。MPD前処理部５３１は、それらの情報等に基づいて、3Dオブジェクトコンテンツ（3Dデータ）とハプティクスメディア（HMデータ）との関連性の記述を生成し、MPDに格納する。

　ステップＳ５２４において、MPD前処理部５３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアに関する周波数特性情報を生成し、MPDに格納する。

　ステップＳ５２５において、MPD符号化部５４１は、MPDを符号化し、MPDの符号化データを生成する。3D符号化部５４２は、3Dオブジェクトコンテンツ（3Dデータ）を符号化し、3Dデータの符号化データを生成する。HM符号化部５４３は、ハプティクスメディア（HMデータ）を符号化し、HMデータの符号化データを生成する。

　ステップＳ５２６において、MPDファイル生成部５５１は、MPDの符号化データを格納するMPDファイルを生成する。3Dファイル生成部５５２は、3Dデータの符号化データを格納する3Dファイルを生成する。HMファイル生成部５５３は、HMデータの符号化データを格納するHMファイルを生成する。

　ステップＳ５２７において、MPD記憶部５６１は、MPDファイルを記憶する。3D記憶部５６２は、3Dファイルを記憶する。HM記憶部５６３は、HMファイルを記憶する。

　ステップＳ５２８において、MPD出力部５７１は、MPDファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。3D出力部５７２は、3Dファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。HM出力部５７３は、HMファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。

　ステップＳ５２８の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置５００は、本技術の方法５を適用し、MPDを用いてハプティクスメディアに関する周波数特性情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ６＞
　また、ファイル生成装置５００には、上述した方法５を適用してもよい。例えば、MPDを用いて方法２を実現してもよい。その場合の、ファイル生成処理の流れの例を、図１００のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ５４１乃至ステップＳ５４３の各処理が、ステップＳ５２１乃至ステップＳ５２３の各処理（図９９）と同様に実行される。

　ステップＳ５４４において、MPD前処理部５３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアに関する信号立ち上がり特性情報を生成し、MPDに格納する。

　ステップＳ５４５乃至ステップＳ５４８の各処理は、ステップＳ５２５乃至ステップＳ５２８の各処理（図９９）と同様に実行される。

　ステップＳ５４８の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置５００は、本技術の方法５を適用し、MPDを用いてハプティクスメディアに関する信号立ち上がり特性情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ７＞
　また、ファイル生成装置５００には、上述した方法５を適用してもよい。例えば、MPDを用いて方法３を実現してもよい。その場合の、ファイル生成処理の流れの例を、図１０１のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ５６１乃至ステップＳ５６３の各処理が、ステップＳ５２１乃至ステップＳ５２３の各処理（図９９）と同様に実行される。

　ステップＳ５６４において、MPD前処理部５３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアの優先度に関する情報を生成し、MPDに格納する。

　ステップＳ５６５において、MPD前処理部５３１は、3Dデータに関する情報やHMデータに関する情報等に基づいて、ハプティクスメディアの合成に関する情報を生成し、MPDに格納する。

　ステップＳ５６６乃至ステップＳ５６９の各処理は、ステップＳ５２５乃至ステップＳ５２８の各処理（図９９）と同様に実行される。

　ステップＳ５６９の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置５００は、本技術の方法５を適用し、MPDを用いてハプティクスメディアに関する選択合成情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　このように方法５を適用しMPDを適用する場合においても、本技術の方法１乃至方法４の内の、複数の方法を組み合わせて適用してももちろんよい。

　　＜クライアント装置２＞
　上述した本技術（方法５）は、任意の装置に適用し得る。図１０２は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図１０２に示されるクライアント装置６００は、MPDに基づいて、3Dデータやその3Dデータに関連付けられたHMデータ等の再生処理を行う再生装置である。例えば、クライアント装置６００は、ファイル生成装置５００により生成されたファイルを取得し、そのファイルに格納される3DデータやHMデータ等を再生する。

　なお、図１０２においては、処理部やデータの流れ等の主なものを示しており、図１０２に示されるものが全てとは限らない。つまり、クライアント装置６００において、図１０２においてブロックとして示されていない処理部が存在したり、図１０２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１０２に示されるようにクライアント装置６００は、制御部６０１およびクライアント処理部６０２を有する。制御部６０１は、クライアント処理部６０２の制御に関する処理を行う。クライアント処理部６０２は、3DデータやHMデータ等の再生に関する処理を行う。

　クライアント処理部６０２は、取得部６１１、ファイル処理部６１２、復号部６１３、MPD解析部６１４、出力制御部６１５、および出力部６１６を有する。

　取得部６１１は、クライアント装置４００の取得部４１１と同様の処理部であり、取得部４１１と同様の処理を行う。取得部６１１は、MPD取得部６２１、3D取得部６２２、およびHM取得部６２３を有する。MPD取得部６２１は、クライアント装置６００の外部から供給されるMPDファイルを取得し、ファイル処理部６１２のMPDファイル処理部６３１へ供給する。3D取得部６２２は、3D取得部４２２と同様の処理部であり、3D取得部６２２と同様の処理を行う。HM取得部６２３は、HM取得部４２３と同様の処理部であり、HM取得部４２３と同様の処理を行う。したがって、HM取得部６２３は、代替メディア取得部とも言える。また、HM取得部６２３は、任意のメディアのデータを取得する取得部（またはメディア取得部）とも言える。

　ファイル処理部６１２は、クライアント装置４００のファイル処理部４１２と同様の処理部であり、ファイル処理部４１２と同様の処理を行う。ファイル処理部６１２は、MPDファイル処理部６３１、3Dファイル処理部６３２、およびHMファイル処理部６３３を有する。MPDファイル処理部６３１は、MPD取得部６２１から供給されたMPDファイルを取得し、そのMPDファイルからMPDの符号化データを抽出し、MPD復号部６４１へ供給する。3Dファイル処理部６３２は、3Dファイル処理部４３２と同様の処理部であり、3Dファイル処理部４３２と同様の処理を行う。HMファイル処理部６３３は、HMファイル処理部４３３と同様の処理部であり、HMファイル処理部４３３と同様の処理を行う。したがって、HMファイル処理部６３３は、代替メディアファイル処理部とも言える。また、HMファイル処理部６３３は、任意のメディアのファイルを処理するファイル処理部（またはメディアファイル処理部）とも言える。

　復号部６１３は、クライアント装置４００の復号部４１３と同様の処理部であり、復号部４１３と同様の処理を行う。復号部６１３は、MPD復号部６４１、3D復号部６４２、およびHM復号部６４３を有する。MPD復号部６４１は、MPDファイル処理部６３１から供給されたMPDの符号化データを復号し、MPDを生成（復元）し、MPD解析部６１４へ供給する。3D復号部６４２は、3D復号部４４２と同様の処理部であり、3D復号部４４２と同様の処理を行う。HM復号部６４３は、HM復号部４４３と同様の処理部であり、HM復号部４４３と同様の処理を行う。したがって、HM復号部６４３は、代替メディア復号部とも言える。また、HM復号部６４３は、任意のメディアの符号化データを復号する復号部（またはメディア復号部）とも言える。

　MPD解析部６１４は、MPDの解析に関する処理を行う。例えば、MPD解析部６１４は、MPD復号部６４１から供給されるMPDを取得し、そのMPDを解析する。また、MPD解析部６１４は、その解析結果、または、その解析結果に基づいて導出したり、取得したりした情報を、取得部６１１や出力制御部６１５へ供給し、情報の取得やコンテンツの再生を制御する。つまり、取得部６１１（3D取得部６２２およびHM取得部６２３）や、出力制御部６１５（3D出力制御部６５２およびHM出力制御部６５３）は、そのMPD解析部６１４の制御に従って、処理を実行する。したがって、MPD解析部６１４は、制御部（または、取得制御部若しくは再生制御部）とも言える。

　出力制御部６１５は、クライアント装置４００の出力制御部４１５と同様の処理部であり、出力制御部４１５と同様の処理を行う。出力制御部６１５は、3D出力制御部６５２およびHM出力制御部６５３を有する。3D出力制御部４５２は、3D出力制御部４５２と同様の処理部であり、3D出力制御部４５２と同様の処理を行う。HM出力制御部６５３は、HM出力制御部４５３と同様の処理部であり、HM出力制御部４５３と同様の処理を行う。したがって、HM出力制御部６５３は、代替メディア出力制御部とも言える。また、HM出力制御部６５３は、任意のメディアの出力を制御する出力制御部（またはメディア出力制御部）とも言える。

　出力制御部６１５は、3DデータやHMデータを再生するとも言える。つまり、出力制御部６１５は、それらのデータを再生する再生部とも言える。3D出力制御部６５２は、3Dデータを再生するとも言える。つまり、3D出力制御部６５２は、3Dデータを再生する再生部（または3D再生部）とも言える。HM出力制御部６５３は、HMデータを再生するとも言える。つまり、HM出力制御部６５３は、HMデータを再生する再生部（または、HM再生部）とも言える。また、HM出力制御部６５３は、代替メディアデータを再生するとも言える。つまり、HM出力制御部６５３は、代替メディアデータを再生する再生部（または、代替メディア再生部）とも言える。また、HM出力制御部６５３は、任意のメディアのデータを再生する再生部（または、メディア再生部）とも言える。

　出力部６１６は、クライアント装置４００の出力部４１６と同様の処理部であり、出力部４１６と同様の処理を行う。出力部６１６は、3D出力部６６２およびHM出力部６６３を有する。3D出力部６６２は、3D出力部４６２と同様の処理部であり、3D出力部４６２と同様の処理を行う。HM出力部６６３は、HM出力部４６３と同様の処理部であり、HM出力部４６３と同様の処理を行う。したがって、HM出力部６６３は、代替メディア出力部とも言える。また、HM出力部６６３は、任意のメディアを出力する出力部（またはメディア出力部）とも言える。

　以上のような構成のクライアント装置６００において、上述した第１の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法５を、このクライアント装置６００に適用してもよい。

　　＜再生処理の流れ２＞
　このクライアント装置６００が実行する再生処理の流れの例を図１０３のフローチャートを参照して説明する。

　再生処理が開始されると、MPD取得部６２１は、ステップＳ６０１において、MPDファイルを取得する。

　ステップＳ６０２において、MPDファイル処理部６３１は、そのMPDファイルに格納されているMPDの符号化データを抽出する。

　ステップＳ６０３において、MPD復号部６４１は、抽出したMPDの符号化データを復号し、MPDを生成（復元）する。

　ステップＳ６０４において、MPD解析部６１４は、そのMPDを解析する。

　ステップＳ６０５において、3D取得部６２２乃至3D出力部６６２は、解析されたMPDに基づいて3Dオブジェクトコンテンツ再生処理を開始する。この処理は、図９３のフローチャートを参照して説明した場合と同様の流れで実行される。

　ステップＳ６０６において、HM取得部６２３乃至HM出力部６６３は、解析されたMPDに基づいてハプティクスメディア再生処理を開始する。

　ステップＳ６０６の処理が終了すると、再生処理が終了する。

　　＜ハプティクスメディア再生処理の流れ５＞
　次に、図１０３のステップＳ６０６において実行されるハプティクスメディア再生処理の流れについて説明する。上述したように、クライアント装置６００には、上述した方法５を適用してもよい。例えば、MPDを用いて供給されたハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、ハプティクスメディア再生処理の流れの例を、図１０４のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ６４１において、制御部６０１は、MPDに格納されたハプティクスメディアに関する周波数特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部６６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ６４２へ進む。

　ステップＳ６４２において、HM取得部６２３は、そのハプティクスメディアに関する周波数特性情報に基づいて、端末ハプティクスデバイスの周波数特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzなので、中心周波数が最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、その周波数でのデバイス加速度が5GPPなので、両数値が最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が2GPPなので、両数値が最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルがないため、取得再生しない」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルはないが、haptics2.mp4を取得し、信号を調整して再生する」等のように、ハプティクスメディアに関する周波数特性情報に基づいてHMファイルの取得が制御される。

　ステップＳ６４３において、HM出力制御部６５３は、ハプティクスメディアの再生条件（ハプティクス再生条件とも称する）を満たすか否かを判定する。その条件を満たすと判定された場合、つまり、ハプティクスメディアを再生する状態にあると判定された場合、処理はステップＳ６４４へ進む。

　ステップＳ６４４において、HMファイル処理部６３３は、そのHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部６４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ６４５において、HM出力制御部６５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの周波数特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部６６３の端末ハプティクスデバイスに出力させる。

　ステップＳ６４５の処理が終了すると処理はステップＳ６４６へ進む。なお、ステップＳ６４１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ６４６へ進む。また、ステップＳ６４３において、ハプティクス再生条件を満たさないと判定された場合、つまり、ハプティクスメディアを再生する状態にないと判定された場合、処理はステップＳ６４６へ進む。

　ステップＳ６４６において、制御部６０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ６４１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置６００は、本技術の方法５を適用し、MPDを用いて供給されたハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディア等の出力を制御することができる。したがって、クライアント装置６００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ６＞
　また、クライアント装置６００には、上述した方法５を適用してもよい。例えば、MPDを用いて供給されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１０５のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ６６１において、制御部６０１は、MPDに格納されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部６６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ６６２へ進む。

　ステップＳ６６２において、HM取得部６２３は、そのハプティクスメディアに関する信号立ち上がり特性情報に基づいて、端末ハプティクスデバイスの信号立ち上がり特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が50Hzで、4.0GPP(5GPPx80%)に到達する時間が50msなので、最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないため、再生しない」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないが、haptics2.mp4を取得し、50msで立ち上がるように信号を調整する」等のように、ハプティクスメディアに関する信号立ち上がり特性情報に基づいてHMファイルの取得が制御される。

　なお、ステップＳ６６１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ６６６へ進む。ステップＳ６６３乃至ステップＳ６６６の各処理は、ステップＳ６４３乃至ステップＳ６４６の各処理（図１０４）と同様に実行される。ただし、ステップＳ６６５において、ハプティクスメディア（HMデータ）は、端末ハプティクスデバイスの信号立ち上がり特性に合わせて変換されてレンダリングされる。ステップＳ６６６において、ハプティクスメディア再生処理を終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置６００は、本技術の方法５を適用し、MPDを用いて供給されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディアの出力を制御することができる。したがって、クライアント装置６００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ７＞
　また、クライアント装置６００には、上述した方法５を適用してもよい。例えば、MPDを用いて供給されたハプティクスメディアに関する選択合成情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１０６のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、HM取得部６２３は、ステップＳ６８１において、MPDに格納されたハプティクスメディアの優先度に関する情報に基づいて、再生するハプティクスメディアを選択し、そのハプティクスメディアを格納するHMファイルを取得する。HM取得部６２３は、MPD解析部６１４の解析結果に基づいてこの処理を行う。

　ステップＳ６８２において、HM出力制御部６５３は、ハプティクス再生条件を満たすか否かを判定する。満たすと判定された場合、処理はステップＳ６８３へ進む。

　ステップＳ６８３において、HMファイル処理部６３３は、ステップＳ６８１において取得されたHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部６４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ６８４において、HM出力制御部６５３は、ハプティクスメディアを合成するか否かを判定する。複数のハプティクスメディアを同時に再生するために、その複数のハプティクスメディアを合成すると判定された場合、処理はステップＳ６８５へ進む。

　ステップＳ６８５において、HM出力制御部６５３は、MPDに格納されたハプティクスメディアの合成に関する情報に基づいて、必要に応じて信号調整して、ハプティクスメディアを合成する。例えば、「加速度情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動の方がファイル２の振動よりもレベルが大きいため、ユーザがファイル２の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きく、ファイル２の振動のピークレベルが0dBを超えているため、ユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報と歪み情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きいため、歪許容範囲内でユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」等のように、ハプティクスメディアに関する選択合成情報に基づいてHMファイルやHMデータに対する処理（取得や合成等）が制御される。

　ステップＳ６８５の処理が終了すると処理はステップＳ６８６へ進む。また、ステップＳ６８４において、合成しないと判定された場合、処理はステップＳ６８６へ進む。

　ステップＳ６８６において、HM出力制御部６５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部６６３の端末ハプティクスデバイスに出力させる。

　ステップＳ６８６の処理が終了すると処理はステップＳ６８７へ進む。また、ステップＳ６８２において、ハプティクス再生条件を満たさないと判定された場合、処理はステップＳ６８７へ進む。

　ステップＳ６８７において、制御部６０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ６８１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置６００は、本技術の方法５を適用し、MPDを用いて供給されたハプティクスメディアに関する選択合成情報に基づいて、ハプティクスメディアの出力を制御することができる。したがって、クライアント装置６００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　＜６．第３の実施の形態＞
　　＜ファイル生成装置３＞
　上述した本技術（方法６）は、任意の装置に適用し得る。図１０７は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図１０７に示されるファイル生成装置７００は、ファイル生成装置３００の場合と同様に、ハプティクスメディアが関連付けられた3Dオブジェクトコンテンツ（例えばポイントクラウド等の3Dデータ）を符号化する装置である。また、ファイル生成装置７００は、その3Dオブジェクトコンテンツを配信用のファイルコンテナであるISOBMFFファイルに格納する。

　なお、図１０７においては、処理部やデータの流れ等の主なものを示しており、図１０７に示されるものが全てとは限らない。つまり、ファイル生成装置７００において、図１０７においてブロックとして示されていない処理部が存在したり、図１０７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１０７に示されるようにファイル生成装置７００は、基本的にファイル生成装置３００と同様の構成を有する。ファイル生成装置７００は、制御部７０１およびファイル生成処理部７０２を有する。制御部７０１は、ファイル生成処理部７０２を制御する。ファイル生成処理部７０２は、制御部７０１により制御されて、ファイルの生成に関する処理を行う。

　ファイル生成処理部７０２は、入力部７１１、前処理部７１２、符号化部７１３、ファイル生成部７１４、ISOBMFFファイル生成部７１５、ISOBMFF記憶部７１６、およびISOBMFF出力部７１７を有する。

　入力部７１１は、ファイル生成装置３００の入力部３１１と同様の処理部であり、入力部３１１と同様の処理を行う。したがって、入力部７１１は、取得部とも言える。入力部７１１は、3D入力部７２１、およびHM入力部７２２を有する。3D入力部７２１は、3D入力部３２２と同様の処理部であり、3D入力部３２２と同様の処理を行う。したがって、3D入力部７２１は、3Dデータを取得する取得部（または3D取得部）とも言える。HM入力部７２２は、HM入力部３２３と同様の処理部であり、HM入力部３２３と同様の処理を行う。したがって、HM入力部７２２は、代替メディア入力部とも言える。また、HM入力部７２２は、任意のメディアを入力する入力部（または、メディア入力部）とも言える。また、HM入力部７２２は、HMデータを取得する取得部（またはHM取得部）とも言える。また、HM入力部７２２は、代替メディアデータを取得する取得部（または代替メディア取得部）とも言える。また、HM入力部７２２は、任意のメディアデータを取得する取得部（またはメディア取得部）とも言える。

　前処理部７１２は、ファイル生成装置３００の前処理部３１２と同様の処理部であり、前処理部３１２と同様の処理を行う。前処理部７１２は、3D前処理部７３１、およびHM前処理部７３２を有する。3D前処理部７３１は、3D前処理部３３２と同様の処理部であり、3D前処理部３３２と同様の処理を行う。ただし、3D前処理部７３１は、ISOBMFFファイルの生成に必要な情報を取得し、ISOBMFFファイル生成部７１５のへ供給する。HM前処理部７３２は、HM前処理部３３３と同様の処理部であり、HM前処理部３３３と同様の処理を行う。したがって、HM前処理部７３２は、代替メディア前処理部とも言える。また、HM前処理部７３２は、任意のメディアのデータを処理する前処理部（またはメディア前処理部）とも言える。ただし、HM前処理部７３２は、ISOBMFFファイルの生成に必要な情報を取得し、ISOBMFFファイル生成部７１５のへ供給する。

　符号化部７１３は、ファイル生成装置３００の符号化部３１３と同様の処理部であり、符号化部３１３と同様の処理を行う。符号化部７１３は、3D符号化部７４１、およびHM符号化部７４２を有する。3D符号化部７４１は、3D符号化部３４２と同様の処理部であり、3D符号化部３４２と同様の処理を行う。HM符号化部７４２は、HM符号化部３４３と同様の処理部であり、HM符号化部３４３と同様の処理を行う。したがって、HM符号化部７４２は、代替メディア符号化部とも言える。また、HM符号化部７４２は、任意のメディアのデータを符号化する符号化部（またはメディア符号化部）とも言える。

　ファイル生成部７１４は、ファイル生成装置３００のファイル生成部３１４と同様の処理部であり、ファイル生成部３１４と同様の処理を行う。ファイル生成部７１４は、3Dファイル生成部７５１、およびHMファイル生成部７５２を有する。3Dファイル生成部７５１は、3Dファイル生成部３５２と同様の処理部であり、3Dファイル生成部３５２と同様の処理を行う。ただし、3Dファイル生成部７５１は、生成した3DファイルをISOBMFFファイル生成部７１５へ供給する。HMファイル生成部７５２は、HMファイル生成部３５３と同様の処理部であり、HMファイル生成部３５３と同様の処理を行う。したがって、HMファイル生成部７５２は、代替メディアファイル生成部とも言える。また、HMファイル生成部７５２は、任意のメディアの符号化データを格納するファイルを生成するファイル生成部（またはメディアファイル生成部）とも言える。ただし、HMファイル生成部７５２は、生成したHMファイルや代替メディアファイルをISOBMFFファイル生成部７１５へ供給する。

　ISOBMFFファイル生成部７１５は、ISOBMFFファイルを生成し、そこに3Dファイル、HMファイル、代替メディアファイル等を格納する。また、ISOBMFFファイル生成部７１５は、3D前処理部７３１やHM前処理部７３２等から供給された情報も、そのISOBMFFファイルに格納する。ISOBMFFファイル生成部７１５は、生成したISOBMFFファイルをISOBMFF記憶部７１６へ供給する。

　ISOBMFF記憶部７１６は、そのISOBMFFファイルを取得し、記憶する。また、ISOBMFF記憶部７１６は、ISOBMFF出力部７１７等からの要求に応じて、または、所定のタイミングにおいて、そのISOBMFFファイルをISOBMFF出力部７１７へ供給する。

　ISOBMFF出力部７１７は、ISOBMFF記憶部７１６から読み出されたISOBMFFファイルを取得し、ファイル生成装置７００の外部に出力する。つまり、ISOBMFF出力部７１７は、ISOBMFFファイルを他の装置に供給する供給部とも言える。

　以上のような構成のファイル生成装置７００において、上述した第２の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法６を、このファイル生成装置７００に適用してもよい。

　　＜ファイル生成処理の流れ８＞
　次に、このファイル生成装置７００が実行するファイル生成処理の流れについて説明する。上述したように、ファイル生成装置７００には、上述した方法６を適用してもよい。例えば、ファイルコンテナを用いて方法１を実現してもよい。その場合の、ファイル生成処理の流れの例を、図１０８のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ７０１において、3D入力部７２１は、3Dオブジェクトコンテンツ（3Dデータ）を取得する。HM入力部７２２は、ハプティクスメディア（HMデータ）を取得する。

　ステップＳ７０２において、3D前処理部７３１は、3Dデータに対して前処理を行い、3Dデータから3Dファイルの生成に必要な情報を抽出する。また、3D前処理部７３１は、3DデータからISOBMFFファイルの生成に必要な情報を抽出する。HM前処理部７３２は、HMデータに対して前処理を行い、HMデータから、HMファイルの生成に必要な情報を抽出する。また、HM前処理部７３２は、HMデータからISOBMFFファイルの生成に必要な情報を抽出する。

　ステップＳ７０３において、3D符号化部７４１は、3Dオブジェクトコンテンツ（3Dデータ）を符号化し、3Dデータの符号化データを生成する。HM符号化部７４２は、ハプティクスメディア（HMデータ）を符号化し、HMデータの符号化データを生成する。

　ステップＳ７０４において、3Dファイル生成部７５１は、3Dデータの符号化データを格納する3Dファイルを生成する。HMファイル生成部７５２は、HMデータの符号化データを格納するHMファイルを生成する。

　ステップＳ７０５において、ISOBMFFファイル生成部７１５は、3DファイルとHMファイルを格納するISOBMFFファイルを生成する。

　ステップＳ７０６において、ISOBMFFファイル生成部７１５は、ステップＳ７０２において抽出された情報に基づく等して、3Dオブジェクトコンテンツとハプティクスメディアとの関連性の記述をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ７０７において、ISOBMFFファイル生成部７１５は、ステップＳ７０２において抽出された情報に基づく等して、ハプティクスメディアに関する周波数特性情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ７０８において、ISOBMFF記憶部７１６は、そのISOBMFFファイルを記憶する。

　ステップＳ７０９において、ISOBMFF出力部７１７は、そのISOBMFFファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。

　ステップＳ７０９の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置７００は、本技術の方法６を適用し、ファイルコンテナを用いてハプティクスメディアに関する周波数特性情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ９＞
　また、ファイル生成装置７００には、上述した方法６を適用してもよい。例えば、ファイルコンテナを用いて方法２を実現してもよい。その場合の、ファイル生成処理の流れの例を、図１０９のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ７２１乃至ステップＳ７２６の各処理が、ステップＳ７０１乃至ステップＳ７０６の各処理（図１０８）と同様に実行される。

　ステップＳ７２７において、ISOBMFFファイル生成部７１５は、ステップＳ７０２において抽出された情報に基づく等して、ハプティクスメディアに関する信号立ち上がり特性情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ７２８およびステップＳ７２９の各処理は、ステップＳ７０８およびステップＳ７０９の各処理（図１０８）と同様に実行される。

　ステップＳ７２９の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置７００は、本技術の方法６を適用し、ファイルコンテナを用いてハプティクスメディアに関する信号立ち上がり特性情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ１０＞
　また、ファイル生成装置７００には、上述した方法６を適用してもよい。例えば、ファイルコンテナを用いて方法３を実現してもよい。その場合の、ファイル生成処理の流れの例を、図１１０のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ７４１乃至ステップＳ７４６の各処理が、ステップＳ７０１乃至ステップＳ７０６の各処理（図１０８）と同様に実行される。

　ステップＳ７４７において、ISOBMFFファイル生成部７１５は、ステップＳ７０２において抽出された情報に基づく等して、ハプティクスメディアの優先度に関する情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。また、ステップＳ７４８において、ISOBMFFファイル生成部７１５は、ステップＳ７０２において抽出された情報に基づく等して、ハプティクスメディアの合成に関する情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。つまり、ISOBMFFファイル生成部７１５は、ハプティクスメディアに関する選択合成情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ７４９およびステップＳ７５０の各処理は、ステップＳ７０８およびステップＳ７０９の各処理（図１０８）と同様に実行される。

　ステップＳ７５０の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置７００は、本技術の方法６を適用し、ファイルコンテナを用いてハプティクスメディアに関する選択合成情報を供給することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　このように方法６を適用しファイルコンテナを適用する場合においても、本技術の方法１乃至方法４の内の、複数の方法を組み合わせて適用してももちろんよい。

　　＜クライアント装置３＞
　上述した本技術（方法６）は、任意の装置に適用し得る。図１１１は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図１１１に示されるクライアント装置８００は、配信用のファイルコンテナであるISOBMFFファイルに格納された情報に基づいて、3Dデータやその3Dデータに関連付けられたHMデータ等の再生処理を行う再生装置である。例えば、クライアント装置８００は、ファイル生成装置７００により生成されたISOBMFFファイルを取得し、そのISOBMFFファイルに格納される情報に基づいて、そのISOBMFFファイルに格納される3DデータやHMデータ等を再生する。

　なお、図１１１においては、処理部やデータの流れ等の主なものを示しており、図１１１に示されるものが全てとは限らない。つまり、クライアント装置８００において、図１１１においてブロックとして示されていない処理部が存在したり、図１１１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１１１に示されるようにクライアント装置８００は、制御部８０１およびクライアント処理部８０２を有する。制御部８０１は、クライアント処理部８０２の制御に関する処理を行う。クライアント処理部８０２は、3DデータやHMデータ等の再生に関する処理を行う。

　クライアント処理部８０２は、ISOBMFF取得部８１１、ファイル処理部８１２、復号部８１３、出力制御部８１４、および出力部８１５を有する。

　ISOBMFF取得部８１１は、クライアント装置８００の外部からISOBMFFファイルを取得する。ISOBMFF取得部８１１は、そのISOBMFFファイルに格納される3Dファイルを抽出し、ファイル処理部８１２の3Dファイル処理部８３１へ供給する。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納されるHMファイルを抽出し、ファイル処理部８１２のHMファイル処理部８３２へ供給する。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納される代替メディアファイルを抽出し、ファイル処理部８１２のHMファイル処理部８３２へ供給してもよい。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納される3Dデータに関する情報を出力制御部８１４の3D出力制御部８５１へ供給する。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納されるHMデータに関する情報を出力制御部８１４のHM出力制御部８５２へ供給する。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納される代替メディアデータに関する情報を出力制御部８１４のHM出力制御部８５２へ供給してもよい。

　ファイル処理部８１２は、クライアント装置４００のファイル処理部４１２と同様の処理部であり、ファイル処理部４１２と同様の処理を行う。ファイル処理部８１２は、3Dファイル処理部８３１、およびHMファイル処理部８３２を有する。3Dファイル処理部８３１は、ISOBMFFファイルから抽出された3Dファイルを取得する。3Dファイル処理部８３１は、その3Dファイルから3Dデータの符号化データを抽出し、復号部８１３の3D復号部８４１へ供給する。HMファイル処理部８３２は、ISOBMFFファイルから抽出されたHMファイルを取得する。HMファイル処理部８３２は、そのHMファイルからHMデータの符号化データを抽出し、復号部８１３のHM復号部８４２へ供給する。また、HMファイル処理部８３２は、ISOBMFFファイルから抽出された代替メディアファイルを取得してもよい。HMファイル処理部８３２は、その代替メディアファイルから代替メディアデータの符号化データを抽出し、復号部８１３のHM復号部８４２へ供給してもよい。したがって、HMファイル処理部８３２は、代替メディアファイル処理部とも言える。また、HMファイル処理部８３２は、任意のメディアのファイルを処理するファイル処理部（またはメディアファイル処理部）とも言える。

　復号部８１３は、クライアント装置４００の復号部４１３と同様の処理部であり、復号部４１３と同様の処理を行う。復号部８１３は、3D復号部８４１、およびHM復号部８４２を有する。3D復号部８４１は、3D復号部４４２と同様の処理部であり、3D復号部４４２と同様の処理を行う。HM復号部８４２は、HM復号部４４３と同様の処理部であり、HM復号部４４３と同様の処理を行う。したがって、HM復号部８４２は、代替メディア復号部とも言える。また、HM復号部８４２は、任意のメディアの符号化データを復号する復号部（またはメディア復号部）とも言える。

　出力制御部８１４は、クライアント装置４００の出力制御部４１５と同様の処理部であり、出力制御部４１５と同様の処理を行う。出力制御部８１４は、3D出力制御部８５１およびHM出力制御部８５２を有する。3D出力制御部８５１は、3D復号部８４１から供給される3Dデータを取得する。3D出力制御部８５１は、ISOBMFF取得部８１１から供給される3Dデータに関する情報を取得する。3D出力制御部８５１は、その3Dデータに関する情報に基づいて、3Dデータの出力を制御し、その3Dデータを出力部８１５の3D出力部８６１に出力させる。例えば、3D出力制御部８５１は、3Dデータに関する情報に基づいて、3Dデータを用いてレンダリング等を行い、出力する情報（例えば画像等）を生成し、出力部８１５の3D出力部８６１に供給する。HM出力制御部８５２は、HM復号部８４２から供給されるHMデータを取得する。HM出力制御部８５２は、ISOBMFF取得部８１１から供給されるHMデータに関する情報を取得する。HM出力制御部８５２は、そのHMデータに関する情報に基づいて、HMデータの出力を制御し、そのHMデータを出力部８１５のHM出力部８６２に出力させる。例えば、HM出力制御部８５２は、HMデータに関する情報に基づいて、HMデータの信号変換やレンダリング等を行い、出力する情報（例えば振動情報等）を生成し、出力部８１５のHM出力部８６２へ供給する。また、HM出力制御部８５２は、HM復号部８４２から供給される代替メディアデータを取得してもよい。HM出力制御部８５２は、ISOBMFF取得部８１１から供給される代替メディアデータに関する情報を取得してもよい。HM出力制御部８５２は、その代替メディアデータに関する情報に基づいて、代替メディアデータの出力を制御し、その代替メディアデータを出力部８１５のHM出力部８６２（HM出力部８６２が有する、代替メディアを出力する出力デバイス）に出力させてもよい。例えば、HM出力制御部８５２は、代替メディアデータに関する情報に基づいて、代替メディアデータの信号変換やレンダリング等を行い、出力する情報（例えば画像情報や音声情報等）を生成し、出力部８１５のHM出力部８６２へ供給してもよい。したがって、HM出力制御部８５２は、代替メディア出力制御部とも言える。また、HM出力制御部８５２は、任意のメディアの出力を制御する出力制御部（またはメディア出力制御部）とも言える。

　出力制御部８１４は、3DデータやHMデータを再生するとも言える。つまり、出力制御部８１４は、それらのデータを再生する再生部とも言える。3D出力制御部８５１は、3Dデータを再生するとも言える。つまり、3D出力制御部８５１は、3Dデータを再生する再生部（または3D再生部）とも言える。HM出力制御部８５２は、HMデータを再生するとも言える。つまり、HM出力制御部８５２は、HMデータを再生する再生部（または、HM再生部）とも言える。また、HM出力制御部８５２は、代替メディアデータを再生するとも言える。つまり、HM出力制御部８５２は、代替メディアデータを再生する再生部（または、代替メディア再生部）とも言える。また、HM出力制御部８５２は、任意のメディアのデータを再生するとも言える。つまり、HM出力制御部８５２は、任意のメディアのデータを再生する再生部（または、メディア再生部）とも言える。

　出力部８１５は、クライアント装置４００の出力部４１６と同様の処理部であり、出力部４１６と同様の処理を行う。出力部８１５は、3D出力部８６１およびHM出力部８６２を有する。3D出力部８６１は、3D出力部４６２と同様の処理部であり、3D出力部４６２と同様の処理を行う。HM出力部８６２は、HM出力部４６３と同様の処理部であり、HM出力部４６３と同様の処理を行う。したがって、HM出力部８６２は、代替メディア出力部とも言える。つまり、HM出力部８６２は、任意のメディアを出力する出力部（またはメディア出力部）とも言える。

　以上のような構成のクライアント装置８００において、上述した第１の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。例えば、上述した方法６を、このクライアント装置８００に適用してもよい。

　　＜再生処理の流れ３＞
　このクライアント装置８００が実行する再生処理の流れの例を図１１２のフローチャートを参照して説明する。

　再生処理が開始されると、ISOBMFF取得部８１１は、ステップＳ８０１において、ISOBMFFファイルを取得する。ISOBMFF取得部８１１は、そのISOBMFFファイルから3DファイルやHMファイル等を抽出する。また、ISOBMFF取得部８１１は、そのISOBMFFファイルに格納される3Dファイルに関する情報やHMファイルに関する情報等を抽出する。

　ステップＳ８０２において、3Dファイル処理部８３１乃至3D出力部８６１は、ISOBMFFファイルから抽出された3Dデータに関する情報等に基づいて3Dオブジェクトコンテンツ再生処理を開始する。この処理は、図９３のフローチャートを参照して説明した場合と同様の流れで実行される。

　ステップＳ８０３において、HMファイル処理部８３２乃至HM出力部８６２は、ISOBMFFファイルから抽出されたHMデータに関する情報等に基づいてハプティクスメディア再生処理を開始する。

　ステップＳ８０３の処理が終了すると、再生処理が終了する。

　　＜ハプティクスメディア再生処理の流れ８＞
　次に、図１１２のステップＳ８０３において実行されるハプティクスメディア再生処理の流れについて説明する。上述したように、クライアント装置８００には、上述した方法６を適用してもよい。例えば、ファイルコンテナ（例えばサンプルエントリ）を用いて供給されたハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、ハプティクスメディア再生処理の流れの例を、図１１３のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ８４１において、制御部８０１は、ISOBMFFファイルに格納されたハプティクスメディアに関する周波数特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部８６２が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ８４２へ進む。

　ステップＳ８４２において、HMファイル処理部８３２は、そのハプティクスメディアに関する周波数特性情報に基づいて、ISOBMFFファイルから抽出された、端末ハプティクスデバイスの周波数特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzなので、中心周波数が最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、その周波数でのデバイス加速度が5GPPなので、両数値が最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が2GPPなので、両数値が最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルがないため、取得再生しない」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルはないが、haptics2.mp4を取得し、信号を調整して再生する」等のように、ハプティクスメディアに関する周波数特性情報に基づいてHMファイルの取得が制御される。

　ステップＳ８４３において、HM出力制御部８５２は、ハプティクスメディアの再生条件（ハプティクス再生条件とも称する）を満たすか否かを判定する。その条件を満たすと判定された場合、つまり、ハプティクスメディアを再生する状態にあると判定された場合、処理はステップＳ８４４へ進む。

　ステップＳ８４４において、HMファイル処理部８３２は、そのHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部８４２は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ８４５において、HM出力制御部８５２は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの周波数特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部８６２の端末ハプティクスデバイスに出力させる。

　ステップＳ８４５の処理が終了すると処理はステップＳ８４６へ進む。なお、ステップＳ８４１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ８４６へ進む。また、ステップＳ８４３において、ハプティクス再生条件を満たさないと判定された場合、つまり、ハプティクスメディアを再生する状態にないと判定された場合、処理はステップＳ８４６へ進む。

　ステップＳ８４６において、制御部８０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ８４１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置８００は、本技術の方法６を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディア等の出力を制御することができる。したがって、クライアント装置８００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ９＞
　また、クライアント装置８００には、上述した方法６を適用してもよい。例えば、ファイルコンテナを用いて供給されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１１４のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ８６１において、制御部８０１は、ISOBMFFファイルに格納されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部８６２が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ８６２へ進む。

　ステップＳ８６２において、HMファイル処理部８３２は、そのハプティクスメディアに関する信号立ち上がり特性情報に基づいて、端末ハプティクスデバイスの信号立ち上がり特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が50Hzで、4.0GPP(5GPPx80%)に到達する時間が50msなので、最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないため、再生しない」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないが、haptics2.mp4を取得し、50msで立ち上がるように信号を調整する」等のように、ハプティクスメディアに関する信号立ち上がり特性情報に基づいてHMファイルの取得が制御される。

　なお、ステップＳ８６１において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ８６６へ進む。ステップＳ８６３乃至ステップＳ８６６の各処理は、ステップＳ８４３乃至ステップＳ８４６の各処理（図１１３）と同様に実行される。ただし、ステップＳ８６５において、ハプティクスメディア（HMデータ）は、端末ハプティクスデバイスの信号立ち上がり特性に合わせて変換されてレンダリングされる。ステップＳ８６６において、ハプティクスメディア再生処理を終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置８００は、本技術の方法６を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディアの出力を制御することができる。したがって、クライアント装置８００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ１０＞
　また、クライアント装置８００には、上述した方法６を適用してもよい。例えば、ファイルコンテナを用いて供給されたハプティクスメディアに関する選択合成情報に基づいて、ハプティクスメディアの出力を制御してもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１１５のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、HMファイル処理部８３２は、ステップＳ８８１において、ISOBMFFファイルに格納されたハプティクスメディアの優先度に関する情報に基づいて、再生するハプティクスメディアを選択し、ISOBMFFファイルから抽出された、そのハプティクスメディアを格納するHMファイルを取得する。

　ステップＳ８８２において、HM出力制御部８５２は、ハプティクス再生条件を満たすか否かを判定する。満たすと判定された場合、処理はステップＳ８８３へ進む。

　ステップＳ８８３において、HMファイル処理部８３２は、ステップＳ８８１において取得されたHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部８４２は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ８８４において、HM出力制御部８５２は、ハプティクスメディアを合成するか否かを判定する。複数のハプティクスメディアを同時に再生するために、その複数のハプティクスメディアを合成すると判定された場合、処理はステップＳ８８５へ進む。

　ステップＳ８８５において、HM出力制御部８５２は、ISOBMFFファイルに格納されたハプティクスメディアの合成に関する情報に基づいて、必要に応じて信号調整して、ハプティクスメディアを合成する。例えば、「加速度情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動の方がファイル２の振動よりもレベルが大きいため、ユーザがファイル２の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きく、ファイル２の振動のピークレベルが0dBを超えているため、ユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報と歪み情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きいため、歪許容範囲内でユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」等のように、ハプティクスメディアに関する選択合成情報に基づいてHMファイルやHMデータに対する処理（取得や合成等）が制御される。

　ステップＳ８８５の処理が終了すると処理はステップＳ８８６へ進む。また、ステップＳ８８４において、合成しないと判定された場合、処理はステップＳ８８６へ進む。

　ステップＳ８８６において、HM出力制御部８５２は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部８６２の端末ハプティクスデバイスに出力させる。

　ステップＳ８８６の処理が終了すると処理はステップＳ８８７へ進む。また、ステップＳ８８２において、ハプティクス再生条件を満たさないと判定された場合、処理はステップＳ８８７へ進む。

　ステップＳ８８７において、制御部８０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ８８１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置８００は、本技術の方法６を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する選択合成情報に基づいて、ハプティクスメディアの出力を制御することができる。したがって、クライアント装置８００は、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　＜７．第４の実施の形態＞
　　＜ファイル生成装置４＞
　図１１６は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図１１６に示されるファイル生成装置１１００は、ファイル生成装置３００の場合と同様に、ハプティクスメディアが関連付けられた3Dオブジェクトコンテンツ（例えばポイントクラウド等の3Dデータ）を符号化する装置である。また、ファイル生成装置１１００は、その3DオブジェクトコンテンツのMPDを生成する。また、ファイル生成装置１１００は、その3Dオブジェクトコンテンツを配信用のファイルコンテナであるISOBMFFファイルに格納する。

　なお、図１１６においては、処理部やデータの流れ等の主なものを示しており、図１１６に示されるものが全てとは限らない。つまり、ファイル生成装置１１００において、図１１６においてブロックとして示されていない処理部が存在したり、図１１６において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１１６に示されるようにファイル生成装置１１００は、基本的にファイル生成装置３００と同様の構成を有する。ファイル生成装置１１００は、制御部１１０１およびファイル生成処理部１１０２を有する。制御部１１０１は、ファイル生成処理部１１０２を制御する。ファイル生成処理部１１０２は、制御部１１０１により制御されて、ファイルの生成に関する処理を行う。

　ファイル生成処理部１１０２は、入力部１１１１、前処理部１１１２、符号化部１１１３、およびファイル生成部１１１４を有する。また、ファイル生成処理部１１０２は、MPD記憶部１１１５、およびMPD出力部１１１６を有する。また、ファイル生成処理部１１０２は、ISOBMFFファイル生成部１１１７、ISOBMFF記憶部１１１８、およびISOBMFF出力部１１１９を有する。

　入力部１１１１は、ファイル生成装置５００の入力部５１１と同様の処理部であり、入力部５１１と同様の処理を行う。したがって、入力部１１１１は、取得部とも言える。入力部１１１１は、MPD入力部１１２１、3D入力部１１２２、およびHM入力部１１２３を有する。MPD入力部１１２１は、ファイル生成装置１１００に供給される、MPDの生成に用いられるデータを取得する。MPD入力部１１２１は、その取得したデータを用いてMPDを生成する。したがって、MPD入力部１１２１は、MPDを生成する生成部（またはMPD生成部）とも言える。なお、MPDがファイル生成装置１１００の外部から供給されてもよい。その場合、MPD入力部１１２１は、そのMPDを取得し、MPDの生成処理をスキップ（省略）すればよい。したがって、MPD入力部１１２１は、MPDを生成するためのデータまたはMPDを取得する取得部（またはMPD取得部）とも言える。MPD入力部１１２１は、取得または生成したMPDを前処理部１１１２のMPD前処理部１１３１へ供給する。3D入力部１１２２は、3D入力部７２１と同様の処理部であり、3D入力部７２１と同様の処理を行う。したがって、3D入力部１１２２は、3Dデータを取得する取得部（または3D取得部）とも言える。HM入力部１１２３は、HM入力部７２２と同様の処理部であり、HM入力部７２２と同様の処理を行う。したがって、HM入力部１１２３は、代替メディア入力部とも言える。また、HM入力部１１２３は、HMデータを取得する取得部（またはHM取得部）とも言える。また、HM入力部１１２３は、代替メディアデータを取得する取得部（または代替メディア取得部）とも言える。

　前処理部１１１２は、ファイル生成装置５００の前処理部５１２と同様の処理部であり、前処理部５１２と同様の処理を行う。前処理部１１１２は、MPD前処理部１１３１、3D前処理部１１３２、およびHM前処理部１１３３を有する。MPD前処理部１１３１は、例えば、MPD入力部１１２１から供給されたMPDから、そのMPDを格納するMPDファイルの生成に必要な情報を取得し、ファイル生成部１１１４のMPDファイル生成部１１５１へ供給する。また、MPD前処理部１１３１は、3D前処理部１１３２から供給される3Dデータに関する情報や、HM前処理部１１３３から供給されるHMデータに関する情報や代替メディアデータに関する情報を、MPDに格納してもよい。その際、MPD前処理部１１３１は、供給された情報に基づいて新たな情報を生成し、MPDに格納してもよい。また、MPD前処理部１１３１は、MPDを符号化部１１１３のMPD符号化部１１４１へ供給する。3D前処理部１１３２は、3D前処理部７３１と同様の処理部であり、3D前処理部７３１と同様の処理を行う。HM前処理部１１３３は、HM前処理部７３２と同様の処理部であり、HM前処理部７３２と同様の処理を行う。したがって、HM前処理部１１３３は、代替メディア前処理部とも言える。また、HM前処理部１１３３は、任意のメディアのデータを処理する前処理部（またはメディア前処理部）とも言える。

　符号化部１１１３は、ファイル生成装置５００の符号化部５１３と同様の処理部であり、符号化部５１３と同様の処理を行う。符号化部１１１３は、MPD符号化部１１４１、3D符号化部１１４２、およびHM符号化部１１４３を有する。MPD符号化部１１４１は、MPD前処理部１１３１から供給されるMPDを符号化し、その符号化データをファイル生成部１１１４のMPDファイル生成部１１５１へ供給する。3D符号化部１１４２は、3D符号化部７４１と同様の処理部であり、3D符号化部７４１と同様の処理を行う。HM符号化部１１４３は、HM符号化部７４２と同様の処理部であり、HM符号化部７４２と同様の処理を行う。したがって、HM符号化部１１４３は、代替メディア符号化部とも言える。また、HM符号化部１１４３は、任意のメディアのデータを符号化する符号化部（またはメディア符号化部）とも言える。

　ファイル生成部１１１４は、ファイル生成装置５００のファイル生成部５１４と同様の処理部であり、ファイル生成部５１４と同様の処理を行う。ファイル生成部１１１４は、MPDファイル生成部１１５１、3Dファイル生成部１１５２、およびHMファイル生成部１１５３を有する。MPDファイル生成部１１５１は、MPD前処理部１１３１やMPD符号化部１１４１から供給された情報に基づいて、MPDを格納するMPDファイルを生成する。MPDファイル生成部１１５１は、そのMPDファイルをMPD記憶部１１１５へ供給する。3Dファイル生成部１１５２は、3Dファイル生成部７５１と同様の処理部であり、3Dファイル生成部７５１と同様の処理を行う。3Dファイル生成部１１５２は、生成した3DファイルをISOBMFFファイル生成部１１１７へ供給する。HMファイル生成部１１５３は、HMファイル生成部７５２と同様の処理部であり、HMファイル生成部７５２と同様の処理を行う。したがって、HMファイル生成部１１５３は、代替メディアファイル生成部とも言える。また、HMファイル生成部１１５３は、任意のメディアの符号化データを格納するファイルを生成するファイル生成部（またはメディアファイル生成部）とも言える。HMファイル生成部１１５３は、生成したHMファイルや代替メディアファイルをISOBMFFファイル生成部１１１７へ供給する。

　ISOBMFFファイル生成部１１１７は、ISOBMFFファイルを生成し、そこに3Dファイル、HMファイル、代替メディアファイル等を格納する。また、ISOBMFFファイル生成部１１１７は、3D前処理部１１３２やHM前処理部１１３３等から供給された情報も、そのISOBMFFファイルに格納する。ISOBMFFファイル生成部１１１７は、生成したISOBMFFファイルをISOBMFF記憶部１１１８へ供給する。

　ISOBMFF記憶部１１１８は、そのISOBMFFファイルを取得し、記憶する。また、ISOBMFF記憶部１１１８は、ISOBMFF出力部１１１９等からの要求に応じて、または、所定のタイミングにおいて、そのISOBMFFファイルをISOBMFF出力部１１１９へ供給する。

　ISOBMFF出力部１１１９は、ISOBMFF記憶部１１１８から読み出されたISOBMFFファイルを取得し、ファイル生成装置１１００の外部に出力する。つまり、ISOBMFF出力部１１１９は、ISOBMFFファイルを他の装置に供給する供給部とも言える。

　以上のような構成のファイル生成装置１１００において、上述した第２の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。

　例えば、図７３乃至図７５を参照して上述した方法を、このファイル生成装置１１００に適用してもよい。つまり、デコーダが、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。その際、各ハプティクスデータの情報は、図７３の例のように、MPDの１つのアダプテーションセット内の互いに異なるリプレゼンテーションに格納されてもよい。また、図７４の例のように、各ハプティクスデータの情報が、MPDの互いに異なるアダプテーションセットに格納されてもよい。また、図７５の例のように、プリセレクション（Preselection）によりアダプテーションセットが１つ選択されるようにしてもよい。

　また、図７９乃至図８１を参照して上述した方法を、このファイル生成装置１１００に適用してもよい。つまり、デコーダが、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。その際、各ハプティクスデータの情報は、図７９の例のように、MPDの１つのアダプテーションセット内の互いに異なるリプレゼンテーションに格納されてもよい。また、図８０の例のように、各ハプティクスデータの情報が、MPDの互いに異なるアダプテーションセットに格納されてもよい。また、図８１の例のように、プリセレクション（Preselection）によりアダプテーションセットが１つ選択されるようにしてもよい。

　また、図８５を参照して上述した方法を、このファイル生成装置１１００に適用してもよい。つまり、デコーダが、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。

　　＜ファイル生成処理の流れ１１＞
　次に、このファイル生成装置１１００が実行するファイル生成処理の流れについて説明する。上述したように、ファイル生成装置１１００には、図７３乃至図７５を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法１を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、ファイル生成処理の流れの例を、図１１７のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ１１０１において、MPD入力部１１２１は、MPDを取得する。なお、MPD入力部１１２１は、MPDを生成するためのデータを取得し、そのデータを用いてMPDを生成してもよい。3D入力部１１２２は、3Dオブジェクトコンテンツ（3Dデータ）を取得する。HM入力部１１２３は、ハプティクスメディア（HMデータ）を取得する。

　ステップＳ１１０２において、MPD前処理部１１３１は、MPDに対して前処理を行い、MPDから、MPDファイルの生成に必要な情報を抽出する。3D前処理部１１３２は、3Dデータに対して前処理を行い、3Dデータから3Dファイルの生成に必要な情報を抽出する。また、3D前処理部１１３２は、3DデータからISOBMFFファイルの生成に必要な情報を抽出する。HM前処理部１１３３は、HMデータに対して前処理を行い、HMデータから、HMファイルの生成に必要な情報を抽出する。また、HM前処理部１１３３は、HMデータからISOBMFFファイルの生成に必要な情報を抽出する。

　ステップＳ１１０３において、3D前処理部１１３２は、3Dデータに関する情報を生成する。また、HM前処理部１１３３は、HMデータに関する情報を生成する。MPD前処理部１１３１は、それらの情報等に基づいて、ハプティクスメディア（HMデータ）に関する記述を生成し、MPDに格納する。例えば、MPD前処理部１１３１は、このハプティクスメディア（HMデータ）に関する記述として、図７３の例の記述をMPDに格納してもよい。また、MPD前処理部１１３１は、このハプティクスメディア（HMデータ）に関する記述として、図７４の例の記述をMPDに格納してもよい。また、MPD前処理部１１３１は、このハプティクスメディア（HMデータ）に関する記述として、図７５の例の記述をMPDに格納してもよい。

　ステップＳ１１０４において、MPD符号化部１１４１は、MPDを符号化し、MPDの符号化データを生成する。3D符号化部１１４２は、3Dオブジェクトコンテンツ（3Dデータ）を符号化し、3Dデータの符号化データを生成する。HM符号化部１１４３は、ハプティクスメディア（HMデータ）を符号化し、HMデータの符号化データを生成する。

　ステップＳ１１０５において、MPDファイル生成部１１５１は、MPDの符号化データを格納するMPDファイルを生成する。3Dファイル生成部１１５２は、3Dデータの符号化データを格納する3Dファイルを生成する。HMファイル生成部１１５３は、HMデータの符号化データを格納するHMファイルを生成する。

　ステップＳ１１０６において、ISOBMFFファイル生成部１１１７は、3DファイルとHMファイルを格納するISOBMFFファイルを生成する。

　ステップＳ１１０７において、ISOBMFFファイル生成部１１１７は、ステップＳ１１０２において抽出された情報に基づく等して、3Dオブジェクトコンテンツとハプティクスメディアとの関連性の記述をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ１１０８において、ISOBMFFファイル生成部１１１７は、ステップＳ１１０２において抽出された情報に基づく等して、ハプティクスメディアに関する周波数特性情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ１１０９において、MPD記憶部１１１５は、ステップＳ１１０５において生成されたMPDファイルを記憶する。また、ISOBMFF記憶部１１１８は、ステップＳ１１０６において生成され、ステップＳ１１０７およびステップＳ１１０８において情報が格納されたISOBMFFファイルを記憶する。

　ステップＳ１１１０において、MPD出力部１１１６は、そのMPDを出力し、他の装置（例えば、クライアント装置）へ供給する。例えば、MPD出力部１１１６は、図７３の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。また、MPD出力部１１１６は、図７４の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。また、MPD出力部１１１６は、図７５の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。また、ISOBMFF出力部１１１９は、そのISOBMFFファイルを出力し、他の装置（例えば、クライアント装置）へ供給する。

　ステップＳ１１１０の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置１１００は、本技術を適用し、ファイルコンテナを用いてハプティクスメディアに関する周波数特性情報を供給することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ１２＞
　また、ファイル生成装置１１００には、図７９乃至図８１を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法２を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、ファイル生成処理の流れの例を、図１１８のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ１１２１乃至ステップＳ１１２７の各処理が、ステップＳ１１０１乃至ステップＳ１１０７の各処理（図１１７）と同様に実行される。例えば、ステップＳ１１２３において、MPD前処理部１１３１は、ハプティクスメディア（HMデータ）に関する記述として、図７９の例の記述をMPDに格納してもよい。また、MPD前処理部１１３１は、このハプティクスメディア（HMデータ）に関する記述として、図８０の例の記述をMPDに格納してもよい。また、MPD前処理部１１３１は、このハプティクスメディア（HMデータ）に関する記述として、図８１の例の記述をMPDに格納してもよい。

　ステップＳ１１２８において、ISOBMFFファイル生成部１１１７は、ステップＳ１１０２において抽出された情報に基づく等して、ハプティクスメディアに関する信号立ち上がり特性情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ１１２９およびステップＳ１１３０の各処理は、ステップＳ１１０９およびステップＳ１１１０の各処理（図１１７）と同様に実行される。例えば、ステップＳ１１３０において、MPD出力部１１１６は、図７９の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。また、MPD出力部１１１６は、図８０の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。また、MPD出力部１１１６は、図８１の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。

　ステップＳ１１３０の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置１１００は、本技術を適用し、ファイルコンテナを用いてハプティクスメディアに関する信号立ち上がり特性情報を供給することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ファイル生成処理の流れ１３＞
　また、ファイル生成装置１１００には、図８５を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法３を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、ファイル生成処理の流れの例を、図１１９のフローチャートを参照して説明する。

　ファイル生成処理が開始されると、ステップＳ１１４１乃至ステップＳ１１４７の各処理が、ステップＳ１１０１乃至ステップＳ１１０７の各処理（図１１７）と同様に実行される。例えば、ステップＳ１１４３において、MPD前処理部１１３１は、ハプティクスメディア（HMデータ）に関する記述として、図８５の例の記述をMPDに格納してもよい。

　ステップＳ１１４８において、ISOBMFFファイル生成部１１１７は、ステップＳ１１４２において抽出された情報に基づく等して、ハプティクスメディアの優先度に関する情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。また、ステップＳ１１４９において、ISOBMFFファイル生成部１１１７は、ステップＳ１１４２において抽出された情報に基づく等して、ハプティクスメディアの合成に関する情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。つまり、ISOBMFFファイル生成部１１１７は、ハプティクスメディアに関する選択合成情報をISOBMFFファイル（例えば、サンプルエントリ等）に格納する。

　ステップＳ１１５０およびステップＳ１１５１の各処理は、ステップＳ１１０９およびステップＳ１１１０の各処理（図１１７）と同様に実行される。例えば、ステップＳ１１５１において、MPD出力部１１１６は、図８５の例のようなハプティクスメディア（HMデータ）に関する記述が存在するMPDを供給してもよい。

　ステップＳ１１５１の処理が終了すると、ファイル生成処理が終了する。

　このように各処理を実行することにより、ファイル生成装置１１００は、本技術を適用し、ファイルコンテナを用いてハプティクスメディアに関する選択合成情報を供給することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　このようにMPDからファイルコンテナのハプティクスメディアのトラックを選択する場合においても、本技術の方法１乃至方法４の内の、複数の方法を組み合わせて適用してももちろんよい。

　　＜クライアント装置４＞
　図１２０は、本技術を適用した情報処理装置の一態様であるクライアント装置の構成の一例を示すブロック図である。図１２０に示されるクライアント装置１２００は、配信用のファイルコンテナであるISOBMFFファイルに格納された3Dデータやその3Dデータに関連付けられたHMデータ等の再生処理を行う再生装置である。クライアント装置１２００は、MPDに基づいて、ファイルコンテナのハプティクスメディアのトラックにアクセスする。また、クライアント装置１２００は、ISOBMFFファイルに格納された情報に基づいて、3Dデータやその3Dデータに関連付けられたHMデータ等の再生処理を行う。例えば、クライアント装置１２００は、ファイル生成装置１１００により生成されたMPDファイルやISOBMFFファイルを取得し、そのISOBMFFファイルに格納される3DデータやHMデータ等を再生する。

　なお、図１２０においては、処理部やデータの流れ等の主なものを示しており、図１２０に示されるものが全てとは限らない。つまり、クライアント装置１２００において、図１２０においてブロックとして示されていない処理部が存在したり、図１２０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。

　図１２０に示されるようにクライアント装置１２００は、制御部１２０１およびクライアント処理部１２０２を有する。制御部１２０１は、クライアント処理部１２０２の制御に関する処理を行う。クライアント処理部１２０２は、3DデータやHMデータ等の再生に関する処理を行う。

　クライアント処理部１２０２は、取得部１２１１、ファイル処理部１２１２、復号部１２１３、MPD解析部１２１４、出力制御部１２１５、および出力部１２１６を有する。

　取得部１２１１は、クライアント装置６００の取得部６１１と同様の処理部であり、取得部６１１と同様の処理を行う。取得部１２１１は、MPD取得部１２２１およびISOBMFF取得部１２２２を有する。MPD取得部１２２１は、クライアント装置１２００の外部から供給されるMPDファイルを取得し、ファイル処理部１２１２のMPDファイル処理部１２３１へ供給する。ISOBMFF取得部１２２２は、クライアント装置１２００の外部からISOBMFFファイルを取得する。ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納される3Dファイルを抽出し、ファイル処理部１２１２の3Dファイル処理部１２３２へ供給する。また、ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納されるHMファイルを抽出し、ファイル処理部１２１２のHMファイル処理部１２３３へ供給する。また、ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納される代替メディアファイルを抽出し、ファイル処理部１２１２のHMファイル処理部１２３３へ供給してもよい。また、ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納される3Dデータに関する情報を出力制御部１２１５の3D出力制御部１２５２へ供給する。また、ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納されるHMデータに関する情報を出力制御部１２１５のHM出力制御部１２５３へ供給する。また、ISOBMFF取得部１２２２は、そのISOBMFFファイルに格納される代替メディアデータに関する情報を出力制御部１２１５のHM出力制御部１２５３へ供給してもよい。

　ファイル処理部１２１２は、クライアント装置６００のファイル処理部６１２と同様の処理部であり、ファイル処理部６１２と同様の処理を行う。ファイル処理部１２１２は、MPDファイル処理部１２３１、3Dファイル処理部１２３２、およびHMファイル処理部１２３３を有する。MPDファイル処理部１２３１は、MPD取得部１２２１から供給されたMPDファイルを取得し、そのMPDファイルからMPDの符号化データを抽出し、復号部１２１３のMPD復号部１２４１へ供給する。3Dファイル処理部１２３２は、ISOBMFFファイルから抽出された3Dファイルを取得する。3Dファイル処理部１２３２は、その3Dファイルから3Dデータの符号化データを抽出し、復号部１２１３の3D復号部１２４２へ供給する。HMファイル処理部１２３３は、ISOBMFFファイルから抽出されたHMファイルを取得する。HMファイル処理部１２３３は、そのHMファイルからHMデータの符号化データを抽出し、復号部１２１３のHM復号部１２４３へ供給する。また、HMファイル処理部１２３３は、ISOBMFFファイルから抽出された代替メディアファイルを取得してもよい。HMファイル処理部１２３３は、その代替メディアファイルから代替メディアデータの符号化データを抽出し、復号部１２１３のHM復号部１２４３へ供給してもよい。したがって、HMファイル処理部１２３３は、代替メディアファイル処理部とも言える。また、HMファイル処理部１２３３は、任意のメディアのファイルを処理するファイル処理部（またはメディアファイル処理部）とも言える。

　復号部１２１３は、クライアント装置６００の復号部６１３と同様の処理部であり、復号部６１３と同様の処理を行う。復号部１２１３は、MPD復号部１２４１、3D復号部１２４２、およびHM復号部１２４３を有する。MPD復号部１２４１は、MPDファイル処理部１２３１から供給されたMPDの符号化データを復号し、MPDを生成（復元）し、MPD解析部１２１４へ供給する。3D復号部１２４２は、3D復号部６４２と同様の処理部であり、3D復号部６４２と同様の処理を行う。HM復号部１２４３は、HM復号部６４３と同様の処理部であり、HM復号部６４３と同様の処理を行う。したがって、HM復号部１２４３は、代替メディア復号部とも言える。また、HM復号部１２４３は、任意のメディアの符号化データを復号する復号部（またはメディア復号部）とも言える。

　MPD解析部１２１４は、MPDの解析に関する処理を行う。例えば、MPD解析部１２１４は、MPD復号部１２４１から供給されるMPDを取得し、そのMPDを解析する。また、MPD解析部１２１４は、その解析結果、または、その解析結果に基づいて導出したり、取得したりした情報を、取得部１２１１や出力制御部１２１５へ供給し、情報の取得やコンテンツの再生を制御する。つまり、取得部１２１１（ISOBMFF取得部１２２２）や、出力制御部１２１５（3D出力制御部１２５２およびHM出力制御部１２５３）は、そのMPD解析部１２１４の制御に従って、処理を実行する。したがって、MPD解析部１２１４は、制御部（または、取得制御部若しくは再生制御部）とも言える。

　出力制御部１２１５は、クライアント装置６００の出力制御部６１５と同様の処理部であり、出力制御部６１５と同様の処理を行う。出力制御部１２１５は、3D出力制御部１２５２およびHM出力制御部１２５３を有する。3D出力制御部１２５２は、3D復号部１２４２から供給される3Dデータを取得する。3D出力制御部１２５２は、ISOBMFF取得部１２２２から供給される3Dデータに関する情報を取得する。3D出力制御部１２５２は、その3Dデータに関する情報に基づいて、3Dデータの出力を制御し、その3Dデータを出力部１２１６の3D出力部１２６２に出力させる。例えば、3D出力制御部１２５２は、3Dデータに関する情報に基づいて、3Dデータを用いてレンダリング等を行い、出力する情報（例えば画像等）を生成し、出力部１２１６の3D出力部１２６２に供給する。HM出力制御部１２５３は、HM復号部１２４３から供給されるHMデータを取得する。HM出力制御部１２５３は、ISOBMFF取得部１２２２から供給されるHMデータに関する情報を取得する。HM出力制御部１２５３は、そのHMデータに関する情報に基づいて、HMデータの出力を制御し、そのHMデータを出力部１２１６のHM出力部１２６３に出力させる。例えば、HM出力制御部１２５３は、HMデータに関する情報に基づいて、HMデータの信号変換やレンダリング等を行い、出力する情報（例えば振動情報等）を生成し、出力部１２１６のHM出力部１２６３へ供給する。また、HM出力制御部１２５３は、HM復号部１２４３から供給される代替メディアデータを取得してもよい。HM出力制御部１２５３は、ISOBMFF取得部１２２２から供給される代替メディアデータに関する情報を取得してもよい。HM出力制御部１２５３は、その代替メディアデータに関する情報に基づいて、代替メディアデータの出力を制御し、その代替メディアデータを出力部１２１６のHM出力部１２６３（HM出力部１２６３が有する、代替メディアを出力する出力デバイス）に出力させてもよい。例えば、HM出力制御部１２５３は、代替メディアデータに関する情報に基づいて、代替メディアデータの信号変換やレンダリング等を行い、出力する情報（例えば画像情報や音声情報等）を生成し、出力部１２１６のHM出力部１２６３へ供給してもよい。したがって、HM出力制御部１２５３は、代替メディア出力制御部とも言える。また、HM出力制御部１２５３は、任意のメディアの出力を制御する出力制御部（またはメディア出力制御部）とも言える。

　出力制御部１２１５は、3DデータやHMデータを再生するとも言える。つまり、出力制御部１２１５は、それらのデータを再生する再生部とも言える。3D出力制御部１２５２は、3Dデータを再生するとも言える。つまり、3D出力制御部１２５２は、3Dデータを再生する再生部（または3D再生部）とも言える。HM出力制御部１２５３は、HMデータを再生するとも言える。つまり、HM出力制御部１２５３は、HMデータを再生する再生部（または、HM再生部）とも言える。また、HM出力制御部１２５３は、代替メディアデータを再生するとも言える。つまり、HM出力制御部１２５３は、代替メディアデータを再生する再生部（または、代替メディア再生部）とも言える。また、HM出力制御部１２５３は、任意のメディアのデータを再生するとも言える。つまり、HM出力制御部１２５３は、任意のメディアのデータを再生する再生部（または、メディア再生部）とも言える。

　出力部１２１６は、クライアント装置６００の出力部６１６と同様の処理部であり、出力部６１６と同様の処理を行う。出力部１２１６は、3D出力部１２６２およびHM出力部１２６３を有する。3D出力部１２６２は、3D出力部６６２と同様の処理部であり、3D出力部６６２と同様の処理を行う。HM出力部１２６３は、HM出力部６６３と同様の処理部であり、HM出力部６６３と同様の処理を行う。したがって、HM出力部１２６３は、代替メディア出力部とも言える。また、HM出力部１２６３は、任意のメディアを出力する出力部（またはメディア出力部）とも言える。

　以上のような構成のクライアント装置１２００において、上述した第１の情報処理装置とし、＜３．ハプティクスメディアの再生制御のための拡張＞において上述した本技術を適用してもよい。

　例えば、図７３乃至図７５を参照して上述した方法を、このクライアント装置１２００に適用してもよい。つまり、クライアント装置１２００が、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。その際、各ハプティクスデータの情報は、図７３の例のように、MPDの１つのアダプテーションセット内の互いに異なるリプレゼンテーションに格納されてもよい。また、図７４の例のように、各ハプティクスデータの情報が、MPDの互いに異なるアダプテーションセットに格納されてもよい。また、図７５の例のように、プリセレクション（Preselection）によりアダプテーションセットが１つ選択されるようにしてもよい。

　また、図７９乃至図８１を参照して上述した方法を、このクライアント装置１２００に適用してもよい。つまり、クライアント装置１２００が、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。その際、各ハプティクスデータの情報は、図７９の例のように、MPDの１つのアダプテーションセット内の互いに異なるリプレゼンテーションに格納されてもよい。また、図８０の例のように、各ハプティクスデータの情報が、MPDの互いに異なるアダプテーションセットに格納されてもよい。また、図８１の例のように、プリセレクション（Preselection）によりアダプテーションセットが１つ選択されるようにしてもよい。

　また、図８５を参照して上述した方法を、このクライアント装置１２００に適用してもよい。つまり、クライアント装置１２００が、DASHのMPDからInitialization Segmentを取得することで、ハプティクストラック（Haptics Track）のtrack情報を取得してもよい。

　　＜再生処理の流れ４＞
　このクライアント装置１２００が実行する再生処理の流れの例を図１２１のフローチャートを参照して説明する。

　再生処理が開始されると、ステップＳ１２０１において、MPD取得部１２２１は、MPDファイルを取得する。ISOBMFF取得部１２２２は、ISOBMFFファイルを取得する。

　ステップＳ１２０２において、MPDファイル処理部１２３１は、そのMPDファイルに格納されているMPDの符号化データを抽出する。

　ステップＳ１２０３において、MPD復号部１２４１は、抽出したMPDの符号化データを復号し、MPDを生成（復元）する。

　ステップＳ１２０４において、MPD解析部１２１４は、そのMPDを解析する。

　ステップＳ１２０５において、ISOBMFF取得部１２２２、並びに、3Dファイル処理部１２３２乃至3D出力部１２６２は、ISOBMFFファイルから抽出された3Dデータに関する情報等に基づいて3Dオブジェクトコンテンツ再生処理を開始する。この処理は、図９３のフローチャートを参照して説明した場合と同様の流れで実行される。

　ステップＳ１２０６において、ISOBMFF取得部１２２２、並びに、HMファイル処理部１２３３乃至HM出力部１２６３は、MPDや、ISOBMFFファイルから抽出されたHMデータに関する情報等に基づいて、ハプティクスメディア再生処理を開始する。

　ステップＳ１２０６の処理が終了すると、再生処理が終了する。

　　＜ハプティクスメディア再生処理の流れ１１＞
　次に、図１２１のステップＳ１２０６において実行されるハプティクスメディア再生処理の流れについて説明する。上述したように、クライアント装置１２００には、図７３乃至図７５を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法１を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、ハプティクスメディア再生処理の流れの例を、図１２２のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ１２４１において、ISOBMFF取得部１２２２は、MPD解析部１２１４により解析されたMPDの記述に基づいて、ISOBMFFファイルに格納されたハプティクスメディアに関する周波数特性情報を参照する。例えば、MPD解析部１２１４が、図７３の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する周波数特性情報を参照してもよい。また、MPD解析部１２１４が、図７４の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する周波数特性情報を参照してもよい。また、MPD解析部１２１４が、図７５の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する周波数特性情報を参照してもよい。

　ステップＳ１２４２において、ISOBMFF取得部１２２２は、その参照したハプティクスメディアに関する周波数特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部１２６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１２４３へ進む。

　ステップＳ１２４３において、ISOBMFF取得部１２２２は、そのハプティクスメディアに関する周波数特性情報に基づいて、ISOBMFFファイルから、端末ハプティクスデバイスの周波数特性に最適なHMファイルを抽出する。HMファイル処理部１２３３は、そのHMファイルを取得する。つまり、HMファイル処理部１２３３は、参照されたハプティクスメディアに関する周波数特性情報に基づいて、ISOBMFFファイルから抽出された、端末ハプティクスデバイスの周波数特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzなので、中心周波数が最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、その周波数でのデバイス加速度が5GPPなので、両数値が最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が2GPPなので、両数値が最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルがないため、取得再生しない」、「デバイスの中心周波数が40Hzで、その周波数でのデバイス加速度が1GPPなので、最適なファイルはないが、haptics2.mp4を取得し、信号を調整して再生する」等のように、ハプティクスメディアに関する周波数特性情報に基づいてHMファイルの取得が制御される。

　ステップＳ１２４４において、HM出力制御部１２５３は、ハプティクスメディアの再生条件（ハプティクス再生条件とも称する）を満たすか否かを判定する。その条件を満たすと判定された場合、つまり、ハプティクスメディアを再生する状態にあると判定された場合、処理はステップＳ１２４５へ進む。

　ステップＳ１２４５において、HMファイル処理部１２３３は、そのHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部１２４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ１２４６において、HM出力制御部１２５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの周波数特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部１２６３の端末ハプティクスデバイスに出力させる。

　ステップＳ１２４６の処理が終了すると処理はステップＳ１２４７へ進む。なお、ステップＳ１２４２において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ１２４７へ進む。また、ステップＳ１２４４において、ハプティクス再生条件を満たさないと判定された場合、つまり、ハプティクスメディアを再生する状態にないと判定された場合、処理はステップＳ１２４７へ進む。

　ステップＳ１２４７において、制御部１２０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１２４１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置１２００は、本技術を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する周波数特性情報に基づいて、ハプティクスメディア等の出力を制御することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、クライアント装置１２００は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ１２＞
　また、クライアント装置１２００には、図７９乃至図８１を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法２を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１２３のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ１２６１において、ISOBMFF取得部１２２２は、MPD解析部１２１４により解析されたMPDの記述に基づいて、ISOBMFFファイルに格納されたハプティクスメディアに関する信号立ち上がり特性情報を参照する。例えば、MPD解析部１２１４が、図７９の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する信号立ち上がり特性情報を参照してもよい。また、MPD解析部１２１４が、図８０の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する信号立ち上がり特性情報を参照してもよい。また、MPD解析部１２１４が、図８１の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する信号立ち上がり特性情報を参照してもよい。

　ステップＳ１２６２において、ISOBMFF取得部１２２２は、その参照したハプティクスメディアに関する信号立ち上がり特性情報に基づいて、再生するハプティクスメディアを出力可能な端末ハプティクスデバイス（HM出力部１２６３が有するハプティクスデバイス）が存在するか否かを判定する。存在すると判定された場合、処理はステップＳ１２６３へ進む。

　ステップＳ１２６３において、ISOBMFF取得部１２２２は、そのハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ISOBMFFファイルから、端末ハプティクスデバイスの信号立ち上がり特性に最適なHMファイルを抽出する。HMファイル処理部１２３３は、そのHMファイルを取得する。つまり、HMファイル処理部１２３３は、参照されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ISOBMFFファイルから抽出された、端末ハプティクスデバイスの信号立ち上がり特性に最適なHMファイルを取得する。例えば、「デバイスの中心周波数が70Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics3.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が40msなので、最適となるhaptics2.mp4を取得する」、「デバイスの中心周波数が50Hzで、4.0GPP(5GPPx80%)に到達する時間が50msなので、最適となるhaptics1.mp4を取得する」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないため、再生しない」、「デバイスの中心周波数が50Hzで、2.4GPP(3GPPx80%)に到達する時間が80msなので、最適となるファイルがないが、haptics2.mp4を取得し、50msで立ち上がるように信号を調整する」等のように、ハプティクスメディアに関する信号立ち上がり特性情報に基づいてHMファイルの取得が制御される。

　ステップＳ１２６４において、HM出力制御部１２５３は、ハプティクスメディアの再生条件（ハプティクス再生条件とも称する）を満たすか否かを判定する。その条件を満たすと判定された場合、つまり、ハプティクスメディアを再生する状態にあると判定された場合、処理はステップＳ１２６５へ進む。

　ステップＳ１２６５において、HMファイル処理部１２３３は、そのHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部１２４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ１２６６において、HM出力制御部１２５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの信号立ち上がり特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部１２６３の端末ハプティクスデバイスに出力させる。

　ステップＳ１２６６の処理が終了すると処理はステップＳ１２６７へ進む。なお、ステップＳ１２６２において、再生するハプティクスメディアを出力可能な端末ハプティクスデバイスが存在しないと判定された場合、処理はステップＳ１２６７へ進む。また、ステップＳ１２６４において、ハプティクス再生条件を満たさないと判定された場合、つまり、ハプティクスメディアを再生する状態にないと判定された場合、処理はステップＳ１２６７へ進む。

　ステップＳ１２６７において、制御部１２０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１２６１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置１２００は、本技術を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する信号立ち上がり特性情報に基づいて、ハプティクスメディア等の出力を制御することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、クライアント装置１２００は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜ハプティクスメディア再生処理の流れ１３＞
　また、クライアント装置１２００には、図８５を参照して上述した方法を適用してもよい。例えば、ファイルコンテナを用いて方法３を実現し、さらに、MPDを用いてハプティクスメディアを格納するトラックが選択されるようにしてもよい。その場合の、インタラクティブメディア再生処理の流れの例を、図１２４のフローチャートを参照して説明する。

　ハプティクスメディア再生処理が開始されると、ステップＳ１２８１において、ISOBMFF取得部１２２２は、MPD解析部１２１４により解析されたMPDの記述に基づいて、ISOBMFFファイルに格納されたハプティクスメディアに関する選択合成情報を参照する。例えば、MPD解析部１２１４が、図８５の例のようなハプティクスメディア（HMデータ）に関する記述を解析し、ISOBMFF取得部１２２２が、その記述に基づいて、ハプティクスメディアに関する選択合成情報を参照してもよい。

　ステップＳ１２８２において、ISOBMFF取得部１２２２は、その参照したハプティクスメディアに関する選択合成情報に含まれる、ハプティクスメディアの優先度に関する情報に基づいて、再生するハプティクスメディアを選択し、そのハプティクスメディアを格納するHMファイルを抽出する。HMファイル処理部１２３３は、その抽出したHMファイルを取得する。つまり、HMファイル処理部１２３３は、そのハプティクスメディアの優先度に関する情報に基づいて、再生するハプティクスメディアを選択し、ISOBMFFファイルから抽出された、そのハプティクスメディアを格納するHMファイルを取得する。

　ステップＳ１２８３において、HM出力制御部１２５３は、ハプティクス再生条件を満たすか否かを判定する。満たすと判定された場合、処理はステップＳ１２８４へ進む。

　ステップＳ１２８４において、HMファイル処理部１２３３は、ステップＳ１２８２において取得されたHMファイルからハプティクスメディアの符号化データを抽出する。HM復号部１２４３は、その抽出したハプティクスメディアの符号化データを復号し、ハプティクスメディア（HMデータ）を生成する。

　ステップＳ１２８５において、HM出力制御部１２５３は、ハプティクスメディアを合成するか否かを判定する。複数のハプティクスメディアを同時に再生するために、その複数のハプティクスメディアを合成すると判定された場合、処理はステップＳ１２８６へ進む。

　ステップＳ１２８６において、HM出力制御部１２５３は、ステップＳ１２８１において参照されたハプティクスメディアに関する選択合成情報に含まれる、ハプティクスメディアの合成に関する情報に基づいて、必要に応じて信号調整して、ハプティクスメディアを合成する。例えば、「加速度情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動の方がファイル２の振動よりもレベルが大きいため、ユーザがファイル２の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きく、ファイル２の振動のピークレベルが0dBを超えているため、ユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」、「レベル情報と歪み情報に基づいてファイル１およびファイル２を取得し、ファイル１の振動のレベルよりもファイル２の振動のレベルの方が大きいため、歪許容範囲内でユーザがファイル１の振動を感じることができるように、ファイル１およびファイル２の信号を相対的に調整する」等のように、ハプティクスメディアに関する選択合成情報に基づいてHMファイルやHMデータに対する処理（取得や合成等）が制御される。

　ステップＳ１２８６の処理が終了すると処理はステップＳ１２８７へ進む。また、ステップＳ１２８５において、合成しないと判定された場合、処理はステップＳ１２８７へ進む。

　ステップＳ１２８７において、HM出力制御部１２５３は、そのハプティクスメディア（HMデータ）を端末ハプティクスデバイスの特性に合わせて変換し、変換後のHMデータをレンダリングし、HM出力部８６２の端末ハプティクスデバイスに出力させる。

　ステップＳ１２８７の処理が終了すると処理はステップＳ１２８８へ進む。また、ステップＳ１２８３において、ハプティクス再生条件を満たさないと判定された場合、処理はステップＳ１２８８へ進む。

　ステップＳ１２８８において、制御部１２０１は、ハプティクスメディア再生処理を終了するか否かを判定する。終了しないと判定された場合、処理はステップＳ１２８１へ戻る。終了すると判定された場合、ハプティクスメディア再生処理が終了する。

　このように各処理を実行することにより、クライアント装置１２００は、本技術を適用し、ファイルコンテナを用いて供給されたハプティクスメディアに関する選択合成情報に基づいて、ハプティクスメディア等の出力を制御することができる。また、そのファイルコンテナのハプティクスメディアを格納するトラックを、MPDを用いて選択することができる。したがって、クライアント装置１２００は、コンテンツ制作者の意図により近いハプティクス体験を提供することができる。

　　＜シーンディスクリプションとの組み合わせ＞
　＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、サンプルエントリのデータ構造を示す情報をシーンディスクリプションに格納してもよい。その場合、ファイル生成装置１１００は、MPD入力部１１２１、MPD前処理部１１３１、MPD符号化部１１４１、MPDファイル生成部１１５１、MPD記憶部１１１５、およびMPD出力部１１１６の代わりに、SD入力部３２１、SD前処理部３３１、SD符号化部３４１、SDファイル生成部３５１、SD記憶部３６１、およびSD出力部３７１を有し、サンプルエントリのデータ構造を示す情報を含むシーンディスクリプションを生成し、符号化し、SDファイルに格納し、そのSDファイルを供給すればよい。また、クライアント装置１２００は、MPD取得部１２２１、MPDファイル処理部１２３１、MPD復号部１２４１、およびMPD解析部１２１４の代わりに、SD取得部４２１、SDファイル処理部４３１、SD復号部４４１、およびSD解析部４１４を有し、SDファイルを取得し、符号化データを抽出して復号し、サンプルエントリのデータ構造を示す情報を含むシーンディスクリプションを生成（復元）して解析し、その情報に基づいてハプティクスメディアの出力を制御すればよい。

　　＜MPDとの組み合わせ＞
　また、＜３．ハプティクスメディアの再生制御のための拡張＞において上述したように、サンプルエントリのデータ構造を示す情報をMPDに格納してもよい。その場合、ファイル生成装置１１００は、サンプルエントリのデータ構造を示す情報を含むMPDを生成し、符号化し、MPDファイルに格納し、そのMPDファイルを供給すればよい。また、クライアント装置１２００は、MPDファイルを取得し、符号化データを抽出して復号し、サンプルエントリのデータ構造を示す情報を含むMPDを生成（復元）して解析し、その情報に基づいてハプティクスメディアの出力を制御すればよい。

　＜８．付記＞
　　＜組み合わせ＞
　上述した本技術の各例（各方法）は、矛盾が生じない限り、他の例（他の方法）と適宜組み合わせて適用してもよい。また、上述した本技術の各例を、上述した以外の他の技術と組み合わせて適用してもよい。

　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　図１２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　図１２５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。

　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。

　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。

　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。

　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。

　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。

　　＜本技術の適用可能な対象＞
　本技術は、任意の符号化・復号方式に適用することができる。

　また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。

　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。

　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（２）　前記出力制御部は、前記周波数特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（１）に記載の情報処理装置。
　（３）　前記出力制御部は、前記周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（１）または（２）に記載の情報処理装置。
　（４）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１）乃至（３）のいずれかに記載の情報処理装置。
　（５）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（１）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（１）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（１）乃至（６）のいずれかに記載の情報処理装置。
　（８）　シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（１１）　ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　（１２）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１１）に記載の情報処理装置。
　（１３）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（１１）または（１２）に記載の情報処理装置。
　（１４）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（１１）乃至（１３）のいずれかに記載の情報処理装置。
　（１５）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（１１）乃至（１４）のいずれかに記載の情報処理装置。
　（１６）　ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する
　情報処理方法。

　（２１）　シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（２２）　前記出力制御部は、前記信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（２１）に記載の情報処理装置。
　（２３）　前記出力制御部は、前記信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（２１）または（２２）に記載の情報処理装置。
　（２４）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（２１）乃至（２３）のいずれかに記載の情報処理装置。
　（２５）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（２１）乃至（２４）のいずれかに記載の情報処理装置。
　（２６）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（２１）乃至（２５）のいずれかに記載の情報処理装置。
　（２７）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（２１）乃至（２６）のいずれかに記載の情報処理装置。
　（２８）　シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（３１）　ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　（３２）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（３１）に記載の情報処理装置。
　（３３）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（３１）または（３２）に記載の情報処理装置。
　（３４）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（３１）乃至（３３）のいずれかに記載の情報処理装置。
　（３５）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（３１）乃至（３４）のいずれかに記載の情報処理装置。
　（３６）　ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する
　情報処理方法。

　（４１）　シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（４２）　前記出力制御部は、前記優先度情報において単一のデバイスにおいて同時に再生可能なメディアとして指定される、複数の前記ハプティクスメディアを選択し、選択した複数の前記ハプティクスメディアを合成してハプティクスデバイスに出力させる
　（４１）に記載の情報処理装置。
　（４３）　前記優先度情報は、単一のデバイスにおいて同時に再生可能なメディアのグループを示す情報を含む
　（４２）に記載の情報処理装置。
　（４４）　前記優先度情報は、前記グループ内のメディアの優先度を示す情報を含む
　（４３）に記載の情報処理装置。
　（４５）　前記出力制御部は、前記シーンディスクリプションに含まれる、前記ハプティクスメディアの合成に関する合成情報に基づいて、選択した複数の前記ハプティクスメディアを合成する
　（４２）乃至（４４）のいずれかに記載の情報処理装置。
　（４６）　前記合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（４５）に記載の情報処理装置。
　（４７）　前記合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（４５）または（４６）に記載の情報処理装置。
　（４８）　前記合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（４５）乃至（４７）のいずれかに記載の情報処理装置。
　（４９）　前記合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（４５）乃至（４８）のいずれかに記載の情報処理装置。
　（５０）　シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（５１）　ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　（５２）　前記優先度情報は、単一のデバイスにおいて同時に再生可能なメディアのグループを示す情報を含む
　（５１）に記載の情報処理装置。
　（５３）　前記優先度情報は、前記グループ内のメディアの優先度を示す情報を含む
　（５２）に記載の情報処理装置。
　（５４）　前記シーンディスクリプションには、ハプティクスメディアの合成に関する合成情報がさらに存在する
　（５１）乃至（５３）のいずれかに記載の情報処理装置。
　（５５）　前記合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（５４）に記載の情報処理装置。
　（５６）　前記合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（５４）または（５５）に記載の情報処理装置。
　（５７）　前記合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（５４）乃至（５６）のいずれかに記載の情報処理装置。
　（５８）　前記合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（５４）乃至（５７）のいずれかに記載の情報処理装置。
　（５９）　ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する
　情報処理方法。

　（６１）　再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する出力制御部
　を備える情報処理装置。
　（６２）　再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する
　情報処理方法。

　（７１）　再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　（７２）　再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する
　情報処理方法。

　（１０１）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（１０２）　前記出力制御部は、前記周波数特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（１０１）に記載の情報処理装置。
　（１０３）　前記出力制御部は、前記周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（１０１）または（１０２）に記載の情報処理装置。
　（１０４）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１０１）乃至（１０３）のいずれかに記載の情報処理装置。
　（１０５）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（１０１）乃至（１０４）のいずれかに記載の情報処理装置。
　（１０６）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（１０１）乃至（１０５）のいずれかに記載の情報処理装置。
　（１０７）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（１０１）乃至（１０６）のいずれかに記載の情報処理装置。
　（１０８）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（１１１）　ハプティクスメディアに関する周波数特性情報が存在するMPD（Media Presentation Description）を供給する供給部
　を備える情報処理装置。
　（１１２）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１１１）に記載の情報処理装置。
　（１１３）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（１１１）または（１１２）に記載の情報処理装置。
　（１１４）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（１１１）乃至（１１３）のいずれかに記載の情報処理装置。
　（１１５）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（１１１）乃至（１１４）のいずれかに記載の情報処理装置。
　（１１６）　ハプティクスメディアに関する周波数特性情報が存在するMPD（Media Presentation Description）を供給する
　情報処理方法。

　（１２１）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（１２２）　前記出力制御部は、前記信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（１２１）に記載の情報処理装置。
　（１２３）　前記出力制御部は、前記信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（１２１）または（１２２）に記載の情報処理装置。
　（１２４）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１２１）乃至（１２３）のいずれかに記載の情報処理装置。
　（１２５）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（１２１）乃至（１２４）のいずれかに記載の情報処理装置。
　（１２６）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（１２１）乃至（１２５）のいずれかに記載の情報処理装置。
　（１２７）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（１２１）乃至（１２６）のいずれかに記載の情報処理装置。
　（１２８）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（１３１）　ハプティクスメディアに関する信号立ち上がり特性情報が存在するMPD（Media Presentation Description）を供給する供給部
　を備える情報処理装置。
　（１３２）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（１３１）に記載の情報処理装置。
　（１３３）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（１３１）または（１３２）に記載の情報処理装置。
　（１３４）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（１３１）乃至（１３３）のいずれかに記載の情報処理装置。
　（１３５）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（１３１）乃至（１３４）のいずれかに記載の情報処理装置。
　（１３６）　ハプティクスメディアに関する信号立ち上がり特性情報が存在するMPD（Media Presentation Description）を供給する
　情報処理方法。

　（１４１）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（１４２）　前記出力制御部は、前記選択合成情報に基づいて複数の前記ハプティクスメディアを選択し、選択した複数の前記ハプティクスメディアを合成してハプティクスデバイスに出力させる
　（１４１）に記載の情報処理装置。
　（１４３）　前記選択合成情報は、前記ハプティクスメディアの優先度を示す情報を含む
　（１４２）に記載の情報処理装置。
　（１４４）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（１４２）または（１４３）に記載の情報処理装置。
　（１４５）　前記選択合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（１４２）乃至（１４４）のいずれかに記載の情報処理装置。
　（１４６）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（１４２）乃至（１４５）のいずれかに記載の情報処理装置。
　（１４７）　前記選択合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（１４２）乃至（１４６）のいずれかに記載の情報処理装置。
　（１４８）　MPD（Media Presentation Description）に含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（１５１）　ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報が存在するMPD（Media Presentation Description）を供給する供給部
　を備える情報処理装置。
　（１５２）　前記選択合成情報は、前記ハプティクスメディアの優先度を示す情報を含む
　（１５１）に記載の情報処理装置。
　（１５３）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（１５１）または（１５２）に記載の情報処理装置。
　（１５４）　前記選択合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（１５１）乃至（１５３）のいずれかに記載の情報処理装置。
　（１５５）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（１５１）乃至（１５４）のいずれかに記載の情報処理装置。
　（１５６）　前記選択合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（１５１）乃至（１５５）のいずれかに記載の情報処理装置。
　（１５７）　ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報が存在するMPD（Media Presentation Description）を供給する
　情報処理方法。

　（２０１）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（２０２）　前記出力制御部は、前記周波数特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（２０１）に記載の情報処理装置。
　（２０３）　前記出力制御部は、前記周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（２０１）または（２０２）に記載の情報処理装置。
　（２０４）　前記複数のハプティクスメディアは、互いに異なるハプティクストラックに格納されており、
　前記出力制御部は、前記ハプティクストラックの情報が存在するMPD（Media Presentation Description）の記述に基づいて、前記ハプティクストラックの前記サンプルエントリに含まれる前記周波数特性情報を参照し、参照した前記周波数特性情報に基づいて前記ハプティクスメディアを選択する
　（２０３）に記載の情報処理装置。
　（２０５）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在する
　（２０４）に記載の情報処理装置。
　（２０６）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットのリプレゼンテーションに存在する
　（２０４）に記載の情報処理装置。
　（２０７）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在する
　（２０４）に記載の情報処理装置。
　（２０８）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（２０１）乃至（２０７）のいずれかに記載の情報処理装置。
　（２０９）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（２０１）乃至（２０８）のいずれかに記載の情報処理装置。
　（２１０）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（２０１）乃至（２０９）のいずれかに記載の情報処理装置。
　（２１１）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（２０１）乃至（２１０）のいずれかに記載の情報処理装置。
　（２１２）　前記出力制御部は、シーンディスクリプションのMPEG.mediaに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２０１）乃至（２１１）のいずれかに記載の情報処理装置。
　（２１３）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２１２）に記載の情報処理装置。
　（２１４）　前記出力制御部は、MPD（Media Presentation Description）のエッセンシャルプロパティに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２０１）乃至（２１１）のいずれかに記載の情報処理装置。
　（２１５）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２１４）に記載の情報処理装置。
　（２１６）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（２１４）に記載の情報処理装置。
　（２１７）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（２２１）　サンプルエントリにハプティクスメディアに関する周波数特性情報を格納するファイルコンテナを供給する第１の供給部
　を備える情報処理装置。
　（２２２）　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（２２１）に記載の情報処理装置。
　（２２３）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　（２２１）または（２２２）に記載の情報処理装置。
　（２２４）　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　（２２１）乃至（２２３）のいずれかに記載の情報処理装置。
　（２２５）　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　（２２１）乃至（２２４）のいずれかに記載の情報処理装置。
　（２２６）　互いに異なる前記ハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（２２１）乃至（２２５）のいずれかに記載の情報処理装置。
　（２２７）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在する
　（２２６）に記載の情報処理装置。
　（２２８）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットのリプレゼンテーションに存在する
　（２２６）に記載の情報処理装置。
　（２２９）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在する
　（２２６）に記載の情報処理装置。
　（２３０）　前記サンプルエントリのデータ構造を示す情報がMPEG.mediaに格納されるシーンディスクリプションを供給する第２の供給部をさらに備える
　（２２１）乃至（２２９）のいずれかに記載の情報処理装置。
　（２３１）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２３０）に記載の情報処理装置。
　（２３２）　前記サンプルエントリのデータ構造を示す情報がエッセンシャルプロパティに格納されるMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（２２１）乃至（２２９）のいずれかに記載の情報処理装置。
　（２３３）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２３２）に記載の情報処理装置。
　（２３４）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（２３２）に記載の情報処理装置。
　（２３５）　サンプルエントリにハプティクスメディアに関する周波数特性情報を格納するファイルコンテナを供給する
　情報処理方法。

　（２４１）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（２４２）　前記出力制御部は、前記信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　（２４１）に記載の情報処理装置。
　（２４３）　前記出力制御部は、前記信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　（２４１）または（２４２）に記載の情報処理装置。
　（２４４）　前記複数のハプティクスメディアは、互いに異なるハプティクストラックに格納されており、
　前記出力制御部は、前記ハプティクストラックの情報が存在するMPD（Media Presentation Description）の記述に基づいて、前記ハプティクストラックの前記サンプルエントリに含まれる前記信号立ち上がり特性情報を参照し、参照した前記信号立ち上がり特性情報に基づいて前記ハプティクスメディアを選択する
　（２４３）に記載の情報処理装置。
　（２４５）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在する
　（２４４）に記載の情報処理装置。
　（２４６）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットのリプレゼンテーションに存在する
　（２４４）に記載の情報処理装置。
　（２４７）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在する
　（２４４）に記載の情報処理装置。
　（２４８）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（２４１）乃至（２４７）のいずれかに記載の情報処理装置。
　（２４９）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（２４１）乃至（２４８）のいずれかに記載の情報処理装置。
　（２５０）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（２４１）乃至（２４９）のいずれかに記載の情報処理装置。
　（２５１）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（２４１）乃至（２５０）のいずれかに記載の情報処理装置。
　（２５２）　前記出力制御部は、シーンディスクリプションのMPEG.mediaに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２４１）乃至（２５１）のいずれかに記載の情報処理装置。
　（２５３）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２５２）に記載の情報処理装置。
　（２５４）　前記出力制御部は、MPD（Media Presentation Description）のエッセンシャルプロパティに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２４１）乃至（２５１）のいずれかに記載の情報処理装置。
　（２５５）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２５４）に記載の情報処理装置。
　（２５６）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（２５４）に記載の情報処理装置。
　（２５７）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（２６１）　サンプルエントリにハプティクスメディアに関する信号立ち上がり特性情報を格納するファイルコンテナを供給する第１の供給部
　を備える情報処理装置。
　（２６２）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　（２６１）に記載の情報処理装置。
　（２６３）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　（２６１）または（２６２）に記載の情報処理装置。
　（２６４）　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　（２６１）乃至（２６３）のいずれかに記載の情報処理装置。
　（２６５）　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　（２６１）乃至（２６４）のいずれかに記載の情報処理装置。
　（２６６）　互いに異なる前記ハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（２６１）乃至（２６５）のいずれかに記載の情報処理装置。
　（２６７）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、単一のアダプテーションセットの互いに異なるリプレゼンテーションに存在する
　（２６６）に記載の情報処理装置。
　（２６８）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットのリプレゼンテーションに存在する
　（２６６）に記載の情報処理装置。
　（２６９）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、プリセレクションにより１つ選択される互いに異なるアダプテーションセットに存在する
　（２６６）に記載の情報処理装置。
　（２７０）　前記サンプルエントリのデータ構造を示す情報がMPEG.mediaに格納されるシーンディスクリプションを供給する第２の供給部をさらに備える
　（２６１）乃至（２６９）のいずれかに記載の情報処理装置。
　（２７１）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２７０）に記載の情報処理装置。
　（２７２）　前記サンプルエントリのデータ構造を示す情報がエッセンシャルプロパティに格納されるMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（２６１）乃至（２６９）のいずれかに記載の情報処理装置。
　（２７３）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２７２）に記載の情報処理装置。
　（２７４）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（２７２）に記載の情報処理装置。
　（２７５）　サンプルエントリにハプティクスメディアに関する信号立ち上がり特性情報を格納するファイルコンテナを供給する
　情報処理方法。

　（２８１）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　（２８２）　前記出力制御部は、前記選択合成情報に基づいて複数の前記ハプティクスメディアを選択し、選択した複数の前記ハプティクスメディアを合成してハプティクスデバイスに出力させる
　（２８１）に記載の情報処理装置。
　（２８３）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（２８２）に記載の情報処理装置。
　（２８４）　前記選択合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（２８２）または（２８３）に記載の情報処理装置。
　（２８５）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（２８２）乃至（２８４）のいずれかに記載の情報処理装置。
　（２８６）　前記選択合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（２８２）乃至（２８５）のいずれかに記載の情報処理装置。
　（２８７）　前記複数のハプティクスメディアは、互いに異なるハプティクストラックに格納されており、
　前記出力制御部は、前記ハプティクストラックの情報が存在するMPD（Media Presentation Description）の記述に基づいて、前記ハプティクストラックの前記サンプルエントリに含まれる前記選択合成情報を参照し、参照した前記選択合成情報に基づいて前記ハプティクスメディアを選択する
　（２８２）乃至（２８６）のいずれかに記載の情報処理装置。
　（２８８）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットに存在する
　（２８７）に記載の情報処理装置。
　（２８９）　前記出力制御部は、シーンディスクリプションのMPEG.mediaに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２８１）乃至（２８８）のいずれかに記載の情報処理装置。
　（２９０）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２８９）に記載の情報処理装置。
　（２９１）　前記出力制御部は、MPD（Media Presentation Description）のエッセンシャルプロパティに格納される前記サンプルエントリのデータ構造を示す情報に基づいて、前記ハプティクスメディアの出力を制御する
　（２８１）乃至（２８８）のいずれかに記載の情報処理装置。
　（２９２）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（２９１）に記載の情報処理装置。
　（２９３）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（２９１）に記載の情報処理装置。
　（２９４）　ファイルコンテナのサンプルエントリに含まれる、ハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。

　（３０１）　サンプルエントリにハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報を格納するファイルコンテナを供給する第１の供給部
　を備える情報処理装置。
　（３０２）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　（３０１）に記載の情報処理装置。
　（３０３）　前記選択合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　（３０１）または（３０２）に記載の情報処理装置。
　（３０４）　前記選択合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（３０１）乃至（３０３）のいずれかに記載の情報処理装置。
　（３０５）　前記選択合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　（３０１）乃至（３０４）のいずれかに記載の情報処理装置。
　（３０６）　互いに異なる前記ハプティクスメディアを格納する複数のハプティクストラックの情報が存在するMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（３０１）乃至（３０５）のいずれかに記載の情報処理装置。
　（３０７）　前記MPDにおいて、複数の前記ハプティクストラックの情報は、互いに異なるアダプテーションセットに存在する
　（３０６）に記載の情報処理装置。
　（３０８）　前記サンプルエントリのデータ構造を示す情報がMPEG.mediaに格納されるシーンディスクリプションを供給する第２の供給部をさらに備える
　（３０１）乃至（３０７）のいずれかに記載の情報処理装置。
　（３０９）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（３０８）に記載の情報処理装置。
　（３１０）　前記サンプルエントリのデータ構造を示す情報がエッセンシャルプロパティに格納されるMPD（Media Presentation Description）を供給する第２の供給部をさらに備える
　（３０１）乃至（３０７）のいずれかに記載の情報処理装置。
　（３１１）　前記データ構造を示す情報は、データ構造体であるHapticFileHeaderBox、AvaterMetadataBox、PerceptionHeaderBox、ReferenceDeviceMetadataBox、およびTrackHeaderを定義する情報を含む
　（３１０）に記載の情報処理装置。
　（３１２）　前記データ構造を示す情報は、前記ファイルコンテナの、前記データ構造を示す情報を格納するボックスを示す情報である
　（３１０）に記載の情報処理装置。
　（３１３）　サンプルエントリにハプティクスメディアの選択および合成の少なくともいずれか一方に関する選択合成情報を格納するファイルコンテナを供給する
　情報処理方法。

　３００　ファイル生成装置，　３０１　制御部，　３０２　ファイル生成処理部，　３１１　入力部，　３１２　前処理部，　３１３　符号化部，　３１４　ファイル生成部，　３１５　記憶部，　３１６　出力部，　３２１　SD入力部，　３２２　3D入力部，　３２３　IM入力部，　３３１　SD前処理部，　３３２　3D前処理部，　３３３　IM前処理部，　３４１　SD符号化部，　３４２　3D符号化部，　３４３　IM符号化部，　３５１　SDファイル生成部，　３５２　3Dファイル生成部，　３５３　IMファイル生成部，　３６１　SD記憶部，　３６２　3D記憶部，　３６３　IM記憶部，　３７１　SD出力部，　３７２　3D出力部，　３７３　IM出力部，　４００　クライアント装置，　４０１　制御部，　４０２　クライアント処理部，　４１１　取得部，　４１２　ファイル処理部，　４１３　復号部，　４１４　SD解析部，　４１５　出力制御部，　４１６　出力部，　４２１　SD取得部，　４２２　3D取得部，　４２３　IM取得部，　４３１　SDファイル処理部，　４３２　3Dファイル処理部，　４３３　IMファイル処理部，　４４１　SD復号部，　４４２　3D復号部，　４４３　IM復号部，　４５２　3D出力制御部，　４５３　IM出力制御部，　４６２　3D出力部，　４６３　IM出力部，　５００　ファイル生成装置，　５７１　MPD出力部，　６００　クライアント装置，　６１４　MPD解析部，　６５３　HM出力制御部，　７００　ファイル生成装置，　７１５　ISOBMFFファイル生成部，　７１７　ISOBMFF出力部，　８００　クライアント装置，　８１１　ISOBMFF取得部，　８５２　HM出力制御部，　９００　コンピュータ

Claims

　シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　前記出力制御部は、前記周波数特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　請求項１に記載の情報処理装置。
　前記出力制御部は、前記周波数特性情報に基づいて、互いに異なる周波数特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　請求項１に記載の情報処理装置。
　前記周波数特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　請求項１に記載の情報処理装置。
　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される中心周波数の範囲を示す情報を含む
　請求項１に記載の情報処理装置。
　前記周波数特性情報は、前記ハプティクスメディアの中心周波数における振幅の強さを示す情報を含む
　請求項１に記載の情報処理装置。
　前記周波数特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、前記ハプティクスメディアの中心周波数における振幅の強さの範囲を示す情報を含む
　請求項１に記載の情報処理装置。
　シーンディスクリプションに含まれる、ハプティクスメディアに関する周波数特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。
　ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　ハプティクスメディアに関する周波数特性情報が存在するシーンディスクリプションを供給する
　情報処理方法。
　シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　前記出力制御部は、前記信号立ち上がり特性情報により許容される仕様を有するハプティクスデバイスに前記ハプティクスメディアを出力させる
　請求項１１に記載の情報処理装置。
　前記出力制御部は、前記信号立ち上がり特性情報に基づいて、互いに異なる信号立ち上がり特性を有する複数のハプティクスメディアの中からハプティクスデバイスの仕様に最適な前記ハプティクスメディアを選択し、選択した前記ハプティクスメディアを前記ハプティクスデバイスに出力させる
　請求項１１に記載の情報処理装置。
　前記信号立ち上がり特性情報は、前記ハプティクスメディアの出力デバイスとして想定されるハプティクスデバイスの仕様のモデルである参照デバイスの中心周波数を示す情報を含む
　請求項１１に記載の情報処理装置。
　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号が到達すべき加速度を表す情報を含む
　請求項１１に記載の情報処理装置。
　前記信号立ち上がり特性情報は、前記ハプティクスメディアの信号の加速度の到達レベルを表す情報を含む
　請求項１１に記載の情報処理装置。
　前記信号立ち上がり特性情報は、前記ハプティクスメディアを出力するハプティクスデバイスとして許容される、信号の加速の到達レベルに達するまでの最大遅延時間を表す情報を含む
　請求項１１に記載の情報処理装置。
　シーンディスクリプションに含まれる、ハプティクスメディアに関する信号立ち上がり特性情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。
　ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　ハプティクスメディアに関する信号立ち上がり特性情報が存在するシーンディスクリプションを供給する
　情報処理方法。
　シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する出力制御部
　を備える情報処理装置。
　前記出力制御部は、前記優先度情報において単一のデバイスにおいて同時に再生可能なメディアとして指定される、複数の前記ハプティクスメディアを選択し、選択した複数の前記ハプティクスメディアを合成してハプティクスデバイスに出力させる
　請求項２１に記載の情報処理装置。
　前記優先度情報は、単一のデバイスにおいて同時に再生可能なメディアのグループを示す情報を含む
　請求項２２に記載の情報処理装置。
　前記優先度情報は、前記グループ内のメディアの優先度を示す情報を含む
　請求項２３に記載の情報処理装置。
　前記出力制御部は、前記シーンディスクリプションに含まれる、前記ハプティクスメディアの合成に関する合成情報に基づいて、選択した複数の前記ハプティクスメディアを合成する
　請求項２２に記載の情報処理装置。
　前記合成情報は、前記ハプティクスメディアの信号の振幅の強さを示す情報を含む
　請求項２５に記載の情報処理装置。
　前記合成情報は、前記ハプティクスメディアの信号のピークレベルを示す情報を含む
　請求項２５に記載の情報処理装置。
　前記合成情報は、前記ハプティクスメディアの信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　請求項２５に記載の情報処理装置。
　前記合成情報は、複数の前記ハプティクスメディアを合成後に信号の振幅を拡大する場合に許容される最大レベルを示す情報を含む
　請求項２５に記載の情報処理装置。
　シーンディスクリプションに含まれる、ハプティクスメディアの優先度に関する優先度情報に基づいて、前記ハプティクスメディアの出力を制御する
　情報処理方法。
　ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　ハプティクスメディアの優先度に関する優先度情報が存在するシーンディスクリプションを供給する
　情報処理方法。
　再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する出力制御部
　を備える情報処理装置。
　再生するハプティクスメディアを出力可能なハプティクスデバイスが存在しない場合、前記ハプティクスメディアの出力を制御する代わりに、シーンディスクリプションに含まれるマルチモーダルな代替手段に関する情報により指定される代替メディアの出力を制御する
　情報処理方法。
　再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する供給部
　を備える情報処理装置。
　再生するハプティクスメディアのマルチモーダルな代替手段に関する情報が存在するシーンディスクリプションを供給する
　情報処理方法。