WO2014142203A1

WO2014142203A1 - 送信装置、送信方法、受信装置および受信方法

Info

Publication number: WO2014142203A1
Application number: PCT/JP2014/056574
Authority: WO
Inventors: 塚越　郁夫
Original assignee: ソニー株式会社
Priority date: 2013-03-14
Filing date: 2014-03-12
Publication date: 2014-09-18
Also published as: CA2904115C; BR112015021917A2; US20200280407A1; BR112015021917B1; US20150373380A1; US20210351883A1; CN105009595B; KR102145154B1; JP2014200054A; KR20150128691A; CN105009595A; KR101753503B1; US11075728B2; EP2975851B1; EP3745728A1; US20160294520A1; EP2975851A1; CA2904115A1; KR102052684B1; MX2015011615A

Abstract

　次世代放送向けのトランスポート構造において、デコード時刻および／または表示時刻を取得するための時刻情報を受信側に良好に伝送可能とする。　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する。この伝送ストリームをＲＦ伝送路、通信ネットワーク伝送路などの所定の伝送路を通じて受信側に送信する。第１の伝送パケットまたは第２の伝送パケットに、受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する。

Description

送信装置、送信方法、受信装置および受信方法

　本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオ、オーディオなどの伝送メディアをＲＦ通信路や通信ネットワーク通信路を通じて送信する送信装置等に関する。

　従来、例えば、特許文献１に記載されるように、放送向けのトランスポート構造としてＭＰＥＧ２－ＴＳが使用されている。

特開２０１１－２１７１６１号公報

　近年、次世代放送向けのトランスポート構造としてＭＭＴ（MPEG Media Transport）構造が脚光を浴びつつある。このＭＭＴ構造は、ＩＰネットワークとの共存が主な特徴である。

　本技術の目的は、次世代放送向けのトランスポート構造において、デコード時刻および／または表示時刻を取得するための時刻情報を受信側に良好に伝送可能とすることにある。

　本技術の概念は、
　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
　上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部と、
　上記第１の伝送パケットまたは上記第２の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入部とを備える
　送信装置にある。

　本技術において、伝送ストリーム生成部により、伝送ストリームが生成される。この伝送ストリームは、ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化されたものである。例えば、第１の伝送パケットおよび第２の伝送パケットはＭＭＴパケットである、ようにされてもよい。伝送ストリーム送信部により、伝送ストリームは、所定の伝送路を通じて、受信側に送信される。例えば、所定の伝送路は、ＲＦ伝送路または通信ネットワーク伝送路である、ようにされてもよい。

　時刻情報挿入部により、第１の伝送パケットまたは第２の伝送パケットに、受信側でデコード時刻および/または表示時刻を取得するための時刻情報が挿入される。例えば、第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットにそれぞれ対応したデコード時刻および/または表示時刻を取得するための情報である、ようにされてもよい。

　この場合、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とを有する、ようにされてもよい。このようにオフセット値を用いることで、時刻情報の伝送を効率よく行うことが可能となる。また、この場合、時刻情報挿入部で挿入される時刻情報は、一つ以上のアクセスユニットのそれぞれに対応した表示時刻、あるいは表示時刻およびデコード時刻である、ようにされてもよい。このように表示時刻、あるいは表示時刻およびデコード時刻そのものを伝送することで、受信側における処理負荷の軽減が可能となる。

　そして、この場合、オフセット値は、絶対オフセット値に対応した相対オフセット値であり、時刻情報挿入部で挿入される時刻情報には、相対オフセット値を絶対オフセット値に変換するための変換情報が付加される、ようにされてもよい。このように相対オフセット値を用いることで、オフセット値を受信側に効率よく伝送することが可能となる。例えば、時刻情報挿入部は、相対オフセット値を可変長符号化した後に挿入する、ようにされてもよい。このように可変長符号化を利用することで、時刻情報の伝送容量の低減を図ることが可能となる。

　例えば、第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、時刻情報挿入部は、ペイロードヘッダ部に、時刻情報を挿入する、ようにされてもよい。また、例えば、第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、ペイロード本体部には、伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、時刻情報挿入部は、フラグメントヘッダあるいはフラグメントペイロードに、対応するアクセスユニットの時刻情報を挿入する、ようにされてもよい。また、例えば、第２の伝送パケットのペイロード部は、ペイロードヘッダ部とペイロード本体部とからなり、時刻情報挿入部は、ペイロード本体部に、時刻情報を挿入する、ようにされてもよい。

　このように本技術においては、第１の伝送パケットまたは第２の伝送パケットに、受信側でデコード時刻および表示時刻を取得するための時刻情報が挿入されるものであり、次世代放送向けのトランスポート構造において、デコード時刻および／または表示時刻を取得するための時刻情報を受信側に良好に伝送可能となる。

　また、本技術の他の概念は、
　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信部を備え、
　上記第１の伝送パケットまたは上記第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
　上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または上記表示時刻を用いて処理する伝送メディア処理部をさらに備える
　受信装置にある。

　本技術において、伝送ストリーム受信部により、所定の伝送路を通じて、送信側から伝送ストリームが受信される。この伝送ストリームは、ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化されたものである。第１の伝送パケットまたは第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されている。伝送メディア処理部により、伝送ストリームから取り出された伝送メディアが、時刻情報に基づいて取得されたデコード時刻および/または表示時刻を用いて処理される。

　例えば、第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、時刻情報は、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの絶対オフセット値に対応した相対オフセット値であり、この相対オフセット値を絶対オフセット値に変換するオフセット値変換部をさらに備える、ようにされてもよい。

　このように本技術においては、第１の伝送パケットまたは第２の伝送パケットにデコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、この時刻情報に基づいてデコード時刻および／または表示時刻を取得し、伝送ストリームから取り出された伝送メディアの処理を良好に行うことができる。

　本技術によれば、次世代放送向けのトランスポート構造において、デコード時刻および／または表示時刻を取得するための時刻情報を受信側に良好に伝送できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。ＭＭＴペイロード（MMT payload）の構成を概略的に示す図である。ＭＭＴファイルと実際に伝送されるＭＭＴパケットとの対応関係の一例を示す図である。ＭＭＴファイルと実際に伝送されるＭＭＴパケットとの対応関係の他の一例を示す図である。ＭＭＴファイルと実際に伝送されるＭＭＴパケットとの対応関係のさらに他の一例を示す図である。フラグメント化されたＭＦＵを含むＭＭＴパケットを伝送パケットとする場合であって、そのＭＭＴパケットがランダムアクセスの先頭（ＧＯＰの先頭）のパケットである場合を説明するための図である。フラグメント化されたＭＦＵを含むＭＭＴパケットを伝送パケットとする場合であって、そのＭＭＴパケットがランダムアクセスの非先頭のパケットである場合を説明するための図である。フラグメント化されたＭＦＵを含むＭＭＴパケットを伝送パケットとする場合であって、そのＭＭＴパケットがランダムアクセスの先頭（ＧＯＰの先頭）のパケットである場合を説明するための図である。ＭＭＴパケットの構成をツリー形式で示す図である。トランスポートパケット送信装置およびトランスポートパケット受信装置の概念図である。「NTP shortフォーマット」を示す図である。メディアデータがビデオであり、初期値がデコード時刻である場合における時刻情報を説明するための図である。メディアデータがビデオであり、初期値が表示時刻である場合における時刻情報を説明するための図である。メディアデータがオーディオであり、初期値がデコード時刻である場合における時刻情報を説明するための図である。デコード・出力処理部の構成例を示すブロック図である。制御部におけるＡＶ同期再生制御の一例を示すタイミングチャートである。ＭＦＵにフラグメントされているパケットが伝送上でドロップされた場合について説明するための図である。ＭＭＴパケットに時刻情報を挿入する方法の一例を概略的に示す図である。送受信遅延を低くするために、各アクセスユニットに対応して時刻情報（タイムスタンプ）を挿入する場合のパケット構成の一例を示す図である。ＭＭＴパケットの全体の構造例を示す図である。ＭＭＴパケットヘッダ（mmtp_header()）の構造例を示す図である。ＭＭＴペイロードヘッダ（mmtp_payload_header()）の構造例を示す図である。ＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）の構造例を示す図である。ＭＭＴペイロード・ヘッダ・エクステンションの構造例の主要な情報の内容を示す図である。ＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）の他の構造例を示す図である。ＭＭＴペイロード・ヘッダ・エクステンションの他の構造例の主要な情報の内容を示す図である。ＭＰＵペイロードの中でフラグメント化されたアクセスユニット毎に時刻情報を送る場合について説明するための図である。ＭＦＵの構造例（Syntax）を示す図である。ＭＦＵヘッダ（mfu_header()）の構造例を示す図である。ＭＦＵヘッダ（mfu_header()）の構造例を示す図である。ＭＦＵヘッダの構造例の主要な情報の内容を示す図である。ＭＦＵヘッダ・エクステンション（mfu_header_extension（））の構造例を示す図である。ＭＦＵヘッダ・エクステンションの構造例の主要な情報の内容を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダ（mfu_header()）の構造例を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダ（mfu_header()）の構造例を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダの構造例の主要な情報の内容を示す図である。ＭＦＵペイロード（mfu_payload()）の構造例およびその主要な情報の内容を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダ（mfu_header()）の他の構造例を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダ（mfu_header()）の他の構造例を示す図である。ＭＦＵペイロードに時刻情報を挿入する場合におけるＭＦＵヘッダの他の構造例の主要な情報の内容を示す図である。ＭＦＵペイロード（mfu_payload()）の構造例を示す図である。ＭＦＵペイロードの構造例の主要な情報の内容を示す図である。タイムスタンプ・メッセージ（Timestamp Message）の構造例（Syntax）を示す図である。タイムスタンプ・テーブル（timestamp_table()）の構造例（Syntax）を示す図である。パッケージ・アクセス・メッセージ（Package Access message）の構造例（Syntax）を示す図である。アクセスユニットＡＵ（ｎ）のデコード時刻Ｄ（ｎ）と、表示時刻Ｒ（ｎ）の対応関係の一例を示す図である。時系列のオフセット値を可変長符号化するための可変長符号テーブルの一例を示す図である。リオーダー距離Ｍが大きくなるほど可変長符号化による伝送容量の低減効率が高くなることを示す図である。

　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例

　＜１．実施の形態＞
　［送受信システムの構成例］
　図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信ステム１０は、トランスポートパケット送信装置１００と、トランスポートパケット受信装置２００により構成されている。

　送信装置１００は、ＭＭＴ構造(ISO/IEC CD 23008-1参照)のトランスポートパケット、つまりＭＭＴパケットが含まれる伝送ストリームを生成し、この伝送ストリームをＲＦ伝送路あるいは通信ネットワーク伝送路を通じて、受信側に送信する。この伝送ストリームには、ペイロードにビデオやオーディオの伝送メディアを含む第１のＭＭＴパケットと、ペイロードに伝送メディアに関する情報を含む第２のＭＭＴパケットが、少なくともフラグメントされたパケットの大きさで時分割的に多重化されている。本実施の形態において、第１のＭＭＴパケットまたは第２のＭＭＴパケットに、受信側でデコード時刻および表示時刻を取得するための時刻情報が挿入される。

　受信装置２００は、送信側から、ＲＦ伝送路あるいは通信ネットワーク伝送路を通じて、上述の伝送ストリームを受信する。受信装置２００は、伝送ストリームから取り出した伝送メディアを、時刻情報に基づいて取得されたデコード時刻および／または表示時刻を用いて処理し、画像を表示すると共に音声を出力する。

　図２は、ＭＭＴペイロード（MMT payload）の構成を概略的に示している。図２において、ＭＭＴパッケージ（MMT Package）は、ＭＭＴの論理的な概念であり、伝送素材を意味している。このＭＭＴパッケージには、メディアであるアセット（Asset）、アセットの伝送特性（Asset Delivery Characteristics）、パッケージに付随するメッセージ群（Package Access）、ＭＭＴパケット・テーブルに関する情報（MPT Packet Table）、コンポジション・インフォメーション（Composition Information）などが入っている。コンポジション・インフォメーションは、メディアの表示制御をつかさどる情報である。この例では、アセット１（Asset1）がビデオ１（Video1）データであり、アセット２（Asset2）がオーディオ１（Audio1）データであり、アセット３（Asset3）がビデオ２（Video2）データである。

　図２には、ＭＭＴパッケージが実際にＭＭＴファイル（MMT File）になっている場合のファイル構成の一例を示している。このファイル構成は、基本的には、ＭＰ４のファイル構成とほぼ同等である。最初に“styp”のボックス（Box）がある。続いて、セグメントインフォメーションとしての“sidx”のボックスがある。続いて、ＭＭＴ独自の“mmpu”のボックスがある。続いて、ファイル全体のメタデータとしての“moov”のボックスがある。また、続いて、”moof”および“mdat”のボックスがある。この“mdat”のボックスには、ビデオ（Video）、オーディオ（Audio）、字幕などの実際のデータが入っている。なお、“mdat”がフラグメントされる場合、フラグメントごとに”moof”のボックスがある。

　ＭＭＴパッケージが伝送（Delivery）される場合、図２に示すように、ＭＰＵ（Media Processing Unit）を単位として伝送される。このＭＰＵは、ランダムアクセスポイント（ＲＡＰ：Random Access Pint）から始まるものであり、一つまたは複数のアクセスユニット（ＡＵ：Access Unit）を含むものである。具体的には、例えば、一つのＧＯＰ（Group Of Picture）のピクチャが、一つのＭＰＵの構成となることがある。このＭＰＵは、アセット別に定義されるものとなっている。したがって、ビデオのアセットからはビデオデータのみを含むビデオのＭＰＵが作成され、オーディオのアセットからはオーディオデータのみを含むオーディオのＭＰＵが作成される。

　図２に示すように、ＭＰＵは、メッセージ（Message）と共に、ＭＭＴペイロードを構成するものとなる。メッセージ（Message）には、上述したコンポジション・インフォメーションなどの情報がふくまれる。ＭＦＵ（MMT Fragment Unit）は、ＭＰＵが細分化、すなわちフラグメント（Fragment）化されたものである。例えば、ビデオの場合、このＭＦＵを一つのＮＡＬユニットに相当するように設定できる。また、例えば、通信ネットワーク伝送路で送る場合、このＭＦＵを一つまたは複数のＭＴＵサイズ（MTU size）で構成することもできる。

　図２に示すように、ＭＭＴペイロードは、ＭＭＴパケットにより伝送される。このＭＭＴパケットは、ＭＭＴパケットヘッダ（MMT packet header）と、ＭＭＴパケットペイロード（MMT packet payload）により構成される。そして、このＭＭＴパケットペイロードは、ＭＭＴペイロードヘッダ（MMT payload header）と、ＭＭＴペイロードデータ（MMT payload data）により構成される。このＭＭＴペイロードデータに、ＭＰＵやメッセージ（Message）が挿入される。

　各アセットのＭＰＵをフラグメント化して得られたＭＦＵは、図２に示すように、時分割的に多重される。ＭＰＵとしては、例えば１５フレーム分、あるいは３０フレーム分というある程度長い時間単位のものである。各ＭＰＵをフラグメント化して時分割的に多重しない場合には、ビデオデータを送っているある程度長い間、オーディオデータを送れなくなる。そのため、時間合わせのために大きなバッファ容量が必要となると共に、画像、音声の出力までの遅延が大きくなる。各ＭＰＵをフラグメント化して時分割的に多重することで、そのような問題を解決できる。

　図３、図４、図５は、ＭＭＴファイルと、実際に伝送されるＭＭＴパケットとの対応関係の一例を示している。ＭＭＴファイルは、上述したように、“styp”，“sidx”，“mmpu”，“moov”，”moof”,“mdat”などのボックスを有している。

　ＭＭＴパケットは、ＭＭＴパケットヘッダ（MMT Hdr）と、ＭＭＴペイロード（MMT Payload）とから構成される。ＭＭＴヘッダには、パケットＩＤ（packet_id）、パケット・シーケンス・ナンバー（packet_sequence_number）、トランスミッション・タイムスタンプ（transmission_timestamp）、トランスミッション・プライオリティ（transmission_priority）、プライベート・ユーザデータ（private_user_data）などが含まれる。

　パケットＩＤは、ビデオ、オーディオのアセット（Asset）や、コントロール（Control）系であるメッセージを識別するための識別子である。パケット・シーケンス・ナンバーは、パケット順を示す番号である。トランスミッション・タイムスタンプは、伝送のためのタイプスタンプ、すなわちＭＭＴパケットが送信側から出ていくときの時刻である。

　トランスミッション・プライオリティは、伝送路の帯域が狭くなった場合にどのＭＭＴパケットを優先して通すかを判断するための指標となる優先度である。プライベート・ユーザデータは、ユーザが何等かの放送応用で私的に挿入し得るデータである。ＭＭＴペイロード（MMT Payload）は、ＭＭＴペイロードヘッダ（MMT Pl_hdr）と、ＭＭＴペイロードデータとから構成される。ＭＭＴペイロードヘッダには、ペイロード・ヘッダ・エクステンション（payload header extension）を含めることができる。

　ＭＭＴペイロードヘッダには、ペイロード・レングス（payload length）、ペイロード・タイプ（payload type）、フラグメント・タイプ（fragmentation_indicator）、フラグメント・カウント（fragment_count）、アグリゲーション・インフォ・フラグ（aggregation_info_flag）、ＲＡＰフラグ（random_access_point_flag）などが含まれる。

　また、ＭＭＴペイロードヘッダには、データ・オフセット（data_offset）、データユニット・ナンバー（numDU）、データユニット・オフセット（DU_offset）、ペイロード・シーケンス・ナンバー（payload_sequence_number）、ヘッダ・エクステンション・フィールド・フラグ（header_extension_field_flag）などが含まれる。

　ペイロード・レングスは、ペイロード全体のサイズ情報である。ペイロード・タイプは、ペイロードがＭＰＵであるか、コントロール系（メッセージ）であるかを示す情報である。一つのペイロードには、最大で６４ｋｂｙｔｅのデータを入れることができる。フラグメント・タイプは、一つのペイロードの中でＭＰＵが完結するか否かを示す情報である。

　例えば、ＭＰＵが完結する場合は“０”が挿入され、完結しない場合、つまり所定数のＭＦＵに細分化されている場合は、“１”、“２”、“３”のいずれかとなる。“１”はこのＭＭＴパケットには最初のフラグメントが存在することを示す。“２”はこのＭＭＴパケットには最初、最後のいずれでもなく、中間のフラグメントが存在することを示す。“３”はこのＭＭＴパケットには最後のフラグメントが存在することを示す。

　フラグメント・カウントは、ＭＦＵのカウント情報である。アグリゲーション・インフォ・フラグは、ペイロードに複数のＭＰＵが入っているか否かを示すフラグ情報である。“０”は、ペイロードに一つのＭＰＵのみが含まれることを示す。“１”は、ペイロードに複数のＭＰＵが含まれることを示す。ＲＡＰフラグは、このＭＭＴパケットにランダムアクセスポイント、つまりＧＯＰの先頭ピクチャに相当するアクセスユニットが存在するか否かを示す情報である。

　データ・オフセットは、ペイロード先頭位置からのペイロードデータの最初の位置までのサイズ、つまりペイロードヘッダの大きさを示す情報である。データユニット・ナンバーは、ペイロード内に存在するＭＰＵデータユニットの個数を示す。データユニット・オフセットは、各データユニットのペイロードデータの先頭位置からのオフセット情報である。ペイロード・シーケンス・ナンバーは、このＭＭＴパケットのペイロード・シーケンス・ナンバーである。ヘッダ・エクステンション・フィールド・フラグは、ペイロード・ヘッダ・エクステンションが存在するか否かを示すフラグ情報である。

　図３は、ＭＭＴパケット化の一例を示している。ＭＭＴペイロードの一つのＭＰＵデータユニットにＭＭＴファイルの“styp”，“sidx”，“mmpu”，“moov”，“moof”の各ボックスのメタデータが挿入されて、ＭＭＴパケットが生成される。この場合、ＭＭＴペイロードヘッダにおいて、「fragmentation_indicator」は“０”、「fragment_count」は“０”、「aggregation_info_flag」は“０”、「RAP flag」は“１”とされる。

　また、この場合、ＭＭＴペイロードの一つのＭＰＵデータユニットにＭＭＴファイルの“mdat”に存在する一つのＭＰＵが挿入されて、ＭＭＴパケットが生成される。この場合、ＭＭＴペイロードヘッダにおいて、「fragmentation_indicator」は“０”、「fragment_count」は“０”、「aggregation_info_flag」は“０”、「RAP_flag」は“１”とされる。

　図４は、ＭＭＴパケット化の他の一例を示している。この場合、図３の例と同様に、ＭＭＴペイロードの一つのＭＰＵデータユニットにＭＭＴファイルの“styp”，“sidx”，“mmpu”，“moov”の各ボックスのメタデータが挿入されて、ＭＭＴパケットが生成される。また、この場合、ＭＭＴペイロードの複数、この例では三つのＭＰＵデータユニットにＭＭＴファイルの“mdat”に存在する三つのＭＰＵが挿入されて、ＭＭＴパケットが生成される。この場合、ＭＭＴペイロードヘッダにおいて、「fragmentation_indicator」は“０”、「fragment_count」は“０”、「aggregation_info_flag」は“１”、「RAP_flag」は“１”、「numDU」は“３”とされ、「DU offset」が三つ存在する。

　図５は、ＭＭＴパケット化のさらに他の一例を示している。この場合。この場合、図３の例と同様に、ＭＭＴペイロードの一つのＭＰＵデータユニットにＭＭＴファイルの“styp”，“sidx”，“mmpu”，“moov”，“moof”の各ボックスのメタデータが挿入あるいは所定の情報の変換がなされて、ＭＭＴパケットが生成される。

　また、この場合、ＭＭＴペイロードの一つのＭＰＵデータユニットにＭＭＴファイルの“mdat”に存在する一つのアクセスユニット（AU）が、ＭＦＵヘッダ（MFU Hdr）と共に挿入されてＭＭＴパケットが生成される。この場合、ＭＭＴペイロードヘッダにおいて、「fragmentation_indicator」は“１”、「fragment_count」はＭＦＵのカウント値である“Ｎ”、「aggregation_info_flag」は含まれるＭＦＵに応じて“１”～“３”のいずれか、「RAP_flag」は“１”あるいは“０”とされる。なお、ＭＦＵヘッダには、ＭＦＵのシーケンス・ナンバー（sequence_number）などの情報が含まれる。

　図６、図８は、フラグメント化されたＭＦＵを含むＭＭＴパケットを伝送パケットとする場合であって、そのＭＭＴパケットがランダムアクセス（Random Access）の先頭（ＧＯＰの先頭）のパケットである場合を示している。この場合、このＭＭＴパケットは、ＭＭＴファイルの“styp”，“sidx”，“mmpu”，“moov”，“moof”の各ボックスのメタデータが挿入あるいは所定の情報の変換がなされたＭＭＴパケットと共に伝送される。

　例えば、“mmpu”の領域には、ＭＦＵのデータがリアルタイム系データか否かを識別する情報が含まれているが、受信側では、ランダムアクセス（Random Access）の先頭で、例えば、この識別情報によりＭＦＵのデータがリアルタイム系データか否かの識別が可能となる。

　図７は、フラグメント化されたＭＦＵを含むＭＭＴパケットを伝送パケットとする場合であって、そのＭＭＴパケットがランダムアクセス（Random Access）の非先頭のパケットである場合を示している。この場合、このＭＭＴパケットは、上述の先頭パケットとは異なり、最小構成のMMTパケットで伝送される。

　図９は、ＭＭＴパケットの構成をツリー形式で示したものである。ＭＭＴパケットは、上述したように、ＭＭＴパケットヘッダ（MMT Packet Header）と、ＭＭＴペイロードヘッダ（MMT Payload Header）と、ＭＭＴペイロード（MMT Payload）により構成される。ＭＭＴペイロードには、メッセージ（Message）、ＭＰＵ（Media Processing Unit）、ＦＥＣ修正シンボル（FEC Repair Symbol）などが含まれ、これらのシグナリングはＭＭＴペイロードヘッダに含まれるペイロードタイプ（payload_type）により行われる。

　なお、メッセージには、各種のメッセージ内容がテーブル形式で挿入される。また、ＭＰＵは、フラグメント化されて、ＭＦＵ（MMT Fragment Unit）に細分化されることもある。その場合、各ＭＦＵの先頭には、ＭＦＵヘッダ（MFU Header）が付加される。ＭＭＴペイロードには、ビデオやオーディオのメディアデータに係るＭＰＵ、さらには、メタデータに係るＭＰＵが存在する。各ＭＰＵを含むＭＭＴパケットは、ＭＭＴパケットヘッダに存在するパケットＩＤ（Packet_ID）で識別可能とされる。

　［送信装置、受信装置の概念］
　図１０は、トランスポートパケット送信装置１００およびトランスポートパケット受信装置２００の概念図を示している。送信装置１００は、アセット発生部１０１と、エンコーダ１０２と、トランスポートパケット化部１０３と、クロック発生部１０４と、ＩＰ送信部１０５と、ＲＦ送信部１０６を有している。

　アセット発生部１０１は、メディアデータとしてのビデオやオーディオのデータを発生する。このアセット発生部１０１は、ＨＤＤ（Hard Disk Drive）や半導体メモリなどからなるデータストレージ、あるいはビデオカメラ、マイクロホンなどである。エンコーダ１０２は、アセット発生部１０１で発生されるビデオやオーディオのデータに対して符号化処理を行って送信データを生成する。

　トランスポートパケット化部１０３は、エンコーダ１０２で生成される送信データをＭＰＵ単位、あるいはそれを細分化したＭＦＵ単位でペイロードに挿入した、メディアデータを含むＭＭＴパケットを生成する他、上述したメタデータを含むＭＭＴパケットやメッセージを含むＭＭＴパケットを生成する。トランスポートパケット化部１０３は、ＭＭＴパケットを生成するとき、受信側でデコード時刻（Decode_Timestamp）および表示時刻（Display_Timestamp）を取得するための時刻情報を、そのＭＭＴパケットに挿入する。このＭＭＴパケットへの時刻情報挿入の詳細については、後述する。

　ＩＰ送信部１０５は、通信ネットワーク伝送路を使用する場合、トランスポートパケット化部１０３から順次出力されるＭＭＴパケットからなる伝送ストリームをＩＰパケット化し、通信ネットワーク伝送路を通じて受信側に送る。ＲＦ送信部１０６は、ＲＦ伝送路を使用する場合、トランスポートパケット化部１０３から順次出力されるＭＭＴパケットからなる伝送ストリームを適切なアダプテーションレイヤを介するなどしてＲＦ変調し、ＲＦ伝送路を通じて受信側に送る。ここで、送信装置１００は、クロック発生部１０４から出力されるシステム・タイム・クロックＳＴＣに基づいて、送信データに送信タイムスタンプを付加する。

　受信装置２００は、ＲＦ受信部２０１と、ＩＰ受信部２０２と、クロック再生部２０３と、トランスポートアンパケット化部２０４と、デコード・出力処理部２０５を有している。

　ＲＦ受信部２０１は、送信側からＲＦ伝送路を通じて送信されるＭＭＴパケットの連続からなる伝送ストリームをアダプテーションレイヤの解析を経て受信し、トランスポートアンパケット化部２０４に出力する。また、ＩＰ受信部２０２は、送信側から通信ネットワーク伝送路を通じて送信されるＭＭＴパケットの連続からなる伝送ストリームを受信し、トランスポートアンパケット化部２０４に出力する。

　クロック発生部２０３は、システム・タイム・クロックＳＴＣを発生し、トランスポートアンパケット化部２０４などに供給する。クロック発生部２０３は、送信データに付加されている送信タイムスタンプ値（ＮＴＰ値）に基づいてクロックセットを行う。あるいは、ＮＴＰパケットで供給されるタイムスタンプ値（ＮＴＰ値）に基づいてクロックセットを行う。この場合、クロック発生部２０３は、発生するシステム・タイム・クロックＳＴＣとタイプスタンプ値（ＮＴＰ値）との差がある範囲に収まるように、発生するシステム・タイム・クロックＳＴＣの補正を行う。

　ＮＴＰがＭＭＴパケットヘッダの送信時タイムスタンプでなく、ＮＴＰサーバなどから取得されるＮＴＰパケットにより供給される場合、ＮＴＰのフォーマットは、図１１に示すような「NTP shortフォーマット」に限定されない。図示は省略するが、６４ビットの「NTP Timestamp Format（秒の整数部分32bits＋秒の小数部分32bits）」で供給されることもある（IETF RFC 5905 参照）。その場合、受信機内では、受信したＮＴＰの値で受信機のデコーダクロックをセットし、メディアのタイムスタンプ値と比較される。この場合、メディアの表示あるいはデコードのタイムスタンプと受信機クロックとの間の精度の違いは、比較を行う際に受信機側で考慮される。

　トランスポートアンパケット化部２０４は、ＲＦ受信部２０１あるいはＩＰ受信部２０２から順次供給されるＭＭＴパケットのアンパケット化を行って、メディアデータとしての受信データを得る他、メタデータやメッセージを得る。デコード・出力処理部２０５は、トランスポートアンパケット化部２０４で得られる受信データの復号化を行ってビデオやオーディオのデータを取得し、メタデータやメッセージに基づいて、ビデオ表示やオーディオ出力を行う。

　この場合、デコード・出力処理部２０５は、トランスポートアンパケット化部２０４で抽出される時刻情報に基づいて、アクセスユニット毎のデコード時刻（Decode_Timestamp）および／または表示時刻（Display_Timestamp）を取得し、デコードタイミングおよび表示タイミングを制御し、ビデオおよびオーディオの同期再生を実現する。このビデオおよびオーディオの同期再生の詳細については、後述する。

　図１０に示す送信装置１００および受信装置２００の動作を簡単に説明する。最初に送信装置１００の動作を説明する。アセット発生部１０１で発生されるビデオやオーディオのデータはエンコーダ１０２に供給される。そして、このエンコーダ１０２では、ビデオやオーディオのデータに対して符号化処理が行われて送信データ（符号化データ）が生成される。

　エンコーダ１０２で生成された送信データは、トランスポートパケット化部１０３に供給される。そして、このトランスポートパケット化部１０３では、送信データをＭＰＵ単位、あるいはそれを細分化したＭＦＵ単位でペイロードに挿入した、メディアデータを含むＭＭＴパケットが生成される他、上述したメタデータを含むＭＭＴパケットやメッセージを含むＭＭＴパケットが生成される。

　トランスポートパケット化部１０３で順次生成されるＭＭＴパケットからなる伝送ストリームは、ＩＰ送信部１０５あるいはＲＦ送信部１０６に供給される。ＩＰ送信部１０５では、通信ネットワーク伝送路を使用する場合、伝送ストリームがＩＰパケット化され、通信ネットワーク伝送路を通じて受信側に送られる。また、ＲＦ送信部１０６では、ＲＦ伝送路を使用する場合、伝送ストリームがＲＦ変調され、ＲＦ伝送路を通じて受信側に送られる。この際、クロック発生部１０４から出力されるシステム・タイム・クロックＳＴＣに基づいて、送信データに送信タイムスタンプが付加される。

　次に、受信装置２００の動作を説明する。送信側から送られてくる伝送ストリームは、ＲＦ受信部２０１あるいはＩＰ受信部２０２で受信され、ＭＭＴパケットが連続して含まれる伝送ストリームが取得される。この伝送ストリームは、トランスポートアンパケット化部２０４に供給される。このトランスポートアンパケット化部２０４では、ＭＭＴパケットのアンパケット化が行われ、メディアデータとしての受信データが得られる他、メタデータやメッセージ、さらには時刻情報などが得られる。これらのデータや情報は、デコード・出力処理部２０５に供給される。

　デコード・出力処理部２０５では、トランスポートアンパケット化部２０４で得られる受信データの復号化が行われてビデオやオーディオのデータが取得され、メタデータやメッセージに基づいて、ビデオ表示やオーディオ出力が行われる。この場合、デコード・出力処理部２０５には、トランスポートアンパケット化部２０４でＭＭＴパケットから抽出される時刻情報が供給される。そして、デコード・出力処理部２０５では、時刻情報に基づいて、アクセスユニット毎のデコード時刻（Decode_Timestamp）および／または表示時刻（Display_Timestamp）が取得され、デコードタイミングおよび出力タイミングが制御され、ビデオおよびオーディオの同期再生が実現される。

　［ＭＭＴパケットに挿入する時刻情報］
　次に、ＭＭＴパケットに挿入される時刻情報について説明する。この時刻情報は、上述したように、受信側でデコード時刻（Decode_Timestamp）および/または表示時刻（Display_Timestamp）を取得するための情報である。ＭＭＴパケットに含まれるメディアデータは一つ以上のアクセスユニットで構成されている。ＭＭＴパケットに挿入される時刻情報は、この一つ以上のアクセスユニットにそれぞれ対応した時刻情報および/または表示時刻を取得するための情報である。

　例えば、第１の手法では、ＭＭＴパケットに挿入される時刻情報には、初期値、すなわち一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値が含まれる。また、この時刻情報には、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値が含まれる。また、例えば、第２の手法では、ＭＭＴパケットに挿入される時刻情報には、表示時刻、あるいは表示時刻およびデコード時刻そのものが含まれる。

　第１の手法について説明する。オフセット値は、絶対オフセット値に対応した相対オフセット値とされる。そのため、時刻情報には、相対オフセット値を絶対オフセット値に変換するための変換情報が付加される。この変換情報には、「timestamp_type」、「time tick」、「au_rate_scale」および「division_factor」などが含まれる。

　「timestamp_type」は、初期値がデコード時刻の初期値であるか表示時刻の初期値であるかを示す情報である。「time tick」は、いかなるクロックで制御するかを示す情報である。この情報により、例えば、９０ｋＨｚのクロックで全てを制御することなどを示す。「au_rate_scale」は、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。なお、変換情報として、さらに、メディアデータがビデオなのかオーディオなのかを示すフラグ情報「Asset_type」も含まれる。

　例えば、ビデオの場合、上述の「time_tick」が９０ｋＨｚを示すとき、「au_rate_scale」は、１５００、１８００、３０００、３６００などの値となる。それぞれ、９０ｋＨｚをその値で割ることで、６０Ｈｚ、５０Ｈｚ、３０Ｈｚ、２５Ｈｚなどのビデオレートを算出できる。

　また、「division_factor」は、レートを微調整するための要素である。例えば、ＮＴＳＣ系のビデオにおいて、３０Ｈｚか２９．９４Ｈｚかを調整するための値であり、「１」あるいは「１．００１」である。

　ここで、メディアデータがビデオであり、初期値がデコード時刻である場合について説明する。図１２は、０番目から６番目までのアクセスユニット（AU）に対応した、デコード時刻「ＤＴＳ（ｎ）」、オフセット値「ＤＬＴ（ｎ）」、表示時刻「ＰＴＳ（ｎ）」の対応関係の一例を示している。この例では、デコード時刻の初期値からの表示時刻の初期値までのオフセット値（dlt_time）は「１」とされ、相対オフセット値とされている。

　ここで、０番目のアクセスユニットはＩピクチャ、１番目のアクセスユニットはＰピクチャ、２番目のアクセスユニットはＢピクチャ、３番目のアクセスユニットはＢピクチャ、４番目のアクセスユニットはＰピクチャ、５番目のアクセスユニットはＢピクチャ、６番目のアクセスユニットはＢピクチャである。そのため、デコード時刻に対して、表示時刻はリオーダー（Reorder）されたものとなる。

　この場合、ＭＭＴパケットに挿入されて送信される時刻情報は、デコード時刻の初期値であるＴＳ０（ここでは、ＴＳ０＝０）と、相対オフセット値ＤＬＴ（ｎ）とされる。なお、図１２において、「Time」はアクセスユニット毎の時刻を相対値で示している。

　このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻および表示時刻を、変換情報を用いて、算出できる。この場合、初期値ＴＳ０は、最初のアクセスユニットのデコード時刻ＤＴＳ（０）である。この初期値ＴＳ０からのオフセット時間（dlt_time）は、以下の数式（１）で求められる。例えば、典型例として、au_rate_scale ＝１５００で、division_factor ＝１．００１である場合、dlt_time ＝１５００＊１．００１となる。
　　dlt_time ＝ au_rate_scale * division_factor ・・・（１）

　その後のアクセスユニットのデコード時刻ＤＴＳ（ｎ）は、以下の数式（２）に示すように、オフセット時間（dlt_time）を「time_tick」で割った値を、直前のデコード時刻ＤＴＳ（ｎ-1）に加算することで求められる。ただし、ＤＴＳ（０）＝ＴＳ０である。
　　DTS(n) ＝ dlt_time / time_tick ＋ DTS(n-1) ・・・（２）

　また、各アクセスユニットの表示時刻ＰＴＳ（ｎ）は、以下の数式（３）に示すように、オフセット値ＤＬＴ（ｎ）に「dlt_time / time_tick」を掛けた値を、デコード時刻ＤＴＳ（ｎ）に加算することで求められる。
　　PTS(n) ＝ DLT(n) * (dlt_time / time_tick) ＋ DTS(n) ・・・（３）

　次に、メディアデータがビデオであり、初期値が表示時刻である場合について説明する。図１３は、図１２と同様の、０番目から６番目までのアクセスユニット（AU）に対応した、デコード時刻「ＤＴＳ（ｎ）」、オフセット値「ＤＬＴ（ｎ）」、表示時刻「ＰＴＳ（ｎ）」の対応関係の一例を示している。この例では、デコード時刻の初期値からの表示時刻の初期値までのオフセット値（dlt_time）は「１」とされている。この場合も、デコード時刻に対して、表示時刻はリオーダー（Reorder）されたものとなる。

　この場合、ＭＭＴパケットに挿入されて送信される時刻情報は、表示時刻の初期値であるＴＳ０（ここでは、ＴＳ０＝１）と、相対オフセット値ＤＬＴ（ｎ）とされる。なお、図１３において、「Time」はアクセスユニット毎の時刻を相対値で示している。

　このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻および表示時刻を、変換情報を用いて、算出できる。この場合、初期値ＴＳ０は、最初のアクセスユニットの表示時刻ＰＴＳ（０）である。そのため、最初のアクセスユニットのデコード時刻ＤＴＳ（０）は、以下の数式（４）に示すように、ＰＴＳ（０）から、オフセット時間分、すなわちを「dlt_time」を「time_tick」で割った値にオフセット値ＤＬＴ（ｎ）を乗じた値を、減算することで求められる。
　　DTS(0) ＝ PTS(0) － (dlt_time / time_tick) * DLT(n) ・・・（４）

　ここで、「dlt_time」は、以下の数式（５）に示すように、「au_rate_scale」に「division_factor」を掛けることで求められる。
　　dlt_time ＝ au_rate_scale * division_factor ・・・（５）

　その後のアクセスユニットのデコード時刻ＤＴＳ（ｎ）は、以下の数式（６）に示すように、オフセット時間（dlt_time）を「time_tick」で割った値を、直前のデコード時刻ＤＴＳ（ｎ-1）に加算することで求められる。
　　DTS(n) ＝ dlt_time / time tick ＋ DTS(n-1) ・・・（６）

　また、各アクセスユニットの表示時刻ＰＴＳ（ｎ）は、以下の数式（７）に示すように、オフセット値ＤＬＴ（ｎ）に「dlt_time / time_tick」を掛けた値を、デコード時刻ＤＴＳ（ｎ）に加算することで求められる。
　　PTS(n) ＝ DLT(n) * (dlt_time / time_tick) ＋ DTS(n) ・・・（７）

　次に、メディアデータがオーディオであり、初期値がデコード時刻である場合について説明する。図１４は、０番目から６番目までのアクセスユニット（AU）に対応した、デコード時刻「ＤＴＳ（ｎ）」、オフセット値「ＤＬＴ（ｎ）」、オーディオ出力時刻「ＰＴＳ（ｎ）」の対応関係の一例を示している。この例では、「dlt_time / time_tick」は「１」とされている。

　なお、オーディオアクセスユニットは、複数のオーディオサンプルの集合体である。ここで、「dlt_time」は、以下の数式（８）に示すように、「au_rate_scale」に「division_factor」を掛けることで求められる。例えば、典型例として、オーディオサンプリング周波数が４４．１ＫＨｚで、オーディオ符号化方式が１０２４サンプルを１つのオーディオアクセスユニットとする場合には、au_rate_scale ＝２０８９．８で、division_factor ＝１であり、dlt_time ＝２０８９．８＊１となる。
　　dlt_time ＝ au_rate_scale * division_factor ・・・（８）

　この場合、ＭＭＴパケットに挿入されて送信される時刻情報は、オーディオ出力時刻（表示時刻）の初期値であるＴＳ０（ここでは、ＴＳ０＝０）と、相対オフセット値ＤＬＴ（ｎ）とされる。なお、図１４において、「Time」はアクセスユニット毎の時刻を相対値で示している。通常の場合、リオーダー（Reorder）はなく、デコードした後は、そのまま出力バッファに転送されるので、デコード時刻ＤＴＳ（ｎ）とオーディオ出力時刻ＰＴＳ（ｎ）との差分を示すＤＬＴ（ｎ）は「０」となる。

　このような時刻情報が受信側に送信される場合、受信側では、以下のように、各アクセスユニットのデコード時刻およびオーディオ出力時刻を、変換情報を用いて、算出できる。この場合、初期値ＴＳ０は、最初のアクセスユニットのオーディオ出力時刻ＰＴＳ（０）であるが、そのまま、最初のアクセスユニットのデコード時刻ＤＴＳ（０）ともなる。

　その後のアクセスユニットのデコード時刻ＤＴＳ（ｎ）およびオーディオ出力時刻ＰＴＳ（ｎ）は、以下の数式（９）に示すように、オフセット時間（dlt_time）を「time_tick」で割った値を、直前のオーディオ出力時刻ＰＴＳ（ｎ-1）に加算することで求められる。ただし、ＰＴＳ（０）＝ＴＳ０である。
　　PTS(n) ＝ DTS(n) ＝ (dlt_time / time_tick) ＋ PTS(n-1) ・・・（９）

　[受信装置のデコード・出力処理部の構成例]
　受信装置２００のデコード・出力処理部２０５についてさらに説明する。図１５は、デコード・出力処理部２０５の構成例を示している。このデコード・出力処理部２０５は、デマルチプレクサ３０１と、ビデオデコーダ３０２と、ビデオ表示部３０３と、オーディオデコーダ３０４と、オーディオ出力部３０５と、制御部３０６を有している。

　デマルチプレクサ３０１は、トランスポートアンパケット化部２０４の出力から種々の情報あるいはデータを抽出する。すなわち、デマルチプレクサ３０１は、ビデオのアクセスユニット毎の符号化ビデオデータを抽出すると共に、オーディオのアクセスユニット毎の符号化オーディオデータを抽出する。

　また、デマルチプレクサ３０１は、ビデオ、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻（オーディオ出力時刻）ＰＴＳ（ｎ）を取得するための時刻情報を抽出する。この時刻情報には、上述したように初期値ＴＳ０と、相対オフセット値ＤＬＴ（ｎ）が含まれている。

　また、デマルチプレクサ３０１は、相対オフセット値ＤＬＴ（ｎ）を絶対オフセット値に変換するための種々の情報（変換情報）を抽出する。この変換情報には、上述したように、「timestamp_type」、「time_tick」、「au_rate_scale」および「division_factor」などが含まれている。

　ビデオデコーダ３０２は、デマルチプレクサ３０１で抽出されるビデオの各アクセスユニットの符号化ビデオデータに対してデコード処理を行って各アクセスユニットの復号化されたビデオデータを得る。ビデオ表示部３０３は、ビデオデコーダ３０２で得られた各アクセスユニットの復号化ビデオデータに基づいてビデオ表示（画像表示）を行う。

　オーディオデコーダ３０４は、デマルチプレクサ３０１で抽出されるオーディオの各アクセスユニットの符号化オーディオデータに対してデコード処理を行って各アクセスユニットの復号化されたオーディオデータを得る。オーディオ出力部３０５は、オーディオデコーダ３０４で得られた各アクセスユニットの復号化オーディオデータに基づいてオーディオ出力（音声出力）を行う。

　制御部３０６は、デマルチプレクサ３０１で抽出される時刻情報および変換情報に基づいて、ビデオ、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻（オーディオ出力時刻）ＰＴＳ（ｎ）を求める。そして、制御部３０６は、以下のように、オーディオ、ビデオの同期再生制御を行う。

　すなわち、制御部３０６は、ビデオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻ＰＴＳ（ｎ）に基づいて、各アクセスユニットのデコードタイミングおよび表示タイミングを制御する。この場合、各アクセスユニットのデコードを、クロック発生部２０３（図７参照）で発生されるシステム・クロックＳＴＣがデコード時刻ＤＴＳ（ｎ）となるタイミングで開始するように、ビデオデコーダ３０２を制御する。また、各アクセスユニットによるビデオ表示を、このシステム・クロックＳＴＣが表示時刻ＰＴＳ（ｎ）となるタイミングで開始するように、ビデオ表示部３０３を制御する。

　また、制御部３０６は、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）およびオーディオ出力時刻ＰＴＳ（ｎ）に基づいて、各アクセスユニットのデコードタイミングおよび表示タイミングを制御する。この場合、各アクセスユニットのデコードを、システム・クロックＳＴＣがデコード時刻ＤＴＳ（ｎ）となるタイミングで開始するようにオーディオデコーダ３０４を制御する。また、各アクセスユニットによるオーディオ出力を、このシステム・クロックＳＴＣがオーディオ出力時刻ＰＴＳ（ｎ）となるタイミングで開始するように、オーディオ出力部３０５を制御する。

　図１５に示すデコード・出力制御部２０５の動作を簡単に説明する。トランスポートアンパケット化部２０４の出力は、デマルチプレクサ３０１に供給される。このデマルチプレクサ３０１では、ビデオのアクセスユニット毎の符号化ビデオデータが抽出され、ビデオデコーダ３０２に供給される。

　ビデオデコーダ３０２では、ビデオの各アクセスユニットの符号化ビデオデータに対してデコード処理が行われ、各アクセスユニットの復号化されたビデオデータが得られる。このように復号化された各アクセスユニットのビデオデータは、ビデオ表示部３０３に供給される。ビデオ表示部３０３では、各アクセスユニットのビデオデータに基づいてビデオ表示（画像表示）が行われる。

　また、デマルチプレクサ３０１では、オーディオのアクセスユニット毎の符号化オーディオデータが抽出され、オーディオデコーダ３０４に供給される。オーディオデコーダ３０４では、オーディオの各アクセスユニットの符号化オーディオデータに対してデコード処理が行われ、各アクセスユニットの復号化されたオーディオデータが得られる。このように復号化された各アクセスユニットのオーディオデータは、オーディオ出力部３０５に供給される。オーディオ出力部３０５では、各アクセスユニットのオーディオデータに基づいてオーディオ出力（音声出力）が行われる。

　また、デマルチプレクサ３０１では、ビデオ、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻（オーディオ出力時刻）ＰＴＳ（ｎ）を取得するための時刻情報（初期値ＴＳ０、相対オフセット値ＤＬＴ（ｎ））が抽出される。さらに、デマルチプレクサ３０１では、相対オフセット値ＤＬＴ（ｎ）を絶対オフセット値に変換するための種々の変換情報が抽出される。これらの時刻情報および変換情報は、制御部３０６に供給される。

　制御部３０６では、時刻情報および変換情報に基づいて、ビデオ、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻（オーディオ出力時刻）ＰＴＳ（ｎ）が算出される。そして、制御部３０６では、このデコード時刻ＤＴＳ（ｎ）および表示時刻（オーディオ出力時刻）ＰＴＳ（ｎ）に基づいて、オーディオ、ビデオの同期再生制御が行われる。

　この場合、制御部３０６では、ビデオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）および表示時刻ＰＴＳ（ｎ）に基づいて、ビデオの各アクセスユニットのデコードタイミングおよび表示タイミングが制御される。また、制御部３０６では、オーディオの各アクセスユニットのデコード時刻ＤＴＳ（ｎ）およびオーディオ出力時刻ＰＴＳ（ｎ）に基づいて、オーディオの各アクセスユニットのデコードタイミングおよび出力タイミングが制御される。

　なお、上述の説明では、ＭＭＴパケットに挿入される時刻情報が第１の手法による場合、つまり時刻情報が、デコード時刻あるいは表示時刻の初期値と、各アクセスユニットに対応したオフセット値である場合を説明した。詳細説明は省略するが、ＭＭＴパケットに挿入される時刻情報が第２の手法による場合、つまり時刻情報が、各アクセスユニットの表示時刻、あるいは表示時時刻およびデコード時刻そのものである場合も考えられる。その場合、制御部３０６では、それらの時刻がそのまま用いられる。

　図１６は、制御部３０６におけるＡＶ同期再生制御の一例を示すタイミングチャートである。図１６（ａ）は、クロック発生部２０３で発生されるシステム・クロックＳＴＣを示している。このシステム・クロックＳＴＣは、上述したように、送信側から送られてくる送信タイムスタンプ（ＮＴＰ値）あるいは、ＮＴＰパケットで供給されるタイムスタンプ値（ＮＴＰ値）によりクロックセットが行われる。

　図１６（ｂ）に示すように、システム・クロックＳＴＣがビデオの各アクセスユニットのデコード時刻ＤＴＳ(ｎ)となる毎に、ビデオの各アクセスユニットのデコードが開始される。そして、図１６（ｃ）に示すように、システム・タイム・クロックＳＴＣがビデオの各アクセスユニットの表示時刻ＰＴＳ(ｎ)となる毎に、ビデオの各アクセスユニットのビデオ表示（画像表示）が開始される。

　図１６（ｄ）に示すように、システム・クロックＳＴＣがオーディオの各アクセスユニットのデコード時刻ＤＴＳ(ｎ)となる毎に、オーディオの各アクセスユニットのデコードが開始されると共に、オーディオ出力（音声出力）が開始される。図１６（ｅ）は、オーディオサンプル出力を示している。

　なお、ＭＦＵにフラグメント化されているパケットが、伝送上でドロップされた場合、あるいは、受信装置２００内で表示に使わないと判断された場合、受信側で再生されるタイムスタンプ・テーブルのアクセスユニットのカウントと、実際に受信するアクセスユニットと関係は、図１７に示すようになる。ＭＦＵヘッダのシーケンス・ナンバー（sequence_number）によって整順されたＭＦＵデータとして受信するアクセスユニット（AU）をタイムスタンプ・テーブル上で検査し、圧縮バッファからはＤＴＳ（ｎ）のタイミングでデコーダに転送する。また、デコードバッファからＰＴＳ（ｎ）のタイミングで表示用プロセスへ転送する。このようにして、受信しないアクセスユニットあるいは、表示させないと判断したアクセスユニットに対しての、タイムスタンプ（Timestamp）を参照するか、しないかを判断する。

　［ファイルから伝送パケットに変換する際の時刻情報の生成方法］
　ファイルの状態から伝送パケットへ変換する際、ＭＭＴファイルから以下のように取得された情報に基づいて、ＭＭＴパケットに挿入すべき時刻情報（受信側でデコード時刻および／または表示時刻を取得するための時刻情報）が生成される。ファイル内の情報から、ＭＭＴパケットに挿入する時刻情報の生成は、トランスポートパケット化部１０３で行われる。

　最初に、ファイル全体に対して「moov」情報を用いる場合について説明する。この場合、“Moov”ボックスの配下の‘stts’, ‘ctts’のボックスで、ファイル内に含まれる全サンプルのデコード時刻、表示時刻が供給される。この際、‘stts’(decoding time to sample)のボックスにより、デコード時刻が与えられる。また、‘ctts’（composition time to sample)のボックスによりデコード時刻と表示時刻の差分が与えられる。また、‘stss’(sync sample table )のボックスでは、ランダムアクセスのサンプル位置が示される。

　次に、フラグメントごとに「moof」情報を用いる場合について説明する。この場合、“Moof”ボックスの配下の、‘trun’, ‘tfra’のボックスでフラグメントごとのサンプルのデコード時刻、表示時刻が供給される。この際、‘trun’(track fragment run)のボックスにより、フラグメントの先頭位置からのオフセット位置と、サンプルのデコード時刻、表示時刻とのオフセット（ビデオの場合はフレーム数、オーディオの場合はオーディオサンプル数）が供給される。また、‘tfra’ (track fragment random access)のボックスにより、ランダムアクセス位置と、そのサンプルのデコード時刻が供給され、また、サンプルごとのデコード時刻と表示時刻との差分値から、表示時刻も分かる。

　［時刻情報の挿入位置］
　次に、時刻情報の挿入方法について説明する。図１８は、ＭＭＴパケットに時刻情報を挿入する方法を概略的に示している。図１８（ａ）は、ＭＰＵペイロードヘッダ（MPU payload header）の中で時刻情報を送る場合を示している。この場合、ＭＰＵのペイロードが複数のアクセスユニット（AU）を含むときは、ペイロード・ヘッダ・エクステンション（payload header extension）に、その複数のアクセスユニット分の時刻情報を挿入する。一方、ＭＰＵペイロードに一つのアクセスユニットを持つような構成では、ペイロード・ヘッダ・エクステンションに、個々のアクセスユニットに対して時刻情報を挿入する。

　図１８（ｂ）は、ＭＰＵペイロードの中でフラグメント化されたアクセスユニット（AU）毎に時刻情報を送る場合を示している。この場合、ＭＦＵに一つのアクセスユニットを持つような構成として、ＭＦＵ・ヘッダ・エクステンション（MFU header extension）に、個々のアクセスユニットに対して時刻情報を挿入する。あるいは、ＭＦＵペイロード（MFU payload）に、個々のアクセスユニットに対して時刻情報を挿入する。また、図１８（ｃ）は、メッセージ（Message）で時刻情報を送る場合を示している。この場合、少なくとも、ＲＡＰ（ランダムアクセスポイント）単位で、対象のパケットＩＤ（packet_id）で関連付けするメディアに対しての時刻情報を持つメッセージを伝送する。

　図１９は、送受信遅延を低くするために、各アクセスユニットに対応して時刻情報（受信側でデコード時刻および／または表示時刻を取得するための時刻情報）を挿入する場合のパケット構成の一例を示している。図１９（ａ）は、ＭＭＴペイロードヘッダに時刻情報を挿入する場合のパケット構成例である。図１９（ｂ）は、ＭＦＵ内に時刻情報を挿入する場合のパケット構成例である。さらに、図１９（ｃ）は、ＭＭＴメッセージに時刻情報を挿入する場合のパケット構成例である。

　なお、各パケット構成例において、対象のアクセスユニットを持つＭＭＴパケットがランダムアクセスの先頭パケット、つまりランダムアクセスポイントのパケットである場合には、ＭＭＴファイルの“styp”，“sidx”，“mmpu”，“moov”の各ボックスのメタデータが挿入されたＭＭＴパケットと共に伝送される。一方、このＭＭＴパケットがランダムアクセスの非先頭パケット、つまり非ランダムアクセスポイントのパケットである場合には、上述のメタデータが挿入されたＭＭＴパケットは伝送されない

　ＭＰＵペイロードヘッダ（MPU payload header）の中で時刻情報を送る場合についてさらに説明する。図２０は、ＭＭＴパケットの全体の構造例（Syntax）を示している。ＭＭＴパケット（mmt ｐacket()）には、ＭＭＴパケットヘッダ（mmtp_header()）と、ＭＭＴペイロード（mmtp_payload()）が含まれている。さらに、ＭＭＴペイロードには、ＭＭＴペイロードヘッダ（mmtp_payload_header()）と、ＭＭＴペイロードデータ（mmtp_payload_data()）が含まれている。

　図２１は、ＭＭＴパケットヘッダ（mmtp_header()）の構造例（Syntax）を示している。詳細説明は省略するが、このＭＭＴパケットヘッダには、上述したように、パケットＩＤ（packet_id）、パケット・シーケンス・ナンバー（packet_sequence_number）、トランスミッション・タイムスタンプ（transmission_timestamp）、トランスミッション・プライオリティ（transmission Priority）、プライベート・ユーザデータ（private user_data）などが含まれている。

　図２２は、ＭＭＴペイロードヘッダ（mmtp_payload_header()）の構造例（Syntax）を示している。詳細説明は省略するが、このＭＭＴペイロードヘッダには、上述したように、ペイロード・レングス（payload_length）、ペイロード・タイプ（payload_type）、フラグメント・タイプ（fragment_type）、フラグメント・カウント（fragment_count）、アグリゲーション・インフォ・フラグ（aggregation_info_flag）、ＲＡＰフラグ（random_access_point_flag）、データ・オフセット（data_offset）、データユニット・ナンバー（numDU）、データユニット・オフセット（DU_offset）、ペイロード・シーケンス・ナンバー（payload_seq_number）、ヘッダ・エクステンション・フィールド・フラグ（header_extension_field_flag）などが含まれている。

　そして、ヘッダ・エクステンション・フィールド・フラグが“１”であるとき、このＭＭＴペイロードヘッダには、ＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）がさらに含まれる。

　図２３は、ＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）の構造例（Syntax）を示している。この構造例は、ＭＰＵペイロードヘッダ（MPU payload header）の中で時刻情報を送る場合に対応している。図２４は、この構造例の主要な情報の内容（Semantics）を示している。

　「payload_header_extension_type」の１６ビットフィールドは、ＭＭＴペイロード・ヘッダ・エクステンションのタイプを示す。例えば、“０ｘ０００１”は、処理のための時刻情報（タイプスタンプ）を提供することを示す。「payload_header_extension_length」の１６ビットフィールドは、ＭＭＴペイロード・ヘッダ・エクステンションのサイズを示す。「asset_type」２ビットフィールドは、アセットタイプを示す。例えば、“０１”はビデオを示し、“１０”はオーディオを示す。

　「time_tick」の２ビットフィールドは、いかなるクロックで制御するかを示す。“０１”は９０ｋＨｚの精度のクロックの値を示す。“１０”は「ＮＴＰ short time」であることを示す。「au_rate_scale」の３ビットフィールドは、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。

　アセットタイプがビデオの場合、“０００”は３７５０の値を示し、この値によりレートとして２４Ｈｚを求めることができる。また、“００１”は３６００の値を示し、この値によりレートとして２５Ｈｚを求めることができる。また、“０１０”は３０００の値を示し、この値によりレートとして３０Ｈｚを求めることができる。

　また、“０１１”は１８００の値を示し、この値によりレートとして５０Ｈｚを求めることができる。また、“１００”は１５００の値を示し、この値によりレートとして６０Ｈｚを求めることができる。また、“１０１”は９００の値を示し、この値によりレートとして１００Ｈｚを求めることができる。また、“１１０”は７５０の値を示し、この値によりレートとして１２０Ｈｚを求めることができる。なお、“１１１”はリザーブとされる。

　一方、アセットタイプがオーディオの場合、“０００”は１９２０の値を示し、この値によりレートとして４８ＫＨｚ＊１０２４を求めることができる。また、“００１”は２０８９．８の値を示し、この値によりレートとして４４．１ＫＨｚ＊１０２４を求めることができる。また、“０１０”は２８８０の値を示し、この値によりレートとして３２ＫＨｚ＊１０２４を求めることができる。なお、その他はリザーブとされる。

　「division_factor」の２ビットフィールドは、レートを微調整するための要素である。アセットタイプがビデオの場合、“００”は１を示し、“０１”は１．００１を示す。また、アセットタイプがオーディオの場合、“００”は１を示し、“０１”は２を示す。

　「timestamp_type」の１ビットフィールドは、初期値がデコード時刻の初期値であるか表示時刻の初期値であるかを示す情報である。“１”はデコード時刻（decode_timestamp）であることを示し、“０”は表示時刻（display_timestamp）であることを示す。

「timestamp_for_processing」の３２ビットフィールドは、初期値を示す。この場合、「time_tick」が“０１”であるときは、９０ＫＨｚ精度のものとなる。また、「time_tick」が“１０”であるときは、ＲＦＣ５０５９で規定される「ＮＴＰ short timestamp」となる。

　「au_count_in_mpu」の１０ビットフィールドは、ＭＰＵに含まれるアクセスユニット（AU）の個数を示す。「delta_sequence_type」の１ビットフィールドは、オフセット値が可変長符号であるか、８ビット固定長であるかを示す。“１”は可変長符号であることを示し、“０”は８ビット固定長であることを示す。なお、オフセット値の可変長符号化については後述する。

　「delta_fixed_length_code」の８ビットフィールドは、８ビット固定長のオフセット値を挿入する領域である。「delta_variable_length_code」の可変長領域は、可変長符号としてのオフセット値を挿入する領域である。なお、「tralling_filler()」は、ＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）のサイズがバイトアラインされるように、「delta_variable_length_code」の累積に対し、適宜、１～７ビットの連続する“０”を挿入するものである。

　なお、図２４の内容（Semantics）に追加することで、ビデオの場合、time_tick＝６０Ｈｚ、au_rate_scale＝１を割り当て、オーディオの場合、time_tick＝４４．１ＫＨｚ、au_rate_scale＝１を割り当てることもできる。

　なお、上述では、ＭＭＴペイロード・ヘッダ・エクステンションに、デコード時刻あるいは表示時刻と、オフセット値を挿入する、第１の手法に対応した構造例を示した。このＭＭＴペイロード・ヘッダ・エクステンションに表示時刻、あるいは表示時刻およびデコード時刻を挿入する、第２の手法に対応した構造例も考えられる。

　図２５は、その場合におけるＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）の構造例（Syntax）を示している。この構造例も、ＭＰＵペイロードヘッダ（MPU payload header）の中で時刻情報を送る場合に対応している。図２６は、この構造例の主要な情報の内容（Semantics）を示している。

　「payload_header_extension_type」の１６ビットフィールドは、ＭＭＴペイロード・ヘッダ・エクステンションのタイプを示す。例えば、“０ｘ０１”は、NTP short time フォーマットの表示タイムスタンプ（表示時刻）を供給することを示す。“０ｘ０２”は、NTP short time フォーマットの表示タイムスタンプと、デコードタイムスタンプ（デコード時刻）とを供給することを示す。“０ｘ０３”は、９０ＫＨｚ精度での表示タイムスタンプを供給することを示す。“０ｘ０４”は、９０ＫＨｚ精度での表示タイムスタンプと、デコードタイムスタンプとを供給することを示す。

　「payload_header_extension_length」の１６ビットフィールドは、ＭＭＴペイロード・ヘッダ・エクステンションのサイズを示す。「presentation_timestamp」の３２ビットフィールドは、表示タイムスタンプ（表示時刻）の値を示す。「decoding_timestamp」の３２ビットフィールドは、デコードタイムスタンプ（デコード時刻）の値を示す。

　次に、ＭＰＵペイロードの中でフラグメント化されたアクセスユニット（AU）毎に時刻情報を送る場合についてさらに説明する。この場合、例えば、図２７に示すように、アクセスユニット（AU）毎に、表示時刻（表示タイムスタンプ）ＰＴＳと、オフセット値ＤＬＴを、ＭＦＵヘッダ・エクステンション（mfu_header_extension）の領域に挿入して伝送する。なお、図示しないが、表示時刻（表示タイムスタンプ）ＰＴＳの代わりに、デコード時刻（デコードタイムスタンプ）ＤＴＳを伝送することも可能である。

　図２８は、ＭＦＵの構造例（Syntax）を示している。ＭＦＵには、ＭＦＵヘッダ（mfu_header()）と、ＭＦＵメディアデータ（mfu_media_data()）が含まれている。図２９、図３０は、ＭＦＵヘッダ（mfu_header()）の構造例（Syntax）を示している。図３１は、この構造例の主要な情報の内容（Semantics）を示している。

　「sequence_number」の３２ビットフィールドは、ＭＰＵ内のＭＦＵのシーケンス番号である。「trackref_index」の８ビットフィールドは、メディアトラックの番号である。「sample_number」の３２ビットフィールドは、当ＭＦＵが属するサンプル（アクセスユニット）の moof ボックス内の順番を示す。「priority」の８ビットフィールドは、ＭＰＵ内の当ＭＦＵの優先度を示す。「dependency_counter」の８ビットフィールドは、当ＭＦＵにデコードが依存しているＭＦＵの数を示す。

　「offset」の１６ビットフィールドは、mdat ボックスからのオフセットを示す。「length」の３２ビットフィールドは、ＭＦＵの大きさを示す。「multiLayer_flag」の１ビットフィールドは、マルチレイヤ情報の有無を示す。「mfu_header_extension_flag」の１ビットフィールドは、ＭＦＵエクステンション（mfu_extension）の有無を示す。

　「dependency_id」、「depth_flag」、「temporal_id」、「quality_id」、「priority_id」、「view_id」、「layer_id」は、ＭＦＵ同士の種々の依存関係を示すＩＤ群である。「Item_ID」は、ファイルのＩＤを示す。ＭＦＵヘッダ・エクステンション・フラグ（mfu_header_extension_flag）が“１”であるとき、ＭＦＵヘッダ・エクステンション（mfu_header_extension（））が存在する。

　図３２は、ＭＦＵヘッダ・エクステンション（mfu_header_extension（））の構造例（Syntax）を示している。図３３は、この構造例の主要な情報の内容（Semantics）を示している。「asset_type」２ビットフィールドは、アセットタイプを示す。例えば、“０１”はビデオを示し、“１０”はオーディオを示す。

　「time_tick」の２ビットフィールドは、いかなるクロックで制御するかを示す。“０１”は９０ｋＨｚの精度のクロックで全てを制御することを示す。“１０”は「ＮＴＰ short time」であることを示す。「au_rate_scale」の１０ビットフィールドは、ビデオやオーディオのアクセスユニットのレートを求めるためのスケール情報である。

　「timestamp_for_processing」の３２ビットフィールドは、対応するアクセスユニットの時刻を示す。この場合、「time_tick」が“０１”であるときは、９０ＫＨｚ精度のものとなる。また、「time_tick」が“１０”であるときは、ＲＦＣ５０５９で規定される「ＮＴＰ short timestamp」となる。

　「timestamp_type」の１ビットフィールドは、上述の「timestamp_for_processing」で示される時刻がデコード時刻であるか表示時刻であるかを示す。“１”はデコード時刻（decode_timestamp）であることを示し、“０”は表示時刻（display_timestamp）であることを示す。「delta_fixed_length_code」の８ビットフィールドは、８ビット固定長のオフセット値を挿入する領域である。

　なお、上述では、ＭＦＵヘッダ・エクステンションに、時刻情報（例えば、表示時刻ＰＴＳあるいはデコード時刻ＤＴＳと、オフセット値ＤＬＴ）を挿入する構造例を示した。ＭＦＵペイロードに時刻情報を挿入する構造例も考えられる。図３４、図３５は、その場合におけるＭＦＵヘッダ（mfu_header()）の構造例（Syntax）を示している。図３６は、この構造例の主要な情報の内容（Semantics）を示している。

　「timestamp_type」の２ビットフィールドは、ＭＰＵペイロードの先頭にタイムスタンプが供給されるかどうかを示す。“００”は、タイムスタンプは供給されないことを示す。この場合、ＭＰＵペイロードの最初のバイト（1st バイト）がフラグメントされたＭＰＵペイロードの先頭バイトと一致する。“０１”は、ＭＰＵペイロードの先頭に表示タイムスタンプが供給されることを示す。この場合、表示タイムスタンプの直後にフラグメントされたＭＰＵペイロードの先頭バイトが供給される。“１０”は、ＭＦＵペイロードの先頭にデコードタイムスタンプと表示タイムスタンプの双方が供給されることを示す。この場合、タイムスタンプの直後にフラグメントされたＭＰＵペイロードの先頭バイトが供給される。

　「time_tick」の１ビットフィールドは、タイムスタンプの値の精度を示す。“０”は、９００００Ｈｚ精度であることを示す。“１”は、ＮＴＰ short time フォーマットであることを示す。

　図３７は、ＭＦＵペイロード（mfu_payload()）の構造例（Syntax）およびその主要な情報の内容（Semantics）を示している。「presentation_timestamp」の３２ビットフィールドは、表示タイムスタンプ（表示時刻）の値を示す。「decoding_timestamp」の３２ビットフィールドは、デコードタイムスタンプ（デコード時刻）の値を示す。ＭＦＵヘッダにおける「timestamp_type 」が“０１”であるとき、ペイロードデータ（payload_data）の直前に「presentation_timestamp」の３２ビットフィールドが存在する。また、ＭＦＵヘッダにおける「timestamp_type 」が“１０”であるとき、ペイロードデータ（payload_data）の直前に「presentation_timestamp」の３２ビットフィールドおよび「decoding_timestamp」の３２ビットフィールドが存在する。

　図３８、図３９は、ＭＦＵペイロードに時刻情報を挿入する場合における、ＭＦＵヘッダ（mfu_header()）の他の構造例（Syntax）を示している。図４０は、この構造例の主要な情報の内容（Semantics）を示している。「payload_header_flag」の１ビットフラグ情報は、ＭＦＵペイロードの先頭に、ＭＦＵペイロードヘッダが存在するかどうかを示す。“０”は、ＭＦＵペイロードヘッダは存在しないことを示す。この場合、ＭＦＵペイロードの最初のバイト（1st バイト）はフラグメントされたＭＰＵペイロードの先頭バイトと一致する。“１”は、ＭＦＵペイロードヘッダが存在することを示す。この場合、ＭＦＵペイロードヘッダの直後にフラグメントされたＭＰＵペイロードの先頭バイトが供給される。

　図４１は、ＭＦＵペイロード（mfu_payload()）の構造例（Syntax）を示している。図４２は、この構造例の主要な情報の内容（Semantics）を示している。「mfu_payload_header_type」の８ビットフィールドは、ＭＦＵペイロードヘッダのタイプを示す。例えば、“０ｘ０１”は、NTP short time フォーマットの表示タイムスタンプ（表示時刻）を供給することを示す。“０ｘ０２”は、NTP short time フォーマットの表示タイムスタンプと、デコードタイムスタンプ（デコード時刻）とを供給することを示す。“０ｘ０３”は、９０ＫＨｚ精度での表示タイムスタンプを供給することを示す。“０ｘ０４”は、９０ＫＨｚ精度での表示タイムスタンプと、デコードタイムスタンプとを供給することを示す。

　「mfu_payload_header_length」の８ビットフィールドは、本エレメント以後のＭＦＵペイロードヘッダのサイズをバイト数で示す。「presentation_timestamp」の３２ビットフィールドは、表示タイムスタンプ（表示時刻）の値を示す。「decoding_timestamp」の３２ビットフィールドは、デコードタイムスタンプ（デコード時刻）の値を示す。

　次に、メッセージ（Message）で時刻情報を送る場合についてさらに説明する。図４３は、タイムスタンプ・メッセージ（Timestamp Message）の構造例（Syntax）を示している。このタイムスタンプ・メッセージは、ＭＰＵに含まれる各アクセスユニット（AU）のデコード時刻（decode_timestamp）、表示時刻（display_timestamp）を受信側で取得するために、受信側の時刻情報を供給するためのメッセージである。

　このタイムスタンプ・メッセージには、メッセージ内容が配置されるタイムスタンプ・テーブル（timestamp_table()）が含まれる。図４４は、このタイムスタンプ・テーブル（timestamp_table()）の構造例（Syntax）を示している。詳細説明は省略するが、このタイムスタンプ・テーブルには、上述したＭＭＴペイロード・ヘッダ・エクステンション（mmtp_payload_header_extension()）（図２３、図２４参照）と同様の情報（時刻情報、変換情報）が含まれる。

　このタイムスタンプ・メッセージには、パケットＩＤ（acket_ID)が含まれ、アセット（asset）レベルでの関連付が行われる。その他、このタイムスタンプ・メッセージには、従来のテーブル（table）構成に従い、テーブルＩＤ（table_id）、バージョン（version）、レングス（length）などの情報が追加されている。ここで、テーブルＩＤやバージョンは、システムでユニークに割り当てられるものである。また、レングスは、当テーブル全体のサイズを示す。

　このタイムスタンプ・テーブル（timestamp_table）は、メッセージ（message）群を束ねるメッセージである。パッケージ・アクセス・メッセージ（Package Access message）の中のメッセージペイロード（message payload（））で伝送することも可能である。図４５は、パッケージ・アクセス・メッセージ（Package Access message）の構造例（Syntax）を示している。

　その場合、パッケージ・アクセス・メッセージとしては、図示のように、ヘッダ部分にパッケージ・アクセス・メッセージを示す「message_id」から始まり、「version」、「length」が続く。そして、「number_of_tables」でテーブル（table）の数が示された後、そのテーブルの数だけループ（loop）があり、各ループの中は、「table_id」から始まり、「table_version」、「table_length」が続く。「table_id」は、タイムスタンプ・テーブル（timestamp_table）の中の「table_id」と一致する。「table_length」は、「timestamp_table」を含み、他の「table」を含んだサイズを示す。その後、「message_payload」の中に、「timestamp_table」がそのまま供給される。

　［オフセット値の可変長符号化］
　次に、オフセット値ＤＬＴ（ｎ）の可変長符号化について説明する。上述したように、アクセスユニット（AU）毎のデコード時刻および表示時刻を受信側で再現するために、各アクセスユニットのオフセット値を時系列的に伝送することが行われる。このオフセット値は、配信順（＝デコード順）の系列を表示順に整列する際に有効となるものであり、主にビデオに関するピクチャ・リオーダー（picture reorder）を正しく行い、かつ同期表示を確保する目的で参照される。

　図４６は、アクセスユニットＡＵ（ｎ）のデコード時刻Ｄ（ｎ）と、表示時刻Ｒ（ｎ）の対応関係の一例を示している。この例の場合、リオーダー距離Ｍ＝３であり、以下の値をアクセスユニットの数だけ符号化することになる。
　Ｄ（０）→Ｒ（０）のオフセット値ＤＬＴ＝＋１
　Ｄ（１）→Ｒ（１）のオフセット値ＤＬＴ＝＋３
　Ｄ（２）→Ｒ（２）のオフセット値ＤＬＴ＝０
　Ｄ（３）→Ｒ（３）のオフセット値ＤＬＴ＝０

　よって、オフセット値ＤＬＴの時系列表現は、＋１，＋３，０，０，＋３，０，０，３，・・・となる。これは、リオーダー距離Ｍに依存するものであり、リオーダー距離Ｍが大きくなれば、”０”を入れる割合が増大する。本実施の形態では、このことを利用して、０発生確率に応じて有効な符号サイズを確保して、伝送容量に合わせる目的で可変長符号化を行う。

　図４７は、時系列のオフセット値を可変長符号化するための可変長符号テーブルの一例を示している。高確率で発生する“０”に対してショートワード（short word）が割り当てられ、リオーダー距離Ｍの単位で発生する値には、ロングワード（long word）が割り当てられる。このような可変長符号化により、時系列のオフセット値の伝送容量を効率よく低減できる。

　なお、リオーダー距離Ｍが大きくなるほどＢピクチャの割合が大きくなるので、このような可変長符号化による伝送容量の低減効率は大きくなっていく。図４８は、このことを示している。例えば、リオーダー距離Ｍが３の場合、「ＩＰＢＢ」の４個のアクセスユニットのオフセット値の伝送容量は１０ビットとなり、平均すると、１０／４ビットとなる。これに対して、例えば、リオーダー距離Ｍが６の場合、「ＩＰＢＢＢＢＢ」の７個のアクセスユニットのオフセット値の伝送容量は１３ビットとなり、平均すると、１３／７ビットとなる。

　上述したように、図１に示す送受信システム１０においては、送信装置１００から受信装置２００に送られるＭＭＴパケットに、受信側で各アクセスユニットのデコード時刻および/または表示時刻を取得するための時刻情報が挿入されるものである。したがって、例えば、受信側でデコード時刻および／または表示時刻を取得するための時刻情報の伝送を良好に行うことができる。

　また、図１に示す送受信システム１０においては、時刻情報は、例えば、一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値（初期値）と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とされるものでる。また、このオフセット値は絶対オフセット値ではなく、相対オフセット値とされる。したがって、時刻情報の伝送を効率よく行うことができる。

　また、図１に示す送受信システム１０においては、時系列のオフセットを可変長符号化して伝送するものである。したがって、時刻情報の伝送容量の低減を図ることができる。

　＜２．変形例＞
　なお、上述実施の形態においては、ファイル内の時刻情報をＭＭＴパケットに反映する方法を記述したが、“moov”内、あるいは“moof”内の時刻情報をそのままＭＭＴペイロードヘッダあるいはＭＦＵ内の領域、またはメッセージにて供給することとしても類似の効果が得られる。

　また、上述実施の形態においては、本技術を、ＭＭＴ構造のトランスポートパケット、つまりＭＭＴパケットが含まれる伝送ストリームをＲＦ伝送路あるいは通信ネットワーク伝送路を通じて伝送する送受信システム１０に適用したものである。本技術は、同様の伝送ストリームをＲＦ伝送路あるいは通信ネットワーク伝送路を通じて伝送する送受信システムにも同様に適用できることは勿論である。

　また、本技術は、以下のような構成を取ることもできる。
　（１）ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
　上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部と、
　上記第１の伝送パケットまたは上記第２の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入部とを備える
　送信装置。
　（２）上記第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
　上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットにそれぞれ対応したデコード時刻および/または表示時刻を取得するための情報である
　前記（１）に記載の送信装置。
　（３）上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とを有する
　前記（２）に記載の送信装置。
　（４）上記オフセット値は、絶対オフセット値に対応した相対オフセット値であり、
　上記時刻情報挿入部で挿入される時刻情報には、上記相対オフセット値を上記絶対オフセット値に変換するための変換情報が付加される
　前記（３）に記載の送信装置。
　（５）上記時刻情報挿入部は、上記相対オフセット値を可変長符号化した後に挿入する
　前記（４）に記載の送信装置。
　（６）上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットのそれぞれに対応した表示時刻、あるいは表示時刻およびデコード時刻である
　前記（２）に記載の送信装置。
　（７）上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記時刻情報挿入部は、上記ペイロードヘッダ部に、上記時刻情報を挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（８）上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
　上記時刻情報挿入部は、上記フラグメントヘッダに、対応するアクセスユニットの時刻情報を挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（９）上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
　上記時刻情報挿入部は、上記フラグメントペイロードに、対応するアクセスユニットの時刻情報を挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（１０）上記第２の伝送パケットのペイロード部は、ペイロードヘッダ部とペイロード本体部とからなり、
　上記時刻情報挿入部は、上記ペイロード本体部に、上記時刻情報を挿入する
　前記（１）から（６）のいずれかに記載の送信装置。
　（１１）上記所定の伝送路は、ＲＦ伝送路または通信ネットワーク伝送路である
　前記（１）から（１０）のいずれかに記載の送信装置。
　（１２）上記第１の伝送パケットおよび上記第２の伝送パケットは、ＭＭＴパケットである
　前記（１）から（１１）のいずれかに記載の送信装置。
　（１３）ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
　上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信ステップと、
　上記第１の伝送パケットまたは上記第２の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入ステップとを備える
　送信方法。
　（１４）ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信部を備え、
　上記第１の伝送パケットまたは上記第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
　上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または上記表示時刻を用いて処理する伝送メディア処理部をさらに備える
　受信装置。
　（１５）上記第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
　上記時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの絶対オフセット値に対応した相対オフセット値であり、
　上記相対オフセット値を上記絶対オフセット値に変換するオフセット値変換部をさらに備える
　前記（１４）に記載の受信装置。
　（１６）ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信ステップを備え、
　上記第１の伝送パケットまたは上記第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
　上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または記表示時刻を用いて処理する伝送メディア処理ステップをさらに備える
　受信方法。

　本技術の主な特徴は、ＭＭＴパケットに、複数のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの相対オフセット値とを挿入することで、時刻情報の伝送を効率よく行い得るようにしたことである（図１５、図１８参照）。

　１０・・・送受信システム
　１００・・・トランスポートパケット送信装置
　１０１・・・アセット発生部
　１０２・・・エンコーダ
　１０３・・・トランスポートパケット化部
　１０４・・・クロック発生部
　１０５・・・ＩＰ送信部
　１０６・・・ＲＦ送信部
　２００・・・トランスポートパケット受信装置
　２０１・・・ＲＦ受信部
　２０２・・・ＩＰ受信部
　２０３・・・クロック発生部
　２０４・・・トランスポートアンパケット化部
　２０５・・・デコード・出力処理部
　３０１・・・デマルチプレクサ
　３０２・・・ビデオデコーダ
　３０３・・・ビデオ表示部
　３０４・・・オーディオデコーダ
　３０５・・・オーディオ出力部
　３０６・・・制御部

Claims

　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成部と、
　上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信部と、
　上記第１の伝送パケットまたは上記第２の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入部とを備える
　送信装置。
　上記第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
　上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットにそれぞれ対応したデコード時刻および/または表示時刻を取得するための情報である
　請求項１に記載の送信装置。
　上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までのオフセット値とを有する
　請求項２に記載の送信装置。
　上記オフセット値は、絶対オフセット値に対応した相対オフセット値であり、
　上記時刻情報挿入部で挿入される時刻情報には、上記相対オフセット値を上記絶対オフセット値に変換するための変換情報が付加される
　請求項３に記載の送信装置。
　上記時刻情報挿入部は、上記相対オフセット値を可変長符号化した後に挿入する
　請求項４に記載の送信装置。
　上記時刻情報挿入部で挿入される時刻情報は、上記一つ以上のアクセスユニットのそれぞれに対応した表示時刻、あるいは表示時刻およびデコード時刻である
　請求項２に記載の送信装置。
　上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記時刻情報挿入部は、上記ペイロードヘッダ部に、上記時刻情報を挿入する
　請求項１に記載の送信装置。
　上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
　上記時刻情報挿入部は、上記フラグメントヘッダに、対応するアクセスユニットの時刻情報を挿入する
　請求項１に記載の送信装置。
　上記第１の伝送パケットのペイロードは、ペイロードヘッダ部とペイロード本体部とからなり、
　上記ペイロード本体部には、上記伝送メディアがフラグメント化された一つ以上のアクセスユニットをそれぞれ含むフラグメントペイロードがフラグメントヘッダを伴って配置され、
　上記時刻情報挿入部は、上記フラグメントペイロードに、対応するアクセスユニットの時刻情報を挿入する
　請求項１に記載の送信装置。
　上記第２の伝送パケットのペイロード部は、ペイロードヘッダ部とペイロード本体部とからなり、
　上記時刻情報挿入部は、上記ペイロード本体部に、上記時刻情報を挿入する
　請求項１に記載の送信装置。
　上記所定の伝送路は、ＲＦ伝送路または通信ネットワーク伝送路である
　請求項１に記載の送信装置。
　上記第１の伝送パケットおよび上記第２の伝送パケットは、ＭＭＴパケットである
　請求項１に記載の送信装置。
　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを生成する伝送ストリーム生成ステップと、
　上記伝送ストリームを所定の伝送路を通じて受信側に送信する伝送ストリーム送信ステップと、
　上記第１の伝送パケットまたは上記第２の伝送パケットに、上記受信側でデコード時刻および/または表示時刻を取得するための時刻情報を挿入する時刻情報挿入ステップとを備える
　送信方法。
　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信部を備え、
　上記第１の伝送パケットまたは上記第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
　上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または上記表示時刻を用いて処理する伝送メディア処理部をさらに備える
　受信装置。
　　上記第１の伝送パケットに含まれる伝送メディアは一つ以上のアクセスユニットで構成され、
　上記時刻情報は、上記一つ以上のアクセスユニットの最初のアクセスユニットに対応したデコード時刻あるいは表示時刻の値と、各アクセスユニットにそれぞれ対応したデコード時刻から表示時刻までの絶対オフセット値に対応した相対オフセット値であり、
　上記相対オフセット値を上記絶対オフセット値に変換するオフセット値変換部をさらに備える
　請求項１４に記載の受信装置。
　ペイロードに伝送メディアを含む第１の伝送パケットと、ペイロードに上記伝送メディアに関する情報を含む第２の伝送パケットとが時分割的に多重化された伝送ストリームを、送信側から所定の伝送路を通じて受信する伝送ストリーム受信ステップを備え、
　上記第１の伝送パケットまたは上記第２の伝送パケットには、デコード時刻および/または表示時刻を取得するための時刻情報が挿入されており、
　上記伝送ストリームから取り出された上記伝送メディアを、上記時刻情報に基づいて取得された上記デコード時刻および/または記表示時刻を用いて処理する伝送メディア処理ステップをさらに備える
　受信方法。