JP6605789B2

JP6605789B2 - 送信方法、受信方法、送信装置、および、受信装置

Info

Publication number: JP6605789B2
Application number: JP2014116098A
Authority: JP
Inventors: 正真遠間; 賀敬井口; 孝啓西; 久也加藤
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2013-06-18
Filing date: 2014-06-04
Publication date: 2019-11-13
Anticipated expiration: 2034-06-04
Also published as: JP6606529B2; CN110062257B; EP3723380B1; US20160073119A1; CN105165014B; CN110062257A; JP6606125B2; US20190394475A1; JP6625684B2; US11265562B2; EP3723380A1; EP3013057B1; US10448033B2; JP2015005977A; EP3013057A4; EP3445053B1; CN105165014A; JP6839257B2; JP2018113715A; JP2017175658A

Description

本発明は、送信方法および受信方法に関する。

従来、符号化データを所定の伝送フォーマットで伝送する技術が知られている。符号化データは、映像データ及び音声データを含むコンテンツを、ＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）などの動画像符号化規格に基づいて符号化することで生成される。

所定の伝送フォーマットには、例えば、ＭＰＥＧ−２ＴＳ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−２ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）、又は、ＭＭＴ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔ）などがある（非特許文献１参照）。例えば、非特許文献１には、ＭＭＴに従って、符号化されたメディアデータをパケット毎に送信する技術が開示されている。

Ｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ − Ｈｉｇｈｅｆｆｉｃｉｅｎｃｙｃｏｄｉｎｇａｎｄｍｅｄｉａｄｅｌｉｖｅｒｙｉｎｈｅｔｅｒｏｇｅｎｅｏｕｓｅｎｖｉｒｏｎｍｅｎｔ − Ｐａｒｔ１：ＭＰＥＧｍｅｄｉａｔｒａｎｓｐｏｒｔ（ＭＭＴ）、ＩＳＯ／ＩＥＣＤＩＳ２３００８−１

しかしながら、符号化データの復号及び表示におけるスケーラビリティを実現するために、映像を階層化して符号化することについての議論があるが、階層化された符号化データの送信方法については考慮されていない。

そこで、本発明の目的は、映像が階層化されて符号化された符号化データの送信方法および受信方法を提供することにある。

上記課題を解決するため、本発明の一態様に係る送信方法は、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記表示を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記表示を行う、前記基準クロックを基準とする時刻を示す第２の時刻情報と、を含み、前記第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記第１の集合を構成している前記複数のアクセスユニットのそれぞれと交互に表示されるアクセスユニットであり、前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第２の相対時間で特定され、前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第４の相対時間で特定される。

なお、これらの全般的または具体的な態様は、受信方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、送信方法、受信方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の送信方法および受信方法は、拡張階層におけるアクセスユニットの処理時刻を特定できる。

時間スケーラビリティを実現するために、階層的に符号化された階層ごとにおけるピクチャの予測構造の一例を示す図である。図１の各ピクチャにおける復号時刻（ＤＴＳ：ＤｅｃｏｄｅＴｉｍｅＳｔａｍｐ）と表示時刻（ＰＴＳ：ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）との関係を示す図である。基本階層と拡張階層とにおける先頭のピクチャのＤＴＳの差分を示す図である。基本階層の符号化データと、拡張階層の符号化データとを示す図である。ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。実施の形態に係る送信装置の構成を示すブロック図である。実施の形態に係る送信方法のフローチャートである。基本階層の符号化データを含むＭＰ４ファイルと、拡張階層の符号化データを含むＭＰ４ファイルとを示す図である。基本階層および拡張階層のＲＡＵの構成例を示す図である。ＭＭＴを用いて基本階層と拡張階層とのデータを送信する例を示す図である。受信装置の構成の一例を示すブロック図である。拡張階層に含まれるアクセスユニットのＤＴＳを決定する動作を示すフローチャートを示す図である。図１の符号化データをＭＭＴにより多重化する例を示す図である。基本階層および拡張階層の符号化データを１本の符号化ストリーム（パケット列）としたときの送信パケット列の一例を示す図である。受信装置の構成の他の一例を示すブロック図である。基本階層および拡張階層の符号化データを受信する受信方法を示すフローチャートである。受信装置の構成の他の一例を示すブロック図である。受信方法のフローチャートを示す図である。

（本発明の基礎となった知見）
符号化データの復号または表示におけるスケーラビリティは、符号化データのアクセスユニットを、階層的に符号化することで実現可能である。例えば、複数の階層に符号化された複数の符号化データのうち、低階層の符号化データのみを復号するとフレームレートが６０ｆｐｓである場合に、高階層の符号化データまで復号するとフレームレートが１２０ｆｐｓになるなどである。

ここで、低階層の符号化データと高階層の符号化データとが独立に送信される場合を考える。低階層の符号化データと高階層の符号化データを受信した受信装置は、両階層の符号化データを復号して例えばフレームレート１２０ｆｐｓの映像を得ようとする場合、受信した各階層の符号化データを復号順に並べ替えてから復号する必要がある。しかしながら、受信したデータを、アクセスユニットのＤＴＳ（ＤｅｃｏｄｉｎｇＴｉｍｅＳｔａｍｐ：復号時刻）、あるいは、ＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ：表示時刻）などに基づいて復号順に並べ替える必要があると共に、拡張階層におけるアクセスユニットのＤＴＳやＰＴＳが一意に決定できないという課題があった。

ＭＰＥＧ−４ＡＶＣやＨＥＶＣ（ＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ）などの符号化方式においては、他のピクチャから参照可能なＢピクチャ（双方向参照予測ピクチャ）を用いることにより時間方向のスケーラビリティ（時間スケーラビリティ）が実現できる。

図１は、時間スケーラビリティを実現するために、階層的に符号化された階層ごとにおけるピクチャの予測構造の一例を示す図である。

図１における、ＴｅｍｐｏｒａｌＩｄとは符号化構造の階層の識別子であり、ＴｅｍｐｏｒａｌＩｄの数字が大きくなるほど深い階層であることを示す。複数の四角のブロックは、ピクチャを示し、複数のブロック内のＩｘはＩピクチャ（画面内予測ピクチャ）、ＰｘはＰピクチャ（前方参照予測ピクチャ）、ＢｘまたはｂｘはＢピクチャ（双方向参照予測ピクチャ）を示す。また、Ｉｘ、Ｐｘ、およびＢｘのｘは表示オーダーを示す。つまり、ｘは、ピクチャを表示する順番を表わす。

また、複数のピクチャ間の矢印は参照関係を示し、例えば、Ｂ４のピクチャはＩ０およびＢ８を参照画像として生成された予測画像を示している。

ここで、自らのＴｅｍｐｏｒａｌＩｄより大きいＴｅｍｐｏｒａｌＩｄを持つピクチャを参照画像として使うことは禁止されている。具体的には、ＴｅｍｐｏｒａｌＩｄが３のＢ２のピクチャは、ＴｅｍｐｏｒａｌＩｄが４のｂ１のピクチャを参照画像として使うことはできない。

図１に示すように、符号化データのデータ構造を複数の階層で規定しているのは、時間スケーラビリティを持たせるためである。例えば、図１においてＴｅｍｐｏｒａｌＩｄが０から４までの全てのピクチャを復号した場合、１２０ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）の映像が得られるが、ＴｅｍｐｏｒａｌＩｄが０から３までの階層のみを復号した場合、６０ｆｐｓの映像が得られる。図１では、ＴｅｍｐｏｒａｌＩｄが０〜３で示される階層は基本階層であり、ＴｅｍｐｏｒａｌＩＤが４で示される階層は拡張階層である。つまり、基本階層の符号化データのみを復号した場合では６０ｆｐｓの映像が得られ、拡張階層まで復号すると１２０ｆｐｓの映像が得られる。なお、これは一例であり、基本階層や拡張階層とＴｅｍｐｏｒａｌＩｄとの対応付けとしては他の組合せも可能である。また、基本階層および拡張階層の２種類の階層以外に階層があってもよい。つまり、階層が３種類以上であってもよい。

図２は、図１の各ピクチャにおける復号時刻（ＤＴＳ：ＤｅｃｏｄｅＴｉｍｅＳｔａｍｐ）と表示時刻（ＰＴＳ：ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）との関係を示す図である。図２に示すように、複数のピクチャは、復号順と表示順とが異なる場合がある。この場合、表示の処理においてギャップが発生しないように、ピクチャＩ０は、ピクチャＢ４の復号完了後に表示される。具体的には、表示においてギャップが発生しないように、表示順においてピクチャＩ０の直後であるピクチャｂ１が復号済みであることが必須であるため、ピクチャＩ０をピクチャＢ４の復号完了後に表示させることでピクチャＩ０を表示した直後にピクチャｂ１を表示可能な状態としている。つまり、この場合、ピクチャＩ０を復号する時刻と表示する時刻との間の時間である表示時刻オフセットとして、ピクチャＩ０を表示した直後にピクチャｂ１を表示可能な時間が設定されている。

ここで、拡張階層の符号化データまで復号できる受信装置では、１２０ｆｐｓの映像を再生し、処理能力などの都合により基本階層までしか復号できない受信装置では６０ｆｐｓで再生するなど、受信装置の能力に応じて復号する階層を切替えられるようにすることを考える。このとき、基本階層における符号化データと拡張階層における符号化データとが識別できるようにして伝送すれば、受信装置は、受信装置の能力などに応じて、受信データをフィルタリングすることで復号できる。つまり、拡張階層の符号化データまで復号できる受信装置では、基本階層の符号化データおよび拡張階層の符号化データの両方について復号し、基本階層までしか復号できない受信装置では基本階層の符号化データのみをフィルタリングすることで復号することができる。

また、階層化された符号化データは、ＭＰＥＧ−２ＴＳ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）や、ＭＭＴ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔ）、ＭＰＥＧ−ＤＡＳＨ（ＤｙｎａｍｉｃＡｄａｐｔｉｖｅＳｔｒｅａｍｉｎｇｏｖｅｒＨＴＴＰ）、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）など、様々な多重化フォーマットにより多重化して送信される。ここで、ＭＭＴやＭＰＥＧ−ＤＡＳＨにおいては、ＭＰ４（ＭＰＥＧのＩＳＯＢａｓｅＭｅｄｉａＦｉｌｅＦｏｒｍａｔを基本とするファイルフォーマット）を用いた多重化が基本となっている。特にＭＰ４においては、ＤＴＳやＰＴＳの情報は、連続する２つのアクセスユニット（ビデオであればピクチャに相当）の間のＤＴＳまたはＰＴＳの差分情報として表現される。

図３は、基本階層と拡張階層とにおける先頭のピクチャのＤＴＳの差分を示す図である。具体的には、図３は、図２の復号順に並ぶピクチャを、基本階層に属するピクチャと、拡張階層に属するピクチャとに分けて記載した図である。図４は、基本階層の符号化データと、拡張階層の符号化データとを示す図である。

図３に示すように、基本階層の先頭のピクチャＩ０のＤＴＳ１１と拡張階層の先頭のピクチャｂ１のＤＴＳ２１とには、差分（以下、「復号時刻オフセット」と呼ぶ）が発生する。しかしながら、ＭＰ４ベースの多重化方法においては、基本階層または拡張階層における相対的な時刻情報しか示すことができず、復号時刻オフセットが表現できないという課題がある。つまり、基本階層が復号された後で拡張階層のピクチャを復号するタイミングを特定できないという課題がある。

したがって、基本階層の符号化データと拡張階層の符号化データとが独立に送信されると、受信装置は、図４に示すような基本階層の符号化データと拡張階層の符号化データとを別々に受信する。このとき、両階層の符号化データを復号する場合には、両階層の符号化データを図３に示すような復号順に並べ替えてからデコーダ（復号器）に入力する必要がある。このため、アクセスユニット毎のＤＴＳを取得し、ＤＴＳに基づいてアクセスユニットを復号順に並べ替える処理が発生し、復号前の処理量が増加するという課題もある。

このような問題を解決するために、本発明の一態様に係る送信方法は、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む。

これによれば、基本階層と拡張階層とにおける符号化データを、異なるデータとして送信したとしても、拡張階層のアクセスユニットに対して行われる処理の時刻を特定できる。

例えば、前記第１のアクセスユニットは、前記第１の集合のうちで、最初に前記処理が行われるアクセスユニットであり、前記第２のアクセスユニットは、前記第２の集合のうちで、最初に前記処理が行われるアクセスユニットであってもよい。

例えば、前記処理は、復号であり、前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、前記第１の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第２の相対時間で特定され、前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、前記第２の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻は、当該アクセスユニットの復号の時刻を基準とする第４の相対時間で特定されてもよい。

例えば、前記処理は、表示であり、前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第５の相対時間が対応付けられており、前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第６の相対時間で特定され、前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第７の相対時間が対応付けられており、前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第８の相対時間で特定されてもよい。

例えば、前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻との差分値である時刻オフセットであってもよい。

例えば、前記集合は、ランダムにアクセス可能なランダムアクセスユニットであり、前記第１のアクセスユニットおよび前記第２のアクセスユニットは、ランダムアクセスポイントであってもよい。

例えば、複数の前記第１の集合と、複数の前記第２の集合とは、それぞれ１対１で対応付けられていてもよい。

例えば、前記第２の集合は、当該第２の集合に１対１で対応付けられている前記第１の集合の復号後のデータのみを参照することによって復号可能であってもよい。

例えば、前記第２の集合は、さらに、当該第２の集合に１対１で対応付けられている前記第１の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第２のヘッダ情報を含んでもよい。

例えば、前記第１の集合は、さらに、当該第１の集合に１対１で対応付けられている前記第２の集合を識別するための識別情報と、前記第２の時刻情報とが格納されている第１のヘッダ情報を含んでもよい。

例えば、前記符号化ストリームは、さらに、前記第１の集合を識別するための第１の識別情報と、当該第１の集合と１対１で対応付けられている前記第２の集合を識別するための第２の識別情報とが対応付けられた対応情報を含んでもよい。

例えば、前記時刻情報は、前記符号化ストリームの制御情報に格納されていてもよい。

例えば、前記第２の時刻情報は、前記第１の時刻情報で示される第１の絶対時刻とは異なる第２の絶対時刻を示してもよい。

例えば、前記生成ステップでは、前記第１の集合を含む第１の符号化ストリームと、前記第２の集合を含む第２の符号化ストリームとを生成し、前記送信ステップでは、前記第１の符号化ストリームを第１の伝送路を用いて送信し、前記第２の符号化ストリームを前記第１の伝送路とは異なる第２の伝送路を用いて送信してもよい。

例えば、前記生成ステップでは、前記第１の符号化ストリームおよび前記第２の符号化ストリームの一方を、ＭＰＥＧ−２ＴＳ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ−２ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ）にしたがって生成し、前記第１の符号化ストリームおよび前記第２の符号化ストリームの他方を、ＭＭＴ（ＭＰＥＧＭｅｄｉａＴｒａｎｓｐｏｒｔ）にしたがって生成してもよい。

例えば、前記第１の伝送路および前記第２の伝送路の一方は、放送で使用される伝送路であり、前記第１の伝送路および前記第２の伝送路の他方は、通信で使用される伝送路であってもよい。

なお、これらの全般的または具体的な態様は、受信方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体記録媒体で実現されてもよく、受信方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の一態様に係る送信方法および受信方法について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
［送信方法］
以下、実施の形態に係る送信方法（送信装置）について図面を参照しながら説明する。実施の形態では、一例としてＭＭＴにしたがって符号化データを送信する送信方法について説明する。

まず、ＭＭＴにおける符号化ストリームのデータ構造について説明する。図５および図６は、ＭＭＴにおける符号化ストリームのデータ構造を説明するための図である。

図５に示されるように、符号化データは、複数のアクセスユニット（ＡＵ：ＡｃｃｅｓｓＵｎｉｔ）からなる。符号化データは、例えば、ＨＥＶＣなどの動画像符号化規格に基づいて符号化されたＡＶデータである。符号化データは、具体的には、映像データ、音声データ、並びに、これらに付随するメタデータ、静止画およびファイルなどを含む。符号化データが映像データである場合、１つのＡＵは、１つのピクチャ（１フレーム）に相当する単位である。

ＭＭＴでは、符号化データは、ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅ）単位でＭＰ４のファイルフォーマットにしたがって、ＭＰ４データ化される（ＭＰ４ヘッダが付与される）。つまり、符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合（ＧＯＰ）を有する。ＧＯＰは符号化データにおけるランダムアクセスポイントであって、ＧＯＰにおける復号順で先頭のアクセスユニットは、ＨＥＶＣやＡＶＣのＩＤＲピクチャ、あるいは、ｎｏｎ−ＩＤＲのＩピクチャに相当する。この複数の集合は、それぞれが、基本階層および拡張階層のいずれかに属している。ここで、基本階層に属する集合を第１の集合とし、拡張階層に属する集合を第２の集合とする。

なお、第１の集合を構成している複数のアクセスユニットのそれぞれは、基本階層に属しているので、独立して復号可能であるか、または、基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能である。また、第２の集合を構成している複数のアクセスユニットのそれぞれは、拡張階層に属しているので、基本階層のアクセスユニットの復号後のデータを参照することによって復号可能である。

ＭＰ４データに含まれるＭＰ４ヘッダには、アクセスユニットの表示時刻（上述のＰＴＳ）や復号時刻（上述のＤＴＳ）の相対値が記述される。また、ＭＰ４ヘッダには、ＭＰ４データのシーケンス番号が記述される。なお、ＭＰ４データ（ＭＰ４ファイル）は、ＭＭＴ規格において定義されるデータ単位であるＭＰＵ（ＭｅｄｉａＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の一例である。ＭＰＵにおいては、ＭＰ４のヘッダを送信せずに、ＭＰＵにおけるサンプルデータのみを送信するなどしてもよい。この場合も、ＭＰＵはランダムアクセス単位に相当し、ＭＰＵを構成するサンプルとＭＰＵとは一対一に対応付けられる。また、ＭＰＵは複数のＧＯＰから構成されてもよい。

そして、図６に示されるように、ＭＭＴにおける符号化ストリーム１０は、制御情報１１と、時刻オフセット情報１２と、複数のＭＭＴパケット１３とを含む。言い換えると、符号化ストリーム１０は、ＭＭＴパケット１３のパケット列である。

符号化ストリーム１０（ＭＭＴストリーム）は、１つのＭＭＴパッケージを構成する１以上のストリームの１つである。ＭＭＴパッケージは、例えば、１つの放送番組コンテンツに相当する。

制御情報１１は、符号化ストリーム１０が、スケーラブル符号化されたストリーム（基本レイヤと拡張レイヤとの両方を含むストリーム）であることを示す情報や、スケーラブル符号化の種類および階層レベル数（階層数）の情報を含む。ここで、スケーラブル符号化の種類とは、時間スケーラビリティ、空間スケーラビリティ、およびＳＮＲスケーラビリティなどであり、階層レベル数とは、基本レイヤおよび拡張レイヤ等のレイヤの数である。

また、制御情報１１は、例えば、複数のアセットと、パケットＩＤとの対応関係を示す情報などを含む。なお、アセットは、同一のトランスポート特性のデータを含むデータエンティティであり、例えば、映像データおよび音声データなどのいずれか１つである。

制御情報１１は、具体的には、ＭＭＴにおけるＣＩ（ＣｏｍｐｏｓｉｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）およびＭＰＴ（ＭＭＴＰａｃｋａｇｅＴａｂｌｅ）である。なお、制御情報１１は、ＭＰＥＧ２−ＴＳでは、ＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）であり、ＭＰＥＧ−ＤＡＳＨではＭＰＤ（ＭｅｄｉａＰｒｅｓｅｎｔａｔｉｏｎＤｅｓｃｒｉｐｔｉｏｎ）などである。

時刻情報１２は、アクセスユニットのＰＴＳまたはＤＴＳを決定するための情報である。時刻情報１２は、具体的には、例えば、基本階層に属するＭＰＵにおける先頭のアクセスユニットの絶対時刻としてのＰＴＳまたはＤＴＳである。具体的には、ＰＴＳの場合は、ＭＰＵにおいて表示順で先頭のアクセスユニットのＰＴＳの絶対値を、ＤＴＳの場合は、ＭＰＵにおいて復号順で先頭のアクセスユニットのＤＴＳの絶対値を、それぞれ示すことができる。また、時刻情報１２は、プログラム情報１１として格納してもよい。プログラム情報１１として格納する場合には、一例として、プログラム情報をＭＭＴメッセージに格納し、プログラム情報内の記述子として時刻情報１２を格納することができる。

例えば、図３の基本階層の複数のピクチャ全てが１つの第１の集合を構成していると仮定すれば、第１の集合の復号順で最初に復号される第１のアクセスユニットであるピクチャＩ０は、ＤＴＳ１１で示される時刻において復号される。このとき、第１の集合の第１のアクセスユニットに対して行われる復号を行う、基準クロックを基準とする時刻（ＤＴＳ１１）を示す第１の時刻情報は、符号化ストリーム１０の時刻情報１２（第１の絶対時刻）として格納されていてもよい。つまり、第１の絶対時刻は、例えばＤＴＳ１１そのものを示している。

また、図３の拡張階層の複数のピクチャ全てが１つの第２の集合を構成していると仮定すれば、第２の集合の復号順で最初に復号される第２のアクセスユニットであるピクチャｂ１は、ＤＴＳ２１で示される時刻において復号される。このとき、第２の集合の第２のアクセスユニットに対して行われる復号を行う、基準クロックを基準とする時刻（ＤＴＳ２１）を特定するための第２の時刻情報は、上述したように、第１の時刻情報で示される第１の絶対時刻との差分値である復号時刻オフセットである。第２の時刻情報は、第１の時刻情報と同様に、符号化ストリーム１０の時刻オフセット情報（復号時刻オフセット）として格納されていてもよい。つまり、ＤＴＳ２１は、第１の時刻情報で示されるＤＴＳ１１に、第２の時刻情報で示される復号時刻オフセットを加算することにより、特定される。また、第２の時刻情報として、第１の時刻情報との時刻オフセット情報ではなく、第２の集合のアクセスユニットの時刻情報の絶対値そのものを格納してもよい。

なお、基準クロックとは、ＭＭＴ方式で符号化ストリームを送信する場合には、ＮＴＰ（ＮｅｔｗｏｒｋＴｉｍｅＰｒｏｔｏｃｏｌ）であり、ＭＰＥＧ２−ＴＳ方式で符号化ストリームを送信する場合には、ＰＣＲ（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）である。ここで、ＮＴＰは、送信装置が設定する基準クロックであればよく、かならずしも、インターネットで一般的に使用されるＮＴＰサーバにおけるＮＴＰ値とは一致しなくてもよい。

ＭＭＴパケット１３は、ＭＰ４データがパケット化されたデータである。実施の形態では、１つのＭＭＴパケット１３には、１つのＭＰ４データ（ＭＰＵ）が含まれる。図６に示されるように、ＭＭＴパケット１３は、ヘッダ１３ａ（ＭＴＴパケットヘッダ。ＭＰＥＧ２−ＴＳの場合はＴＳパケットヘッダ）と、ペイロード１３ｂとを含む。

ペイロード１３ｂには、ＭＰ４データが格納される。なお、ペイロード１３ｂには、ＭＰ４を分割したものが格納される場合がある。

ヘッダ１３ａは、ペイロード１３ｂに関する付属情報である。例えば、ヘッダ１３ａには、パケットＩＤと、時刻情報とが含まれる。ここでの時刻情報は、ＭＰ４データの表示時刻（ＰＴＳ）または復号時刻（ＤＴＳ）の相対値である。

パケットＩＤは、ＭＭＴパケット１３（ペイロード１３ｂ）に含まれるデータのアセットを示す識別番号である。パケットＩＤは、ＭＭＴパッケージを構成するアセットごとに固有の識別番号である。

このように、符号化ストリームは、符号化データの復号または表示の処理を行う時刻を示す時刻情報（ＤＴＳまたはＰＴＳ）と、符号化データ（図６のＩＤ１＿＃０、ＩＤ２＿＃０、ＩＤ１＿＃１、ＩＤ１＿＃２、ＩＤ２＿＃１、ＩＤ２＿＃２、・・・）とを含む。この時刻情報は、上述した、第１の時刻情報および第２の時刻情報を含む。

図７は、実施の形態に係る送信装置の構成を示すブロック図である。図８は、実施の形態に係る送信方法のフローチャートである。

図７に示されるように、送信装置１５は、符号化部１６と、送信部１７とを備える。なお、送信装置１５の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。

実施の形態に係る符号化ストリーム１０の送信方法においては、まず、複数のアクセスユニットにより構成される集合の復号または表示を行う時刻を示す時刻情報と、当該集合を構成している複数のアクセスユニットとを含む符号化ストリーム１０が生成される（Ｓ１１：生成ステップ）。

生成された符号化ストリーム１０は、送信部１７により伝送路を用いて伝送される（Ｓ１２：送信ステップ）。

（実施例１）
次に、拡張階層の符号化データが、ＭＰ４ベースの多重化フォーマットにより送信される場合の送信方法、および、受信方法について具体的に説明する。

ここでＭＰ４ベースの多重化フォーマットとは、例えば、ＭＭＴやＤＡＳＨ、ＭＰ４のファイルデータそのものであってもよい。ＭＭＴにおいては、ＭＰＵ（ＭｅｄｉａＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）がＭＰ４ファイルに相当し、ＤＡＳＨにおいては、セグメントがＭＰ４のＭｏｖｉｅＦｒａｇｍｅｎｔに相当する。

図３に示すように、複数のアクセスユニットのＤＴＳ（またはＰＴＳ）の相対時間（サンプル間の差分など）でサンプル毎の復号（表示）が行われる時刻情報を表現し、集合における複数のアクセスユニットの全てにおいて当該復号（表示）が行われる時刻情報の絶対値を示さない多重化フォーマットであれば、ＭＰ４以外のフォーマットにおいても適用できる。なお、ここで言うサンプルとは、ＭＰ４においてデータを扱う単位であり、アクセスユニットに相当する。

（復号時刻および表示時刻）
拡張階層におけるアクセスユニットの復号時刻（ＤＴＳ）について、まず、ＭＰ４ファイルを例に説明する。図９は、基本階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｂ）と、拡張階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｅ）とを示す図である。

図９のように、基本階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｂ）と、拡張階層の符号化データを含むＭＰ４ファイル（ＭＰ４ｅ）とがあるとする。ここで、ＭＰ４ｂとＭＰ４ｅとの間の復号時刻オフセットをｄｅｃ＿ｏｆｆｓｅｔとすると、ＭＰ４ｅにおける拡張階層のサンプル毎のＤＴＳは、次式で表される。

ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＝ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ＋ｄｅｃ＿ｏｆｆｓｅｔ（式１）
ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ：拡張階層におけるｉ番目のサンプルのＤＴＳ
ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ：拡張階層における０番目からｉ番目までのサンプルの復号時刻の差分総和（ＭＰ４の’ｓｔｔｓ’におけるｓａｍｐｌｅ＿ｄｅｌｔａ、あるいは、ＭｏｖｉｅＦｒａｇｍｅｎｔにおけるｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎの総和）から算出した、サンプルの修正前ＤＴＳ（先頭サンプルのＤＴＳを０とした場合の各サンプルのＤＴＳ）。

上記の（式１）では、復号時刻オフセット（ｄｅｃ＿ｏｆｆｓｅｔ）は、基本階層において復号順で先頭のサンプルのＤＴＳを０と仮定した場合のオフセット値である。

ここで、基本階層の先頭サンプルのＤＴＳがｄｅｌｔａであったとすると、ＭＰ４ｅにおける拡張階層のサンプル毎のＤＴＳは、次式で表される。

ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＝ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅ＋ｄｅｃ＿ｏｆｆｓｅｔ＋ｄｅｌｔａ（式２）

具体的には、図３における、拡張階層で３番目のサンプルであるピクチャｂ５のＤＴＳ２３を算出する場合、ｓａｍｐｌｅ＿ｅ（ｉ）＿ｄｅｃ＿ｂａｓｅは、相対時間２１および相対時間２２を加算したものであり、ｄｅｌｔａはＤＴＳ１１であることから、（式２）を用いて次のように求めることができる。

ＤＴＳ２３＝相対時間２１＋相対時間２２＋ｄｅｃ＿ｏｆｆｓｅｔ＋ＤＴＳ１１（式３）

また、ＭＰ４ｂにおける基本階層のサンプル毎のＤＴＳは、次式で表される。

ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＝ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ＋ｄｅｃ＿ｏｆｆｓｅｔ（式４）
ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ：基本階層におけるｉ番目のサンプルのＤＴＳ
ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ：基本階層における０番目からｉ番目までのサンプルの復号時刻の差分総和（ＭＰ４の’ｓｔｔｓ’におけるｓａｍｐｌｅ＿ｄｅｌｔａ、あるいは、ＭｏｖｉｅＦｒａｇｍｅｎｔにおけるｓａｍｐｌｅ＿ｄｕｒａｔｉｏｎの総和）から算出した、サンプルの修正前ＤＴＳ（先頭サンプルのＤＴＳを０とした場合の各サンプルのＤＴＳ）。

ここで、基本階層の先頭サンプルのＤＴＳがｄｅｌｔａであったとすると、ＭＰ４ｂにおける基本階層のサンプル毎のＤＴＳは、次式で表される。

ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＝ｓａｍｐｌｅ＿ｂ（ｉ）＿ｄｅｃ＿ｂａｓｅ＋ｄｅｃ＿ｏｆｆｓｅｔ＋ｄｅｌｔａ（式５）

つまり、第１の集合の第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第１の時刻情報（例えば、ＤＴＳ１１）で示される時刻を基準とした第１の相対時間（相対時間１１〜１８）が対応付けられている。また、第１の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻（ＰＴＳ１１〜１９）は、当該アクセスユニットの復号の時刻を基準とする第２の相対時間で特定される。つまり、例えば、図３における、ピクチャＢ８の表示が行われる時刻ＰＴＳ１５は、ピクチャＢ８の復号が行われる時刻ＤＴＳ１３との差分である第２の相対時間がピクチャＢ８に対応付けられており、ＤＴＳ１３にピクチャＢ８に対応付けられている第２の相対時間を加算することで求められる。

また、第２の集合の第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第２の時刻情報（例えば、ＤＴＳ２１）で示される時刻を基準とした第３の相対時間（相対時間２１〜２７）が対応付けられている。また、第２の集合の複数のアクセスユニットのそれぞれについて行われる表示の時刻（ＰＴＳ２１〜２８）は、当該アクセスユニットの復号の時刻を基準とする第４の相対時間で特定される。つまり、例えば、図３における、ピクチャｂ１１の表示が行われる時刻ＰＴＳ２６は、ピクチャｂ１１の復号が行われる時刻ＤＴＳ２６との差分である第４の相対時間がピクチャｂ１１に対応付けられており、ＤＴＳ２６にピクチャｂ１１に対応付けられている第４の相対時間を加算することで求められる。

（復号時刻オフセットの格納）
なお、復号時刻オフセットを示す情報（復号時刻オフセット情報）の格納先は、次の３つのケースが考えられる。

（１）拡張階層のトラックを含むＭＰ４ファイルに復号オフセット情報を格納するケース
復号時刻オフセット情報は、復号時刻オフセット、及び、基本階層のトラックの識別情報を少なくとも含む。基本階層のトラックの識別情報は、基本階層のトラックのトラックＩＤ、および、基本階層のトラックを含むＭＰ４ファイルの識別情報（ＭＰ４ファイルのファイル名など）などを含む。つまり、拡張階層の第２の集合は、さらに、当該第２の集合に対応付けられている第１の集合を識別するための識別情報と、第２の時刻情報とが格納されている第２のヘッダ情報を含んでいてもよい。

（２）基本階層のトラックを含むＭＰ４ファイルに復号オフセット情報を格納するケース
復号時刻オフセット情報は、復号時刻オフセット、拡張階層のトラックの識別情報を少なくとも含む。つまり、基本階層の第１の集合は、さらに、当該第１の集合に対応付けられている第２の集合を識別するための識別情報と、第２の時刻情報とが格納されている第１のヘッダ情報を含んでいてもよい。

（３）基本階層のトラックを含むＭＰ４ファイルと、拡張階層のトラックを含むＭＰ４ファイルとを関連付ける情報に復号オフセット情報を格納するケース
復号時刻オフセット情報は、復号時刻オフセット、基本階層のトラックの識別情報、及び、拡張階層のトラックの識別情報を少なくとも含む。つまり、符号化ストリームは、さらに、第１の集合を識別するための第１の識別情報と、当該第１の集合と１対１で対応付けられている第２の集合を識別するための第２の識別情報とが対応付けられた対応情報を含み、第２の時刻情報は、対応情報に格納されていてもよい。

なお、上記の（１）あるいは（２）の場合には、復号時刻オフセット情報を格納するためのＢｏｘを定義して、トラックレベルのＢｏｘ直下、あるいは、トラックレベルと同一、又は、上位のレベルに配置できる。また、新規Ｂｏｘを定義せずに、既存のＢｏｘを拡張するなどして、復号時刻オフセット情報を含めてもよい。

また、‘ｍｏｏｖ’の‘ｅｌｓｔ’や、‘ｍｏｏｆ’の‘ｔｒａｆ’における無再生区間（ｅｍｐｔｙｄｕｒａｔｉｏｎ）の機能を使って復号時刻オフセットを実現してもよい。この場合も、拡張階層のトラックと基本階層のトラックとの関連付けは必要である。

また、上記の（３）の場合には、復号時刻オフセット情報は、基本階層と拡張階層とは別の、互いに独立したＭＰ４ファイルのトラックに格納されていてもよいし、同一ＭＰ４ファイル内の異なるトラックに格納されていてもよい。

同一ＭＰ４ファイル内の異なるトラックに格納される場合、復号時刻オフセット情報は、‘ｍｏｏｖ’や‘ｍｏｏｆ’直下など、トラック単位のＢｏｘよりも上位のＢｏｘに格納できる。このとき、復号時刻オフセット情報としては、ＭＰ４ファイルの識別情報は不要である。

ＭＰ４においては、ＤＴＳとＰＴＳとが異なる場合、ＭＰ４のヘッダ情報には、その差分情報（第２の相対時間または第４の相対時間）が含まれるが、当該差分情報は、復号時刻オフセットを反映した後のＤＴＳに対して適用される。

基本階層と拡張階層とでトラックにおけるタイムスケールの値は揃えておくことが望ましい。タイムスケールが異なる場合には、上記（３）のケースでは、復号時刻オフセット情報のタイムスケールを別途示す、あるいは、いずれか一方の階層のトラックにおけるタイムスケールを使用するなどと予め規定しておいてもよい。

なお、復号時刻オフセットは、拡張階層のＤＴＳにのみ適用される。

なお、基本階層、あるいは、拡張階層を格納するＭＰ４ファイルは、これら各階層のトラックのみから構成されていてもよいし、他のトラックを含んでもよい。

（実施例２）
ＭＰ４のデータを受信しながら再生する（プログレッシブ・ダウンロード、あるいは、ＨＴＴＰストリーミングなど）の場合には、ＭｏｖｉｅＦｒａｇｍｅｎｔの先頭などからランダムアクセスして復号、再生できる。

ＭｏｖｉｅＦｒａｇｍｅｎｔのように、ランダムアクセス可能な単位をランダムアクセスユニット（ＲＡＵ：ＲａｎｄｏｍＡｃｃｅｓｓＵｎｉｔ）、ＲＡＵの先頭データをランダムアクセスポイント（ＲＡＰ：ＲａｎｄｏｍＡｃｃｅｓｓＰｏｉｎｔ）と呼ぶことにする。つまり、複数のアクセスユニットで構成される集合（ＧＯＰ）をランダムアクセスユニットと呼び、第１の集合の第１のアクセスユニットおよび第２の集合の第２のアクセスユニットをランダムアクセスポイントと呼ぶ。この場合、拡張階層の符号化データを含むＲＡＵ（つまり、第２の集合）においては、当該ＲＡＵのサンプル（ＭＰ４におけるデータ単位で、アクセスユニットに相当）のＤＴＳを決定する際には、復号時刻オフセットを反映させる必要がある。

図１０は、基本階層および拡張階層のＲＡＵの構成例を示す。図中のＲＡＵｂは、基本階層のＲＡＵ（第１の集合）を示し、ＲＡＵｅは拡張階層のＲＡＵ（第２の集合）を表すものとする。

ＲＡＵｂとＲＡＵｅとは、互いにペアとなるように構成される。つまり、複数の第１の集合と複数の第２の集合とは、それぞれ１対１で対応付けられている。ＲＡＵｅを構成するサンプルは、ペアとなるＲＡＵｂに含まれるサンプルは参照するが、それ以外のＲＡＵｂに含まれるサンプルは参照しない。つまり、第２の集合は、当該第２の集合に１対１で対応付けられている第１の集合の復号後のデータのみを参照することによって復号可能である。このため、互いにペアとなるＲＡＵｂとＲＡＵｅとを取得することで、基本階層および拡張階層の両階層のＲＡＵに含まれるサンプルを復号できることが保証される。

ここで、互いにペアとなるＲＡＵは、ＲＡＵを識別するシーケンス番号などにより関連付けが可能である。このとき、拡張階層のＲＡＵにおいて復号順で先頭となるサンプルの復号時刻は、ペアとなる基本階層のＲＡＵにおいて復号順で先頭となるサンプルの復号時刻に復号時刻オフセットを加算することにより決定できる。

基本階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳは、第１の絶対時刻である。第１の絶対時刻は、例えば、ＵＴＣ（ＣｏｏｒｄｉｎａｔｅｄＵｎｉｖｅｒｓａｌＴｉｍｅ）で定められる時刻である。第１の絶対時刻は、ＭＰＥＧ−２ＴＳにおけるＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）のようなコンテンツの管理情報、あるいは、コンテンツ受信に先立って取得するコンテンツの管理情報などに格納してもよい。あるいは、ＭｏｖｉｅＦｒａｇｍｅｎｔのヘッダ情報内などにＤＴＳの絶対値を示す情報を格納してもよい。なお、基本階層のＲＡＵにおける先頭サンプルの復号時刻は、受信装置において任意に設定してもよい。

復号時刻オフセット情報は、ランダムアクセスした最初のＲＡＵにおいてのみ必要であり、最初のＲＡＵにおける復号順で先頭のサンプルにおいて復号時刻オフセットを反映すれば、当該最初のＲＡＵ内の後続サンプル、及び、最初のＲＡＵに後続するＲＡＵ内のサンプルの復号時刻は、ＭＰ４のヘッダ情報に含まれる、連続するサンプル間のＤＴＳの差分情報を順次加算することで決定できる。

従って、復号時刻オフセット情報が、ランダムアクセス後の最初のＲＡＵの先頭サンプルのＤＴＳを決定する際にのみ必要である旨を示す情報を、別途格納してもよい。

基本階層および拡張階層のＲＡＵがペアとなっているかどうかを示す情報を、基本階層、あるいは、拡張階層のトラックを含むＭＰ４ファイル内、あるいは、コンテンツの管理情報において示してもよい。

なお、基本階層および拡張階層のＲＡＵは、必ずしもペアでなくてもよい。ペアでない場合には、拡張階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳの絶対値を示す情報を、ＭＰ４ファイルのヘッダ情報やコンテンツの管理情報などにおいて示してもよい。なお、基本階層および拡張階層のＲＡＵがペアであっても、拡張階層のＲＡＵの先頭サンプルのＤＴＳの絶対値を示す情報を格納してもよい。つまり、第２の時刻情報は、第１の時刻情報で示される第１の絶対時刻とは異なる第２の絶対時刻を示していてもよい。

また、例えば、基本階層をＭＰＥＧ−２ＴＳを用いて送信し、拡張階層をＤＡＳＨやＭＭＴなどで送信する場合は、ＴＳにおいて別途ＲＡＵのシグナリング方法を定義しなければ、ＲＡＵのペアリングができない。このような場合には、コンテンツの管理情報などから拡張階層の復号時刻オフセット、あるいは、ＲＡＵ内での先頭サンプルのＤＴＳの絶対値が取得できることが望ましい。

なお、ＭＰＥＧ−２ＴＳにおいても、ＴＳパケットにおけるヘッダ情報や、ＲＡＵのシグナリング情報を格納するＰＥＳパケットなどにより、ＲＡＵの境界を示すことができる。さらには、ＲＴＰなどのストリーミング向けのフォーマットを用いて送信する場合には、ＲＴＰパケットのペイロードヘッダなどにおいて、ＲＡＵのシーケンス番号など、境界情報を示すことができる。ＲＴＰを用いる場合には、ＳＤＰ（ＳｅｓｓｉｏｎＤｅｓｃｒｉｐｔｉｏｎＰｒｏｔｏｃｏｌ）などのセッション記述のためのメタ情報において、基本階層と拡張階層のセッションの識別情報や依存関係を記述することができる。

復号時には、基本階層のＲＡＵおよび拡張階層のＲＡＵの互いのＤＴＳなどに基づいて基本階層および拡張階層のサンプルを復号順に並べ替え、デコーダに入力する。ここで、受信データにおいて、基本階層および拡張階層の符号化データが復号順となっている場合には、並べ替えは不要である。

（実施例３）
図１１は、ＭＭＴを用いて基本階層と拡張階層とのデータを送信する例を示す図である。

図１１では、基本階層と拡張階層とを、それぞれ異なるアセットとして送信し、ＭＰＵがランダムアクセス単位に相当する。図１１では、基本階層のＭＰＵをＭＰＵｂで示し、拡張階層のＭＰＵをＭＰＵｅで示す。基本階層のＭＰＵｂおよび拡張階層のＭＰＵｅが互いにペアとなっているとすると、拡張階層のＭＰＵｅにおける先頭サンプルのＤＴＳは、図１０により説明したＭＰ４データのＲＡＵと同様にして決定できる。

ここで、ＭＰＵは、ＭｏｖｉｅＦｒａｇｍｅｎｔではなく、ＭＰ４ファイルに相当することから、復号時刻オフセット情報は、‘ｍｏｏｖ’直下、あるいは、ＭＰＵのシーケンス番号などＭＰＵの属性情報を示すＢｏｘである‘ｍｍｐｕ’の直下などに格納してもよい。

また、復号時刻オフセット情報における基本階層および拡張階層のトラックの識別情報については、ＭＰＵが各アセットの符号化データを含む１つのトラックのみから構成される際には、ＭＰＵを表すＭＰ４ファイルを識別するための情報（ファイル名、アセットのＩＤ，ＭＰＵのシーケンス番号など）のみでもよい。

ＤＡＳＨを用いる場合も、セグメント（正確には、Ｍｅｄｉａｓｅｇｍｅｎｔ）が１つ以上のＭｏｖｉｅＦｒａｇｍｅｎｔに相当するため、上記ＭＰ４データにおける方法と同様にして復号時刻を決定できる。

ＤＡＳＨでは、ＴＳデータでセグメントを構成することも可能であるが、ここでは、ＭＰ４（ＩＳＯＢａｓｅＭｅｄｉａＦｉｌｅＦｏｒｍａｔ）によりセグメントを構成するものとする。

［受信方法］
図１２は、受信装置の構成の一例を示すブロック図である。図１３は、拡張階層に含まれるアクセスユニットのＤＴＳを決定する動作を示すフローチャートを示す図である。

拡張階層のアクセスユニットを復号する際に、拡張階層を構成するアクセスユニットのＤＴＳを決定する動作例について説明する。

図１２に示されるように、受信装置２０は、取得部２１と、開始判定部２２と、オフセット反映部２３と、後続ＤＴＳ決定部２４とを備える。なお、受信装置の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。

ここで、受信装置２０において、基本階層のみ復号するか、基本階層および拡張階層の両階層を復号するかは、予めユーザにより選択された情報、あるいは、受信装置の復号能力などに応じて、ステップＳ２１の前段において決定されているものとする。

まず、受信装置２０の取得部２１は、符号化ストリーム１０を受信し、符号化ストリーム１０の復号時刻オフセット情報を解析して、基本階層のトラック、拡張階層のトラック、および、復号時刻オフセットを取得する（Ｓ２１）。

なお、復号時刻オフセット情報が、拡張階層の符号化データを格納するファイル、あるいは、トラックに含まれる場合には、次のステップＳ２２とステップＳ２３との間でステップＳ２１の処理を行ってもよい。

また、拡張階層のＲＡＵにおいて復号順で先頭となるアクセスユニットのＤＴＳの絶対値を示す情報が示される場合には、拡張階層のアクセスユニットのＤＴＳは、拡張階層の情報のみから取得できる。ただし、復号を開始するアクセスユニットを決定する際には、基本階層において復号を開始するアクセスユニットのＤＴＳを用いる。

次に、受信装置２０の開始判定部２２は、復号を開始するアクセスユニットの処理であるか否かを判定する（Ｓ２２）。

受信装置２０の開始判定部２２により復号を開始するアクセスユニットの処理であると判定された場合（Ｓ２２でＹｅｓ）、オフセット反映部２３は、拡張階層において最初に復号するアクセスユニットを決定し、復号時刻オフセットを反映したＤＴＳを算出する（Ｓ２３）。具体的には、基本階層において最初に復号するアクセスユニットのＤＴＳである第１の絶対時刻に復号時刻オフセットを加算することで拡張階層における最初に復号するアクセスユニットのＤＴＳを算出する。

ここで、基本階層において復号を開始するアクセスユニットをＡＵ＿ｂとすると、拡張階層において、ＤＴＳがＡｕ＿ｂのＤＴＳの直後となるアクセスユニットが、拡張階層において復号開始するアクセスユニット（ＡＵ＿ｅ）となる。

基本階層および拡張階層のＲＡＵがペアとなっていれば、基本階層において復号開始するＲＡＵのペアとなる拡張階層のＲＡＵが拡張階層において復号開始するＲＡＵとなる。復号を開始するＲＡＵでの復号順で先頭のアクセスユニットがＡＵ＿ｅとなる。基本階層とペアになる拡張階層のＲＡＵは、ＭＰＵのシーケンス番号が基本階層のＭＰＵと同一となるＭＰＵを探索することにより取得できる。ここで、ＭＰＵのシーケンス番号は、ＭＭＴパケットのヘッダ情報などに格納することができる。

基本階層および拡張階層のＲＡＵがペアとなっていなければ、ＤＴＳがＡＵ＿ｂの直後となる拡張階層のアクセスユニットをサーチして、当該アクセスユニットをＡＵ＿ｅとする。つまり、拡張階層のＲＡＵ内において復号順で先頭となるサンプルのＤＴＳの絶対値を示す情報に基づいて、ＤＴＳを決定できる。

なお、上記では、基本階層および拡張階層のＲＡＵがペアとなっている場合と、ペアとなっていない場合とに応じてＤＴＳを決定しているが、両階層がペアとなっているかどうかを示す情報があれば、当該情報に応じて上記動作を切替えてもよい。

また、（式２）のように、基本階層におけるファイル先頭、あるいは、ＲＡＵ先頭のアクセスユニットの復号時刻が０でない（ｄｅｌｔａが０でなく、例えば、１７：００：００開始などの絶対時刻が示される）場合には、ｄｅｌｔａの値を別途加算してＤＴＳを決定することになる。あるいは、復号時刻オフセットとｄｅｌｔａを加算した値を、復号時刻オフセット情報として示してもよい。

階層が３つ以上ある（拡張階層が２種類以上ある）場合には、異なる拡張階層を互いに識別するための情報を格納し、再生時には、復号する拡張階層を選択して決定してもよい。この場合、復号時刻オフセット情報は、異なる拡張階層毎に設定される。

受信装置２０の開始判定部２２により復号を開始するアクセスユニットの処理でないと判定された場合（Ｓ２２でＮｏ）、受信装置２０の後続ＤＴＳ決定部２４は、復号順で直前となるアクセスユニットのＤＴＳに、現アクセスユニットと直前のアクセスユニットのＤＴＳの差分（相対時間）を加算して、現アクセスユニットのＤＴＳを決定する（Ｓ２４）。

なお、オフセット反映部２３および後続ＤＴＳ決定部２４は、図示しない入力により、ＤＴＳの算出に必要なＭＰ４のヘッダ情報（‘ｔｒａｋ’における‘ｓｔｂｌ’、あるいは、‘ｔｒａｆ’における‘ｔｒｕｎ’など）を取得している。

（拡張階層におけるＲＡＵ）
ここで、拡張階層におけるＲＡＰやＲＡＵの定義について詳細に説明する。

拡張階層の復号においては、基本階層の復号結果が参照されるため、拡張階層を単独で復号することはできない。したがって、拡張階層単独で考えた場合には、ＲＡＰは存在しない。しかしながら、コンテンツ内のランダムアクセス時に、基本階層のＲＡＰに対応する拡張階層のアクセスユニットを効率的にサーチするには、拡張階層についてもＲＡＰやＲＡＵを定義することが望ましい。

拡張階層のＲＡＵは以下のように定義できる。なお、ＲＡＰは、ＲＡＵにおいて復号順が先頭のアクセスユニットである。つまり、拡張階層のＲＡＵｅは、基本階層のＲＡＵｂとペアとなる単位である。また、拡張階層のＲＡＵｅは、ＭＰ４におけるＭｏｖｉｅＦｒａｇｍｅｎｔ、ＭＭＴにおけるＭＰＵ、あるいは、ＤＡＳＨにおけるセグメントなど、基本階層においてＲＡＰとして用いられる単位などである。

また、拡張階層のＲＡＵにおいては、当該ＲＡＵにおいて復号順で先頭のアクセスユニットは、ＩピクチャあるいはＩＤＲピクチャなど、単独で復号できるアクセスユニット（ＭＰ４におけるｓｙｎｃｓａｍｐｌｅ）でなくてもよい。また、ｓｙｎｃｓａｍｐｌｅであることを示す情報がセットされていなくてもよい。

また、受信装置における再生時には、受信装置では、基本階層において復号を開始するアクセスユニットに対応する、拡張階層のアクセスユニットをサーチする際に、拡張階層のＲＡＵ情報を参照する。例えば、ＲＡＵ毎の先頭アクセスユニットのＤＴＳをサーチする。

受信装置においては、拡張階層のＲＡＵをサーチする際には、ＭｏｖｉｅＦｒａｇｍｅｎｔやＭＰＵがＲＡＵに相当するとみなして動作してもよい。拡張階層におけるＲＡＵの単位を示す情報を、拡張階層のトラックや、拡張階層のトラックを含むＭＰ４ファイルなどに格納してもよい。拡張階層のＲＡＵをサーチする際には、ＲＡＵの先頭アクセスユニットがｓｙｎｃｓａｍｐｌｅであるかどうかは無視するものとする。あるいは、拡張階層についてはランダムアクセスのための情報を格納せずに、基本階層のランダムアクセスポイントを決定した後に、基本階層のランダムアクセスポイントとなるＭＰＵと同一シーケンス番号を有する拡張階層のＭＰＵから復号するように動作してもよい。

あるいは、拡張階層においては、拡張階層におけるＲＡＰがｓｙｎｃｓａｍｐｌｅに相当するとみなしてもよい。このとき、‘ｓｔｓｓ’や‘ｍｆｒａ’など、ＭＰ４データにおけるランダムアクセス可能なアクセスユニット（サンプル）のテーブルにおいて、拡張階層におけるＲＡＰを示してもよい。受信装置においては、これらテーブルに基づいてＲＡＰをサーチできる。また、ＭｏｖｉｅＦｒａｇｍｅｎｔにおいては、‘ｔｒａｆ’において先頭サンプルがｓｙｎｃｓａｍｐｌｅであるかどうかを示すフラグ情報をセットして、受信装置においては、ｓｙｎｃｓａｍｐｌｅであるかどうかに応じてＲＡＰをサーチしてもよい。

上記のことは、ＭＰＥＧ−２ＴＳにおいて、ＲＡＵを定義する場合についても、同様である。

（その他）
ＭＰ４のデータが拡張階層のアクセスユニットを含むことは、ＭＰ４内のデータ、あるいは、ＭＰＥＧ−２ＴＳのＰＭＴや、コンテンツの管理情報などＭＰ４データよりも上位層においてシグナリングしてもよい。ＭＰ４内のデータとしては、例えば、ＭＰ４ファイルのブランド、あるいは、ＭＭＴのＭＰＵであれば’ｍｍｐｕ’などが可能である。

放送および通信を併用したコンテンツ配信においては、基本階層を放送で、拡張階層を通信ネットワークで、それぞれ送信するなどしてもよい。つまり、送信方法の生成ステップでは、基本階層（第１の集合）を含む第１の符号化ストリームをＭＰＥＧ−２ＴＳにしたがって生成し、拡張階層（第２の集合）を含む第２の符号化ストリームをＭＭＴにしたがって生成してもよい。そして、送信ステップでは、放送で使用される伝送路を用いて第１の符号化ストリームを送信し、通信で使用される伝送路を用いて第２の符号化ストリームを送信してもよい。なお、第１の符号化ストリームおよび第２の符号化ストリームは、上記とは反対の方式にしたがって生成されてもよい。またこの場合、送信ステップで使用される伝送路も反対の伝送路を用いて送信される。

また、例えば、放送におけるＰＭＴ（ＰｒｏｇｒａｍＭａｐＴａｂｌｅ）において、拡張階層の符号化データの送信元サーバのＵＲＬや、アクセス先のファイル名、あるいは、アクセス方法（ダウンロードであればＨＴＴＰＧＥＴ、ストリーミングであればＲＴＳＰ（ＲｅａｌＴｉｍｅＳｔｒｅａｍｉｎｇＰｒｏｔｏｃｏｌ）のコマンドなど）など、拡張階層の符号化データ取得に必要な情報を格納してもよい。ＰＭＴにおいて、同一コンテンツの構成データであって、放送とは異なる伝送路から送信されるデータのアクセス先やアクセス方法などを示す情報を格納する方法は、基本階層および拡張階層の例に限定されず、例えば、ビデオデータおよびオーディオデータの組合せなど、一般的に広く適用可能である。

（基本階層および拡張階層の符号化データが復号順となるように送信する方法）
基本階層および拡張階層の符号化データを、１本の符号化ストリームとして送信する際には、両階層の符号化データが復号順となるように送信できる。なお、送信時のみでなく、蓄積時などにおいても適用できる。

図１４は、図１の符号化データをＭＭＴにより多重化する例を示す図である。基本階層はアセット１に、拡張階層はアセット２に、それぞれ格納され、アセット１はＭＰＵ＿ｂから、アセット２はＭＰＵ＿ｅから構成される。

ＭＭＴでは、各アセットのＭＰＵは、ＭＭＴパケットやＲＴＰ（Ｒｅａｍ−ｔｉｍｅＴｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）パケットなどによりパケット化して送信される。このとき、パケットのペイロードに格納される基本階層および拡張階層の符号化データが、復号順となるようにパケット化する。図１４における中央のラインは、ＭＰＵ＿ｂとＭＰＵ＿ｅをパケット化して送信する際に、パケットのペイロードに格納されるデータの順序を示したものであり、符号化データの復号順と一致している。

このように、基本階層および拡張階層の符号化データを１本の符号化ストリームとして送信する際に、両階層の符号化データが復号順となるようにすることで、受信装置においては、基本階層のＲＡＰから順に復号することにより、対応する拡張階層のアクセスユニットのデータが取得できる。このため、基本階層および拡張階層の符号化データを復号順に並べ替える動作が不要となり、受信装置の処理負荷を低減できる。

ＭＰＥＧ−４ＡＶＣやＨＥＶＣなどの符号化方式では、復号順および表示順は符号化データから得られるため、固定フレームレートの場合には、拡張階層のアクセスユニットのＤＴＳとＰＴＳは、基本階層のアクセスユニットのＤＴＳ、ＰＴＳ、および、フレームレートから決定できる。この場合、拡張階層における復号時刻オフセット情報はシグナリングしなくてもよい。

（基本階層と拡張階層の符号化データが復号順となったデータの受信方法）
図１４で説明した送信方法により送信されるストリームの受信方法について説明する。

図１５は、基本階層および拡張階層の符号化データを１本の符号化ストリーム（パケット列）としたときの送信パケット列の一例を示す図である。図１５に示すように、送信される符号化ストリーム（受信装置により受信される符号化ストリーム）であり、基本階層および拡張階層のＭＰＵが、送信パケット列にパケット化される。基本階層の符号化データを格納するパケットと、拡張階層の符号化データを格納するパケットとは、パケットのヘッダなどに格納されている識別情報により区別される。識別情報としては、例えば、ＭＭＴパケットであればｐａｃｋｅｔ＿ｉｄ、ＴＳパケットであればＰＩＤ、ＲＴＰパケットであればＳＳＩＤなどを用いることができる。ＭＭＴパケット以外の方式によりパケット化する際には、例えば、ＴＳパケット列をＭＰＵとして定義し、ＴＳペイロードにＭＰＵを格納するなども可能である。また、ペイロードはＭＰＵでなくてもよく、ＴＳパケットであれば、符号化データをＰＥＳパケット化したものをＴＳペイロードに格納してもよい。

また、両階層を必ずしも同一のパケット形式で送信する必要はなく、例えば、基本階層をＴＳパケット、拡張階層をＭＭＴパケットなど、それぞれ異なる形式でパケット化してもよい。

また、ＤＡＳＨにおいては、基本階層および拡張階層のセグメントを分け、両セグメントのアクセスユニットのデータが、復号順で格納されるようにしてもよい。

階層数は３以上であってもよく（例えば、基本階層と２つの拡張階層）、その場合でも、全階層の符号化データが復号順となるように送信される。

図１６は、受信装置の構成の他の一例を示すブロック図である。図１７は、基本階層および拡張階層の符号化データを受信する受信方法を示すフローチャートである。

図１６に示されるように、受信装置３０は、復号開始位置決定部３１と、復号モード選択部３２と、データ取得部３３と、復号部３４とを備える。なお、受信装置３０の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。

まず、受信装置３０の復号開始位置決定部３１は、基本階層の符号化データを格納するパケットを取得して、基本階層において復号を開始するアクセスユニットを決定する（Ｓ３１）。このとき、別途取得したパケットの識別情報に基づいて、少なくとも基本階層のパケットを取得し、基本階層のランダムアクセスポイントに基づいて復号を開始するアクセスユニットを決定する。

次に、受信装置３０の復号モード選択部３２は、拡張階層の符号化データを復号するか否かを判定する（Ｓ３２）。

復号モード選択部３２により拡張階層の符号化データを復号すると判定された場合（Ｓ３２でＹｅｓ）、データ取得部３３は、基本階層の符号化データを格納するパケットと、拡張階層の符号化データを格納するパケットとをともに取得する（Ｓ３３：モード２）。ここでは、例えば、基本階層のパケットＩＤが１であり、拡張階層のパケットＩＤが２である場合には、パケットＩＤが１および２のパケットをともに取得してもよい。または、パケットＩＤ毎に別々にフィルタリングした上で、パケットＩＤが２である場合には、ＩＤが１であると見なして、ＩＤが１である場合と同様に扱えるようにするステップを別途設けてもよい。つまり、この場合には、ＩＤが１のパケットのみを取得することになる。

なお、ＭＭＴにおける制御情報（ＰＡｔａｂｌｅやＭＰｔａｂｌｅ）、あるいは、ＭＰＥＧ−２ＴＳのＰＭＴなどの制御情報に、復号順が昇順であるかどうかの識別情報を設けてもよい。受信装置３０においては、当該識別情報を解析し、昇順であれば、基本階層および拡張階層の符号化データを復号順に並べ替える処理を行わず、昇順でなければ、並べ替える処理を行ってもよい。

復号モード選択部３２により拡張階層の符号化データを復号しないと判定された場合（Ｓ３２でＮｏ）、データ取得部３３は、基本階層の符号化データを格納するパケットのみを取得する（Ｓ３４：モード１）。

そして、受信装置３０の復号部３４は、モード１およびモード２に応じて取得されたアクセスユニットを順に復号する（Ｓ３５）。なお、モード２の場合であっても、基本階層および拡張階層の両階層の符号化データは復号順に並んでいるため、符号化データの並べ替えは不要である。また、復号後のデータは、例えば、モード１であれば６０ｆｐｓ、モード２であれば１２０ｆｐｓのデータなど、拡張階層におけるスケーラビリティに応じて表示（再生）される。

（変形例１）
なお、最も単純化された受信装置および受信方法について説明する。

図１８は、受信装置の構成の他の一例を示すブロック図である。図１９は、受信方法のフローチャートを示す図である。

図１８に示されるように、受信装置４０は、受信部４１と、復号部４２とを備える。なお、受信装置の構成要素は、具体的には、マイクロコンピュータ、プロセッサ、または専用回路などによって実現される。

まず、受信装置４０の受信部４１は、符号化データの復号の処理を行う時刻を示す時刻情報と、符号化データとを含む符号化ストリームを受信する（Ｓ４１）。

次に、受信装置４０の復号部４２は、受信した符号化ストリームの符号化データに対する復号を、時刻情報で示される時刻に行う（Ｓ４２）。

なお、時刻情報は、表示の処理を行う時刻であってもよい。この場合には、復号部４２で復号されたデータを表示する処理を、図示しない表示部が時刻情報で示される時刻に行う。

（変形例２）
また、上述では、時間方向のスケーラビリティを例に説明したが、空間方向のスケーラビリティについても、同一フレームを構成する基本階層と拡張階層のＤＴＳが異なる場合などにおいては、同様の方法が適用できる。

（変形例３）
また、上記実施の形態では、基本階層の先頭サンプルのＤＴＳの絶対値を示していたが、これに限らずに、基本階層において表示順で先頭となるサンプルのＰＴＳの絶対値を示すことによっても、ＭＰ４のヘッダ情報からＰＴＳとＤＴＳの差分を取得することにより、ＤＴＳの絶対値を決定してもよい。また、ＤＴＳおよびＰＴＳの差分（つまり第２の相対時間および第４の相対時間）はＭＰ４のヘッダ情報に格納されている。このため、ＤＴＳの絶対値でなくとも、ＰＴＳの絶対値を示してもよい。

つまり、この場合、第１の時刻情報は、第１の集合の第１のアクセスユニットに対して行われる表示を行う、基準クロックを基準とする時刻を示す情報である。また、第２の時刻情報は、第２の集合の第２のアクセスユニットに対して行われる表示を行う、基準クロックを基準とする時刻を特定するための情報である。また、第１の集合の第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第１の時刻情報で示される時刻を基準とした第５の相対時間が対応付けられている。第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第６の相対時間で特定される。さらに、第２の集合の第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、第２の時刻情報で示される時刻を基準とした第７の相対時間が対応付けられている。そして、第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第８の相対時間で特定される。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の送信装置、受信装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、生成した前記符号化ストリームを送信する送信ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う、前記基準クロックを基準とする時刻を特定するための第２の時刻情報とを含む送信方法を実行させる。

また、このプログラムは、コンピュータに、映像が基本階層と拡張階層とに階層的に符号化された符号化データを受信する受信方法であって、前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを受信する受信ステップと、受信した前記符号化ストリームの前記符号化データに対する前記処理を、前記時刻情報で示される時刻に行う処理ステップと、を含み、前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記処理を行う時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記処理を行う時刻を特定するための第２の時刻情報とを含む受信方法を実行させてもよい。

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

なお、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、本発明の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以上、本発明の一つまたは複数の態様に係る送信方法および受信方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、拡張階層におけるアクセスユニットの処理時刻を特定できる送信方法、受信方法などとして有用である。

１０符号化ストリーム
１１制御情報
１２時刻情報
１３ＭＭＴパケット
１３ａヘッダ
１３ｂペイロード
１５送信装置
１６符号化部
１７送信部
２０、３０、４０受信装置
２１取得部
２２開始判定部
２３オフセット反映部
２４後続ＤＴＳ決定部
３１復号開始位置決定部
３２復号モード選択部
３３データ取得部
３４復号部
４１受信部
４２復号部

Claims

映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信方法であって、
前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成ステップと、
生成した前記符号化ストリームを送信する送信ステップと、を含み、
前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記表示を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記表示を行う、前記基準クロックを基準とする時刻を示す第２の時刻情報と、を含み、
前記第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記第１の集合を構成している前記複数のアクセスユニットのそれぞれと交互に表示されるアクセスユニットであり、
前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、
前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第２の相対時間で特定され、
前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、
前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第４の相対時間で特定される
送信方法。
映像が基本階層と拡張階層とに階層的に符号化された符号化データを受信する受信方法であって、
前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを受信する受信ステップと、
受信した前記符号化ストリームの前記符号化データに対する前記処理を、前記時刻情報で示される時刻に行う処理ステップと、を含み、
前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記表示を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記表示を行う時刻を示す第２の時刻情報と、を含み、
前記第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記第１の集合を構成している前記複数のアクセスユニットのそれぞれと交互に表示されるアクセスユニットであり、
前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、
前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第２の相対時間で特定され、
前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、
前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第４の相対時間で特定される
受信方法。
映像が基本階層と拡張階層とに階層的に符号化された符号化データを送信する送信装置であって、
前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを生成する生成部と、
生成した前記符号化ストリームを送信する送信部と、を備え、
前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記表示を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記表示を行う、前記基準クロックを基準とする時刻を示す第２の時刻情報と、を含み、
前記第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記第１の集合を構成している前記複数のアクセスユニットのそれぞれと交互に表示されるアクセスユニットであり、
前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、
前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第２の相対時間で特定され、
前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、
前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第４の相対時間で特定される
送信装置。
映像が基本階層と拡張階層とに階層的に符号化された符号化データを受信する受信装置であって、
前記符号化データの復号または表示の処理を行う時刻を示す時刻情報と、前記符号化データとを含む符号化ストリームを受信する受信部と、
受信した前記符号化ストリームの前記符号化データに対する前記処理を、前記時刻情報で示される時刻に行う処理部と、を備え、
前記符号化データは、それぞれが複数のアクセスユニットから構成される複数の集合を有し、
前記複数の集合のうち前記基本階層の前記集合である第１の集合を構成している前記複数のアクセスユニットのそれぞれは、独立して復号可能であるか、または前記基本階層の他のアクセスユニットの復号後のデータを参照することによって復号可能であり、
前記複数の集合のうち前記拡張階層の前記集合である第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記基本階層の前記アクセスユニットの復号後のデータを参照することによって復号可能であり、
前記時刻情報は、前記第１の集合の第１のアクセスユニットに対して行われる前記表示を行う、基準クロックを基準とする時刻を示す第１の時刻情報と、前記第２の集合の第２のアクセスユニットに対して行われる前記表示を行う時刻を示す第２の時刻情報と、を含み、
前記第２の集合を構成している前記複数のアクセスユニットのそれぞれは、前記第１の集合を構成している前記複数のアクセスユニットのそれぞれと交互に表示されるアクセスユニットであり、
前記第１の集合の前記第１のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第１の時刻情報で示される時刻を基準とした第１の相対時間が対応付けられており、
前記第１の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第２の相対時間で特定され、
前記第２の集合の前記第２のアクセスユニット以外の複数のアクセスユニットのそれぞれは、前記第２の時刻情報で示される時刻を基準とした第３の相対時間が対応付けられており、
前記第２の集合の複数のアクセスユニットのそれぞれについて行われる復号の時刻は、当該アクセスユニットの表示の時刻を基準とする第４の相対時間で特定される
受信装置。