JP6508270B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関する。詳しくは、本技術は、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。

圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。

受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、早期普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、新規サービスの普及の阻害要因となる。

例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。

Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012

本技術の目的は、受信側においてデコード能力に応じた良好なデコード処理を可能とすることにある。

本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部と、
上記複数の階層を２以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入部を備える
送信装置。

本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオデータが生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化像データを持つビデオデータが生成される。

送信部により、上述のビデオデータを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。

識別情報挿入部により、複数の階層が２以上の所定数の階層組に分割され、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。例えば、識別情報は、低階層側の階層組ほど高く設定される優先度情報である、ようにされてもよい。

例えば、識別情報は、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのヘッダに挿入される、ようにされてもよい。そして、この場合、例えば、識別情報は、ヘッダのＰＥＳプライオリティのフィールドを利用して挿入される、ようにされてもよい。また、例えば、識別情報は、アダプテーションフィールドを持つＴＳパケットの、このアダプテーションフィールドに挿入される、ようにされてもよい。そして、この場合、例えば、識別情報は、アダプテーションフィールドのＥＳプライオリティインジケータのフィールドを利用して挿入される、ようにされてもよい。また、例えば、識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入される、ようにされてもよい。

このように本技術においては、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されるものである。そのため、受信側においては、この識別情報を利用することで、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることが容易に可能となる。

なお、本技術において、例えば、画像符号化部は、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは複数の階層を２以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームを生成し、コンテナのレイヤに、このコンテナに含まれるビデオストリームの構成情報を挿入する構成情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、受信側では、コンテナに含まれるビデオストリームの構成情報に基づいて、ビデオストリームの構成を容易に把握可能となる。

また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化部を備える
受信装置にある。

本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの画像データを持つビデオデータが含まれている。

画像復号化部により、受信されたコンテナに含まれるビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にバッファに取り込まれ、このバッファに取り込まれた各ピクチャの符号化画像データがデコードされて、所定階層以下の階層のピクチャの画像データが得られる。

例えば、複数の階層は２以上の所定数の階層組に分割され、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されており、画像復号化部は、識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データをバッファに取り込んでデコードする、ようにされてもよい。

この場合、例えば、識別情報は、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのヘッダに挿入されている、ようにされてもよい。また、この場合、例えば、識別情報は、アダプテーションフィールドを持つＴＳパケットの、このアダプテーションフィールドに挿入されている、ようにされてもよい。また、この場合、例えば、識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入されている、ようにされてもよい。

また、例えば、複数の階層は２以上の所定数の階層組に分割され、受信されたコンテナには、所定数の階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれており、画像符号化部は、ストリーム識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データをバッファに取り込んでデコードする、ようにされてもよい。このとき、例えば、画像復号化部は、所定階層組のピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいて１つのストリームにしてバッファに取り込む、ようにされてもよい。

このように本技術においては、受信されたビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データが選択的にバッファに取り込まれてデコードされるものである。そのため、デコード能力に応じた適切なデコード処理が可能となる。

なお、本技術において、例えば、画像復号化部は、選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ、ようにされてもよい。この場合、デコード能力の低いデコーダでも無理のないデコード処理が可能となる。

また、本技術において、例えば、画像復号化部で得られる各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える、ようにされてもよい。この場合、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。

本技術によれば、受信側においてデコード能力に応じた良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 エンコーダで行われる階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例（Syntax）およびその構造例における主要なパラメータの内容（Semantics）を示す図である。 ＨＥＶＣによる各ピクチャの符号化画像データの構成を説明するための図である。 階層符号化の際のエンコード、デコード、表示順序と遅延の一例を示す図である。 階層符号化の符号化ストリームと、指定階層における表示期待（表示順）を示す図である。 ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示す図である。 ＨＥＶＣデスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）の構造例（Syntax）を示す図である。 スケーラビリティ・エクステンション・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 マルチプレクサの構成例を示すブロック図である。 マルチプレクサの処理フローの一例を示す図である。 単一ストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デマルチプレクサの構成例を示すブロック図である。 トランスポートストリームＴＳに単一のビデオストリーム（符号化ストリーム）が含まれている場合を示す図である。 トランスポートストリームＴＳにベースストリームと拡張ストリームの２つのビデオストリーム（符号化ストリーム）が含まれている場合を示す図である。 各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を説明するための図である。 デマルチプレクサの処理フロー（１フレーム）の一例を示す図である。 デマルチプレクサの処理フロー（２フレーム）の一例を示す図である。 デコーダの構成例を示すブロック図である。 ポスト処理部の構成例を示す図である。 デコーダ、ポスト処理部の処理フローの一例を示す図である。 アダプテーションフィールドの配置例を示す図である。 階層組の識別情報をアダプテーションフィールドに挿入する場合におけるマルチプレクサの構成例を示すブロック図である。 階層組の識別情報をアダプテーションフィールドに挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 階層組の識別情報をアダプテーションフィールドに挿入する場合におけるデマルチプレクサの構成例を示すブロック図である。 ＭＰ４ストリームの構成例を示す図である。 「SampleDependencyTypeBox」の構造例を示す図である。 「SampleDependencyTypeBox」の構造例おける主要な情報の内容を示す図である。 「SampleScalablePriorityBox」の構造例を示す図である。 「SampleScalablePriorityBox」の構造例おける主要な情報の内容を示す図である。

以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。

送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。

各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、ＮＡＬユニットのレイヤにおいて各ピクチャの階層識別が可能となり、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。

この実施の形態において、複数の階層は２以上の所定数の階層組に分割され、ビデオストリームのレイヤに、このビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。

この実施の形態において、この識別情報は、低階層側の階層組ほど高く設定される優先度情報とされ、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのヘッダに挿入される。この識別情報により、受信側では、自身のデコード能力に応じた階層組のピクチャの符号化画像データのみをバッファに取り込んで処理することが可能となる。

トランスポートストリームＴＳには、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは上述の各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれる。このトランスポートストリームＴＳには、階層符号化の階層情報と、ビデオストリームの構成情報が挿入される。この情報により、受信側では、階層構成やストリーム構成を容易に把握でき、適切なデコード処理を行うことが可能となる。

受信装置２００は、送信装置１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳに含まれるビデオストリームからデコード能力に応じて選択された所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込んでデコードし、各ピクチャの画像データを取得して、画像再生を行う。

例えば、上述したように、トランスポートストリームＴＳに、複数の階層のピクチャの符号化画像データを持つ単一のビデオストリームが含まれている場合がある。その場合、上述の識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データがバッファに取り込まれて処理される。

また、例えば、上述したように、トランスポートストリームＴＳに、複数の階層が分割されて得られた２以上の所定数の階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれている場合がある。その場合、ストリーム識別情報に基づいて、デコード能力に応じた所定階層組のピクチャの符号化画像データがバッファに取り込まれて処理される。

また、受信装置２００は、選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する処理を行う。この調整処理により、デコード能力の低いデコーダでも無理のないデコード処理が可能となる。

また、受信装置２００は、上述のようにデコードして得られた各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理を行う。このポスト処理により、例えば、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。

「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。

エンコーダ１０２は、非圧縮の動画像データを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。

図３は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から４までの５階層に分類され、各階層のピクチャの画像データに対して、例えばＨＥＶＣの符号化が施された例である。

縦軸は階層を示している。階層０から４のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から４が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。

図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜７）をとる。

図３に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。「１」から「１７」（「２」を除く）の１６個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）を構成しており、「１」はそのサブ・ピクチャグループの先頭ピクチャである。「２」は、次のサブ・ピクチャグループの先頭ピクチャとなる。あるいは、「１」を除いて、「２」から「１７」までの１６個のピクチャによりサブ・ピクチャグループを構成しており、「２」はそのサブ・ピクチャグループの先頭のピクチャとなる。

「１」のピクチャは、ＧＯＰ（Group Of Pictures）の先頭のピクチャとなり得る。ＧＯＰの先頭ピクチャの符号化画像データは、図５に示すように、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳはマイピクチャで伝送可能とされている。

図３に戻って、実線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「１」のピクチャは、Ｉピクチャであり、他のピクチャを参照しない。「２」のピクチャは、Ｐピクチャであり、「１」のピクチャを参照して符号化される。また、「３」のピクチャは、Ｂピクチャであり、「１」、「３」のピクチャを参照して符号化される。以下、同様、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、階層４のピクチャは、他のピクチャからの参照がない。

エンコーダ１０２は、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム（シングルストリーム）を生成するか、あるいは、複数の階層を２以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリーム（マルチストリーム）を生成する。例えば、図３の階層符号化の例において、階層０から３を低階層の階層組とし、階層４を高階層の階層組として２つの階層組に分割されるとき、エンコーダ１０２は、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリーム（符号化ストリーム）を生成する。

エンコーダ１０２は、生成するビデオストリームの数によらず、上述したように、複数の階層を２以上の所定数の階層組に分割し、各階層組のピクチャの符号化画像データに、所属階層組を識別するための識別情報を付加する。この場合、例えば、識別情報として、ＳＰＳに含まれるビットストリームのレベル指定値である「general_level_idc」が利用され、高階層側の階層組ほど高い値とされる。なお、サブレイヤ（sublayer）毎に「sub_layer_level_idc」をＳＰＳで送ることができるので、識別情報として、この「sub_layer_level_idc」を用いてもよい。以上はＳＰＳだけでなくＶＰＳにおいても供給される。

この場合、各階層組のレベル指定値の値は、この階層組のピクチャと、この階層組より低階層側の全ての階層組のピクチャとからなるフレームレートに対応した値とされる。例えば、図３の階層符号化の例において、階層０から３の階層組のレベル指定値は、階層０から３のピクチャのみからなるフレームレートに対応した値とされ、階層４の階層組のレベル指定値は、階層０から４の全ての階層のピクチャからなるフレームレートに対応した値とされる。

図６は、階層符号化の際のエンコード、デコード、表示順序と遅延の一例を示している。この例は、上述の図３の階層符号化例に対応している。この例は、全階層（全レイヤ）を、フル時間解像度で階層符号化する場合を示している。図６（ａ）はエンコーダ入力を示す。図６（ｂ）に示すように、１６ピクチャ分の遅延をもって、各ピクチャがエンコード順にエンコードされて、符号化ストリームが得られる。また、図６（ｂ）はデコーダ入力を示し、各ピクチャがデコード順にデコードされる。そして、図６（ｃ）に示すように、４ピクチャの遅延をもって、各ピクチャの画像データが表示順に得られる。

図７（ａ）は、上述の図６（ｂ）に示す符号化ストリームと同様の符号化ストリームを、階層０から２、階層３、階層４の３段階に分けて示している。ここで、「Ｔｉｄ」は、temporal_idを示している。図７（ｂ）は、階層０から２、つまりＴｉｄ＝０〜２の部分階層の各ピクチャを選択的にデコードする場合の表示期待（表示順）を示している。また、図７（ｃ）は、階層０から３、つまりＴｉｄ＝０〜３の部分階層の各ピクチャを選択的にデコードする場合の表示期待（表示順）を示している。さらに、図７（ｄ）は、階層０から４、つまりＴｉｄ＝０〜４の全階層の各ピクチャを選択的にデコードする場合の表示期待（表示順）を示している。

図７（ａ）の符号化ストリームをデコード能力別にデコード処理するには、時間解像度がフルレートのデコード能力が必要となる。しかし、Ｔｉｄ＝０〜２のデコードを行う場合、符号化されたフルの時間解像度に対して、１/４のデコード能力をもつデコーダが処理可能とすべきである。また、Ｔｉｄ＝０〜３のデコードを行う場合、符号化されたフルの時間解像度に対して、１/２のデコード能力をもつデコーダが処理可能とすべきである。

しかし、階層符号化において参照される低階層に属するピクチャが連続し、それらが時間解像度でフルなタイミングで符号化されると、部分デコードするデコーダの能力が追い付かないことになる。図７（ａ）のＡの期間がそれに該当する。Ｔｉｄ＝０〜２、あるいはＴｉｄ＝０〜３の部分的な階層をデコードするデコーダは、表示の例で示すような、時間軸が１/４あるいは１/２の能力でデコード・表示を行うため、Ａの期間符号化された時間解像度がフルで連続するピクチャのデコードはできない。

ＴａはＴｉｄ＝０〜２をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。ＴｂはＴｉｄ＝０〜３をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。ＴｃはＴｉｄ＝０〜４（全階層）をデコードするデコーダにおけるピクチャ毎のデコード処理に要する時間を示す。これらの各時間の関係は、Ｔａ＞Ｔｂ＞Ｔｃとなる。

この実施の形態においては、後述するように、受信装置２００は、デコード能力が低いデコーダを持ち、低階層ピクチャのデコードを選択的に行う場合、デコードタイムスタン（ＤＴＳ：decoding Time stamp）を書き換えて低階層ピクチャのデコード間隔を調整する機能を持つようにされる。これにより、デコード能力の低いデコーダでも、無理のないデコード処理が可能となる。

図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。

この実施の形態においては、上述したように、複数の階層は２以上の所定数の階層組に分割される。マルチプレクサ１０４は、ＰＥＳパケットのヘッダ(ＰＥＳヘッダ)に、ビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する。この識別情報により、受信側では、自身のデコード能力に応じた階層組のピクチャの符号化画像データのみをバッファに取り込んで処理することが可能となる。

マルチプレクサ１０４は、例えば、複数の階層を低階層組と高階層組に二分する場合、ＰＥＳヘッダに存在する、周知のＰＥＳプライオリティ（PES_priority）の１ビットフィールドを利用する。この１ビットフィールドは、ＰＥＳペイロードに低階層側の階層組のピクチャの符号化画像データを含む場合は“１”、つまり優先度が高く設定される。一方、この１ビットフィールドは、ＰＥＳペイロードに高階層側の階層組のピクチャの符号化画像データを含む場合は“０”、つまり優先度が低く設定される。

トランスポートストリームＴＳには、上述したように、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは上述の各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが含まれる。マルチプレクサ１０４は、トランスポートストリームＴＳに、階層情報、ストリーム構成情報を挿入する。

トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。

マルチプレクサ１０４は、このデスクリプタの一つとして、ＨＥＶＣデスクリプタ（HEVC_descriptor）を挿入し、さらに、新たに定義するスケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）を挿入する。

図８は、ＨＥＶＣデスクリプタ（HEVC_descriptor）の構造例（Syntax）を示している。また、図９は、その構造例における主要な情報の内容（Semantics）を示している。

「descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ＨＥＶＣデスクリプタであることを示す。「descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。

「level_idc」の８ビットフィールドは、ビットレートのレベル指定値を示す。また、「temporal_layer_subset_flag = 1」であるとき、「temporal_id_min」の５ビットフィールドと、「temporal_id_max」の５ビットフィールドが存在する。「temporal_id_min」は、対応するビデオストリームに含まれる階層符号化データの最も低い階層のtemporal_idの値を示す。「temporal_id_max」は、対応するビデオストリームが持つ階層符号化データの最も高い階層のtemporal_idの値を示す。

「level_constrained_flag」の１ビットフィールドは、新たに定義するものであり、ＶＰＳのＮＡＬユニットに含まれるビットストリームのレベル指定値（general_level_idc）がピクチャ毎に変わり得ることを示す。“１”は変わり得ることを示し、“０”は変わらないことを示す。

上述したように、例えば、“general_level_idc”は、複数の階層を２以上の所定数の階層組に分割した際の所属階層組の識別情報として利用される。そのため、複数の階層組のピクチャの符号化画像データを持つビデオストリームの場合、“general_level_idc”がピクチャ毎に変わり得ることになる。一方、単一の階層組のピクチャの符号化画像データを持つビデオストリームの場合は、“general_level_idc”がピクチャ毎に変わるということはない。あるいは、sublayerごとに“sublayer_level_idc”が付され、デコーダはデコード可能な範囲のtemporal_idのパケットを読むことによって、対応する階層のデータを処理する。

「scalability_id」の３ビットフィールドは、新たに定義するものであり、複数のビデオストリームがスケーラブルなサービスを供給する際、個々のストリームに付されるスケーラビリティを示すＩＤである。“０”はベースストリームを示し、“１”〜“７”はベースストリームからのスケーラビリティの度合いによって増加するＩＤである。

図１０は、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）の構造例（Syntax）を示している。また、図１１は、その構造例における主要な情報の内容（Semantics）を示している。

「scalability_extension_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラビリティ・エクステンション・デスクリプタであることを示す。「scalability_extension_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「extension_stream_existing_flag」の１ビットフィールドは、別ストリームによる拡張サービスがあることを示すフラグである。“１”は拡張ストリームがあることを示し、“０”は拡張ストリームがないことを示す。

「extension_type」の３ビットフィールドは、拡張のタイプを示す。“００１”は、拡張が、時間方向スケーラブルであることを示す。“０１０”は、拡張が、空間方向スケーラブルであることを示す。“０１１”は、拡張が、ビットレートスケーラブルであることを示す。

「number_of_streams」の４ビットフィールドは、配信サービスに関与するストリームの総数を示す。「scalability_id」の３ビットフィールドは、複数のビデオストリームがスケーラブルなサービスを供給する際、個々のストリームに付されるスケーラビリティを示すＩＤである。“０”はベースストリームを示し、“１”〜“７”はベースストリームからのスケーラビリティの度合いによって増加するＩＤである。

「number_of_layers」の３ビットフィールドは、当該ストリームの総階層数を示す。「sublayer_level_idcの８ビットフィールドは、temporal_idで示される該当サブレイヤが、それより下位のレイヤを含んで、デコーダが対応するlevel_idcの値を示す。「Number of layers」は、ＮＡＬユニットヘッダ（NAL unit header）の「Nuh_temporal_id_plus1」のすべての値を包含するものであり、デマルチプレクサ（demuxer）がこれを検知することで、所定のlevel_idcに対応するデコーダがどの階層までデコードできるかを、「sublayer_level_idc」により事前に認識することが可能となる。

上述したように、この実施の形態において、ＳＰＳに含まれるビットレートのレベル指定値（general_level_idc）などは、複数の階層を２以上の所定数の階層組に分割した際の所属階層組の識別情報として利用される。各階層組のレベル指定値の値は、この階層組のピクチャと、この階層組より低階層側の全ての階層組のピクチャとからなるフレームレートに対応した値とされる。

図１２は、マルチプレクサ１０４の構成例を示している。ＰＥＳプライオリティ発生部１４１と、セクションコーディング部１４２と、ＰＥＳパケット化部１４３-1〜１４３-Nと、スイッチ部１４４と、トランスポートパケット化部１４５を有している。

ＰＥＳパケット化部１４３-1〜１４３-Nは、それぞれ、圧縮データバッファ１０３に蓄積されているビデオストリーム１〜Ｎを読み込み、ＰＥＳパケットを生成する。この際、ＰＥＳパケット化部１４３-1〜１４３-Nは、ビデオストリーム１〜ＮのＨＲＤ情報を元にＤＴＳ（Decoding Time Stamp）、ＰＴＳ（Presentation Time Stamp）のタイムスタンプをＰＥＳヘッダに付与する、この場合、各ピクチャの「cpu_removal_delay」、「dpb_output_delay」が参照され、ＳＴＣ（System Time Clock）時刻に同期した精度で、各々ＤＴＳ、ＰＴＳに変換され、ＰＥＳヘッダの所定位置に配置される。

ＰＥＳプライオリティ発生部１４１には、ＣＰＵ１０１から、階層数（Number of layers）とストリーム数（Number of streams）の情報が供給される。ＰＥＳプライオリティ発生部１４１は、階層数で示される複数の階層を２以上の所定数の階層組に分割した場合における、各階層組の優先度情報を発生する。例えば、２分割される場合には、ＰＥＳパケットヘッダの「PES_priority」の１ビットフィールドに挿入すべき値（低階層組は“１”、高階層組は“０”）を発生する。

ＰＥＳプライオリティ発生部１４１で発生される各階層組の優先度情報は、ＰＥＳパケット化部１４３-1〜１４３-Nに供給される。ＰＥＳパケット化部１４３-1〜１４３-Nは、この各階層組の優先度を、その階層組のピクチャの符号化画像データを含むＰＥＳパケットのヘッダに識別情報として挿入する。

なお、このようにピクチャ毎にＰＥＳパケットのヘッダにそのピクチャが属する階層組の優先度をヘッダ情報として挿入する処理は、エンコーダ１０２で単一のビデオストリーム（シングルストリーム）が生成される場合に限ってもよい。この場合は、ＰＥＳパケット化部１４３-1でのみ処理が行われることとなる。

スイッチ部１４４は、ＰＥＳパケット化部１４３-1〜１４３-Nで生成されたＰＥＳパケットを、パケット識別子（ＰＩＤ）に基づいて選択的に取り出し、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、ＰＥＳパケットをペイロードに含むＴＳパケットを生成し、トランスポートストリームＴＳを得る。

セクションコーディング部１４２は、トランスポートストリームＴＳに挿入すべき各種のセクションデータを生成する。セクションコーディング部１４２には、ＣＰＵ１０１から、階層数（Number of layers）と、ストリーム数（Number of streams）の情報が供給される。セクションコーディング部１４２は、この情報に基づいて、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）を生成する。

セクションコーディング部１４２は、各種セクションデータを、トランスポートパケット化部１４５に送る。トランスポートパケット化部１４５は、このセクションデータを含むＴＳパケットを生成し、トランスポートストリームＴＳに挿入する。

図１３は、マルチプレクサ１０４の処理フローを示す。この例は、複数の階層を低階層組と高階層組の２つに分割する例である。マルチプレクサ１０４は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、マルチプレクサ１０４は、ビデオストリーム（ビデオエレメンタリストリーム）の各ピクチャのtemporal_id_と、構成する符号化ストリーム数を設定する。

次に、マルチプレクサ１０４は、ステップＳＴ３において、ＨＲＤ情報（cpu_removal_delay、dpb_output_delay）を参照して、ＤＴＳ、ＰＴＳを決め、ＰＥＳヘッダの所定位置に挿入する。

次に、マルチプレクサ１０４は、ステップＳＴ４において、シングルストリーム（単一ビデオストリーム）か否かを判断する。シングルストリームであるとき、マルチプレクサ１０４は、ステップＳＴ５において、１つのＰＩＤ（パケット識別子）で多重化処理を進めることとし、その後に、ステップＳＴ７の処理に移る。

このステップＳＴ７において、マルチプレクサ１０４は、ピクチャのそれぞれについて低階層組のピクチャ（スライス）であるか判断する。低階層組のピクチャであるとき、マルチプレクサ１０４は、ステップＳＴ８において、ペイロードにそのピクチャの符号化画像データを含むＰＥＳパケットのヘッダの「PES_priority」を“１”に設定する。一方、高階層組（非低階層組）のピクチャであるとき、マルチプレクサ１０４は、ステップＳＴ９において、ペイロードにそのピクチャの符号化画像データを含むＰＥＳパケットのヘッダの「PES_priority」を“０”に設定する。マルチプレクサ１０４は、ステップＳＴ８、ステップＳＴ９の処理の後、ステップＳＴ１０の処理に移る。

ここで、ピクチャ（picture）とスライス（slice）の関連付けについて説明する。ピクチャは、概念で、構造定義としてはスライスと同じである。１ピクチャは、複数のスライスに分けられるが、この複数のスライスがアクセスユニットとしては同じであることは、パラメータセット（parameter set）でわかるようになっている。

上述のステップＳＴ４でシングルストリームでないとき、マルチプレクサ１０４は、ステップＳＴ６において、複数のパケットＰＩＤ（パケット識別子）で多重化処理を進めることとし、その後に、ステップＳＴ１０の処理に移る。このステップＳＴ１０において、マルチプレクサ１０４は、符号化ストリーム（ビデオエレメンタリストリーム）をＰＥＳペイロードに挿入してＰＥＳパケット化する。

次に、マルチプレクサ１０４は、ステップＳＴ１１において、ＨＥＶＣデスクリプタ、スケーラビリティ・エクステンション・デスクリプタなどをコーディングする。そして、マルチプレクサ１０４は、ステップＳＴ１２においてトランスポートパケット化し、トランスポートストリームＴＳを得る。その後、マルチプレクサ１０４は、ステップＳＴ１３において、処理を終了する。

図１４は、単一ストリームによる配信を行う場合のトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１つのビデオストリームが含まれている。すなわち、この構成例では、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在すると共に、オーディオストリームのＰＥＳパケット「audio PES1」が存在する

各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、各ピクチャのＮＡＬユニットのヘッダには、そのピクチャの階層を示すtemporal_idが挿入されている。また、例えば、ＶＰＳにはビットレートのレベル指定値（general_level_idc）が含まれている。また、例えば、ピクチャ・タイミング・ＳＥＩ（Picture timing SEI）には、「cpb_removal_delay」と「dpb_output_delay」が含まれている。

また、ＰＥＳパケットのヘッダ（ＰＥＳヘッダ）に「PES_priority」の１ビットの優先度を示すフィールドが存在する。この「PES_priority」により、ＰＥＳペイロードに含まれるピクチャの符号化画像データが、低階層組のピクチャのものか、あるいは高階層組のピクチャのものかが識別可能である。

また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）の一つとして、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。

ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES1 loop）が存在すると共に、オーディオエレメンタリ・ループ（audio ES1 loop）が存在する。

ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したＨＥＶＣデスクリプタ（HEVC_descriptor）、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）が挿入される。

図２に戻って、送信部１０５は、トランスポートストリームＴＳを、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調し、ＲＦ変調信号を送信アンテナから送信する。

図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データが入力される。エンコーダ１０２では、この動画像データに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。この際、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。

エンコーダ１０２では、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは、複数の階層が２以上の所定数の階層組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオストリームが生成される。

また、エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。

マルチプレクサ１０４では、例えば、単一のビデオストリーム（シングルストリーム）の場合、ＰＥＳパケットのヘッダ(ＰＥＳヘッダ)に、ビデオストリームが持つ各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入される。例えば、複数の階層を低階層組と高階層組に二分する場合、ＰＥＳヘッダのＰＥＳプライオリティ（PES_priority）の１ビットフィールドが利用される。

また、マルチプレクサ１０４では、トランスポートストリームＴＳに、階層情報、ストリーム構成情報が挿入される。すなわち、マルチプレクサ１０４では、各ビデオストリームに対応したビデオエレメンタリ・ループに、ＨＥＶＣデスクリプタ（HEVC_descriptor）、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）が挿入される。

マルチプレクサ１０４で生成されるトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、例えば、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調され、ＲＦ変調信号が送信アンテナから送信される。

「受信装置の構成」
図１５は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。

受信部２０２は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。

図１６は、デマルチプレクサ２０３の構成例を示している。デマルチプレクサ２０３は、ＴＳアダプテーションフィールド抽出部２３１と、クロック情報抽出部２３２と、ＴＳペイロード抽出部２３３と、セクション抽出部２３４と、ＰＳＩテーブル/デスクリプタ抽出部２３５と、ＰＥＳパケット抽出部２３６を有している。また、デマルチプレクサ２０３は、ＰＥＳヘッダ抽出部２３７と、タイムスタンプ抽出部２３８と、識別情報抽出部２３９と、ＰＥＳペイロード抽出部２４０と、ストリーム構成部（ストリームコンポーザ）２４１を有している。

ＴＳアダプテーションフィールド抽出部２３１は、トランスポートストリームＴＳのアダプテーションフィールドを持つＴＳパケットから当該アダプテーションフィールドを抽出する。クロック情報抽出部２３２は、ＰＣＲ（Program Clock Reference）が含まれるアダプテーションフィールドから当該ＰＣＲを抽出し、ＣＰＵ２０１に送る。

ＴＳペイロード抽出部２３３は、トランスポートストリームＴＳのＴＳペイロードを持つＴＳパケットから当該ＴＳペイロードを抽出する。セクション抽出部２３４は、セクションデータが含まれるＴＳペイロードから当該セクションデータを抽出する。ＰＳＩテーブル/デスクリプタ抽出部２３５は、セクション抽出部２３４で抽出されたセクションデータを解析し、ＰＳＩテーブルやデスクリプタを抽出する。そして、ＰＳＩテーブル/デスクリプタ抽出部２３５は、temporal_idの最小値（min）と最大値（max）を、ＣＰＵ２０１に送ると共に、ストリーム構成部２４１に送る。

ＰＥＳパケット抽出部２３６は、ＰＥＳパケットが含まれるＴＳペイロードから当該ＰＥＳパケットを抽出する。ＰＥＳヘッダ抽出部２３７は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳヘッダを抽出する。タイムスタンプ抽出部２３８は、ピクチャ毎にＰＥＳヘッダに挿入されているタイムスタンプ（ＤＴＳ、ＰＴＳ）を抽出し、ＣＰＵ２０１に送ると共に、ストリーム構成部２４１に送る。

識別情報抽出部２３９は、ピクチャ毎にＰＥＳヘッダに挿入されている、そのピクチャが属する階層組を識別する識別情報を抽出し、ストリーム構成部２４１に送る。例えば、複数の階層が低階層組と高階層組に２分されている場合、ＰＥＳヘッダの「PES_priority」の１ビットフィールドの優先度情報を抽出し、ストリーム構成部２４１に送る。なお、この識別情報は、トランスポートストリームＴＳに単一のビデオストリームが含まれる場合には送信側で必ず挿入されているが、トランスポートストリームＴＳに複数のビデオストリームが含まれる場合には送信側で挿入されないこともある。

ＰＥＳペイロード抽出部２４０は、ＰＥＳパケット抽出部２３６で抽出されたＰＥＳパケットからＰＥＳペイロード、つまり、各階層のピクチャの符号化画像データを抽出する。ストリーム構成部２４１は、ＰＥＳペイロード抽出部２４０で取り出される各階層のピクチャの符号化画像データから、デコード能力（Decoder temporal layer capability）に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。この場合、ストリーム構成部２４１は、ＰＳＩテーブル/デスクリプタ抽出部２３５で得られる階層情報、ストリーム構成情報、識別情報抽出部２３９で抽出される識別情報（優先度情報）などを参照する。

例えば、トランスポートストリームＴＳに含まれるビデオストリーム（符号化ストリーム）のフレームレートが１２０ｆｐｓである場合を考える。例えば、複数の階層が低階層側の階層組と高階層側の階層組とに２分され、各階層組のピクチャのフレームレートがそれぞれ６０ｆｐｓであるとする。例えば、上述の図３に示す階層符号化例では、階層０から３は低階層側の階層組とされ、６０ｆｐｓのlevel_idc対応のデコーダがデコード可能となる。また、階層４は高階層側の階層組とされ、１２０ｆｐｓのlevel_idc対応のデコーダがデコード可能となる。

この場合、トランスポートストリームＴＳに、各階層のピクチャの符号化データを持つ単一のビデオストリーム（符号化ストリーム）が含まれているか、あるいは、低階層側の階層組のピクチャの符号化画像データ持つベースストリム（B_str）と、高階層側の階層組のピクチャの符号化画像データを持つ拡張ストリーム（E_str）の２つのビデオストリーム（符号化ストリーム）が含まれている。

ストリーム構成部２４１は、デコード能力が、１２０ｆｐｓに対応している場合、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。一方、ストリーム構成部２４１は、デコード能力が、１２０ｆｐｓに対応していないが６０ｆｐｓに対応している場合、低階層側の階層組のピクチャの符号化画像データのみを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。

図１７は、トランスポートストリームＴＳに単一のビデオストリーム（符号化ストリーム）が含まれている場合におけるストリーム構成部２４１のピクチャ（スライス）選択の一例を示している。ここで、「High」は高階層側の階層組のピクチャを示し、「Low」は低階層側の階層組のピクチャを示す。また、「Ｐ」は「PES_priority」を示している。

デコード能力が、１２０ｆｐｓに対応している場合、ストリーム構成部２４１は、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。一方、デコード能力が、１２０ｆｐｓに対応していないが６０ｆｐｓに対応している場合、ストリーム構成部２４１は、「PES_priority」に基づくフィルタリングを行って、Ｐ＝１である低階層側の階層組のピクチャだけを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。

図１８は、トランスポートストリームＴＳにベースストリームと拡張ストリームの２つのビデオストリーム（符号化ストリーム）が含まれている場合におけるストリーム構成部２４１のピクチャ（スライス）選択の一例を示している。ここで、「High」は高階層側の階層組のピクチャを示し、「Low」は低階層側の階層組のピクチャを示す。また、ベースストリームのパケット識別子（ＰＩＤ）はＰＩＤ Ａであり、拡張ストリームのパケット識別子（ＰＩＤ）はＰＩＤ Ｂであるとする。

デコード能力が、１２０ｆｐｓに対応している場合、ストリーム構成部２４１は、全階層のピクチャの符号化画像データを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。この場合、ストリーム構成部２４１は、各ピクチャの符号化画像データをデコードタイミング情報に基づいて１つのストリームにして圧縮データバッファ（ｃｐｂ）２０４に送る。

その場合、デコードタイミングとしてＤＴＳの値をみて、それがピクチャ間で単調増加するようにストリームを一つにまとめる。このピクチャのまとめ処理自体は、圧縮データバッファ（ｃｐｂ）２０４がストリーム分だけ複数存在して、その複数の圧縮データバッファ（ｃｐｂ）２０４から読み出された複数ストリームに対して行って一つのストリームとしてデコード処理をするようにしもよい。

一方、デコード能力が、１２０ｆｐｓに対応していないが６０ｆｐｓに対応している場合、ストリーム構成部２４１は、パケット識別子（ＰＩＤ）に基づくフィルタリングを行って、ＰＩＤ Ａである低階層側の階層組のピクチャだけを取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。

なお、ストリーム構成部２４１は、選択的に圧縮データバッファ（ｃｐｂ）２０４に送る各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ。これにより、デコーダ２０５のデコード能力の低い場合であっても、無理のないデコード処理が可能となる。

図１９は、図３に示す階層符号化例で、低階層側の階層組と高階層側の階層組とに２分されている場合であって、ストリーム構成部２４１で低階層組に属するピクチャの符号化画像データが選択的に取り出されて、圧縮データバッファ（ｃｐｂ）２０４に送られる場合を示している。

図１９（ａ）は、デコード間隔調整前のデコードタイミングを示している。この場合、ピクチャ間のデコード間隔にばらつきがあり、最短のデコード間隔は１２０ｆｐｓフル解像度のデコード間隔と等しくなる。これに対して、図１９（ｂ）は、デコード間隔調整後のデコードタイミングを示している。この場合、ピクチャ間のデコード間隔は等しくされ、デコード間隔は、フル解像度のデコード間隔の１/２となる。このように、各階層において対象デコーダの能力に応じてデコード間隔が調整される。

図２０は、デマルチプレクサ２０３の処理フローの一例を示している。この処理フローは、トランスポートストリームＴＳに単一のビデオストリーム（符号化ストリーム）が含まれている場合を示している。

デマルチプレクサ２０３は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２おいて、ＣＰＵ２０１から、デコード能力（Decoder temporal layer capability）が設定される。次に、デマルチプレクサ２０３は、ステップＳＴ３３おいて、全階層（レイヤ）をデコードする能力があるか否かを判断する。

全階層をデコードする能力があるとき、デマルチプレクサ２０３は、ステップＳＴ３４において、該当ＰＩＤフィルタを通過する全ＴＳパケットをデマルチプレクスし、セクションパーシング（Section parsing）を行う。その後、デマルチプレクサ２０３は、ステップＳＴ３５の処理に移る。

ステップＳＴ３３で全階層をデコードする能力がないとき、デマルチプレクサ２０３は、ステップＳＴ３６において、「PES_priority」が“１”のＴＳパケットをデマルチプレクスし、セクションパーシング（Section parsing）を行う。その後、デマルチプレクサ２０３は、ステップＳＴ３５の処理に移る。

ステップＳＴ３５において、デマルチプレクサ２０３は、対象となるＰＩＤのセクションの中で、ＨＥＶＣデスクリプタ（HEVC_descriptor）、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）を読み、拡張ストリームの有無、スケーラブルタイプ、ストリームの数とＩＤ、temporal_idの最大、最小値、そして、各レイヤのデコーダ対応Levelを得る。

次に、デマルチプレクサ２０３は、ステップＳＴ３７で、ＰＩＤの対象となる符号化ストリームを圧縮データバッファ（ｃｐｂ）２０４へ転送すると共に、ＤＴＳ、ＰＴＳを、ＣＰＵ２０１に通知する。デマルチプレクサ２０３は、ステップＳＴ３７の処理の後、ステップＳＴ３８において、処理を終了する。

図２１は、デマルチプレクサ２０３の処理フローの一例を示している。この処理フローは、トランスポートストリームＴＳにベースストリームと拡張ストリームの２つのビデオストリーム（符号化ストリーム）が含まれている場合を示している。

デマルチプレクサ２０３は、ステップＳＴ４１において、処理を開始し、その後に、ステップＳＴ４２の処理に移る。このステップＳＴ４２おいて、ＣＰＵ２０１から、デコード能力（Decoder temporal layer capability）が設定される。次に、デマルチプレクサ２０３は、ステップＳＴ４３おいて、全階層（レイヤ）をデコードする能力があるか否かを判断する。

全階層をデコードする能力があるとき、デマルチプレクサ２０３は、ステップＳＴ４４において、ＰＩＤフィルタにより全階層を構成する複数のストリームをデマルチプレクスし、セクションパーシング（Section parsing）を行う。その後、デマルチプレクサ２０３は、ステップＳＴ４５の処理に移る。

ステップＳＴ４３で全階層をデコードする能力がないとき、デマルチプレクサ２０３は、ステップＳＴ４６において、ＰＩＤ＝ＰＩＤ Ａのストリームをデマルチプレクスし、セクションパーシング（Section parsing）を行う。その後、デマルチプレクサ２０３は、ステップＳＴ４５の処理に移る。

ステップＳＴ４５において、デマルチプレクサ２０３は、対象となるＰＩＤのセクションの中で、ＨＥＶＣデスクリプタ（HEVC_descriptor）、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）を読み、拡張ストリームの有無、スケーラブルタイプ、ストリームの数とＩＤ、temporal_idの最大、最小値、そして、各レイヤのデコーダ対応Levelを得る。

次に、デマルチプレクサ２０３は、ステップＳＴ４７で、ＰＩＤの対象となる符号化ストリームをＤＴＳ（無い場合はＰＴＳ）情報に基づき、１つのストリームに結合し、圧縮データバッファ（ｃｐｂ）２０４へ転送すると共に、ＤＴＳ、ＰＴＳを、ＣＰＵ２０１に通知する。デマルチプレクサ２０３は、ステップＳＴ４７の処理の後、ステップＳＴ４８において、処理を終了する。

図１５に戻って、圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）を、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。そして、デコーダ２０５は、取り出された各ピクチャの符号化画像データを、それぞれ、そのピクチャのデコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

ここで、デコーダ２０５には、ＣＰＵ２０１からデコードすべき階層がtemporal_idで指定される。この指定階層は、デマルチプレクサ２０３で取り出されるビデオストリーム（符号化ストリーム）に含まれる全階層、あるいは低階層側の一部の階層とされ、ＣＰＵ２０１により自動的に、あるいはユーザ操作に応じて設定される。また、デコーダ２０５には、ＣＰＵ２０１から、ＤＴＳ（Decoding Time stamp）に基づいて、デコードタイミングが与えられる。なお、デコーダ２０５は、各ピクチャの符号化画像データをデコードする際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データを読み出して利用する。

図２２は、デコーダ２０５の構成例を示している。このデコーダ２０５は、テンポラルＩＤ解析部２５１と、対象階層選択部２５２と、デコード部２５３を有している。テンポラルＩＤ解析部２５１は、圧縮データバッファ２０４に蓄積されているビデオストリーム（符号化ストリーム）を読み出し、各ピクチャの符号化画像データのＮＡＬユニットヘッダに挿入されているtemporal_idを解析する。

対象階層選択部２５２は、圧縮データバッファ２０４から読み出されたビデオストリームから、テンポラルＩＤ解析部２５１の解析結果に基づいて、デコードすべき階層として指定された階層のピクチャの符号化画像データを取り出す。デコード部２５３は、対象階層選択部２５２で取り出された各ピクチャの符号化画像データを、順次デコードタイミングでデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。

この場合、デコード部２５３は、ＶＰＳ、ＳＰＳの解析を行って、例えば、サブレイヤごとのビットレートのレベル指定値「sublayer_level_idc」を把握し、デコード能力内でデコードし得るものかどうかを確認する。また、この場合、デコード部２５３は、ＳＥＩの解析を行って、例えば、「initial_cpb_removal_time」、「cpb_removal_delay」を把握し、ＣＰＵ２０１からのデコードタイミングが適切か確認する。

デコード部２５３は、スライス（Slice）のデコードを行う際に、スライスヘッダ（Slice header）から、時間方向の予測先を表す情報として、「ref_idx_l0_active(ref_idx_l1_active)を取得し、時間方向の予測を行う。なお、デコード後のピクチャは、スライスヘッダ（slice header）から得られる「short_term_ref_pic_set_idx」、あるいは「it_idx_sps」が指標とされて、他のピクチャによる被参照として処理される。

図１５に戻って、非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。この場合、ＣＰＵ２０１から、ＰＴＳ（Presentation Time stamp）に基づいて、表示タイミングが与えられる。

例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が１/２倍となるようにサブサンプル処理を施し、６０ｆｐｓの画像データとしてディスプレイに送る。

また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとしてディスプレイに送る。また、例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が６０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データをそのままディスプレイに送る。

図２３は、ポスト処理部２０７の構成例を示している。この例は、上述したようにデコード後の各ピクチャの画像データのフレームレートが１２０ｆｐｓあるいは６０ｆｐｓであって、表示能力が１２０ｆｐｓあるいは６０ｆｐｓである場合に対処可能とした例である。

ポスト処理部２０７は、補間部２７１と、サブサンプル部２７２と、スイッチ部２７３を有している。非圧縮データバッファ２０６からのデコード後の各ピクチャの画像データは、直接スイッチ部２７３に入力され、あるいは補間部２７１で２倍のフレームレートとされた後にスイッチ部２７３に入力され、あるいはサブサンプル部２７２で１/２倍のフレームレートとされた後にスイッチ部２７３に入力される。

スイッチ部２７３には、ＣＰＵ２０１から、選択情報が供給される。この選択情報は、ＣＰＵ２０１が、表示能力を参照して自動的に、あるいは、ユーザ操作に応じて発生する。スイッチ部２７３は、選択情報に基づいて、入力のいずれかを選択的に出力とする。これにより、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データのフレームレートは、表示能力に合ったものとされる。

図２４は、デコーダ２０５、ポスト処理部２０７の処理フローの一例を示している。デコーダ２０５、ポスト処理部２０７は、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２の処理に移る。このステップＳＴ５２において、デコーダ２０５は、圧縮データバッファ（ｃｐｂ）２０４に蓄積されているデコード対象のビデオストリームを読み出し、temporal_idに基づいて、ＣＰＵ２０１からデコード対象として指定される階層のピクチャを選択する。

次に、デコーダ２０５は、ステップＳＴ５３において、選択された各ピクチャの符号化画像データをデコードタイミングで順次デコードし、デコード後の各ピクチャの画像データを非圧縮データバッファ（ｄｐｂ）２０６に転送して、一時的に蓄積する。次に、ポスト処理部２０７は、ステップＳＴ５４において、非圧縮データバッファ（ｄｐｂ）２０６から、表示タイミングで各ピクチャの画像データを読み出す。

次に、ポスト処理部２０７は、読み出された各ピクチャの画像データのフレームレートが表示能力にあっているか否かを判断する。フレームレートが表示能力に合っていないとき、ポスト処理部２０７は、ステップＳＴ５６において、フレームレートを表示能力に合わせて、ディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。一方、フレームレートが表示能力に合っているとき、ポスト処理部２０７は、ステップＳＴ５８において、フレームレートそのままでディスプレイに送り、その後、ステップＳＴ５７において、処理を終了する。

図１５に示す受信装置２００の動作を簡単に説明する。受信部２０２では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、デコード能力（Decoder temporal layer capability）に応じた階層組のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。

デコーダ２０５では、圧縮データバッファ２０４に蓄積されているビデオストリームから、デコードすべき階層として指定された階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。この場合、各ピクチャの符号化画像データがデコードされる際に、必要に応じて、非圧縮データバッファ２０６から被参照ピクチャの画像データが読み出されて利用される。

非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、ディスプレイに供給され、その各ピクチャの画像データによる動画像の表示が行われる。

以上説明したように、図１に示す送受信システム１０においては、送信側において、ビデオストリームのレイヤ（ＰＥＳパケットのヘッダ）に、このビデオストリームに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されるものである。そのため、例えば、受信側においては、この識別情報を利用することで、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることが容易に可能となる。

また、図１に示す送受信システム１０においては、送信側において、トランスポートストリームＴＳのレイヤに、スケーラビリティ・エクステンション・デスクリプタ（scalability_extension_descriptor）等が挿入されるものである。そのため、例えば、受信側では、階層符号化における階層情報、トランスポートストリームＴＳに含まれるビデオストリームの構成情報などを容易に把握でき、適切なデコード処理を行うことが可能となる。

また、図１に示す送受信システム１０においては、受信側において、受信されたビデオストリームからデコード能力（Decoder temporal layer capability）に応じた所定階層以下の階層のピクチャの符号化画像データが選択的に圧縮データバッファ２０４に取り込まれてデコードされるものである。そのため、例えば、デコード能力に応じた適切なデコード処理が可能となる。

また、図１に示す送受信システム１０においては、受信側において、選択的に圧縮データバッファ２０４に取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つものである。そのため、例えば、デコーダ２０５のデコード能力が低い場合であっても無理のないデコード処理が可能となる。

また、図１に示す送受信システム１０においては、受信側において、復号化後の各ピクチャの画像データのフレームレートをポスト処理部２０７で表示能力に合わせるものである。そのため、例えば、デコード能力が低い場合であっても、高表示能力にあったフレームレートの画像データを得ることが可能となる。

＜２．変形例＞
なお、上述実施の形態においては、ビデオストリームに含まれる各ピクチャの符号化画像データが所定数の階層組のうちどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を、ＰＥＳパケットのヘッダ（ＰＥＳヘッダ）に挿入する例を示した。しかし、この識別情報の挿入位置は、これに限定されるものではない。

例えば、マルチプレクサ１０４（図２参照）は、この識別情報を、アダプテーションフィールドを持つＴＳパケットの、当該アダプテーションフィールドに挿入してよい。マルチプレクサ１０４は、例えば、複数の階層を低階層組と高階層組に二分する場合、アダプテーションフィールドに存在する、周知のエレメンタリ・ストリーム・プライオリティ・インジケータ（elementary_stream_priority_indicator）の１ビットフィールドを利用する。

この１ビットフィールドは、後続するＴＳパケットのペイロードに、低階層側の階層組のピクチャの符号化画像データをペイロードに持つＰＥＳパケットを含む場合は“１”、つまり優先度が高く設定される。一方、この１ビットフィールドは、後続するＴＳパケットのペイロードに、低階層側の階層組のピクチャの符号化画像データをペイロードに持つＰＥＳパケットを含む場合“０”、つまり優先度が低く設定される。

図２５は、アダプテーションフィールドの配置例を示している。この例は、複数の階層を低階層組と高階層組に二分されている場合であって、エレメンタリ・ストリーム・プライオリティ・インジケータ（elementary_stream_priority_indicator）の１ビットフィールドを利用した場合の例である。

図示の例において、１ピクチャの符号化画像データをペイロードに持つＰＥＳパケットを分割して持つ所定数のＴＳパケット群毎に、その直前に、アダプテーションフィールドを持つＴＳパケットが配置される。この場合、その１ピクチャが低階層側の階層組のピクチャであるとき、エレメンタリ・ストリーム・プライオリティ・インジケータの１ビットフィールドは“１”に設定される。一方、その１ピクチャが高階層側の階層組のピクチャであるとき、エレメンタリ・ストリーム・プライオリティ・インジケータの１ビットフィールドは“０”に設定される。

図２５に示すように、アダプテーションフィールドを持つＴＳパケットを配置することで、受信側では、ビデオストリームに含まれるピクチャの符号化画像データ毎に、いずれの階層組に属するピクチャの符号化データであるかを容易に識別可能となる。なお、図２５の配置例では、１ピクチャ毎にアダプテーションフィールドを持つＴＳパケットを配置するように示しているが、ピクチャが属する階層組が切り替わるごとに、その直前にアダプテーションフィールドを持つＴＳパケットを配置するようにされてもよい。

図２６は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合における、送信装置１００のマルチプレクサ１０４Ａの構成例を示している。この図２６において、図１２と対応する部分には同一符号を付し、その詳細説明は省略する。このマルチプレクサ１０４Ａは、図１２のマルチプレクサ１０４におけるＰＥＳプライオリティ発生部１４１の代わりに、アダプテーションフィールド・プライオリティ指示部１４６を有するものとされる。

プライオリティ指示部１４６には、ＣＰＵ１０１から、階層数（Number of layers）とストリーム数（Number of streams）の情報が供給される。プライオリティ指示部１４６は、階層数で示される複数の階層を２以上の所定数の階層組に分割した場合における、各階層組の優先度情報を発生する。例えば、２分割される場合には、エレメンタリ・ストリーム・プライオリティ・インジケータの１ビットフィールドに挿入すべき値（低階層組は“１”、高階層組は“０”）を発生する。

プライオリティ指示部１４６で発生される各階層組の優先度情報は、トランスポートパケット化部１４５に供給される。トランスポートパケット化部１４５は、１ピクチャの符号化画像データをペイロードに持つＰＥＳパケットを分割して持つ所定数のＴＳパケット群毎に、その直前に、アダプテーションフィールドを持つＴＳパケットを配置する。そして、その場合、トランスポートパケット化部１４５は、アダプテーションフィールドに、ピクチャが属する階層組に対応した優先度情報を識別情報として挿入する。

図２７は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合におけるトランスポートストリームＴＳの構成例を示している。この構成例は、上述の図１４に示す構成例とほぼ同様の構成とされている。この構成例では、アダプテーションフィールドを持つＴＳパケットが存在し、このアダプテーションフィールドに、各ピクチャが属する階層組を識別するための識別情報が挿入される。例えば、複数の階層が低階層組と高階層組に二分される場合には、エレメンタリ・ストリーム・プライオリティ・インジケータ（elementary_stream_priority_indicator）の１ビットフィールドが利用される。

図２８は、階層組の識別情報を上述したようにアダプテーションフィールドに挿入する場合における、受信装置２００のデマルチプレクサ２０３Ａの構成例を示している。この図２８において、図１６と対応する部分には同一符号を付し、その詳細説明は省略する。このデマルチプレクサ２０３Ａは、図１６のデマルチプレクサ２０３における識別情報抽出部２３９の代わりに、識別情報抽出部２４２を有するものとされる。

この識別情報抽出部２４２は、アダプテーションフィールドから識別情報を抽出し、ストリーム構成部２４１に送る。例えば、複数の階層が低階層組と高階層組に２分されている場合、アダプテーションフィールドの「elementary_stream_priority_indicator」の１ビットフィールドの優先度情報を抽出し、ストリーム構成部２４１に送る。

ストリーム構成部２４１は、ＰＥＳペイロード抽出部２４０で取り出される各階層のピクチャの符号化画像データから、デコード能力（Decoder temporal layer capability）に応じた階層組のピクチャの符号化画像データを選択的に取り出し、圧縮データバッファ（ｃｐｂ）２０４に送る。この場合、ストリーム構成部２４１は、ＰＳＩテーブル/デスクリプタ抽出部２３５で得られる階層情報、ストリーム構成情報、識別情報抽出部２４２で抽出される識別情報（優先度情報）などを参照する。

また、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。

また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。

例えば、図２９は、ＭＰ４ストリームの構成例を示している。このＭＰ４ストリームには、「moov
」、「moof」、「mdat」などのボックスが存在する。「mdat」のボックスに、トラックとして、ビデオの符号化ストリームであるビデオエレメンタリストリーム「track1:video ES1」が存在すると共に、オーディオの符号化ストリームであるオーディオエレメンタリストリーム「track1:audio ES1」が存在する

また、「moof」のボックスには、ヘッダ部分として「mfhd(movie fragment header」が存在し、そのデータ部分として、各トラックに対応した、「track fragment」が存在する。ビデオエレメンタリストリーム「track1:video ES1」に対応した「track1 fragment(video)」には、「Independent and disposal samples」が存在し、その中に、各ピクチャにそれぞれ対応した「SampleDependencyTypeBox」というボックスが挿入されている。

このボックスの中に、各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入できる。例えば、複数の階層を最上位層とそれ以外の下位層の２つの階層組に分割する場合、「sample_depends_on」の２ビットフィールドと、「sample_is_depended_on」の２ビットフィールドを利用して、当該識別情報の挿入が可能である。

図３０は、「SampleDependencyTypeBox」の構造例（Syntax）を示している。また、図３１は、その構造例における主要な情報の内容（Semantics）を示している。この場合、「sample_depends_on」を“１”として他のピクチャを参照するものでＩピクチャでないことを示すと共に、「sample_is_depended_on」を“２”として他のピクチャに参照されないことを示すことで、最上位層の組に属するピクチャであるとの識別が可能となる。また、これ以外の状態では、そのピクチャは階層層の階層組に属するピクチャであるとの識別が可能となる。

なお、「SampleDependencyTypeBox」のボックスを使用する代わりに、新たに定義する、「SampleScalablePriorityBox」というボックスを使用することも考えられる。図３２は、「SampleScalablePriorityBox」の構造例（Syntax）を示している。また、図３３は、その構造例における主要な情報の内容（Semantics）を示している。

この場合、複数の階層を最低階層組と高階層組の２つの階層組に分割する場合、「base_and_priority」の２ビットフィールドを利用して、当該識別情報が挿入される。すなわち、「base_and_priority」を例えば“１”とすることで優先度が低く、高階層組に属するピクチャであるとの識別が可能となる。一方、「base_and_priority」を例えば“２”とすることで優先度が高く、低階層組に属するピクチャであるとの識別が可能となる。

また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化部と、
上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信部と、
上記複数の階層を２以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入部を備える
送信装置。
（２）上記識別情報は、低階層側の階層組ほど高く設定される優先度情報である
前記（１）に記載の送信装置。
（３）上記識別情報は、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのヘッダに挿入される
前記（１）に記載の送信装置。
（４）上記識別情報は、上記ヘッダのＰＥＳプライオリティのフィールドを利用して挿入される
前記（３）に記載の送信装置。
（５）上記識別情報は、アダプテーションフィールドを持つＴＳパケットの、該アダプテーションフィールドに挿入される
前記（１）に記載の送信装置。
（６）上記識別情報は、上記アダプテーションフィールドのＥＳプライオリティインジケータのフィールドを利用して挿入される
前記（５）に記載の送信装置。
（７）上記識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入される
前記（１）に記載の送信装置。
（８）上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記各階層組のピクチャの符号化画像データをそれぞれ持つ所定数のビデオデータを生成し、
上記コンテナのレイヤに、該コンテナに含まれるビデオストリームの構成情報を挿入する構成情報挿入部をさらに備える
前記（１）から（７）のいずれかに記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオデータを生成する画像符号化ステップと、
送信部により、上記生成されたビデオデータを含む所定フォーマットのコンテナを送信する送信ステップと、
上記複数の階層を２以上の所定数の階層組に分割し、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入する識別情報挿入ステップを有する
送信方法。
（１０）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化部を備える
受信装置。
（１１）上記複数の階層は２以上の所定数の階層組に分割され、上記ビデオデータをコンテナするパケットに、該ビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報が挿入されており、
上記画像復号化部は、上記識別情報に基づいて、上記デコード能力に応じた所定階層組のピクチャの符号化画像データを上記バッファに取り込んでデコードする
前記（１０）に記載の受信装置。
（１２）上記識別情報は、ペイロードにピクチャ毎の符号化画像データを含むＰＥＳパケットのヘッダに挿入されている
前記（１１）に記載の受信装置。
（１３）上記識別情報は、アダプテーションフィールドを持つＴＳパケットの、該アダプテーションフィールドに挿入されている
前記（１１）に記載の受信装置。
（１４）上記識別情報は、該当するピクチャのトラックに関連するヘッダのボックスに挿入されている
前記（１１）に記載の送信装置。
（１５）上記複数の階層は２以上の所定数の階層組に分割され、上記受信されたコンテナには、上記所定数の階層組のピクチャの符号化画像データをそれぞれ持つ上記所定数のビデオストリームが含まれており、
上記画像符号化部は、ストリーム識別情報に基づいて、上記デコード能力に応じた所定階層組のピクチャの符号化画像データを上記バッファに取り込んでデコードする
前記（１０）に記載の受信装置。
（１６）上記画像復号化部は、
上記所定階層組のピクチャの符号化画像データが複数のビデオストリームに含まれている場合、各ピクチャの符号化画像データをデコードタイミング情報に基づいて１つのストリームにして上記バッファに取り込む
前記（１５）に記載の受信装置。
（１７）上記画像復号化部は、
上記選択的にバッファに取り込まれる各ピクチャの符号化画像データのデコードタイムスタンプを書き換えて低階層ピクチャのデコード間隔を調整する機能を持つ
前記（１０）から（１６）のいずれかに記載の受信装置。
（１８）上記画像復号化部で得られる各ピクチャの画像データのフレームレートを表示能力に合わせるポスト処理部をさらに備える
前記（１０）から（１７）のいずれかに記載の受信装置。
（１９）受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオデータを含む所定フォーマットのコンテナを受信する受信ステップと、
上記受信されたコンテナに含まれる上記ビデオデータからデコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にバッファに取り込み、該バッファに取り込まれた各ピクチャの符号化画像データをデコードして、上記所定階層以下の階層のピクチャの画像データを得る画像復号化ステップを有する
受信方法。

本技術の主な特徴は、ビデオデータをコンテナするパケットに、このビデオデータに含まれる各ピクチャの符号化画像データがそれぞれどの階層組に属するピクチャの符号化画像データであるかを識別する識別情報を挿入することで、受信側においては、この識別情報を利用して、デコード能力に応じた所定階層以下の階層のピクチャの符号化画像データを選択的にデコードすることを容易に可能としたことである（図１２参照）。

１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４，１０４Ａ・・・マルチプレクサ
１０５・・・送信部
１４１・・・ＰＥＳプライオリティ発生部
１４２・・・セクションコーディング部
１４３-1〜１４３-N・・・ＰＥＳパケット化部
１４４・・・スイッチ部
１４５・・・トランスポートパケット化部
１４６・・・アダプテーションフィールド・プライオリティ指示部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２３１・・・ＴＳアダプテーションフィールド抽出部
２３２・・・クロック情報抽出部
２３３・・・ＴＳペイロード抽出部
２３４・・・セクション抽出部
２３５・・・ＰＳＩテーブル／デスクリプタ抽出部
２３６・・・ＰＥＳパケット抽出部
２３７・・・ＰＥＳヘッダ抽出部
２３８・・・タイムスタンプ抽出部
２３９・・・識別情報抽出部
２４０・・・ＰＥＳペイロード抽出部
２４１・・・ストリーム構成部
２４２・・・識別情報抽出部
２５１・・・テンポラルＩＤ解析部
２５２・・・対象階層選択部
２５３・・・デコード部
２７１・・・補間部
２７２・・・サブサンプル部
２７３・・・スイッチ部

Claims (5)

1. 動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のビデオストリームと高階層側のピクチャの符号化画像データを持つ第２のビデオストリームを生成する画像符号化部を備え、
   上記符号化画像データはＮＡＬユニット構造を有し、上記第１のビデオストリームのＳＰＳのＮＡＬユニットに、上記第１のビデオストリームのレベル指定値が挿入され、
   上記画像符号化部で生成された上記第１のビデオストリームおよび上記第２のビデオストリームを含むと共に、上記第１のビデオストリームおよび上記第２のビデオストリームにそれぞれ対応して、各ビデオストリームに含まれる各ピクチャの符号化画像データがどの階層組に属するかを示すストリーム識別情報と、上記第１のビデオストリームに対応して該第１のビデオストリームのレベル指定値が挿入された第１のデスクリプタと、上記第２のビデオストリームに対応して上記第１のビデオストリームおよび上記第２のビデオストリームを合わせたビデオストリームのレベル指定値が挿入された第２のデスクリプタを含む多重化ストリームを送信する送信部をさらに備える
   送信装置。
2. 画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のビデオストリームと高階層側のピクチャの符号化画像データを持つ第２のビデオストリームを生成する画像符号化ステップを有し、
   上記符号化画像データはＮＡＬユニット構造を有し、上記第１のビデオストリームのＳＰＳのＮＡＬユニットに、上記第１のビデオストリームのレベル指定値が挿入され、
   送信部が、上記画像符号化ステップで生成された上記第１のビデオストリームおよび上記第２のビデオストリームを含むと共に、上記第１のビデオストリームおよび上記第２のビデオストリームにそれぞれ対応して、各ビデオストリームに含まれる各ピクチャの符号化画像データがどの階層組に属するかを示すストリーム識別情報と、上記第１のビデオストリームに対応して該第１のビデオストリームのレベル指定値が挿入された第１のデスクリプタと、上記第２のビデオストリームに対応して上記第１のビデオストリームおよび上記第２のビデオストリームを合わせたビデオストリームのレベル指定値が挿入された第２のデスクリプタを含む多重化ストリームを送信する送信ステップをさらに有する
   送信方法。
3. 動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のビデオストリームと高階層側のピクチャの符号化画像データを持つ第２のビデオストリームを含むと共に、上記第１のビデオストリームおよび上記第２のビデオストリームにそれぞれ対応して、各ビデオストリームに含まれる各ピクチャの符号化画像データがどの階層組に属するかを示すストリーム識別情報と、上記第１のビデオストリームに対応して該第１のビデオストリームのレベル指定値が挿入された第１のデスクリプタと、上記第２のビデオストリームに対応して上記第１のビデオストリームおよび上記第２のビデオストリームを合わせたビデオストリームのレベル指定値が挿入された第２のデスクリプタを含む多重化ストリームを受信する受信部を備え、
   上記符号化画像データはＮＡＬユニット構造を有し、上記第１のビデオストリームのＳＰＳのＮＡＬユニットに、上記第１のビデオストリームのレベル指定値が挿入されており、
   上記ストリーム識別情報と、上記第１のデスクリプタおよび第２のデスクリプタに挿入されているビデオストリームのレベル指定値に基づいて、上記多重化ストリームから、上記第１のビデオストリームのみ、あるいは上記第１のビデオストリームおよび上記第２のビデオストリームの双方を抽出してデコード処理をする処理部をさらに備える
   受信装置。
4. 上記処理部は、さらに、上記デコードを行って得られた各ピクチャの画像データのフレームレートを表示能力に合わせる処理をする
   請求項３に記載の受信装置。
5. 受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のビデオストリームと高階層側のピクチャの符号化画像データを持つ第２のビデオストリームを含むと共に、上記第１のビデオストリームおよび上記第２のビデオストリームにそれぞれ対応して、各ビデオストリームに含まれる各ピクチャの符号化画像データがどの階層組に属するかを示すストリーム識別情報と、上記第１のビデオストリームに対応して該第１のビデオストリームのレベル指定値が挿入された第１のデスクリプタと、上記第２のビデオストリームに対応して上記第１のビデオストリームおよび上記第２のビデオストリームを合わせたビデオストリームのレベル指定値が挿入された第２のデスクリプタを含む多重化ストリームを受信する受信ステップを有し、
   上記符号化画像データはＮＡＬユニット構造を有し、上記第１のビデオストリームのＳＰＳのＮＡＬユニットに、上記第１のビデオストリームのレベル指定値が挿入されており、
   処理部が、上記ストリーム識別情報と、上記第１のデスクリプタおよび第２のデスクリプタに挿入されているビデオストリームのレベル指定値に基づいて、上記多重化ストリームから、上記第１のビデオストリームのみ、あるいは上記第１のビデオストリームおよび上記第２のビデオストリームの双方を抽出してデコード処理をする処理ステップをさらに有する
   受信方法。

Images