JPWO2014002914A1 - 送信／受信装置、方法、符号化／復号化装置 - Google Patents
送信／受信装置、方法、符号化／復号化装置 Download PDFInfo
- Publication number
- JPWO2014002914A1 JPWO2014002914A1 JP2014522604A JP2014522604A JPWO2014002914A1 JP WO2014002914 A1 JPWO2014002914 A1 JP WO2014002914A1 JP 2014522604 A JP2014522604 A JP 2014522604A JP 2014522604 A JP2014522604 A JP 2014522604A JP WO2014002914 A1 JPWO2014002914 A1 JP WO2014002914A1
- Authority
- JP
- Japan
- Prior art keywords
- layer
- image data
- picture
- hierarchy
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims description 68
- 238000000034 method Methods 0.000 title description 45
- 239000000284 extract Substances 0.000 claims abstract description 31
- 238000003780 insertion Methods 0.000 claims description 11
- 230000037431 insertion Effects 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000001737 promoting effect Effects 0.000 abstract description 3
- 208000031509 superficial epidermolytic ichthyosis Diseases 0.000 description 43
- 238000001824 photoionisation detection Methods 0.000 description 42
- 230000015572 biosynthetic process Effects 0.000 description 28
- 238000003786 synthesis reaction Methods 0.000 description 28
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 102100036848 C-C motif chemokine 20 Human genes 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- FMYKJLXRRQTBOR-UBFHEZILSA-N (2s)-2-acetamido-4-methyl-n-[4-methyl-1-oxo-1-[[(2s)-1-oxohexan-2-yl]amino]pentan-2-yl]pentanamide Chemical group CCCC[C@@H](C=O)NC(=O)C(CC(C)C)NC(=O)[C@H](CC(C)C)NC(C)=O FMYKJLXRRQTBOR-UBFHEZILSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
高フレーム周波数のサービスを容易に実現する。動画像データを構成する各ピクチャの画像データを複数の階層に分類する。各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する。この符号化された各階層の画像データを持つビデオストリームを含む所定フォーマットのコンテナを送信する。１個の番組または１個のファイルを送信するだけで、多様なフレーム周波数に対応したサービスを提供でき、運営コストの削減が可能となる。受信側では、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となり、受信機の普及促進に効果的となる。
Description
本技術は、送信装置、送信方法、符号化装置、受信装置、受信方法および復号化装置に関し、特に、高フレーム周波数のサービスを可能とする送信装置等に関する。
圧縮動画を、放送、ネット等でサービスする際、受信機の能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のサービスを同時提供したりする必要がある。
受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。
Ｈ．２６４／ＡＶＣ（Advanced Video Coding）（非特許文献１参照）などの動画圧縮方式は、一般的に以下の３種類のピクチャからなる。
Ｉピクチャ：自己のみで復号可能
Ｐピクチャ：自己と、Ｉピクチャと他のPピクチャの参照で復号可能
Ｂピクチャ：自己と、Ｉピクチャ、Ｐピクチャおよび他のＢピクチャの参照で復号可能
Ｉピクチャ：自己のみで復号可能
Ｐピクチャ：自己と、Ｉピクチャと他のPピクチャの参照で復号可能
Ｂピクチャ：自己と、Ｉピクチャ、Ｐピクチャおよび他のＢピクチャの参照で復号可能
この性質を利用して、例えばＩピクチャ、Ｐピクチャのみ再生する等、ある程度のフレーム間引き再生は可能である。しかし、この方法では、きめ細かな間引き再生が困難であり、実用的なサービスとして利用するのは難しい。
ITU-T H.264(06/2011) Advanced video coding for generic audiovisual services
本技術の目的は、高フレーム周波数のサービスの容易な実現を図ることにある。
本技術の概念は、
動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および自己階層よりも下位の階層に所属するように符号化する
送信装置にある。
動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および自己階層よりも下位の階層に所属するように符号化する
送信装置にある。
本技術において、階層分類部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類される。画像符号化部により、各階層の画像データが符号化され、この符号化された各階層の画像データを持つビデオストリームが生成される。この場合、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化される。
送信部により、上述のビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
このように本技術においては、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化された各階層の画像データを持つビデオストリームが送信されるものである。そのため、１個の番組または１個のファイルを送信するだけで、多様なフレーム周波数に対応したサービスを提供でき、運営コストの削減が可能となる。
また、受信側では、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となり、受信機の普及促進に効果的となる。ここで、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、受信機では、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。
なお、本技術において、例えば、画像符号化部は、符号化された各階層の画像データを持つ単一のビデオストリームを生成し、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する、ようにされてもよい。この場合、受信側では、階層識別情報に基づいて、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。
また、本技術において、例えば、階層分類部は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類する、ようにされてもよい。この場合、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。
また、本技術において、コンテナに最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える、ようにされてもよい。例えば、各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する、ようにされてもよい。この場合、受信側では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を、容易に取得可能となる。
また、本技術において、例えば、情報挿入部は、各情報をビデオのレイヤに挿入するとき、コンテナのレイヤに、ビデオのレイヤに各情報の挿入が有るか否かを識別する識別情報をさらに挿入する、ようにされてもよい。この場合、受信側では、ビデオストリームを復号化することなく、このビデオストリームに、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されているか否かを知ることが可能となる。
また、本技術において、例えば、符号化された各階層のそれぞれの画像データを持つ複数のビデオストリームを生成する、ようにされてもよい。この場合、例えば、コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える、ようにされてもよい。この場合、受信側では、ストリーム識別情報に基づいて、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
受信装置にある。
動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
受信装置にある。
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームが含まれている。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるＭＰ４、あるいはそれ以外のフォーマットのコンテナであってもよい。
画像復号化部により、コンテナに含まれるビデオストリームから選択的に所定階層以下の階層の符号化画像データが取り出されて復号化され、各ピクチャの画像データが得られる。そして、再生速度調整部により、復号化された各ピクチャの画像データによる画像再生速度が所定階層のピクチャのフレーム周波数に調整される。
例えば、コンテナには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されており、コンテナに挿入されている各情報と自己の復号能力に基づいて、画像復号化部における復号化階層を制御し、再生速度調整部における画像再生速度を制御する制御部をさらに備える、ようにされてもよい。
このように本技術においては、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となる。また、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。
なお、本技術において、例えば、コンテナには、符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、画像復号化部は、階層識別情報に基づいて、単一のビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化する、ようにされてもよい。この場合、コンテナに符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれる場合であっても、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。
また、本技術において、例えば、コンテナには、符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、画像符号化部は、ストリーム識別情報に基づいて、選択的に、所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する、ようにされてもよい。この場合、コンテナに符号化された各階層のそれぞれの画像データを持つ複数のビデオストリームが含まれる場合であっても、所定階層以下の階層の符号化画像データの選択的な取り出しを良好に行うことができる。
本技術によれば、高フレーム周波数のサービスを容易に実現可能となる。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
１．実施の形態
２．変形例
＜１．実施の形態＞
［ＴＶ送受信システム］
図１は、実施の形態としてのＴＶ（Television）送受信システム１０の構成例を示している。このＴＶ送受信システム１０は、ＴＶ送信機１００と、ＴＶ受信機２００を有する構成とされている。
［ＴＶ送受信システム］
図１は、実施の形態としてのＴＶ（Television）送受信システム１０の構成例を示している。このＴＶ送受信システム１０は、ＴＶ送信機１００と、ＴＶ受信機２００を有する構成とされている。
ＴＶ送信機１００は、コンテナとしてのトランスポートストリームＴＳを放送波に載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層の画像データの符号化データを持つ単一のビデオストリームが含まれる。この場合、例えば、Ｈ．２６４／ＡＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化される。
この場合、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データが複数の階層に分類される。このような分類では、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。
符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。
トランスポートストリームＴＳに、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入される。これらの情報は、トランスポートレイヤあるいはビデオレイヤに挿入される。例えば、これらの情報は、プログラム・マップ・テーブル（ＰＭＴ：Program Map Table）の配下のビデオエレメンタリ・ループの配下の記述子に挿入される。また、例えば、これらの情報は、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入される。このようにフレーム周波数情報および階層数情報が挿入されることで、受信側では、これらの情報を容易に取得することが可能となる。
ＴＶ受信機２００は、ＴＶ送信機１００から放送波に載せて送られてくる上述のトランスポートストリームＴＳを受信する。ＴＶ受信機２００は、このトランスポートストリームＴＳに含まれるビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを取得して、画像再生を行う。この場合、復号化された各ピクチャの画像データによる画像再生速度は、所定階層のピクチャのフレーム周波数に合致するように調整される。
トランスポートストリームＴＳに、上述したように、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が挿入されている。ＴＶ受信機２００では、これらの情報と自己の復号能力に基づいて、復号化階層が制御され、また、画像再生速度が制御される。
［ＴＶ送信機の構成例］
図２は、ＴＶ送信機１００の構成例を示している。このＴＶ送信機１００は、源動画データ供給部１０１と、復号装置１０２と、階層分類部１０３と、画像符号化部１０４と、音声符号化部１０５と、多重化部１０６と、付加情報発生部１０７と、変調／送信アンテナ部１０８を有している。
図２は、ＴＶ送信機１００の構成例を示している。このＴＶ送信機１００は、源動画データ供給部１０１と、復号装置１０２と、階層分類部１０３と、画像符号化部１０４と、音声符号化部１０５と、多重化部１０６と、付加情報発生部１０７と、変調／送信アンテナ部１０８を有している。
源動画データ供給部１０１は、例えばＨＤＤ（Hard Disk Drive）等に業務用に適切な圧縮形式で格納されて源動画データ（画像データ、音声データ）を取り出し、復号装置１０２に供給する。復号装置１０２は、源動画データを復号し、非圧縮画像データおよび非圧縮音声データを出力する。
階層分類部１０３は、非圧縮画像データを構成する各ピクチャの画像データを複数の階層に分類する。例えば、図示のように、第１階層、第２階層、第３階層の３階層に分類する。ここで、階層分類部１０３は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、分類する。
画像符号化部１０４は、分類された各階層の画像データを符号化し、符号化された各階層の画像データを持つビデオストリーム（ビデオエレメンタリストリーム）を生成する。ここで、画像符号化部１０４は、例えば、Ｈ．２６４／ＡＶＣなどの符号化を行って、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。
図３は、階層分類および画像符号化の一例を示している。この例は、各ピクチャの画像データを第１階層から第３階層までの３階層に分類する例である。この例において、Ｉピクチャ(Intra picture)およびＰピクチャ(Predictive picture)は第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
また、第１階層の各ピクチャの時間的中央位置にＢピクチャ(Bi-directional predictive picture)が配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の合成階層所属のピクチャしか参照しないように符号化される。
この例においては、この第２階層のＢピクチャは、第１階層のＩピクチャおよびＰピクチャのみを参照するようにされている。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は２倍となる。
また、第１、第２の合成階層の各ピクチャの時間的中央位置にＢピクチャが配置され、それらは第３階層に所属するようにされる。この第３階層のＢピクチャは、第３階層および／または第１、第２の合成階層所属のピクチャのみ参照するようにされている。そのため、第３階層は、第１〜第３の合成階層だけで復号可能となる。また、第１、第２の合成階層のみ復号した場合に比べて、第１〜第３の合成階層を復号した場合は、フレーム周波数は２倍となる。
図３において、破線は、ピクチャの参照関係を示している。第１階層のＰピクチャは、直前のＩピクチャまたはＰピクチャのみを参照している。第２階層のＢピクチャは、第１階層の直前および直後のＩピクチャまたはＰピクチャのみを参照している。第３階層のＢピクチャは、第１、第２の合成階層の直前および直後のＩピクチャ、ＰピクチャまたはＢピクチャのみを参照している。
画像符号化部１０４は、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する。すなわち、画像符号化部１０４は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）を配置する。
図４は、階層識別情報（temporal_id）の配置位置を表している。すなわち、階層識別情報（temporal_id）は、例えば、ＮＡＬユニットヘッダのＳＶＣ拡張（Header svc extension ）に配置される。そして、図３に示すように、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられ、第３階層所属ピクチャには「temporal_id=2」が割り当てられる。
図３の例において、第１階層のみのフレーム周波数が３０ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は６０ｆｐｓとなり、第１〜第３の合成階層のフレーム周波数は１２０ｆｐｓとなる。また、図示されていないが、以下同様に第４階層、第５階層と構築することが可能である。
図２に戻って、音声符号化部１０５は、非圧縮音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ、ＡＡＣ等の符号化を施し、オーディオストリーム（オーディオエレメンタリストリーム）を生成する。多重化部１０６は、ビデオエンコーダ１３２およびオーディオエンコーダ１３３から出力される各エレメンタリストリームを多重化する。そして、多重化部１０６は、伝送データとしてのトランスポートストリームＴＳを出力する。
付加情報発生部１０７は、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を発生し、多重化部１０６に送る。多重化部１０６は、これらの情報を、トランスポートレイヤに挿入する。例えば、多重化部１０６は、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、図５に示すように、フレーム周波数情報および階層数情報が記述された、新規定義のＦＰＳデスクリプタ（fps_descriptor）を配置する。このデスクリプタループは、各エレメンタリストリーム（elementary_stream）の性質情報を記述する場所である。ＦＰＳデスクリプタは、その中に含まれるデスクリプタの１つとされる。
図６は、ＦＰＳデスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示し、ここでは、“０ｘ０２”となる。
「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、例えば、図３に示す例のように３０ｆｐｓの場合は、３０を示す“０ｘ１ｅ”となる。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、例えば、図３に示す例のように第３階層まである場合は、３を示す“０ｘ０３”となる。
このように、送信側（符号化側）でＦＰＳデスクリプタを追加することで、受信側（復号側）でのフレーム間引き再生が容易となる。すなわち、このＦＰＳデスクリプタの記述内容から、第１階層のみで３０ｆｐｓ、第１、第２の合成階層で６０ｆｐｓ、第１〜第３の合成階層で１２０ｆｐｓであることが解る。例えば、受信側の復号能力が最大６０ｆｐｓまでだった場合、この情報から第１、第２の合成階層まで復号可能なことが解る。そして、「temporal_id=0」および「temporal_id=1」のピクチャを復号すればよいことが解る。また、復号したピクチャは、６０ｆｐｓで再生すればよいことが解る。
なお、フレーム周波数情報および階層数情報を、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入することも考えられる。この場合、付加情報発生部１０７は、これらの情報を、破線図示するように、画像符号化部１０４に送る。画像符号化部１０４は、図７（ｂ）に示すように、「base」および「max」の各情報を持つＦＰＳインフォ（fps_info）を、アクセスユニットの“ＳＥＩｓ”の部分に、「fps_info SEI message」として、挿入する。
このようにＳＥＩメッセージを利用する場合、多重化部１０６は、そのＳＥＩメッセージの有無を識別する識別情報を、トランスポートレイヤに挿入する。例えば、多重化部１０６は、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、図７（ａ）に示すように、新規定義のＦＰＳエグジストデスクリプタ（fps_exit_descriptor）を配置する。
「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳエグジストデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ２”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示し、ここでは、“０ｘ０１”となる。「fps_exit」の８ビットフィールドは、ＦＰＳインフォ（fps_info）が挿入されたＳＥＩメッセージの有無を示す。例えば、「fps_exit = 0」はそのＳＥＩメッセージが無いことを示し、「fps_exit = １」はそのＳＥＩメッセージがあることを示す。
このように、送信側（符号化側）でＦＰＳエグジストデスクリプタを追加することで、受信側（復号側）では、フレーム周波数情報および階層数情報を持つＦＰＳインフォ（fps_info）が挿入されたＳＥＩメッセージの有無が解る。受信側（復号側）は、ＦＰＳエグジストデスクリプタがＳＥＩメッセージの存在を示す場合、fps_infoを抽出し、その中の「base」と「max」の値から、自分が復号すべき「temporal_id」を持つピクチャを知ることができる。これに基づき、受信側（復号側）は、所望の「temporal_id」のピクチャを復号する。
図２に戻って、変調／送信アンテナ部１０８は、トランスポートストリームＴＳを、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調する。そして、この変調／送信アンテナ部１０８は、ＲＦ変調信号を送信アンテナから送信する。
図２に示すＴＶ送信機１００の動作を説明する。源動画データ供給部１０１から復号装置１０２に、業務用に適切な圧縮形式で格納されて源動画データ（画像データ、音声データ）が、供給される。復号装置１０２では、源動画データが復号され、非圧縮画像データおよび非圧縮音声データが得られる。
復号装置１０２で得られた非圧縮画像データは、階層分類部１０３に供給される。階層分類部１０３では、非圧縮画像データを構成する各ピクチャの画像データが複数の階層に分類される。この場合、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、下位の全ての階層の所属ピクチャの時間的中央に位置するように、分類される（図３参照）。
このように階層分類された各階層の画像データは画像符号化部１０４に供給される。画像符号化部１０４では、分類された各階層の画像でデータが符号化され、符号化された各階層の画像データを持つビデオストリーム（ビデオエレメンタリストリーム）が生成される。この場合、例えば、Ｈ．２６４／ＡＶＣなどの符号化が行われ、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。
この場合、画像符号化部１０４では、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、画像符号化部１０４では、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される（図４参照）。
また、復号装置１０２で得られた非圧縮音声データは、音声符号化部１０５に供給される。この音声符号化部１０５では、非圧縮音声データに対して、ＭＰＥＧ−２ Ａｕｄｉｏ、ＡＡＣ等の符号化が施され、オーディオストリーム（オーディオエレメンタリストリーム）が生成される。
画像符号化部１０４で生成されたビデオストリームと、音声符号化部１０５で生成されたオーディオストリームは、多重化部１０６に供給される。多重化部１０６では、各エレメンタリストリームが多重化され、伝送データとしてのトランスポートストリームＴＳが得られる。この多重化部１０６では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が発生され、トランスポートレイヤ（コンテナのレイヤ）に挿入される。例えば、多重化部１０６では、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに、フレーム周波数情報および階層数情報が記述されたＦＰＳデスクリプタ（fps_descriptor）が配置される（図５、図６参照）。
なお、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されることもある。この場合、各情報を持つＦＰＳインフォ（fps_info）が、アクセスユニットの“ＳＥＩｓ”の部分に、「fps_info SEI message」として、挿入される（図７（ｂ）参照）。そして、この場合、そのＳＥＩメッセージの有無を識別する識別情報が、トランスポートレイヤ（コンテナのレイヤ）に挿入する。例えば、多重化部１０６では、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタ（descriptor）ループに、ＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が配置される（図７（ａ）参照）。
多重化部１０６で生成されたトランスポートストリームＴＳは、変調／送信アンテナ部１０８に送られる。この変調／送信アンテナ部１０８では、トランスポートストリームＴＳが、ＱＰＳＫ／ＯＦＤＭ等の放送に適した変調方式で変調されて、ＲＦ変調信号が生成される。そして、変調／送信アンテナ部１０８では、このＲＦ変調信号を送信アンテナから送信することが行われる。
［ＴＶ受信機の構成例］
図８は、ＴＶ受信機２００の構成例を示している。このＴＶ受信機２００は、受信アンテナ／復調部２０１と、多重分離部２０２と、制御部２０３と、画像復号化部２０４と、再生速度調整部２０５と、画像表示部２０６と、音声復号化部２０７と、音声出力部２０８を有している。
図８は、ＴＶ受信機２００の構成例を示している。このＴＶ受信機２００は、受信アンテナ／復調部２０１と、多重分離部２０２と、制御部２０３と、画像復号化部２０４と、再生速度調整部２０５と、画像表示部２０６と、音声復号化部２０７と、音声出力部２０８を有している。
受信アンテナ／復調部２０１は、受信アンテナで受信されたＲＦ変調信号を復調し、トランスポートストリームＴＳを取得する。多重分離部２０２は、トランスポートストリームＴＳから、ビデオストリームおよびオーディオストリームをそれぞれ抽出する。このビデオストリームには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持っている。
また、この多重分離部２０２は、トランスポートストリームＴＳのトランスポートレイヤ（コンテナのレイヤ）に挿入されている種々の情報を抽出して、制御部２０３に送る。この際、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳデスクリプタ（fps_descriptor）も抽出される。このＦＰＳデスクリプタには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が記述されている。
あるいは、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されている場合、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が抽出されることもある。
画像復号化部２０４は、多重分離部２０２で分離されたビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る。この際、画像復号化部２０４は、各ピクチャのＮＡＬユニットのヘッダ部分に配置されている階層識別情報（temporal_id）に基づいて、所望の階層のピクチャの符号化画像データを取り出して復号化する。再生速度調整部２０５は、復号化された各ピクチャの画像データによる画像再生速度を、所定階層のピクチャのフレーム周波数に合致するように調整する。すなわち、再生速度調整部２０５は、復号化された各ピクチャの画像データを、所定階層のピクチャのフレーム周波数（フレームレート）に合わせて順次出力する。
制御部２０３は、ＴＶ受信部２００の各部の動作を制御する。制御部２０３は、画像復号化部２０４に対しては、復号化対象となる所定階層以下の階層を特定する復号階層情報を送って、復号化階層の制御を行う。また、制御部２０３は、再生速度調整部２０５に対しては、所定階層のピクチャのフレーム周波数に対応した再生速度情報、例えば同期信号を送って、画像再生速度の制御を行う。
制御部２０３は、フレーム周波数情報および階層数情報と、自己の復号能力に基づいて、画像復号化部２０４における復号化階層を制御し、再生速度調整部２０５における画像再生速度を制御する。例えば、ＦＰＳデスクリプタ（fps_descriptor）が、図６に示すような記述内容である場合を考える。
この場合、制御部２０３は、第１階層のみで３０ｆｐｓ、第１、第２の合成階層で６０ｆｐｓ、第１〜第３の合成階層で１２０ｆｐｓであることが解る。そして、自己の復号能力が最大６０ｆｐｓまでだった場合、この情報から第１、第２の合成階層まで復号可能なことが解る。そして、「temporal_id=0」および「temporal_id=1のピクチャを復号すればよいことが解る。また、復号したピクチャは、６０ｆｐｓで再生すればよいことが解る。
画像表示部２０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイにより構成されている。この画像表示部２０６は、再生速度調整部２０５から出力される各ピクチャの画像データによる画像を表示する。音声復号化部２０７は、多重分離部２０２で分離されたオーディオストリームに対して復号化を施して、画像復号化部２０４で得られる画像データに対応した音声データを得る。音声出力部２０８は、アンプ、スピーカなどにより構成されている。この音声出力部２０８は、音声復号化部２０７から出力される音声データによる音声を出力する。
図８に示すＴＶ受信機２００の動作を説明する。受信アンテナ／復調部２０１では、受信アンテナで受信されたＲＦ変調信号が復調され、トランスポートストリームＴＳが取得される。このトランスポートストリームＴＳは、多重分離部２０２に供給される。この多重分離部２０２では、トランスポートストリームＴＳから、ビデオストリームおよびオーディオストリームがそれぞれ抽出される。ここで、ビデオストリームは、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持っている。
また、多重分離部２０２では、トランスポートストリームＴＳのトランスポートレイヤ（コンテナのレイヤ）に挿入されている種々の情報が抽出されて、制御部２０３に送られる。この際、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳデスクリプタ（fps_descriptor）も抽出される。このＦＰＳデスクリプタには、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報が記述されている。
あるいは、フレーム周波数情報および階層数情報が、ビデオのレイヤ、例えば、アクセスユニットの“ＳＥＩｓ”の部分にＳＥＩメッセージとして挿入されている場合、プログラム・マップ・テーブル（ＰＭＴ）の“ES_info_length”直下のデスクリプタループに配置されているＦＰＳエグジストデスクリプタ（fps_exit_descriptor）が抽出されることもある。
制御部２０３では、フレーム周波数情報および階層数情報と、自己の復号能力に基づいて、どの階層まで復号可能であるかの判定が行われる。そして、この制御部２０３により、画像復号化部２０４における復号化階層が制御され、再生速度調整部２０５における画像再生速度が制御される。
多重分離部２０２で分離されたビデオストリームは画像復号化部２０４に供給される。この画像復号化部２０４では、制御部２０３の制御のもと、ビデオストリームから選択的に所定階層以下の階層の符号化画像データが取り出されて復号化され、各ピクチャの画像データが順次得られる。このように復号化された各ピクチャの画像データは再生速度調整部２０５に供給される。
再生速度調整部２０５では、各ピクチャの画像データによる画像再生速度が、制御部２０３の制御のもと、所定階層のピクチャのフレーム周波数に合致するように調整される。すなわち、再生速度調整部２０５からは、各ピクチャの画像データが、所定階層のピクチャのフレーム周波数（フレームレート）に合わせて順次出力される。この画像データは、画像表示部２０６に供給され、所定階層以下の各ピクチャの画像データによる画像が表示される。
また、多重分離部２０２で分離されたオーディオストリームは音声復号化部２０７に供給される。この音声復号化部２０７では、オーディオストリームに対して復号化が施されて、画像復号化部２０４で得られる画像データに対応した音声データが得られる。この音声データは、音声出力部２０８に供給され、表示画像に対応した音声が出力される。
図９のフローチャートは、図２に示すＴＶ送信機１００において、ＰＭＴの配下にＦＰＳデスクリプタ（fps_descriptor）が配置される場合の送信処理手順の一例を示している。なお、図２に示すＴＶ送信機１００において、画像符号化部１０４では、上述したように、符号化された各階層のピクチャの画像データを持つ単一のビデオストリームが生成されるものである。
まず、ＴＶ送信機１００は、ステップＳＴ１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。
次に、ＴＶ送信機１００は、ステップＳＴ４において、階層分類された各ピクチャの画像データを符号化する。この場合、第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に階層識別情報（temporal_id）を配置する。
次に、ＴＶ送信機１００は、ステップＳＴ５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ６において、ＦＰＳデスクリプタ（fps_descriptor）と、それを含むＰＭＴを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ９において、処理を終了する。
図１０のフローチャートは、図８に示すＴＶ受信機２００において、ＰＭＴの“ES_info_length”直下のデスクリプタループにＦＰＳデスクリプタ（fps_descriptor）が配置されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図９のフローチャートに示した送信処理手順に対応したものである。
まず、ＴＶ受信機２００は、ステップＳＴ１１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ１２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。
次に、ＴＶ受信機２００は、ステップＳＴ１３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。そして、ＴＶ受信機２００は、ステップＳ１４において、ＰＭＴからＦＰＳデスクリプタ（fps_descriptor）を抽出し、自己の復号能力と比較して、復号すべき階層を決定する。
次に、ＴＶ受信機２００は、ステップＳＴ１５において、ステップＳＴ１４で決定した階層のピクチャの画像データを復号化する。そして、ＦＰＳデスクリプタ（fps_descriptor）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ１６において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ１７において、処理を終了する。
図１１のフローチャートは、図２に示すＴＶ送信機１００において、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示している。なお、図２に示すＴＶ送信機１００において、画像符号化部１０４では、上述したように、符号化された各階層の画像データを持つ単一のビデオストリームが生成されるものである。
まず、ＴＶ送信機１００は、ステップＳＴ２１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ２２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ２３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。
次に、ＴＶ送信機１００は、ステップＳＴ２４において、階層分類された各ピクチャの画像データを符号化する。この場合、第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に階層識別情報（temporal_id）を配置する。また、ＴＶ送信機１００は、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する。
次に、ＴＶ送信機１００は、ステップＳＴ２５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ２６において、ＦＰＳエグジストデスクリプタ（fps_exist_descriptor）と、それを含むＰＭＴを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ２７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ２８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ２９において、処理を終了する。
図１２のフローチャートは、図８に示すＴＶ受信機２００において、ＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１１のフローチャートに示した送信処理手順に対応したものである。
まず、ＴＶ受信機２００は、ステップＳＴ３１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ３２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。
次に、ＴＶ受信機２００は、ステップＳＴ３３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。ＴＶ受信機２００は、ステップＳ３４において、ＰＭＴからＦＰＳエグジストデスクリプタ（fps_exit_descriptor）を抽出し、「fps_exit」を見る。そして、ＴＶ受信機２００は、ステップＳＴ３５において、「fps_exit = 1」であるか否かを判断する。
「fps_exit = 1」であるとき、ＴＶ受信機２００は、ステップＳＴ３６において、ＳＥＩメッセージとして付加されているＦＰＳインフォ（fps_info）を抽出して、自己の復号能力と比較して、復号すべき階層を決定する。ＴＶ受信機２００は、ステップＳＴ３７において、ステップＳＴ３６で決定した階層のピクチャの画像データを復号化する。そして、ＦＰＳインフォ（fps_info）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ３８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ３９において、処理を終了する。
また、ステップＳＴ３５で「fps_exit = 0」であるとき、ＴＶ受信機２００は、ステップＳＴ４０において、画像データを通常復号して再生する。そして、ＴＶ受信機２００は、ステップＳＴ３８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ３９において、処理を終了する。
以上説明したように、図１に示すＴＶ送受信システム１０において、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化された各階層の画像データを持つビデオストリームが送信されるものである。そのため、送信側においては、１個の番組または１個のファイルを送信するだけで、多様なフレーム周波数に対応したサービスを提供でき、運営コストの削減が可能となる。
一方、受信側では、選択的に、所定階層以下の階層の符号化画像データを取り出して復号化でき、自己の再生能力に適したフレーム周波数で再生が可能となり、受信機の普及促進に効果的となる。ここで、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化されており、受信機では、所定階層よりも上位の階層の復号化を行うことが必要なく、自己の再生能力を効果的に使用可能となる。
また、図１に示すＴＶ送受信システム１０において、画像符号化部１０４は、符号化された各階層の画像データを持つ単一のビデオストリームを生成し、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報（temporal_id）を付加するものである。そのため、受信側では、階層識別情報に基づいて、所定階層以下の階層の符号化画像データを選択的に取り出すことを良好に行うことができる。
また、図１に示すＴＶ送受信システム１０において、階層分類部１０３は、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類するものである。そのため、階層を１つ上げる毎にフレーム周波数が２倍となるので、受信側では、最下位の階層のピクチャのフレーム周波数情報のみで、各階層におけるフレーム周波数を容易に認識可能となる。
また、図１に示すＴＶ送受信システム１０において、コンテナのレイヤ（トランスポートレイヤ）あるいはビデオレイヤに最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を挿入するものである。そのため、受信側では、最下位の階層のピクチャのフレーム周波数情報および複数の階層の数を示す階層数情報を、容易に取得可能となる。
＜２．変形例＞
［別ＰＩＤの例］
なお、上述実施の形態においては、画像符号化部１０４では、符号化された各階層の画像データを持つ単一のビデオストリームが生成される例、つまり同一ＰＩＤの例を示した。しかし、画像符号化部１０４において、複数の階層のそれぞれの画像データを持つ複数のビデオストリームが生成されるようにすることも考えられる。
［別ＰＩＤの例］
なお、上述実施の形態においては、画像符号化部１０４では、符号化された各階層の画像データを持つ単一のビデオストリームが生成される例、つまり同一ＰＩＤの例を示した。しかし、画像符号化部１０４において、複数の階層のそれぞれの画像データを持つ複数のビデオストリームが生成されるようにすることも考えられる。
この場合、図１３に示すように、各階層を別のＰＩＤにより振り分けることになる。ビデオ層の階層化によって分離された各階層のＮＡＬユニットをトランスポートストリームパケットに多重化するときに、それぞれ別ＰＩＤが割り当てられる。上述の実施の形態のように、同一ＰＩＤに全ての階層を乗せる場合と比較して、以下のような違いがある。
・「同一ＰＩＤの場合」
（ａ）受信側（復号側）では、１個のＰＩＤのＴＳパケットのみ取得する。
（ｂ）nalヘッダを解析して、「temporal_id」を検出し、必要な「temporal_id」を持つnalユニットのみを復号する。
・「別ＰＩＤの場合」
（ａ）受信側（復号側）では、必要な複数のＰＩＤのＴＳパケットを取得する。
（ｂ）取得したＰＩＤのＴＳパケット内のnalユニット全てを復号する。「temporal_id」は、有っても無くてもよい。
（ａ）受信側（復号側）では、１個のＰＩＤのＴＳパケットのみ取得する。
（ｂ）nalヘッダを解析して、「temporal_id」を検出し、必要な「temporal_id」を持つnalユニットのみを復号する。
・「別ＰＩＤの場合」
（ａ）受信側（復号側）では、必要な複数のＰＩＤのＴＳパケットを取得する。
（ｂ）取得したＰＩＤのＴＳパケット内のnalユニット全てを復号する。「temporal_id」は、有っても無くてもよい。
別ＰＩＤの場合は、ＰＭＴの“program_info_length”直下のデスクリプタループに、例えば、ストラクチャデスクリプタ(structure_descriptor）が配置される。図１４は、ストラクチャデスクリプタの構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ストラクチャデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ１”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。
「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、例えば、図１３に示す例のように３０ｆｐｓの場合は、３０を示す“０ｘ１ｅ”となる。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、例えば、図１３に示す例のように第３階層まである場合は、３を示す“０ｘ０３”となる。
forループ内には、各階層に割り当てられたＰＩＤ（layer_PID）が全て記述される。記述順は、例えば第１階層から順とされる。復号側では、「base」の値と列記されたＰＩＤから、どのＰＩＤのＴＳパケットを取得すれば良いかがわかる。
また、別ＰＩＤで図１５（ｂ）に示すＦＰＳインフォ（fps_info）のＳＥＩメッセージを使用することも考えられる。この場合、図１５（ａ）に示すストラクチャデスクリプタ（structure_descriptor）が、“program_info_length”直下のデスクリプタループに配置される。受信側（復号側）では、このストラクチャデスクリプタのforループの最初に記述されている第１階層のＰＩＤのＴＳパケットを取得し、その中のＳＥＩメッセージであるＦＰＳインフォ（fps_info）を抽出する。その「base」の値から復号すべき階層を判断し、このストラクチャデスクリプタの「layer_PID」から取得すべきＴＳパケットのＰＩＤを検出して所望のＴＳパケットを取得して復号する。
図１６のフローチャートは、ＴＶ送信機１００が各階層の画像データを別ＰＩＤで符号化し、かつＰＭＴの配下にＦＰＳデスクリプタ（structure_descriptor）を配置するように構成された場合の送信処理手順の一例を示している。
まず、ＴＶ送信機１００は、ステップＳＴ５１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ５２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ５３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。
次に、ＴＶ送信機１００は、ステップＳＴ５４において、階層分類された各ピクチャの画像データを符号化する。第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。
次に、ＴＶ送信機１００は、ステップＳＴ５５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ５６において、ストラクチャデスクリプタ（structure_descriptor）と、それを含むＰＭＴを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ５７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、画像データを、階層毎に、別のＰＩＤに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ５８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ５９において、処理を終了する。
図１７のフローチャートは、図８に示すＴＶ受信機２００において、各階層の画像データが別ＰＩＤで符号化され、かつＰＭＴの配下にストラクチャデスクリプタ（structure_descriptor）が配置されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１６のフローチャートに示した送信処理手順に対応したものである。
まず、ＴＶ受信機２００は、ステップＳＴ６１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ６２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。
次に、ＴＶ受信機２００は、ステップＳＴ６３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。そして、ＴＶ受信機２００は、ステップＳ６４において、ＰＭＴからストラクチャデスクリプタ（structure_descriptor）を抽出し、自己の復号能力と比較して、復号すべき階層を決定する。
次に、ＴＶ受信機２００は、ステップＳＴ６５において、ステップＳＴ６４で決定した階層のピクチャの画像データを各ＰＩＤのＴＳパケットから復号化する。そして、ストラクチャデスクリプタ（structure_descriptor）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ６６において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ６７において、処理を終了する。
図１８のフローチャートは、ＴＶ送信機１００が各階層の画像データを別ＰＩＤで符号化し、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する場合の送信処理手順の一例を示している。
まず、ＴＶ送信機１００は、ステップＳＴ７１において、送信処理を開始する。そして、ＴＶ送信機１００は、ステップＳＴ７２において、源動画データを復号して、非圧縮の画像データと音声データを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ７３において、各ピクチャの画像データを複数の階層に分類する。この場合、１ピクチャ（フレーム）おきに２つに分けて一方を第３階層とする。また、もう一方を更に１ピクチャ（フレーム）おきに２つに分けて、一方を第２階層とし、残りを第１階層とする。
次に、ＴＶ送信機１００は、ステップＳＴ７４において、階層分類された各ピクチャの画像データを符号化する。第１階層を符号化する。この場合、第１階層内でのみ参照可能とする。また、第２階層を符号化する。この場合、第１階層および第２階層内で参照可能とする。また、第３階層を符号化する。この場合、第１階層から第３階層内で参照可能とする。ここで、ＴＶ送信機１００は、ＦＰＳインフォ（fps_info）のＳＥＩメッセージを付加する。
次に、ＴＶ送信機１００は、ステップＳＴ７５において、音声データを符号化する。そして、ＴＶ受信機１００は、ステップＳＴ７６において、ストラクチャデスクリプタ（structure_descriptor）と、それを含むＰＭＴを生成する。
次に、ＴＶ送信機１００は、ステップＳＴ７７において、符号化された画像データ、音声データおよびＰＭＴをトランスポートストリームＴＳに多重化する。そして、ＴＶ送信機１００は、画像データを、階層毎に、別のＰＩＤに多重化する。そして、ＴＶ送信機１００は、ステップＳＴ７８において、トランスポートストリームＴＳを変調して送信する。その後、ＴＶ送信機１００は、ステップＳＴ７９において、処理を終了する。
図１９のフローチャートは、図８に示すＴＶ受信機２００において、各階層の画像データが別ＰＩＤで符号化され、かつＦＰＳインフォ（fps_info）のＳＥＩメッセージが付加されている場合の受信処理手順の一例を示している。この受信処理手順は、上述の図１８のフローチャートに示した送信処理手順に対応したものである。
まず、ＴＶ受信機２００は、ステップＳＴ８１において、受信処理を開始する。そして、ＴＶ受信機２００は、ステップＳＴ８２において、ＲＦ変調信号（放送信号）を受信して復調し、トランスポートストリームＴＳを得る。
次に、ＴＶ受信機２００は、ステップＳＴ８３において、トランスポートストリームＴＳから画像データ、音声データおよびＰＭＴを抽出する。ＴＶ受信機２００は、ステップＳ８４において、ＰＭＴからストラクチャデスクリプタ（structure_descriptor）を抽出する。そして、ＴＶ受信機２００は、ステップＳＴ８５において、ストラクチャデスクリプタが有ったか否かを判断する。
ストラクチャデスクリプタがあるとき、ＴＶ受信機２００は、ステップＳＴ８６において、ＳＥＩメッセージとして付加されているＦＰＳインフォ（fps_info）を抽出して、自己の復号能力と比較して、復号すべき階層を決定する。ＴＶ受信機２００は、ステップＳＴ７７において、ステップＳＴ７６で決定した階層のピクチャの画像データを各ＰＩＤのＴＳパケットから復号化する。そして、ＦＰＳインフォ（fps_info）の内容から、適切な再生速度で再生する。そして、ＴＶ受信機２００は、ステップＳＴ８８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ８９において、処理を終了する。
また、ステップＳＴ８５でストラクチャデスクリプタがないとき、ＴＶ受信機２００は、ステップＳＴ９０において、画像データを通常復号して再生する。そして、ＴＶ受信機２００は、ステップＳＴ８８において、音声データを復号化して再生する。その後、ＴＶ受信機２００は、ステップＳＴ８９において、処理を終了する。
図２０は、（ａ）同一ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｂ）同一ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述、（ｃ）別ＰＩＤ（ＰＥＳ）、かつＰＭＴに構造記述、（ｄ）別ＰＩＤ（ＰＥＳ）、かつＳＥＩに構造記述の、上述した４つの方法における付加情報を比較して示している。
［階層分類および画像符号化の他の例］
また、上述実施の形態においては、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類する例を示した。しかし、分類の仕方は、この例に限定されるものではない。例えば、以下のような分類の仕方も可能である。
また、上述実施の形態においては、最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、この下位の全ての階層の所属ピクチャの時間的中央に位置するように、動画像データを構成する各ピクチャの画像データを複数の階層に分類する例を示した。しかし、分類の仕方は、この例に限定されるものではない。例えば、以下のような分類の仕方も可能である。
「他の例１」
図２１（ａ）は、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
図２１（ａ）は、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
また、第１階層の各ピクチャの間に時間的に等間隔に２個のＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の所属ピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は３倍となる。そのため、図示のように、第１階層のみのフレーム周波数が４０ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は１２０ｆｐｓとなる。
この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられている。
図２１（ｂ）は、図２１（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。
「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、４０を示す“０ｘ２８”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、２を示す“０ｘ０２”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０３”とされ、３倍であることが記述されている。
「他の例２」
図２２（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
図２２（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層および第２階層の２階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
また、第１階層の各ピクチャの間に時間的に等間隔に４個のＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の所属のピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は５倍となる。そのため、図示のように、第１階層のみのフレーム周波数が２４ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は１２０ｆｐｓとなる。
この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられている。
図２２（ｂ）は、図２２（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。
「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、２４を示す“０ｘ１８”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、２を示す“０ｘ０２”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０５”とされ、５倍であることが記述されている。
「他の例３」
図２３（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層から第４階層までの４階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
図２３（ａ）も、階層分類および画像符号化の他の例を示している。この例は、各ピクチャの画像データを第１階層から第４階層までの４階層に分類する例である。この例において、ＩピクチャおよびＰピクチャは第１階層に所属するようにされる。Ｉピクチャは他ピクチャを参照せず、またＰピクチャはＩピクチャまたはＰピクチャしか参照しない。そのため、第１階層は、第１階層ピクチャだけで復号可能となる。
また、第１階層の各ピクチャの時間的中央位置にＢピクチャが配置され、それらは第２階層に所属するようにされる。この第２階層のＢピクチャは、第２階層および／または第１階層の合成階層所属のピクチャしか参照しないように符号化される。そのため、第２階層は、第１、第２の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１、第２の合成階層を復号した場合は、フレーム周波数は２倍となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１、第２の合成階層のフレーム周波数は２４ｆｐｓとなる。
また、第１階層の各ピクチャの間に時間的に等間隔に４個のＢピクチャが配置され、それらは第３階層に所属するようにされる。この第３階層のＢピクチャは、第３階層および／または第２階層以下の階層の所属ピクチャしか参照しないように符号化される。そのため、第３階層は、第１から第３の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１から第３の合成階層を復号した場合は、フレーム周波数は５倍となる。また、第１、第２の合成階層のフレーム周波数に対しては、２．５倍のフレーム周波数となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１から第３の合成階層のフレーム周波数は６０ｆｐｓとなる。
また、第１階層、第３階層の各ピクチャの間の時間的中央位置にＢピクチャが配置され、それらは第４階層に所属するようにされる。ただし、一部は第２階層のピクチャと同じなので、欠けている。この第４階層のＢピクチャは、第４階層および／または第３階層以下の階層の所属ピクチャしか参照しないように符号化される。そのため、第４階層は、第１から第４の合成階層だけで復号可能となる。また、第１階層のみ復号した場合に比べて、第１から第４の合成階層を復号した場合は、フレーム周波数は１０倍となる。そのため、図示のように、第１階層のみのフレーム周波数が１２ｆｐｓのとき、第１から第４の合成階層のフレーム周波数は１２０ｆｐｓとなる。
この例においても、符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。すなわち、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_id）が配置される。この例において、第１階層所属ピクチャには「temporal_id=0」が割り当てられ、第２階層所属ピクチャには「temporal_id=1」が割り当てられ、第３階層所属ピクチャには「temporal_id=2」が割り当てられ、第４階層所属ピクチャには「temporal_id=3」が割り当てられている。
図２３（ｂ）は、図２３（ａ）に示すような階層分類および画像符号化が行われる場合におけるＦＰＳデスクリプタ（fps_descriptor）の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタの種類を示し、ここでは、ＦＰＳデスクリプタであることを示すようにされる。例えば、現在使われていない“０ｘｆ０”が割り当てられる。「descriptor_length」の８ビットフィールドは、直後のバイト長を示す。
「base」の８ビットフィールドは、最下位の階層のピクチャのフレーム周波数情報、つまり第１階層のフレーム周波数情報を表し、この例においては、１２を示す“０ｘ０Ｃ”となっている。「max」の８ビットフィールドは、複数の階層の数を示す階層数情報を表し、この例においては、４を示す“０ｘ０４”となっている。また、forループ内には、第２階層以降のそれぞれの階層までの合成階層におけるフレーム周波数が、第１階層のフレーム周波数に対して何倍であるかが全て記述される。この例においては、第２階層に関して“０ｘ０３”とされ、２倍であることが記述されている。また、第３階層に関して“０ｘ０５”とされ、５倍であることが記述されている。さらに、第４階層に関して“０ｘ０ａ”とされ、１０倍であることが記述されている。
［その他］
また、上述実施の形態においては、ＴＶ送信機１００とＴＶ受信機２００からなるＴＶ送受信システム１０を示したが、本技術を適用し得るＴＶ送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
また、上述実施の形態においては、ＴＶ送信機１００とＴＶ受信機２００からなるＴＶ送受信システム１０を示したが、本技術を適用し得るＴＶ送受信システムの構成は、これに限定されるものではない。例えば、受信機２００の部分が、例えば、（ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
送信装置。
（２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
前記（１）に記載の送信装置。
（３）上記階層分類部は、
最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、上記下位の全ての階層の所属ピクチャの時間的中央に位置するように、上記動画像データを構成する各ピクチャの画像データを複数の階層に分類する
前記（１）または（２）に記載の送信装置。
（４）上記コンテナに最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、
上記各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記各情報を上記ビデオのレイヤに挿入するとき、上記コンテナのレイヤに、上記ビデオのレイヤに上記各情報の挿入が有るか否かを識別する識別情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する
前記（１）に記載の送信装置。
（８）上記コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える
前記（７）に記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類するステップと、
上記分類された各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、該符号化された各階層の画像データを持つビデオストリームを生成するステップと、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
送信方法。
（１０）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
送信装置。
（１１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
符号化装置。
（１２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
請求項１１に記載の符号化装置。
（１３）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に合致するように調整する再生速度調整部とを備える
受信装置。
（１４）上記コンテナには、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報が挿入されており、
上記コンテナに挿入されている各情報と自己の復号能力に基づいて、上記画像復号化部における復号化階層を制御し、上記再生速度調整部における画像再生速度を制御する制御部をさらに備える
前記（１３）に記載の受信装置。
（１５）上記コンテナには、上記符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、
上記符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、
上記画像復号化部は、
上記階層識別情報に基づいて、上記単一のビデオストリームから選択的に上記所定階層以下の階層の符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１６）上記コンテナには、上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、
上記コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、
上記画像符号化部は、
上記ストリーム識別情報に基づいて、選択的に、上記所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１７）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信するステップと、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得るステップと、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整するステップとを備える
受信方法。
（１８）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
復号化装置。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
送信装置。
（２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
前記（１）に記載の送信装置。
（３）上記階層分類部は、
最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、上記下位の全ての階層の所属ピクチャの時間的中央に位置するように、上記動画像データを構成する各ピクチャの画像データを複数の階層に分類する
前記（１）または（２）に記載の送信装置。
（４）上記コンテナに最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える
前記（１）から（３）のいずれかに記載の送信装置。
（５）上記情報挿入部は、
上記各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する
前記（４）に記載の送信装置。
（６）上記情報挿入部は、
上記各情報を上記ビデオのレイヤに挿入するとき、上記コンテナのレイヤに、上記ビデオのレイヤに上記各情報の挿入が有るか否かを識別する識別情報をさらに挿入する
前記（５）に記載の送信装置。
（７）上記画像符号化部は、
上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する
前記（１）に記載の送信装置。
（８）上記コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える
前記（７）に記載の送信装置。
（９）動画像データを構成する各ピクチャの画像データを複数の階層に分類するステップと、
上記分類された各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、該符号化された各階層の画像データを持つビデオストリームを生成するステップと、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
送信方法。
（１０）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
送信装置。
（１１）動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
符号化装置。
（１２）上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
請求項１１に記載の符号化装置。
（１３）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に合致するように調整する再生速度調整部とを備える
受信装置。
（１４）上記コンテナには、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報が挿入されており、
上記コンテナに挿入されている各情報と自己の復号能力に基づいて、上記画像復号化部における復号化階層を制御し、上記再生速度調整部における画像再生速度を制御する制御部をさらに備える
前記（１３）に記載の受信装置。
（１５）上記コンテナには、上記符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、
上記符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、
上記画像復号化部は、
上記階層識別情報に基づいて、上記単一のビデオストリームから選択的に上記所定階層以下の階層の符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１６）上記コンテナには、上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、
上記コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、
上記画像符号化部は、
上記ストリーム識別情報に基づいて、選択的に、上記所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する
前記（１３）に記載の受信装置。
（１７）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信するステップと、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得るステップと、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整するステップとを備える
受信方法。
（１８）動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
復号化装置。
本技術の主な特徴は、動画像データを構成する各ピクチャの画像データが複数の階層に分類し、各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、符号化された各階層の画像データを持つビデオストリームを所定フォーマットのコンテナで送信することで、高フレーム周波数のサービスを容易に実現可能としたことである（図２、図３参照）。
１０・・・ＴＶ送受信システム
１００・・・ＴＶ送信機
１０１・・・源画像データ供給部
１０２・・・復号装置
１０３・・・階層分類部
１０４・・・画像符号化部
１０５・・・音声符号化部
１０６・・・多重化部
１０７・・・付加情報発生部
１０８・・・変調／送信アンテナ部
２００・・・ＴＶ受信機
２０１・・・受信アンテナ／復調部
２０２・・・多重分離部
２０３・・・制御部
２０４・・・画像復号化部
２０５・・・再生速度調整部
２０６・・・画像表示部
２０７・・・音声復号化部
２０８・・・音声出力部
１００・・・ＴＶ送信機
１０１・・・源画像データ供給部
１０２・・・復号装置
１０３・・・階層分類部
１０４・・・画像符号化部
１０５・・・音声符号化部
１０６・・・多重化部
１０７・・・付加情報発生部
１０８・・・変調／送信アンテナ部
２００・・・ＴＶ受信機
２０１・・・受信アンテナ／復調部
２０２・・・多重分離部
２０３・・・制御部
２０４・・・画像復号化部
２０５・・・再生速度調整部
２０６・・・画像表示部
２０７・・・音声復号化部
２０８・・・音声出力部
Claims (18)
- 動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
送信装置。 - 上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
請求項１に記載の送信装置。 - 上記階層分類部は、
最下位の階層を除き、各階層の所属ピクチャが、下位の全ての階層の所属ピクチャと同数であり、かつ、上記下位の全ての階層の所属ピクチャの時間的中央に位置するように、上記動画像データを構成する各ピクチャの画像データを複数の階層に分類する
請求項１に記載の送信装置。 - 上記コンテナに最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報を挿入する情報挿入部をさらに備える
請求項１に記載の送信装置。 - 上記情報挿入部は、
上記各情報を、コンテナのレイヤ、あるいはビデオのレイヤに挿入する
請求項４に記載の送信装置。 - 上記情報挿入部は、
上記各情報を上記ビデオのレイヤに挿入するとき、上記コンテナのレイヤに、上記ビデオのレイヤに上記各情報の挿入が有るか否かを識別する識別情報をさらに挿入する
請求項５に記載の送信装置。 - 上記画像符号化部は、
上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームを生成する
請求項１に記載の送信装置。 - 上記コンテナのレイヤに、各階層のビデオストリームを識別するためのストリーム識別情報を挿入する識別情報挿入部をさらに備える
請求項７に記載の送信装置。 - 動画像データを構成する各ピクチャの画像データを複数の階層に分類するステップと、
上記分類された各階層の画像データを、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化し、該符号化された各階層の画像データを持つビデオストリームを生成するステップと、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信するステップとを備える
送信方法。 - 動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部とを備え、
上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
送信装置。 - 動画像データを構成する各ピクチャの画像データを複数の階層に分類する階層分類部と、
上記分類された各階層の画像データを符号化し、該符号化された各階層の画像データを持つビデオストリームを生成する画像符号化部とを備え、
上記画像符号化部は、
被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化する
符号化装置。 - 上記画像符号化部は、
上記符号化された各階層の画像データを持つ単一のビデオストリームを生成し、
上記符号化された各階層の画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報を付加する
請求項１１に記載の符号化装置。 - 動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して復号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に合致するように調整する再生速度調整部とを備える
受信装置。 - 上記コンテナには、最下位の階層のピクチャのフレーム周波数情報および上記複数の階層の数を示す階層数情報が挿入されており、
上記コンテナに挿入されている各情報と自己の復号能力に基づいて、上記画像復号化部における復号化階層を制御し、上記再生速度調整部における画像再生速度を制御する制御部をさらに備える
請求項１３に記載の受信装置。 - 上記コンテナには、上記符号化された各階層の画像データを持つ単一の上記ビデオストリームが含まれ、
上記符号化された各階層の画像データには、ピクチャ毎に、所属階層を識別するための階層識別情報が付加されており、
上記画像復号化部は、
上記階層識別情報に基づいて、上記単一のビデオストリームから選択的に上記所定階層以下の階層の符号化画像データを取り出して復号化する
請求項１３に記載の受信装置。 - 上記コンテナには、上記符号化された複数の階層のそれぞれの画像データを持つ複数のビデオストリームが含まれ、
上記コンテナのレイヤには、各階層のビデオストリームを識別するためのストリーム識別情報が挿入されており、
上記画像符号化部は、
上記ストリーム識別情報に基づいて、選択的に、上記所定階層以下の階層のビデオストリームから符号化画像データを取り出して復号化する
請求項１３に記載の受信装置。 - 動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信するステップと、
上記受信されたコンテナに含まれる上記ビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得るステップと、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整するステップとを備える
受信方法。 - 動画像データを構成する各ピクチャの画像データが複数の階層に分類され、被参照ピクチャが自己階層および／または自己階層よりも下位の階層に所属するように符号化された画像データを持つビデオストリームから選択的に所定階層以下の階層の符号化画像データを取り出して符号化し、各ピクチャの画像データを得る画像復号化部と、
上記復号化された各ピクチャの画像データによる画像再生速度を上記所定階層のピクチャのフレーム周波数に調整する再生速度調整部とを備える
復号化装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012144979 | 2012-06-28 | ||
| JP2012144979 | 2012-06-28 | ||
| PCT/JP2013/067147 WO2014002914A1 (ja) | 2012-06-28 | 2013-06-21 | 送信／受信装置、方法、符号化／復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2014002914A1 true JPWO2014002914A1 (ja) | 2016-05-30 |
| JP6576635B2 JP6576635B2 (ja) | 2019-09-18 |
Family
ID=49783066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014522604A Active JP6576635B2 (ja) | 2012-06-28 | 2013-06-21 | 送信装置、送信方法、受信装置および受信方法 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10250901B2 (ja) |
| EP (2) | EP3758376A1 (ja) |
| JP (1) | JP6576635B2 (ja) |
| KR (1) | KR102161863B1 (ja) |
| CN (1) | CN104396264B (ja) |
| BR (1) | BR112014032108B1 (ja) |
| IN (1) | IN2014MN02408A (ja) |
| RU (1) | RU2641470C2 (ja) |
| WO (1) | WO2014002914A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10595031B2 (en) | 2013-07-12 | 2020-03-17 | Qualcomm Incorporated | Selection of target output layers in high efficiency video coding extensions |
| JP5947269B2 (ja) * | 2013-09-24 | 2016-07-06 | ソニー株式会社 | 符号化装置、符号化方法、送信装置および受信装置 |
| US10284858B2 (en) * | 2013-10-15 | 2019-05-07 | Qualcomm Incorporated | Support of multi-mode extraction for multi-layer video codecs |
| ES2768573T3 (es) * | 2013-10-18 | 2020-06-23 | Sun Patent Trust | Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, dispositivo de codificación de imágenes y dispositivo de descodificación de imágenes |
| JP6583260B2 (ja) | 2014-02-21 | 2019-10-02 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP5886341B2 (ja) * | 2014-03-07 | 2016-03-16 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| JP5836424B2 (ja) | 2014-04-14 | 2015-12-24 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| RU2630388C1 (ru) * | 2014-04-25 | 2017-09-07 | Сони Корпорейшн | Устройство передачи, способ передачи, устройство приема и способ приема |
| JP6768096B2 (ja) * | 2014-05-23 | 2020-10-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法及び画像復号装置 |
| JP6483028B2 (ja) * | 2014-05-23 | 2019-03-13 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 画像符号化方法及び画像符号化装置 |
| KR102366503B1 (ko) * | 2014-08-07 | 2022-02-23 | 소니그룹주식회사 | 송신 장치, 송신 방법 및 수신 장치 |
| JP2017228895A (ja) * | 2016-06-21 | 2017-12-28 | Ｎｅｃプラットフォームズ株式会社 | 階層符号化信号間引き装置、制御方法およびプログラム |
| GB2553588B (en) | 2016-09-13 | 2020-06-24 | Ge Aviat Systems Ltd | Multi-semiconductor solid state power controllers and method for managing inductive switching transients thereof |
| JP6350638B2 (ja) * | 2016-11-16 | 2018-07-04 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007520149A (ja) * | 2004-01-29 | 2007-07-19 | サムスン エレクトロニクス カンパニー リミテッド | エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法 |
| JP2009510952A (ja) * | 2005-09-29 | 2009-03-12 | トムソン リサーチ ファンディング コーポレイション | 拘束された可変ビットレート（ｖｂｒ）ビデオ・エンコードの方法および装置 |
| JP2009540629A (ja) * | 2006-03-03 | 2009-11-19 | ヴィドヨ，インコーポレーテッド | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
| JP2010507346A (ja) * | 2006-10-16 | 2010-03-04 | ヴィドヨ，インコーポレーテッド | スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法 |
| WO2011001858A1 (ja) * | 2009-06-29 | 2011-01-06 | ソニー株式会社 | 立体画像データ送信装置および立体画像データ受信装置 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2194720A1 (en) | 2004-07-20 | 2010-06-09 | Qualcom Incorporated | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8436889B2 (en) | 2005-12-22 | 2013-05-07 | Vidyo, Inc. | System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers |
| KR20070108433A (ko) * | 2006-01-09 | 2007-11-12 | 한국전자통신연구원 | 청크 디스크립터를 이용한 ｓｖｃ 파일포맷에서의 비디오데이터 공유방법 |
| US8693538B2 (en) | 2006-03-03 | 2014-04-08 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
| RU2395174C1 (ru) | 2006-03-30 | 2010-07-20 | ЭлДжи ЭЛЕКТРОНИКС ИНК. | Способ и устройство для декодирования/кодирования сигнала видео |
| CN101507281B (zh) * | 2006-07-12 | 2013-06-05 | 诺基亚公司 | 媒体文件中的兴趣区域可缩放性信息的信号发送 |
| US7782808B2 (en) * | 2007-07-02 | 2010-08-24 | Lg Electronics, Inc. | Digital broadcasting system and data processing method |
| US8230100B2 (en) * | 2007-07-26 | 2012-07-24 | Realnetworks, Inc. | Variable fidelity media provision system and method |
| GB2456572B (en) * | 2008-01-18 | 2012-03-14 | Picochip Designs Ltd | Femtocell device |
| KR101580516B1 (ko) * | 2008-04-07 | 2015-12-28 | 엘지전자 주식회사 | 방송 신호 수신 방법 및 방송 신호 수신 장치 |
| US8300705B2 (en) * | 2008-12-08 | 2012-10-30 | Electronics And Telecommunications Research Institute | Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video |
| CN101924944B (zh) * | 2009-06-15 | 2013-06-05 | 华为技术有限公司 | 可伸缩视频编码操作点选择方法、信息提供方法及设备 |
| KR20120015260A (ko) * | 2010-07-20 | 2012-02-21 | 한국전자통신연구원 | 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치 |
| EP2664151A4 (en) * | 2011-01-14 | 2016-01-20 | Vidyo Inc | HIGH-COATED SYNTAX FOR TIMELY SCALABILITY |
-
2013
- 2013-06-21 EP EP20191575.8A patent/EP3758376A1/en active Pending
- 2013-06-21 CN CN201380032438.1A patent/CN104396264B/zh active Active
- 2013-06-21 JP JP2014522604A patent/JP6576635B2/ja active Active
- 2013-06-21 KR KR1020147035423A patent/KR102161863B1/ko active IP Right Grant
- 2013-06-21 BR BR112014032108-6A patent/BR112014032108B1/pt active IP Right Grant
- 2013-06-21 IN IN2408MUN2014 patent/IN2014MN02408A/en unknown
- 2013-06-21 WO PCT/JP2013/067147 patent/WO2014002914A1/ja active Application Filing
- 2013-06-21 RU RU2014151717A patent/RU2641470C2/ru active
- 2013-06-21 US US14/399,282 patent/US10250901B2/en active Active
- 2013-06-21 EP EP13808997.4A patent/EP2869555A4/en not_active Withdrawn
-
2018
- 2018-12-18 US US16/223,154 patent/US10750199B2/en active Active
-
2020
- 2020-07-27 US US16/939,992 patent/US11979594B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007520149A (ja) * | 2004-01-29 | 2007-07-19 | サムスン エレクトロニクス カンパニー リミテッド | エンコーダ部からスケーラビリティを提供するスケーラブルビデオコーディング装置および方法 |
| JP2009510952A (ja) * | 2005-09-29 | 2009-03-12 | トムソン リサーチ ファンディング コーポレイション | 拘束された可変ビットレート（ｖｂｒ）ビデオ・エンコードの方法および装置 |
| JP2009540629A (ja) * | 2006-03-03 | 2009-11-19 | ヴィドヨ，インコーポレーテッド | スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法 |
| JP2010507346A (ja) * | 2006-10-16 | 2010-03-04 | ヴィドヨ，インコーポレーテッド | スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法 |
| WO2011001858A1 (ja) * | 2009-06-29 | 2011-01-06 | ソニー株式会社 | 立体画像データ送信装置および立体画像データ受信装置 |
Non-Patent Citations (3)
| Title |
|---|
| "Advanced video coding for generic audiovisual services", RECOMMENDATION ITU-T H.264, vol. H.264 (01/2012), JPN6017015435, January 2012 (2012-01-01), pages 390 - 394, ISSN: 0003730999 * |
| YE-KUI WANG ET AL.: "System and Transport Interface of SVC", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 17, no. 9, JPN6017015437, September 2007 (2007-09-01), pages 1149 - 1163, XP011193022, ISSN: 0003549669, DOI: 10.1109/TCSVT.2007.906827 * |
| 大久保 榮, インプレス標準教科書シリーズ Ｈ．２６４／ＡＶＣ教科書, JPN6018003242, 11 August 2004 (2004-08-11), pages 210 - 219, ISSN: 0003731000 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104396264A (zh) | 2015-03-04 |
| BR112014032108A2 (pt) | 2017-08-01 |
| EP2869555A4 (en) | 2016-03-16 |
| WO2014002914A1 (ja) | 2014-01-03 |
| US20200359044A1 (en) | 2020-11-12 |
| EP3758376A1 (en) | 2020-12-30 |
| KR102161863B1 (ko) | 2020-10-05 |
| RU2641470C2 (ru) | 2018-01-17 |
| US20190124352A1 (en) | 2019-04-25 |
| IN2014MN02408A (ja) | 2015-08-21 |
| RU2014151717A (ru) | 2016-07-10 |
| US20150124884A1 (en) | 2015-05-07 |
| KR20150035699A (ko) | 2015-04-07 |
| US11979594B2 (en) | 2024-05-07 |
| US10750199B2 (en) | 2020-08-18 |
| BR112014032108B1 (pt) | 2022-12-27 |
| JP6576635B2 (ja) | 2019-09-18 |
| US10250901B2 (en) | 2019-04-02 |
| EP2869555A1 (en) | 2015-05-06 |
| CN104396264B (zh) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6576635B2 (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| US11445228B2 (en) | Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal | |
| US11659152B2 (en) | Reception device, display control method, transmission device, and transmission method for program content type | |
| US10368144B2 (en) | Method and device for transmitting and receiving broadcast signal | |
| US10582269B2 (en) | Method and device for transmitting and receiving broadcast signal | |
| US10616618B2 (en) | Broadcast signal transmitting device, broadcast signal receiving device, broadcast signal transmitting method and broadcast signal receiving method | |
| US20130113883A1 (en) | Receiving device and output method | |
| JP5957770B2 (ja) | 映像処理装置、方法、プログラム、記録媒体及び集積回路 | |
| US20120113220A1 (en) | Video output device, video output method, reception device and reception method | |
| US20170142453A1 (en) | Transmission device, transmission method, reception device, and reception method | |
| US20210195254A1 (en) | Device for transmitting broadcast signal, device for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal | |
| JP2018011341A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP2016076957A (ja) | 送信装置、送信方法、受信装置および受信方法 | |
| JP5961717B2 (ja) | 受信装置、受信方法、および送受信方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160608 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160608 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170502 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170727 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170905 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171221 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180111 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20180202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190821 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6576635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |