JP5886341B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP5886341B2
JP5886341B2 JP2014045763A JP2014045763A JP5886341B2 JP 5886341 B2 JP5886341 B2 JP 5886341B2 JP 2014045763 A JP2014045763 A JP 2014045763A JP 2014045763 A JP2014045763 A JP 2014045763A JP 5886341 B2 JP5886341 B2 JP 5886341B2
Authority
JP
Japan
Prior art keywords
stream
image data
layer
picture
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014045763A
Other languages
English (en)
Other versions
JP2015171054A (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2014045763A priority Critical patent/JP5886341B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to HUE15758182A priority patent/HUE055494T2/hu
Priority to BR112016020162-0A priority patent/BR112016020162B1/pt
Priority to US15/119,582 priority patent/US10455243B2/en
Priority to EP15758182.8A priority patent/EP3116229B1/en
Priority to RU2016135446A priority patent/RU2671992C2/ru
Priority to PCT/JP2015/054090 priority patent/WO2015133250A1/ja
Priority to CN201580011446.7A priority patent/CN106063267B/zh
Priority to EP21185617.4A priority patent/EP3913919A1/en
Priority to CN201910585086.1A priority patent/CN110324628B/zh
Publication of JP2015171054A publication Critical patent/JP2015171054A/ja
Application granted granted Critical
Publication of JP5886341B2 publication Critical patent/JP5886341B2/ja
Priority to US16/549,024 priority patent/US11122280B2/en
Priority to US17/163,964 priority patent/US11394984B2/en
Priority to US17/809,794 priority patent/US11758160B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、動画像データを構成する各ピクチャの画像データを階層符号化して送信する送信装置等に関する。
圧縮動画を、放送、ネット等でサービスする際、受信機のデコード能力によって再生可能なフレーム周波数の上限が制限される。従って、サービス側は普及している受信機の再生能力を考慮して、低フレーム周波数のサービスのみに制限したり、高低複数のフレーム周波数のサービスを同時提供したりする必要がある。
受信機は、高フレーム周波数のサービスに対応するには、高コストとなり、普及の阻害要因となる。初期に低フレーム周波数のサービス専用の安価な受信機のみ普及していて、将来サービス側が高フレーム周波数のサービスを開始する場合、新たな受信機が無いと全く視聴不可能であり、サービスの普及の阻害要因となる。
例えば、ＨＥＶＣ（High Efficiency Video Coding）において、動画像データを構成する各ピクチャの画像データを階層符号化することによる時間方向スケーラビリティが提案されている（非特許文献１参照）。受信側では、ＮＡＬ（Network Abstraction Layer）ユニットのヘッダに挿入されているテンポラルＩＤ（temporal_id）情報に基づき、各ピクチャの階層を識別でき、デコード能力に対応した階層までの選択的なデコードが可能となる。
Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, Thomas Wiegand, "Overview of the High Efficiency Video Coding (HEVC) Standard" IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECNOROGY, VOL. 22, NO. 12, pp. 1649-1668, DECEMBER 2012
本技術の目的は、受信側において良好なデコード処理を可能とすることにある。
動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置にある。
本技術において、画像符号化部により、動画像データを構成する各ピクチャの画像データが符号化されてビデオストリーム（符号化ストリーム）が生成される。この場合、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの画像データを持つビデオストリームが生成される。ここで、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。
送信部により、上述のビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、画像符号化部は、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは複数の階層を上位階層側および下位階層側の２つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームを生成する、ようにされてもよい。
このように本技術においては、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。
なお、本技術において、例えば、階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、階層情報は、各階層のレベル指定値の情報を持つ、ようにされてもよい。また、この場合、例えば、階層情報挿入部は、階層情報を、コンテナのレイヤの、ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する、ようにされてもよい。
例えば、階層情報挿入部は、階層情報を、ＰＥＳパケットのエクステンションフィールドに挿入する、ようにされてもよい。この場合、階層情報挿入部は、階層情報をＰＥＳパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う、ようにされてもよい。また、この場合、例えば、プログラムマップテーブルの配下に、ＰＥＳパケットのエクステンションフィールドに階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。
また、例えば、階層情報挿入部は、階層情報を、プログラムマップテーブルの配下に挿入する、ようにされてもよい。また、例えば、階層情報挿入部は、階層情報を、イベントインフォメーションテーブルの配下に挿入する、ようにされてもよい。
このようにコンテナのレイヤに階層情報が挿入されることから、受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。
また、本技術の他の概念は、
動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置にある。
本技術において、受信部により、所定フォーマットのコンテナが受信される。このコンテナには、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの画像データを持つビデオストリームが含まれている。この場合、符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されている。
処理部により、受信されたコンテナが処理される。例えば、処理部は、階層情報に基づいて、ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、この所定階層以下の階層のピクチャの画像データを得る、ようにされてもよい。
このように本技術においては、受信されるコンテナに含まれているビデオストリームにおいて、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側に対応するピクチャが一つの組にされて順次符号化されている。そのため、例えば、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。
なお、本技術において、コンテナのレイヤに階層情報が挿入されており、処理部は、階層情報に基づいて、ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、この所定階層以下の階層のピクチャの画像データを得る、ようにされてもよい。この場合、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。
本技術によれば、受信側において良好なデコード処理が可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 エンコーダで行われる階層符号化の一例を示す図である。 ＮＡＬユニットヘッダの構造例（Syntax）およびその構造例における主要なパラメータの内容（Semantics）を示す図である。 エンコーダで行われる階層符号化の他の一例を示す図である。 各ピクチャの符号化画像データの構成例を示す図である。 レイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）の構造例（Syntax）を示す図である。 レイヤ・デコーディング・デスクリプタの構造例における主要な情報の内容（Semantics）を示す図である。 ＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示す図である。 ペス・エクステンション・デスクリプタ（PES_extension_descriptor）の構造例（Syntax）と、その構造例における主要な情報の内容（Semantics）を示す図である。 単一ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、プログラムマップテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、イベントインフォメーションテーブルの配下に階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 単一ストリームによる配信を行う場合であって、ＰＥＳパケットヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 ２ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールドに階層情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。 受信装置の構成例を示すブロック図である。 階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示す図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有する構成となっている。
送信装置１００は、コンテナとしてのトランスポートストリームＴＳを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームＴＳには、動画像データを構成する各ピクチャの画像データが複数の階層に分類され、各階層のピクチャの画像データの符号化データを持つビデオストリームが含まれる。この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリーム、あるいは複数の階層が上位階層側および下位階層側の２つの組に分割され、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームが含まれる。
例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５/ＨＥＶＣなどの符号化が施され、被参照ピクチャが自己階層および／または自己階層よりも低い階層に所属するように符号化される。そして、この場合、低階層側および高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。このような符号化が行われることで、受信側では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少が可能となる。
各階層のピクチャの符号化画像データに、ピクチャ毎に、所属階層を識別するための階層識別情報が付加される。この実施の形態においては、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に、階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置される。このように階層識別情報が付加されることで、受信側では、所定階層以下の階層の符号化画像データを選択的に取り出してデコード処理を行うことができる。
コンテナのレイヤに、各階層のレベル指定値の情報などを含む階層情報が挿入される。受信側では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことが、容易に可能となる。例えば、この階層情報は、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下、あるいはイベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に挿入される。
また、例えば、この階層情報は、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるＰＥＳパケットのヘッダのＰＥＳエクステンションフィールド（PES extension field）に挿入される。これにより、受信側では、階層構成が変化する場合にも、ビデオストリームからデコーダの能力に見合った階層のピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。
このように階層情報がＰＥＳパケットのエクステンションフィールドに挿入されるとき、ＰＥＳパケットのエクステンションフィールドに階層情報が挿入されていることを識別する識別情報が、プログラムマップテーブルの配下に挿入される。この場合、受信側においては、この識別情報に基づいて、ＰＥＳパケットのエクステンションフィールドに階層情報が挿入されていることを識別可能となる。
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームＴＳを受信する。受信装置２００は、このトランスポートストリームＴＳを処理する。この場合、コンテナのレイヤに含まれる階層情報に基づいて、ビデオストリームから、デコーダの能力に見合った所定階層以下の階層のピクチャの符号化画像データが選択的に取り出されて復号化（デコード）され、この所定階層以下の階層のピクチャの画像データが得られる。
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、ＣＰＵ（Central Processing Unit）１０１と、エンコーダ１０２と、圧縮データバッファ（ｃｐｂ：coded picture buffer）１０３と、マルチプレクサ１０４と、送信部１０５を有している。ＣＰＵ１０１は、制御部であり、送信装置１００の各部の動作を制御する。
エンコーダ１０２は、非圧縮の動画像データＶＤを入力して、階層符号化を行う。エンコーダ１０２は、この動画像データＶＤを構成する各ピクチャの画像データを複数の階層に分類する。そして、エンコーダ１０２は、この分類された各階層のピクチャの画像データを符号化し、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。
エンコーダ１０２は、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの符号化を行う。この際、エンコーダ１０２は、参照するピクチャ（被参照ピクチャ）が、自己階層および／または自己階層よりも下位の階層に所属するように、符号化する。また、エンコーダ１０２は、複数の階層を低階層側と高階層側に二分し、それぞれの階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する。
図３は、エンコーダ１０２で行われる階層符号化の一例を示している。この例は、０から５までの６階層に分類され、各階層のピクチャの画像データに対して符号化が施された例である。
縦軸は階層を示している。階層０から５のピクチャの符号化画像データを構成するＮＡＬユニット（nal_unit）のヘッダ部分に配置されるtemporal_id（階層識別情報）として、それぞれ、０から５が設定される。一方、横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。
図４（ａ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図４（ｂ）は、その構造例における主要なパラメータの内容（Semantics）を示している。「Forbidden_zero_bit」の１ビットフィールドは、０が必須である。「Nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプを示す。「Nuh_layer_id」の６ビットフィールドは、０を前提とする。「Nuh_temporal_id_plus1」の３ビットフィールドは、temporal_idを示し、１を加えた値（１〜６）をとる。
図３に戻って、矩形枠のそれぞれがピクチャを示し、数字は、符号化されているピクチャの順、つまりエンコード順（受信側ではデコード順）を示している。例えば、「０」から「７」の８個のピクチャによりサブ・ピクチャグループ（Sub group of pictures）が構成されており、「０」はそのサブ・ピクチャグループの先頭のピクチャとなる。このサブ・ピクチャグループがいくつか集まってＧＯＰ（Group Of Pictures）となる。
この例では、階層０から２の３階層が低階層側で、階層３から５の３階層が高階層側となる。図示のように、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。例えば、最初に低階層側の「０」と高階層側の「１」とが１つの組にされて符号化され、次に低階層側の「２」と高階層側の「３」とが１つの組にされて符号化され、以下同様に符号化されていく。この場合、低階層は、ある一定階層より低い階層に限定される。これにより、低階層をデコードする際には、限定された階層のみをデコードすることで安定したデコード表示が可能になる。このことは、低階層、高階層に分けられていない場合であっても同様である。
図３に戻って、実線、破線矢印は、符号化におけるピクチャの参照関係を示している。例えば、「０」はＩピクチャ（Intra picture）であり、他のピクチャを参照しない。「１」はＰピクチャであり、「１」のピクチャを参照して符号化される。「２」はＢピクチャであり、「０」のピクチャと、前のサブ・ピクチャグループのピクチャ（図示せず）を参照して符号化される。「３」はＢピクチャであり、「０」、「２」のピクチャを参照して符号化される。同様に、その他のピクチャは、表示順で近くのピクチャを参照して符号化される。なお、「Ｄ」は、参照するピクチャと表示順でどのくらい離れているかを示している。「Ｄ」の表示がないところは、Ｄ＝１である。
図５は、エンコーダ１０２で行われる階層符号化の他の一例を示している。詳細説明は省略するが、この例は、図３の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より１ピクチャ分遅れているが、図５の例では高階層側の各ピクチャの表示順が低階層側の各ピクチャの表示順より１ピクチャ分進んでいる。この例の場合も、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されていく。
エンコーダ１０２は、各階層のピクチャの符号化画像データを持つビデオストリームを生成する。例えば、各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームを生成する。
図６は、各ピクチャの符号化画像データの構成例を示している。ＧＯＰの先頭ピクチャの符号化画像データは、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。一方、ＧＯＰの先頭ピクチャ以外のピクチャは、ＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳのＮＡＬユニットにより構成される。ＶＰＳはＳＰＳと共に、シーケンス（ＧＯＰ）に一度、ＰＰＳは毎ピクチャで伝送可能とされている。なお、ＥＯＳは存在しなくともよい。
ＳＰＳ（Sequence Parameter Set）には、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“Sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」も挿入可能とされている。以上はＳＰＳだけでなくＶＰＳにおいても供給される。
例えば、図３の階層符号化の例を考える。ＳＰＳに挿入される「general_level_idc」の値は、階層０から５の全てのピクチャを含むレベル値とされる。例えば、そのフレームレートが、１２０Ｐであるときは、 “Ｌｅｖｅｌ５．２”とされる。また、ＳＰＳに挿入される「sublayer_level_idc[2]」の値は、階層０から２のピクチャのみを含むレベル値とされる。例えば、そのフレームレートが、６０Ｐであるときは、 “Ｌｅｖｅｌ５．１”とされる。
図２に戻って、圧縮データバッファ(ｃｐｂ)１０３は、エンコーダ１０２で生成された、各階層のピクチャの符号化画像データを含むビデオストリームを、一時的に蓄積する。マルチプレクサ１０４は、圧縮データバッファ１０３に蓄積されているビデオストリームを読み出し、ＰＥＳパケット化し、さらにトランスポートパケット化して多重し、多重化ストリームとしてのトランスポートストリームＴＳを得る。このトランスポートストリームＴＳには、上述したように、単一あるいは複数のビデオストリームが含まれる。
マルチプレクサ１０４は、コンテナのレイヤに、階層情報を挿入する。送信部１０５は、マルチプレクサ１０４で得られたトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
［階層情報の挿入について］
マルチプレクサ１０４における階層情報の挿入についてさらに説明する。マルチプレクサ１０４は、例えば、以下の（Ａ），（Ｂ），（Ｃ）のいずれかにより、コンテナのレイヤに階層情報を挿入する。
（Ａ）プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に、階層情報を挿入する。
（Ｂ）イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に、階層情報を挿入する。
（Ｃ）ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する。
「（Ａ）の説明」
トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴが含まれている。このＰＭＴには、各ビデオストリームに関連した情報を持つビデオエレメンタリ・ループ（video ES1 loop）が存在する。このビデオエレメンタリ・ループには、各ビデオストリームに対応して、ストリームタイプ、パケット識別子（ＰＩＤ）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
マルチプレクサ１０４は、このデスクリプタの一つとして新たに定義するレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）を挿入する。図７（ａ），（ｂ）は、レイヤ・デコーディング・デスクリプタの構造例（Syntax）を示している。また、図８は、その構造例における主要な情報の内容（Semantics）を示している。
「Layer_decoding_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、レイヤ・デコーディング・デスクリプタであることを示す。「Layer_decoding_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降の「layer_information()」のバイト数を示す。
図７（ｂ）は、「layer_information()」の構造例（Syntax）を示している。「layer_minimum LMI」の３ビットフィールドは、“temporal_id”の最小値で示される階層（layer）を示す。「layer_maximum LMX」の３ビットフィールドは、“temporal_id”の最大値で示される階層（layer）を示す。ここで、“temporal_id”を割り当てるレイヤ数は、（ＬＭＸ−ＬＭＩ＋１）となる。「layer_level_idc[i]」の８ビットフィールドは、各階層のビットレートのレベル指定値である「level_idc」を示す。
「（Ｂ）の説明」
また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。マルチプレクサ１０４は、このＥＩＴの配下に、上述したレイヤ・デコーディング・デスクリプタ（図７参照）を配置する。この場合、マルチプレクサ１０４は、このＥＩＴの配下に、従来周知のコンポーネント・デスクリプタ（Component descriptor）をも配置し、ＰＥＳストリームとのリンクをとる。
「（Ｃ）の説明」
ＰＥＳパケットのヘッダに、ＰＥＳエクステンションフィールド（Extension field）を設けることができる。マルチプレクサ１０４は、このエクステンションフィールドに、階層情報を持つＰＥＳエクステンション・フィールド・データを挿入する。マルチプレクサ１０４は、このようにＰＥＳパケットのヘッダにＰＥＳエクステンションフィールドを設けて、階層情報を持つＰＥＳエクステンション・フィールド・データを挿入することを、例えば、少なくともＣＶＳ（Coded Video Sequence）単位で行う。図９は、ＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」の構造例(Syntax)を示している。
なお、「PES_extension field length」は、このシンタクス構造の外部で与えられるものとする。「start_sync_byte」の８ビットフィールドは、エクステンション・フィールド（extension field）の開始を表す符号値を示す。「extension_field_type」の８ビットフィールドは、エクステンションフィールドのタイプを示す。ここでは、階層情報を供給することを示す。「layer_information()」は、上述したように、「layer_minimum LMI」「layer_minimum LMX」、「layer_level_idc[i]」のフィールドを持つ（図７（ｂ）参照）。
この場合、マルチプレクサ１０４は、ビデオエレメンタリ・ループに、デスクリプタの１つとして、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのペス・エクステンション・デスクリプタ（PES_extension_descriptor）を配置する。
図１０（ａ）は、ペス・エクステンション・デスクリプタ（PES_extension_descriptor）の構造例（Syntax）を示している。また、図１０（ｂ）は、その構造例における主要な情報の内容（Semantics）を示している。「PES_extention_descriptor_tag」の８ビットフィールドは、デスクリプタタイプを示し、ここでは、ペス・エクステンション・デスクリプタであることを示す。「PES_extention_descriptor_length」の８ビットフィールドは、デスクリプタの長さ（サイズ）を示し、デスクリプタの長さとして、以降のバイト数を示す。「PES_extension_existed」の１ビットフィールドは、該当するＰＥＳストリームのＰＥＳエクステンションフィールドに符号化がなされているかを示す。１”は、符号化がなされていることを示し、“０”は符号化がなされていないことを示す。
[トランスポートストリームＴＳの構成]
図１１は、単一ストリームによる配信を行う場合であって、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に階層情報を挿入する場合（上述の（Ａ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。
各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。上述したように、ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“Sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。
ビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が挿入される。
例えば、図３、図５の階層符号化例の場合、このデスクリプタに記述される内容は、以下とされる。すなわち、「layer_minimum LMI」＝０、「layer_maximum LMX」＝５、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2とされる。
図１２は、２ストリームによる配信を行う場合であって、プログラムマップテーブル（ＰＭＴ：Program Map Table）の配下に階層情報を挿入する場合（上述の（Ａ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。
低階層側の各ピクチャの符号化画像データには、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＳＬＩＣＥ、ＳＥＩなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。ＳＰＳには、ビットストリームのレベル指定値である「general_level_idc」が挿入されている。また、ＳＰＳには、“temporal_id”で示される各階層に属するピクチャがサブレイヤ（sub_layer）として括られ、“sublayer_level_presented_flag”が“１”とされることで、サブレイヤごとのビットレートのレベル指定値である「sublayer_level_idc」が挿入される。
一方、高階層側の各ピクチャの符号化画像データには、ＰＰＳ、ＳＬＩＣＥなどのＮＡＬユニットが存在する。ＮＡＬユニットのヘッダには、そのピクチャの階層識別情報（temporal_idを意味する“nuh_temporal_id_plus1”）が配置されている。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。
各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が挿入される。
例えば、図３、図５の階層符号化例の場合、ＰＥＳパケット「video PES1」、「video PES2」に対応したデスクリプタにそれぞれ記述される内容は、以下とされる。すなわち、ＰＥＳパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」＝０、「layer_maximum LMX」＝２、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1とされる。また、ＰＥＳパケット「video PES1」に対応したデスクリプタでは、「layer_minimum LMI」＝３、「layer_maximum LMX」＝５、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2とされる。
図１３は、単一ストリームによる配信を行う場合であって、イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に階層情報を挿入する場合（上述の（Ｂ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１１の構成例と同様に、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。このビデオエレメンタリ・ループには、ビデオストリーム（video PES1）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。このＥＩＴの配下に、上述したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図１１の構成例と同様となる。なお、このＥＩＴの配下には、従来既知のコンポーネント・デスクリプタ（Component descriptor）が配置されており、ＰＥＳパケット「video PES1」とのリンクが取られている。
図１４は、２ストリームによる配信を行う場合であって、イベントインフォメーションテーブル（ＥＩＴ：Event Information Table）の配下に階層情報を挿入する場合（上述の（Ｂ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１２の構成例と同様に、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
また、トランスポートストリームＴＳには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴが含まれている。このＥＩＴの配下に、ＰＥＳパケット「video PES1」、「video PES2」のそれぞれに対応したレイヤ・デコーディング・デスクリプタ（Layer_decoding_descriptor）が配置される。詳細説明は省略するが、このデスクリプタに記述される内容は、図１２の構成例と同様となる。なお、このＥＩＴの配下には、従来既知のコンポーネント・デスクリプタ（Component descriptor）が配置されており、ＰＥＳパケット「video PES1」、「video PES2」とのリンクが取られている。
図１５は、単一ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する場合（上述の（Ｃ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１１の構成例と同様に、複数の階層のピクチャの例えばＨＥＶＣによる符号化画像データを持つビデオストリームのＰＥＳパケット「video PES1」が存在する。
ＰＥＳパケットのヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１１の構成例におけるレイヤ・デコーディング・デスクリプタと同様となる。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（video ES loop）が存在する。
各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ（PES_extention_descriptor）が挿入される。このペス・エクステンション・デスクリプタは、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。
図１６は、２ストリームによる配信を行う場合であって、ＰＥＳパケットのヘッダのエクステンションフィールド（Extension field）に階層情報を挿入する場合（上述の（Ｃ））におけるトランスポートストリームＴＳの構成例を示している。この構成例では、図１２の構成例と同様に、複数の階層が低階層側と高階層側の２つの組に分割され、この２つ組のピクチャの例えばＨＥＶＣによる符号化画像データをそれぞれ持つビデオストリームのＰＥＳパケット「video PES1」、「video PES2」が存在する。
ＰＥＳパケット「video PES1」のヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１２の構成例におけるＰＥＳパケット「video PES1」に対応したレイヤ・デコーディング・デスクリプタと同様となる。
また、ＰＥＳパケット「video PES2」のヘッダに、ＰＥＳエクステンションフィールド（Extension field）が設けられ、「layer_information()」を持つＰＥＳエクステンション・フィールド・データ「pes_extension_field_data()」が挿入される。詳細説明は省略するが、この「layer_information()」の記述内容は、図１２の構成例におけるＰＥＳパケット「video PES2」に対応したレイヤ・デコーディング・デスクリプタと同様となる。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、２つのビデオエレメンタリ・ループ（video ES1 loop, video ES2 loop ）が存在する。
各ビデオエレメンタリ・ループには、ビデオストリーム（video PES1, video PES2）に対応して、ストリームタイプ、パケット識別子（PID）等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、ペス・エクステンション・デスクリプタ（PES_extention_descriptor）が挿入される。このペス・エクステンション・デスクリプタは、ＰＥＳエクステンションフィールドに階層情報が挿入されていることを明示するためのデスクリプタである。
図２に示す送信装置１００の動作を簡単に説明する。エンコーダ１０２には、非圧縮の動画像データＶＤが入力される。エンコーダ１０２では、この動画像データＶＤに対して、階層符号化が行われる。すなわち、エンコーダ１０２では、この動画像データＶＤを構成する各ピクチャの画像データが複数の階層に分類されて符号化され、各階層のピクチャの符号化画像データを持つビデオストリームが生成される。
この場合、参照するピクチャが、自己階層および／または自己階層よりも下位の階層に所属するように、符号化される。また、この場合、複数の階層が低階層側と高階層側に二分され、それぞれの階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。また、この場合、各階層のピクチャの符号化画像データを持つ単一のビデオストリームが生成されるか、あるいは上位階層側および下位階層側のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームが生成される。
エンコーダ１０２で生成された、各階層のピクチャの符号化データを含むビデオストリームは、圧縮データバッファ（ｃｐｂ）１０３に供給され、一時的に蓄積される。マルチプレクサ１０４では、圧縮データバッファ１０３に蓄積されているビデオストリームが読み出され、ＰＥＳパケット化され、さらにトランスポートパケット化されて多重され、多重化ストリームとしてのトランスポートストリームＴＳが得られる。このトランスポートストリームＴＳには、上述したように、単一あるいは複数のビデオストリームが含まれる。
このようにマルチプレクサ１０４でトランスポートストリームＴＳが生成されるとき、コンテナのレイヤに、例えば、プログラムマップテーブル（ＰＭＴ）の配下に、イベントインフォメーションテーブル（ＥＩＴ）の配下に、あるいはＰＥＳパケットのヘッダのエクステンションフィールドに階層情報が挿入される。マルチプレクサ１０４で生成されたトランスポートストリームＴＳは、送信部１０５に送られる。送信部１０５では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
「受信装置の構成」
図１７は、受信装置２００の構成例を示している。この受信装置２００は、ＣＰＵ（Central Processing Unit）２０１と、受信部２０２と、デマルチプレクサ２０３と、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４を有している。また、この受信装置２００は、デコーダ２０５と、非圧縮データバッファ（ｄｐｂ：decoded picture buffer）２０６と、ポスト処理部２０７と、表示部２０８を有している。ＣＰＵ２０１は、制御部を構成し、受信装置２００の各部の動作を制御する。
受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。デマルチプレクサ２０３は、トランスポートストリームＴＳから、デコーダ２０５の能力に応じた階層のピクチャの符号化画像データを、選択的に取り出し、圧縮データバッファ（ｃｐｂ：coded picture buffer）２０４に送る。この場合、各ピクチャのＮＡＬユニット（nal_unit）のヘッダ部分に配置されている、“temporal_id”を意味する「nuh_temporal_id_plus1」の値を参照する。
この場合、デマルチプレクサ２０３はコンテナのレイヤに挿入されている階層情報を抽出し、この階層情報から各階層の「layer_level_idc」を認識し、デコーダ２０５の能力ではどの階層までデコード可能かを検出する。例えば、図３、図５の階層符号化例で、「layer_level_idc[0]」＝Level5、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1、「layer_level_idc[3]」＝Level5.2、「layer_level_idc[4]」＝Level5.2、「layer_level_idc[5]」＝Level5.2であるとする。この場合、デコーダ２０５が６０Ｐ、つまり“Ｌｅｖｅｌ５．１”の能力があるときには、階層２までデコード可能であると検出される。また、この場合、デコーダ２０５が１２０Ｐ、つまり“Ｌｅｖｅｌ５．２”の能力があるときには、階層５までデコード可能であると検出される。
圧縮データバッファ(ｃｐｂ)２０４は、デマルチプレクサ２０３から送られてくる各階層のピクチャの符号化画像データを、一時的に蓄積する。デコーダ２０５は、圧縮データバッファ２０４に蓄積されている各ピクチャの符号化画像データを、それぞれ、そのピクチャのＤＴＳ（Decoding Time stamp）で与えられるデコードタイミングで読み出してデコードし、非圧縮データバッファ（ｄｐｂ）２０６に送る。
非圧縮データバッファ（ｄｐｂ）２０６は、デコーダ２０５でデコードされた各ピクチャの画像データを、一時的に蓄積する。ポスト処理部２０７は、非圧縮データバッファ（ｄｐｂ）２０６からＰＴＳ（Presentation Time stamp）で与えられる表示タイミングで順次読み出された各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせる処理を行う。
例えば、デコード後の各ピクチャの画像データのフレームレートが６０ｆｐｓであって、表示能力が１２０ｆｐｓであるとき、ポスト処理部２０７は、デコード後の各ピクチャの画像データに対して時間方向解像度が２倍となるように補間処理を施し、１２０ｆｐｓの画像データとして表示部２０８に送る。
表示部２０８は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。なお、この表示部２０８は、受信装置２００に接続される外部機器であってもよい。
図１７に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、デマルチプレクサ２０３に送られる。デマルチプレクサ２０３では、トランスポートストリームＴＳから、コンテナのレイヤに挿入されている階層情報に基づいて、デコーダ２０５の能力に応じた階層のピクチャの符号化画像データが選択的に取り出され、圧縮データバッファ（ｃｐｂ）２０４に送られ、一時的に蓄積される。
デコーダ２０５では、圧縮データバッファ２０４に蓄積されている各階層のピクチャの符号化画像データが取り出される。そして、デコーダ２０５では、取り出された各ピクチャの符号化画像データが、それぞれ、そのピクチャのデコードタイミングでデコードされ、非圧縮データバッファ（ｄｐｂ）２０６に送られ、一時的に蓄積される。
そして、非圧縮データバッファ（ｄｐｂ）２０６から表示タイミングで順次読み出された各ピクチャの画像データは、ポスト処理部２０７に送られる。ポスト処理部２０７では、各ピクチャの画像データに対して、そのフレームレートを、表示能力に合わせるための補間あるいはサブサンプルが行われる。このポスト処理部２０７で処理された各ピクチャの画像データは、表示部２０８に供給され、動画像の表示が行われる。
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化される。そのため、例えば、受信装置２００では、低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、一括りのタイミングで進めることが可能となり、バッファサイズの減少とデコード遅延の減少が可能となる。
また、図１に示す送受信システム１０において、送信装置１００では、階層符号化された各階層のピクチャの画像データを持つビデオストリームを含むトランスポートストリームを生成する際に、コンテナのレイヤに階層情報が挿入される。そのため、例えば、受信装置２００では、この階層情報を参照することで、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことが容易に可能となる。
また、図１に示す送受信システム１０において、送信装置１００では、階層情報は、例えば、ビデオストリームの各ピクチャの符号化画像データに同期した位置であるＰＥＳパケットのヘッダのＰＥＳエクステンションフィールド（PES extension field）に、少なくともＣＶＳ（Coded Video Sequence）単位で挿入される。そのため、受信側では、階層構成に変化がある場合にも、ビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを適切に行うことが可能となる。
図１８は、階層構成が変化する場合における符号化画像データの「level_idc」のシグナリングと階層情報との対応関係の一例を示している。この例は、階層０から２の３階層の符号化が行われている第１の５０ＰＣＶＳ系から、階層０から３の４階層の符号化が行われている第２の５０ＰＣＶＳ系に変化し、さらに、階層０から５の６階層の符号化が行われている１００ＰＣＶＳ系に変化する。また、図示の例は、階層情報が、ＰＭＴの配下に挿入されている例を示しているが、上述したように、ＥＩＴの配下、あるいはＰＥＳエクステンションフィールドに挿入される場合にあっても同様である。
第１の５０ＰＣＶＳ系の期間では、単一のビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から２の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層１のビットレートのレベル指定値である「sublayer_level_idc[1]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4.1、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1」とされている。
第２の５０ＰＣＶＳ系の期間では、単一のビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から３の全てのピクチャを含むレベル値である“Level5.1”とされている。また、階層２のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4、「layer_level_idc[1]」＝Level4.1、「layer_level_idc[2]」＝Level5」、「layer_level_idc[3]」＝Level5.1」とされている。
１００ＰＣＶＳ系の期間では、２つのビデオストリームで配信されている。符号化画像データのＳＰＳに挿入される「general_level_idc」の値は、階層０から５の全てのピクチャを含むレベル値である“Level5.2”とされている。また、階層２のビットレートのレベル指定値である「sublayer_level_idc[2]」は“Level5.1”とされている。この場合、階層情報に関しては、「layer_level_idc[0]」＝Level4.1、「layer_level_idc[1]」＝Level5、「layer_level_idc[2]」＝Level5.1」、「layer_level_idc[3]」＝Level5.2」、「layer_level_idc[4]」＝Level5.2」、「layer_level_idc[5]」＝Level5.2」とされている。
図示のように階層構成が変化していく場合、受信装置２００のデコーダ２０５が、例えば５０Ｐに対応するとき、デマルチプレクサ２０３では、階層情報に基づいて、第１の５０ＰＣＶＳ系の期間では階層０から２が取り出され、第２の５０ＰＣＶＳ系の期間では階層０から３が取り出され、１００ＰＣＶＳ系の期間では階層０から２が取り出され、圧縮データバッファ２０４に送られる。そして、デコーダ２０５では、各ピクチャの符号化画像データがそれぞれのデコードタイミングでデコードされ、５０Ｐの画像データが得られる。
＜２．変形例＞
なお、上述実施の形態においては、送信装置１００と受信装置２００からなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、例えば、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）、インターネット配信で使用されているＭＰ４などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化部と、
上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信装置。
（２）階層情報をコンテナのレイヤに挿入する階層情報挿入部をさらに備える
前記（１）に記載の送信装置。
（３）上記階層情報は、各階層のレベル指定値の情報を持つ
前記（２）記載の送信装置。
（４）上記階層情報挿入部は、
上記階層情報を、上記コンテナのレイヤの、上記ビデオストリームの各ピクチャの符号化画像データに同期した位置に挿入する
前記（２）または（３）に記載の送信装置。
（５）上記階層情報挿入部は、
上記階層情報を、ＰＥＳパケットのエクステンションフィールドに挿入する
前記（４）に記載の送信装置。
（６）上記階層情報挿入部は、
上記階層情報をＰＥＳパケットのエクステンションフィールドに挿入することを、少なくともコーデッド・ビデオ・シーケンス単位で行う
前記（５）に記載の送信装置。
（７）プログラムマップテーブルの配下に、上記ＰＥＳパケットのエクステンションフィールドに上記階層情報が挿入されているか否かを明示する情報を挿入する情報挿入部をさらに備える
前記（５）または（６）に記載の送信装置。
（８）上記階層情報挿入部は、
上記階層情報を、プログラムマップテーブルの配下に挿入する
前記（２）または（３）に記載の送信装置。
（９）上記階層情報挿入部は、
上記階層情報を、イベントインフォメーションテーブルの配下に挿入する
前記（２）または（３）に記載の送信装置。
（１０）上記画像符号化部は、
上記各階層のピクチャの符号化画像データを持つ単一のビデオストリームを生成するか、あるいは上記複数の階層を上記上位階層側および上記下位階層側の２つの組に分割し、各階層組のピクチャの符号化画像データをそれぞれ持つ２つのビデオストリームを生成する
前記（１）から（９）のいずれかに記載の送信装置。
（１１）動画像データを構成する各ピクチャの画像データを複数の階層に分類し、該分類された各階層のピクチャの画像データを符号化し、該符号化された各階層のピクチャの画像データを持つビデオストリームを生成する画像符号化ステップと、
送信部により、上記生成されたビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化する
送信方法。
（１２）動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理部をさらに備える
受信装置。
（１３）コンテナのレイヤに階層情報が挿入されており、
上記処理部は、
上記階層情報に基づいて、上記ビデオストリームから所定階層以下の階層のピクチャの符号化画像データを選択的に取り出して復号化し、該所定階層以下の階層のピクチャの画像データを得る
前記（１２）に記載の受信装置。
（１４）受信部により、動画像データを構成する各ピクチャの画像データが複数の階層に分類されて符号化されることで得られた各階層のピクチャの符号化画像データを持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部ステップを有し、
上記符号化では、低階層側と高階層側の階層構成が等しくされ、低階層側および高階層側の対応するピクチャが一つの組にされて順次符号化されており、
上記受信されたコンテナを処理する処理ステップをさらに有する
受信方法。
本技術の主な特徴は、低階層側と高階層側の階層構成を等しくし、低階層側および高階層側の対応するピクチャを一つの組にして順次符号化することで、受信側で低階層側および高階層側のピクチャの符号化画像データに対してデコード処理を行う際に、バッファサイズの減少およびデコード遅延の減少を可能としたことである（図３、図５参照）。また、本技術の主な特徴は、コンテナのレイヤに階層情報が挿入されることで、受信側でビデオストリームからデコーダの能力に見合った階層までのピクチャの符号化画像データを選択的に取り出すことを容易に可能としたことである（図７、図１１〜図１６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・ＣＰＵ
１０２・・・エンコーダ
１０３・・・圧縮データバッファ（ｃｐｂ）
１０４・・・マルチプレクサ
１０５・・・送信部
２００・・・受信装置
２０１・・・ＣＰＵ
２０２・・・受信部
２０３・・・デマルチプレクサ
２０４・・・圧縮データバッファ（ｃｐｂ）
２０５・・・デコーダ
２０６・・・非圧縮データバッファ（ｄｐｂ）
２０７・・・ポスト処理部
２０８・・・表示部

Claims (7)

  1. 動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを生成する画像符号化部を備え、
    上記符号化画像データはＮＡＬユニット構造を有し、上記画像符号化部は、上記第１のストリームのＳＰＳのＮＡＬユニットに、上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値と共に上記第１のストリームのレベル指定値を挿入し、
    上記画像符号化部で生成された上記第１のストリームおよび上記第２のストリームを多重化して所定フォーマットのコンテナを得ると共に、該コンテナに、上記第１のストリームに対応させて該第１のストリームのレベル指定値が記述された第１のデスクリプタを挿入し、上記第２のストリームに対応させて上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを挿入する多重化部と、
    上記多重化部で得られた所定フォーマットのコンテナを送信する送信部をさらに備える
    送信装置。
  2. 上記ＳＰＳのＮＡＬユニットに上記第１のストリームのレベル指定値の挿入があることを示すフラグ情報がさらに挿入される
    請求項１に記載の送信装置。
  3. 上記第１のデスクリプタには上記第１のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述され、上記第２のデスクリプタには上記第２のストリームに含まれるピクチャの階層の最大および最小の情報がさらに記述される
    請求項１に記載の送信装置。
  4. 上記コンテナはトランスポートストリームであり、
    上記第１のデスクリプタおよび上記第２のデスクリプタは、プログラムマップテーブルの配下に挿入される
    請求項１に記載の送信装置。
  5. 画像符号化部が、動画像データを構成する各ピクチャの画像データを階層符号化し、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを生成する画像符号化ステップを有し、
    上記符号化画像データはＮＡＬユニット構造を有し、上記画像符号化ステップでは、上記画像符号化部が、上記第１のストリームのＳＰＳのＮＡＬユニットに、上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値と共に上記第１のストリームのレベル指定値を挿入し、
    多重化部が、上記画像符号化ステップで生成された上記第１のストリームおよび上記第２のストリームを多重化して所定フォーマットのコンテナを得ると共に、該コンテナに、上記第１のストリームに対応させて該第１のストリームのレベル指定値が記述された第１のデスクリプタを挿入し、上記第２のストリームに対応させて上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを挿入する多重化ステップと、
    送信部が、上記多重化ステップで得られた所定フォーマットのコンテナを送信する送信ステップをさらに有する
    送信方法。
  6. 動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを含むと共に、上記第１のストリームに対応して該第１のストリームのレベル指定値が記述された第１のデスクリプタを含み、上記第２のストリームに対応して上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記符号化画像データはＮＡＬユニット構造を有し、上記第１のストリームのＳＰＳのＮＡＬユニットに、上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値と共に上記第１のストリームのレベル指定値が挿入されており、
    デコード能力に応じて、上記受信されたコンテナに含まれる上記第１のストリームに、あるいは上記第１のストリームおよび上記第２のストリームの双方にデコード処理を施して動画像データを構成する各ピクチャの画像データを得る処理部をさらに備える
    受信装置。
  7. 受信部が、動画像データを構成する各ピクチャの画像データが階層符号化されて生成された、低階層側のピクチャの符号化画像データを持つ第１のストリームと高階層側のピクチャの符号化画像データを持つ第２のストリームを含むと共に、上記第１のストリームに対応して該第１のストリームのレベル指定値が記述された第１のデスクリプタを含み、上記第２のストリームに対応して上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値が記述された第２のデスクリプタを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記符号化画像データはＮＡＬユニット構造を有し、上記第１のストリームのＳＰＳのＮＡＬユニットに、上記第１のストリームおよび上記第２のストリームを合わせたビットストリームのレベル指定値と共に上記第１のストリームのレベル指定値が挿入されており、
    処理部が、デコード能力に応じて、上記受信されたコンテナに含まれる上記第１のストリームに、あるいは上記第１のストリームおよび上記第２のストリームの双方にデコード処理を施して動画像データを構成する各ピクチャの画像データを得る処理ステップをさらに有する
    受信方法。
JP2014045763A 2014-03-07 2014-03-07 送信装置、送信方法、受信装置および受信方法 Active JP5886341B2 (ja)

Priority Applications (13)

Application Number Priority Date Filing Date Title
JP2014045763A JP5886341B2 (ja) 2014-03-07 2014-03-07 送信装置、送信方法、受信装置および受信方法
CN201580011446.7A CN106063267B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法
US15/119,582 US10455243B2 (en) 2014-03-07 2015-02-16 Transmission device, transmission method, reception device, and reception method for a first stream having encoded image data of pictures on a low-level side and a second stream having encoded image data of pictures on a high-level side
EP15758182.8A EP3116229B1 (en) 2014-03-07 2015-02-16 Transmission apparatus, transmission method, reception apparatus and reception method
RU2016135446A RU2671992C2 (ru) 2014-03-07 2015-02-16 Передающее устройство, способ передачи, приемное устройство и способ приема
PCT/JP2015/054090 WO2015133250A1 (ja) 2014-03-07 2015-02-16 送信装置、送信方法、受信装置および受信方法
HUE15758182A HUE055494T2 (hu) 2014-03-07 2015-02-16 Adóberendezés, adási eljárás, vevõberendezés és vételi eljárás
EP21185617.4A EP3913919A1 (en) 2014-03-07 2015-02-16 Transmission device, transmission method, reception device, and reception method
CN201910585086.1A CN110324628B (zh) 2014-03-07 2015-02-16 发送装置、发送方法、接收装置以及接收方法
BR112016020162-0A BR112016020162B1 (pt) 2014-03-07 2015-02-16 Dispositivos e métodos de transmissão e de recepção
US16/549,024 US11122280B2 (en) 2014-03-07 2019-08-23 Transmission device, transmission method, reception device, and reception method using hierarchical encoding to allow decoding based on device capability
US17/163,964 US11394984B2 (en) 2014-03-07 2021-02-01 Transmission device, transmission method, reception device, and reception method
US17/809,794 US11758160B2 (en) 2014-03-07 2022-06-29 Transmission device, transmission method, reception device, and reception method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014045763A JP5886341B2 (ja) 2014-03-07 2014-03-07 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015152911A Division JP6052354B2 (ja) 2015-07-31 2015-07-31 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JP2015171054A JP2015171054A (ja) 2015-09-28
JP5886341B2 true JP5886341B2 (ja) 2016-03-16

Family

ID=54055060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014045763A Active JP5886341B2 (ja) 2014-03-07 2014-03-07 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (4) US10455243B2 (ja)
EP (2) EP3913919A1 (ja)
JP (1) JP5886341B2 (ja)
CN (2) CN106063267B (ja)
HU (1) HUE055494T2 (ja)
RU (1) RU2671992C2 (ja)
WO (1) WO2015133250A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539908B2 (en) * 2017-09-29 2022-12-27 Advanced Micro Devices, Inc. Adjustable modulation coding scheme to increase video stream robustness
JP7067367B2 (ja) * 2018-08-24 2022-05-16 日本電信電話株式会社 映像送信装置及び映像送信方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370468B2 (ja) 1995-02-16 2003-01-27 三菱電機株式会社 光ディスク記録方法、光ディスク再生方法および再生装置、並びに光ディスク
US6009236A (en) 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
JP3224514B2 (ja) * 1996-08-21 2001-10-29 シャープ株式会社 動画像符号化装置および動画像復号装置
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
JP2001016582A (ja) 1999-06-29 2001-01-19 Canon Inc 画像処理装置およびその方法
JP2002010251A (ja) 2000-06-19 2002-01-11 Matsushita Electric Ind Co Ltd 映像信号符号化装置および映像信号復号化装置
JP2002102510A (ja) * 2000-09-29 2002-04-09 Nippon Game Card Kk 景品交換方法、景品交換システム及び景品交換装置
JP3843101B2 (ja) * 2002-03-04 2006-11-08 富士通株式会社 階層符号化データ配信装置および方法
US20040022322A1 (en) * 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects
EP1727090A1 (en) * 2004-02-27 2006-11-29 Tdvision Corporation S.A. DE C.V. Method and system for digital decoding 3d stereoscopic video images
RU2377735C2 (ru) * 2005-04-13 2009-12-27 Нокиа Корпорейшн Способ, устройство и система для эффективного кодирования и декодирования видеоданных
CA2518276A1 (en) 2005-09-13 2007-03-13 Ignis Innovation Inc. Compensation technique for luminance degradation in electro-luminance devices
CN101170697B (zh) * 2006-10-24 2012-07-25 华为技术有限公司 多视图象编解码方法及编解码器
EP2080380A2 (en) * 2006-10-24 2009-07-22 Thomson Licensing Picture identification for multi-view video coding
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8948241B2 (en) * 2009-08-07 2015-02-03 Qualcomm Incorporated Signaling characteristics of an MVC operation point
JP5295381B2 (ja) * 2009-10-27 2013-09-18 キヤノン株式会社 映像再生装置及び映像再生装置の制御方法
KR20120065943A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
JP2013090016A (ja) 2011-10-13 2013-05-13 Sony Corp 送信装置、送信方法、受信装置および受信方法
EP2801204B1 (fr) * 2012-01-05 2017-11-15 Tdf Dispositif et procede pour la reception d'un flux multiplexe diffusant une table pmt incluant un pid pour identifier des documents audiovisuels sans contraintes temporelles
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
MX341068B (es) * 2012-04-23 2016-08-05 Panasonic Ip Corp America Método de codificacion de imágenes, método de decodificacion de imágenes, aparato de codificacion de imágenes, aparato de decodificacion de imágenes y aparato de codificacion y decoficación de imágenes.
IN2014MN02408A (ja) * 2012-06-28 2015-08-21 Sony Corp
CN108235035B (zh) 2012-07-03 2021-01-12 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US11284133B2 (en) * 2012-07-10 2022-03-22 Avago Technologies International Sales Pte. Limited Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information
WO2014050425A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
WO2014050597A1 (ja) * 2012-09-28 2014-04-03 シャープ株式会社 画像復号装置
EP3022921A4 (en) * 2013-07-14 2017-03-15 Sharp Kabushiki Kaisha Signaling indications and constraints
KR20150009424A (ko) * 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2015053120A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像復号方法、画像符号化装置、及び画像符号化方法
JP6538324B2 (ja) * 2013-10-18 2019-07-03 パナソニック株式会社 画像符号化方法および画像符号化装置
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
US9591316B2 (en) * 2014-03-27 2017-03-07 Intel IP Corporation Scalable video encoding rate adaptation based on perceived quality

Also Published As

Publication number Publication date
RU2016135446A3 (ja) 2018-08-28
US11758160B2 (en) 2023-09-12
US11122280B2 (en) 2021-09-14
CN106063267B (zh) 2019-07-23
BR112016020162A2 (pt) 2022-07-19
US10455243B2 (en) 2019-10-22
US20210160517A1 (en) 2021-05-27
US11394984B2 (en) 2022-07-19
JP2015171054A (ja) 2015-09-28
CN110324628A (zh) 2019-10-11
EP3116229A1 (en) 2017-01-11
US20170054991A1 (en) 2017-02-23
RU2016135446A (ru) 2018-03-02
US20220408105A1 (en) 2022-12-22
CN106063267A (zh) 2016-10-26
CN110324628B (zh) 2023-09-01
HUE055494T2 (hu) 2021-11-29
US20200053369A1 (en) 2020-02-13
EP3116229A4 (en) 2017-10-04
EP3913919A1 (en) 2021-11-24
WO2015133250A1 (ja) 2015-09-11
EP3116229B1 (en) 2021-08-25
RU2671992C2 (ru) 2018-11-08

Similar Documents

Publication Publication Date Title
JP6344392B2 (ja) 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
US11758160B2 (en) Transmission device, transmission method, reception device, and reception method
JP2023010912A (ja) 送信方法および受信装置
JP6137401B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5961317B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5836424B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976189B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614281B2 (ja) 受信装置および受信方法
JP6350638B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5976188B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6052354B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5966075B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2015204634A (ja) 送信装置、送信方法、受信装置および受信方法
BR112016020162B1 (pt) Dispositivos e métodos de transmissão e de recepção

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150731

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150811

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20151002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160210

R150 Certificate of patent or registration of utility model

Ref document number: 5886341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250