JPWO2017033748A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2017033748A1
JPWO2017033748A1 JP2017536734A JP2017536734A JPWO2017033748A1 JP WO2017033748 A1 JPWO2017033748 A1 JP WO2017033748A1 JP 2017536734 A JP2017536734 A JP 2017536734A JP 2017536734 A JP2017536734 A JP 2017536734A JP WO2017033748 A1 JPWO2017033748 A1 JP WO2017033748A1
Authority
JP
Japan
Prior art keywords
image data
unit
stream
basic
format image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017536734A
Other languages
English (en)
Other versions
JP6801662B2 (ja
Inventor
塚越　郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017033748A1 publication Critical patent/JPWO2017033748A1/ja
Application granted granted Critical
Publication of JP6801662B2 publication Critical patent/JP6801662B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する際の受信側におけるデコード処理の便宜を図る。
基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する。ここで、高品質フォーマットの画像データに基本フォーマットの画像データまたは他の高品質フォーマットの画像データを参照した予測符号化処理が施されて拡張ストリームが生成される。そして、拡張ストリームのアクセスユニットにデコード順を示す情報が付加される。基本ストリームおよび所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する送信装置等に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献１には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのための基本レイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
特表２００８−５４３１４２号公報
基本レイヤのストリームに対して、スケーラブル拡張により機能追加を行う場合、各々の拡張成分に対応するレイヤに対してエンコードする際の参照対象が決まってくる。スケーラブル拡張が複数存在する場合、拡張によって新たに設けられるレイヤの各々のピクチャに属するブロックの参照・被参照の関係はデコードする際に被参照先のピクチャが既にデコード後である関係とされ、受信側におけるストリームのパケットの受信はデコード順を前提とするようになっている。
しかし、エンコードされたストリームのパケットは、多重化を含んで必ずしもエンコード順に伝送されることは保証されない。受信側におけるストリームのパケットの受信がデコード順でない場合には、復号化処理が滞るということも考えられる。
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する際の受信側におけるデコード処理の便宜を図ることにある。
本技術の概念は、
基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記高品質フォーマットの画像データに上記基本フォーマットの画像データまたは他の高品質フォーマットの画像データを参照した予測符号化処理を施し、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信装置にある。
本技術において、画像符号化部により、基本ストリームおよび所定数の拡張ストリームが生成される。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。送信部により、基本ストリームおよび所定数の拡張ストリームを含む所定フォーマットのコンテナが送信される。
高品質フォーマット画像データのピクチャ毎の符号化画像データは、この高品質フォーマット画像データに基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理が施されて得られる。また、拡張ストリームのアクセスユニットにデコード順を示す情報が付加される。例えば、符号化画像データはＮＡＬユニット構造を有し、画像符号化部は、拡張ストリームのアクセスユニットの先頭にデコード順を示す情報を持つ拡張アクセス・ユニット・デリミタのＮＡＬユニットを配置する、ようにされてもよい。
このように本技術においては、拡張ストリームのアクセスユニットにデコード順を示す情報が付加されるものである。そのため、受信側では、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで、容易に正しい順番で行うことが可能となる。
なお、本技術において、例えば、画像符号化部は、さらに、基本ストリームのアクセスユニットにデコード順を示す情報を付加する、ようにされてもよい。この場合、例えば、符号化画像データはＮＡＬユニット構造を有し、画像符号化部は、基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのＮＡＬユニットにデコード順を示す情報を持たせる、ようにされてもよい。このように基本ストリームのアクセスユニットにもデコード順を示す情報が付加されることで、受信側では、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで、容易に正しい順番で行うことが可能となる。
また、本技術の他の概念は、
基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信装置にある。
本技術において、受信部により、基本ストリームおよび所定数の拡張ストリームを含む所定フォーマットのコンテナが受信される。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。
高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものである。拡張ストリームのアクセスユニットにデコード順を示す情報が付加されている。
処理部により、基本ストリーム、あるいは基本ストリームと所定数の拡張ストリームの一部または全部が処理されて基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データが得られる。この場合、拡張ストリームのアクセスユニットの復号化処理は、デコード順を示す情報に基づいた順番で行われる。
このように本技術においては、拡張ストリームのアクセスユニットの復号化処理がデコード順を示す情報に基づいた順番で行われる。そのため、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
なお、本技術において、例えば、基本ストリームのアクセスユニットにデコード順を示す情報が付加されており、処理部は、基本ストリームのアクセスユニットおよび拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報に基づいた順番で行う、ようにされてもよい。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する際の受信側におけるデコード処理の便宜を図ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部の構成例を示すブロック図である。 エンコード部の主要部の構成例を示すブロック図である。 基本ストリーム、拡張ストリームのアクセスユニットへのデコード順を示す情報の付加を説明するための図である。 ＥＡＵＤのＮＡＬユニットおよびデコード順を示す情報を持つＡＵＤのＮＡＬユニットの構造例などを示す図である。 基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３の構成例を示す図である。 トランスポートストリームＴＳの構成例（２ストリームの場合）を示す図である。 トランスポートストリームＴＳの構成例（１ストリームの場合）を示す図である。 受信装置の構成例を示すブロック図である。 受信側におけるアクセスユニットに付加されているデコード順を示す情報に基づくアクセスユニットの順番変更を説明するための図である。 デコード部の主要部の構成例を示すブロック図である。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［送受信システム］
図１は、実施の形態としての送受信システム１０の構成例を示している。この送受信システム１０は、送信装置１００と、受信装置２００とを有している。送信装置１００から受信装置２００にコンテナとしてのトランスポートストリームＴＳが放送波あるいはネットのパケットに載せて送信される。
このトランスポートストリームＴＳには、基本ストリームおよび所定数の拡張ストリームが含まれる。基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。
基本フォーマット画像データおよび高品質フォーマット画像データには、例えば、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が施され、ピクチャ毎の符号化画像データが得られる。この場合、符号化画像データはＮＡＬユニット構造を有するものとされる。ここで、高品質フォーマット画像データのピクチャ毎の符号化画像データは、この高品質フォーマット画像データに基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理が施されて生成される。
基本ストリーム、拡張ストリームのアクセスユニットに、デコード順を示す情報が付加される。なお、拡張ストリームのアクセスユニットにのみデコード順を示す情報が付加されることも考えられる。この実施の形態において、拡張ストリームのアクセスユニットの先頭にデコード順を示す情報を持つ拡張アクセス・ユニット・デリミタ（ＥＡＵＤ：Extension Access Unit Delimiter）のＮＡＬユニットが配置される。また、この実施の形態において、基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタ（ＡＵＤ：Unit Delimiter）のＮＡＬユニットにデコード順を示す情報が持たせられる。
基本ストリームおよび所定数の拡張ストリームは、単一のビデオエレメンタリストリームとしてトランスポートストリームＴＳに含まれるか、あるいは複数、例えば２つのビデオエレメンタリストリームとしてトランスポートストリームＴＳに含まれる。２つのビデオエレメンタリストリームの場合、例えば、第１のビデオエレメンタリストリームには基本ストリームが含まれ、第２のビデオエレメンタリストリームには所定数の拡張ストリームが含まれる。
受信装置２００は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。このトランスポートストリームＴＳには、基本ストリームおよび所定数の拡張ストリームが含まれる。上述したように、基本ストリームには、基本フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。所定数の拡張ストリームには、それぞれ、異なる高品質フォーマット画像データのピクチャ毎の符号化画像データがアクセスユニットとして含まれる。各アクセスユニットには、デコード順を示す情報が付加されている。
受信装置２００は、基本ストリーム、あるいは基本ストリームと所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理は、付加されているデコード順を示す情報に基づいた順番で行われる。この場合、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理が常に正しい順番で行われることから、復号化処理が滞るということが回避される。
「送信装置の構成」
図２は、送信装置１００の構成例を示している。この送信装置１００は、送信画像データとして、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を取り扱う。基本フォーマット画像データＶｂは、解像度がＨＤ（High Definition）、ダイナミックレンジがＳＤＲ（Standard Dynamic Range）、フレームレートがＬＦＲ（Low Frame Rate）である画像データ（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）である。
高品質フォーマット画像データＶｈ１は、解像度がＵＨＤ（Ultra High Definition）、ダイナミックレンジがＳＤＲ（Standard Dynamic Range）、フレームレートがＬＦＲ（Low Frame Rate）である画像データ（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）である。高品質フォーマット画像データＶｈ２は、解像度がＵＨＤ（Ultra High Definition）、ダイナミックレンジがＨＤＲ（High Dynamic Range）、フレームレートがＬＦＲ（Low Frame Rate）である画像データ（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）である。
画像データＶｈ３は、解像度がＵＨＤ（Ultra High Definition）、ダイナミックレンジがＨＤＲ（High Dynamic Range）、フレームレートがＨＦＲ（High Frame Rate）である画像データ（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）である。ここでは、例えば、ＨＦＲは１２０Ｈｚであり、ＬＦＲは６０Ｈｚである。
図３は、基本フォーマット画像データＶｂと、３つの高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３を生成する画像データ生成部１５０の構成例を示している。この画像データ生成部１５０は、カメラ１５１と、フレームレート変換部１５２と、ダイナミックレンジ変換部１５３と、解像度変換部１５４を有している。
カメラ１５１は、被写体を撮像し、ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ、つまり高品質フォーマット画像データＶｈ３を出力する。フレームレート変換部１５２は、ＨＤＲカメラ１５１から出力される高品質フォーマット画像データＶｈ３に対して、フレームレートをＨＦＲからＬＦＲに変換する処理を行って、ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ、つまり高品質フォーマット画像データＶｈ２を出力する。
ダイナミックレンジ変換部１５３は、フレームレート変換部１５２から出力される高品質フォーマット画像データＶｈ２に対してダイナミックレンジをＨＤＲからＳＤＲに変換する処理を行って、ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ、つまり高品質フォーマット画像データＶｈ１を出力する。解像度変換部１５４は、ダイナミックレンジ変換部１５３から出力される高品質フォーマット画像データＶｈ１に対して、解像度をＵＨＤからＨＤに変換する処理を行って、ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ、つまり基本フォーマット画像データＶｂを出力する。
図２に戻って、送信装置１００は、制御部１０１と、ＳＤＲ光電変換部１０２，１０３と、ＨＤＲ光電変換部１０４，１０５と、ビデオエンコーダ１０６と、システムエンコーダ１０７と、送信部１０８を有している。制御部１０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、送信装置１００の各部の動作を制御する。
ＳＤＲ光電変換部１０２は、基本フォーマット画像データＶｂに対して、ＳＤＲ画像用の光電変換特性（ＳＤＲ ＯＥＴＦカーブ）を適用して、伝送用の基本フォーマット画像データＶｂ´を得る。ＳＤＲ光電変換部１０３は、高品質フォーマット画像データＶｈ１に対して、ＳＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ１´を得る。
ＨＤＲ光電変換部１０４は、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）を適用して、伝送用の高品質フォーマット画像データＶｈ２´を得る。ＨＤＲ光電変換部１０５は、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データＶｈ３´を得る。
ビデオエンコーダ１０６は、４つのエンコード部１０６-0，１０６-1，１０６-2，１０６-3を有する。エンコード部１０６-0は、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む基本レイヤのストリーム、つまり基本ストリームＣｂを得る。この場合、エンコード部１０６-0は、画像データＶｂ´内の予測を行う。
エンコード部１０６-1は、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームＣｈ１を得る。この場合、エンコード部１０６-1は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ１´内の予測、または画像データＶｂ´との間の予測を、選択的に行う。
エンコード部１０６-2は、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームＣｈ２を得る。この場合、エンコード部１０６-2は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ２´内の予測、または画像データＶｈ１´との間の予測を、選択的に行う。
エンコード部１０６-3は、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理を行って、ピクチャ毎の符号化画像データをアクセスユニットとして含む拡張レイヤのストリーム、つまり拡張ストリームＣｈ３を得る。この場合、エンコード部１０６-3は、予測残差を小さくするために、符号化ブロック毎に、画像データＶｈ３´内の予測、または画像データＶｈ２´との間の予測を、選択的に行う。
図４は、エンコード部１６０の主要部の構成例を示している。このエンコード部１６０は、エンコード部１０６-1，１０６-2，１０６-3に適用し得るものである。このエンコード部１６０は、レイヤ内予測部１６１と、レイヤ間予測部１６２と、予測調整部１６３と、選択部１６４と、エンコード機能部１６５を有している。
レイヤ内予測部１６１は、符号化対象の画像データＶ１に対して、この画像データＶ１内での予測（レイヤ内予測）を行って予測残差データを得る。レイヤ間予測部１６２は、符号化対象の画像データＶ１に対して、参照対象の画像データＶ２との間での予測（レイヤ間予測）を行って予測残差データを得る。
予測調整部１６３は、レイヤ間予測部１６２におけるレイヤ間予測を効率よく行うために、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じて、例えば、以下の処理を行う。ダイナミックレンジ拡張の場合は、ＳＤＲからＨＤＲに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、他のレイヤのブロックを所定のサイズにスケーリング処理を施したものを対象とする。フレームレート拡張の場合は、バイパスするか、または、参照、被参照データに係数を乗ずるなどする。
例えば、エンコード部１０６-1の場合、画像データＶ１は高品質フォーマット画像データＶｈ１´（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）であり、画像データＶ２は基本フォーマット画像データＶｂ´（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）であり、スケーラブル拡張のタイプは空間スケーラブル拡張に当たる。そのため、予測調整部１６３では、ブロックのスケーリング処理が行われる。
また、例えば、エンコード部１０６-2の場合、画像データＶ１は高品質フォーマット画像データＶｈ２´（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）であり、画像データＶ２は高品質フォーマット画像データＶｈ１´（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部１６３では、画像データＶ１´に対してＳＤＲからＨＤＲに変換するためのレベル調整が行われる。なお、レベル調整は、ダイナミックレンジ変換部１５３から供給される情報を元に行われてもよい。
また、例えば、エンコード部１０６-3の場合、画像データＶ１は高品質フォーマット画像データＶｈ３´（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）であり、画像データＶ２は高品質フォーマット画像データＶｈ２´（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部１６３では、画像データＶｈ２´がそのままバイパスされるか、または、参照、被参照データに係数を乗ずるなどされる。
選択部１６４は、符号化ブロック毎に、レイヤ内予測部１６１で得られる予測残差データ、またはレイヤ間予測部１６２で得られる予測残差データを選択的に取り出し、エンコード機能部１６５に送る。この場合、選択部１６４では、例えば、予測残差の小さい方が取り出される。エンコード機能部１６５は、選択部１６４から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データＣＶを得る。
図２に戻って、ビデオエンコーダ１０６は、基本ストリーム（基本レイヤのストリーム）Ｃｂのアクセスユニットに、デコード順（エンコード順）を示す情報を付加する。具体的には、基本ストリームＣｂのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタ（ＡＵＤ：Access Unit Delimiter）のＮＡＬユニットに、デコード順を示す情報を持たせる。
また、ビデオエンコーダ１０６は、拡張ストリーム（拡張レイヤのストリーム）Ｃｈ１，Ｃｈ２，ＣＨ３のアクセスユニットに、デコード順（エンコード順）を示す情報を付加する。具体的には、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットの先頭に、デコード順（エンコード順）を示す情報を持つ、新規定義する拡張・アクセス・ユニット・デリミタ（ＥＡＵＤ：Extension Access Unit Delimiter）のＮＡＬユニットを配置する。
図５（ａ）は、基本レイヤのアクセスユニット（Base layer Access Unit）と、それに対応する拡張レイヤのアクセスユニット（Enhanced layer Access Unit）のペアでグローバル・アクセスユニット（Global Access Unit）が構成されることを示している。ここで、基本レイヤのアクセスユニットの１個に対して、所定個、例えば拡張レイヤ数と同じ個数の拡張レイヤのアクセスユニットが存在する。
図５（ｂ）は、基本レイヤのアクセスユニットの１個に対して、１個の拡張レイヤのアクセスユニットが存在する場合を示している。図５（ｃ）は、基本レイヤのアクセスユニットの１個に対して、２個の拡張レイヤのアクセスユニットが存在する場合を示している。図示のように、基本レイヤのアクセスユニットの先頭にＡＵＤのＮＡＬユニットが配置され、拡張レイヤのアクセスユニットの先頭にＥＡＵＤのＮＡＬユニットが配置される。
図６（ａ）は、ＥＡＵＤのＮＡＬユニットおよびデコード順を示す情報を持つＡＵＤのＮＡＬユニットの構造例（Syntax）を示し、図６（ｂ）は、ＮＡＬユニットヘッダの構造例（Syntax）を示し、図６（ｃ）は、それらの構造例における主要なパラメータの内容（Semantics）を示している。
図６（ａ）に示すように、ＥＡＵＤのＮＡＬユニットおよびデコード順を示す情報を持つＡＵＤのＮＡＬユニットは、ＮＡＬユニットヘッダ（nal_unit_header()）と、ペイロード情報としての「au_decoding_order」の８ビットフィールドからなっている。ここで、「NumBytesInNalUnit」は、ＮＡＬユニットヘッダ（nal_unit_header()）のバイト数（Byte length）＋１の値を示す。
「au_decoding_order」のフィールドは、アクセスユニットのデコード順を昇順で示す。「forbidden_zero_bit」の１ビットフィールドは、０が必須である。「nal_unit_type」の６ビットフィールドは、ＮＡＬユニットタイプ（NAL unit type）を示す。ＡＵＤのＮＡＬユニットのＮＡＬユニットタイプの値は“３５”と定義されている。ＥＡＵＤのＮＡＬユニットのＮＡＬユニットタイプの値は、現状で未使用の新規の値で定義する。
「nuh_layer_id」の６ビットフィールドは、拡張レイヤの“ｉｄ”を示す。「nuh_temporal_id_plus1」の３ビットフィールドは、temporal_id（０〜６）を示し、１を加えた値（１〜７）を取る。この実施の形態においては、これら２つのフィールドの情報で基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３の各ストリームの識別が可能とされる。
例えば、基本ストリームＣｂに関しては、「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“１”とされ、基本ストリームＣｂであることが識別可能とされる。また、拡張ストリームＣｈ１に関しては、「nuh_layer_id」は“１”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ１であることが識別可能とされる。
また、拡張ストリームＣｈ２に関しては、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ２であることが識別可能とされる。また、拡張ストリームＣｈ３に関しては、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“７”とされ、拡張ストリームＣｈ３であることが識別可能とされる。
図７は、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３の構成例を示している。横軸は表示順（ＰＯＣ：picture order of composition）を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
基本ストリームＣｂは、「０」、「４」、・・・のピクチャのアクセスユニット（符号化画像データ）で構成される。拡張ストリームＣｈ１は、基本ストリームＣｂの各ピクチャと同じ位置の「１」、「５」、・・・のピクチャのアクセスユニット（符号化画像データ）で構成される。拡張ストリームＣｈ２は、拡張ストリームＣｈ１の各ピクチャと同じ位置の「２」、「６」、・・・のピクチャのアクセスユニット（符号化画像データ）で構成される。拡張ストリームＣｈ３は、拡張ストリームＣｈ２の各ピクチャの間に位置する「３」、「７」、・・・のピクチャのアクセスユニット（符号化画像データ）で構成される。
図２に戻って、システムエンコーダ１０７は、ビデオエンコーダ１０６で生成された基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３の各ストリームを用いて、ビデオストリームを生成し、ＰＥＳパケット化およびＴＳパケット化を行って、トランスポートストリームＴＳを生成する。送信部１０８は、このトランスポートストリームＴＳを、放送波あるいはネットのパケットに載せて、受信装置２００に送信する。
ここで、２ストリーム構成の場合、システムエンコーダ１０７は、基本ストリームＣｂのアクセスユニット（符号化画像データ）を含む基本ビデオストリームと、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニット（符号化画像データ）を含む拡張ビデオストリームを生成する。つまり、この場合、トランスポートストリームＴＳは、基本ビデオストリームと拡張ビデオストリームの２本のビデオストリームを有するものとなる。
また、１ストリーム構成の場合、システムエンコーダ１０７は、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニット（符号化画像データ）を含むビデオストリームを生成する。つまり、この場合、トランスポートストリームＴＳは、１本のビデオストリームを有するものとなる。
[トランスポートストリームＴＳの構成]
図８は、２ストリーム構成の場合におけるトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅの２本のビデオストリームが含まれている。この構成例では、各ビデオストリームのＰＥＳパケット「video PES」が存在する。
基本ビデオストリームＳＴｂのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。この基本ビデオストリームＳＴｂには、基本ストリームＣｂのアクセスユニット（符号化画像データ）が含まれている。このアクセスユニットには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。このＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“１”とされ、基本ストリームＣｂに係るアクセスユニットであることが示される。
また、拡張ビデオストリームＳＴｅのパケット識別子（ＰＩＤ）は例えばＰＩＤ２とされている。この拡張ビデオストリームＳＴｅには、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニット（符号化画像データ）が含まれている。このアクセスユニットには、ＥＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。拡張ストリームＣｈ１のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“１”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ１に係るアクセスユニットであることが示される。
また、拡張ストリームＣｈ２のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ２に係るアクセスユニットであることが示される。また、拡張ストリームＣｈ３のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“７”とされ、拡張ストリームＣｈ３に係るアクセスユニットであることが示される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームＳＴｂと拡張ビデオストリームＳＴｅの２本のビデオストリームに対応して２つのビデオエレメンタリストリームループ（video ES loop）が存在する。
基本ビデオストリームＳＴｂに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置される。また、拡張ビデオストリームＳＴｅに対応したビデオエレメンタリストリームループには、ストリームタイプ（ST1）、パケット識別子（PID2）等の情報が配置されると共に、この拡張ビデオストリームＳＴｅに関連する情報を記述するデスクリプタも配置される。
図９は、１ストリーム構成の場合におけるトランスポートストリームＴＳの構成例を示している。このトランスポートストリームＴＳには、１本のビデオストリームＳＴが含まれている。この構成例では、このビデオストリームＳＴのＰＥＳパケット「video PES」が存在する。
このビデオストリームＳＴのパケット識別子（ＰＩＤ）は例えばＰＩＤ１とされている。このビデオストリームＳＴには、基本ストリームＣｂのアクセスユニット（符号化画像データ）が含まれていると共に、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニット（符号化画像データ）が含まれている。
基本ストリームの各ピクチャのアクセスユニットには、ＡＵＤ、ＶＰＳ、ＳＰＳ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“１”とされ、基本ストリームＣｂに係るアクセスユニットであることが示される。このＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“０”とされ、「nuh_temporal_id_plus1」は“１”とされ、基本ストリームＣｂに係るアクセスユニットであることが示される。
また、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットには、ＥＡＵＤ、ＰＰＳ、ＰＳＥＩ、ＳＬＩＣＥ、ＳＳＥＩ、ＥＯＳなどのＮＡＬユニットが存在する。拡張ストリームＣｈ１のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“１”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ１に係るアクセスユニットであることが示される。
また、拡張ストリームＣｈ２のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“１”とされ、拡張ストリームＣｈ２に係るアクセスユニットであることが示される。また、拡張ストリームＣｈ３のアクセスユニットのこのＮＡＬユニットのヘッダにおいて、「nuh_layer_id」は“２”とされ、「nuh_temporal_id_plus1」は“７”とされ、拡張ストリームＣｈ３に係るアクセスユニットであることが示される。
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（Program Map Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・ループ（Program loop）が存在する。また、ＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、１本のビデオストリームＳＴに対応して１つのビデオエレメンタリストリームループ（video ES loop）が存在する。このビデオエレメンタリストリームループには、ストリームタイプ（ST0）、パケット識別子（PID1）等の情報が配置されると共に、このビデオストリームＳＴに関連する情報を記述するデスクリプタも配置される。
図２に示す送信装置１００の動作を簡単に説明する。基本フォーマット画像データ（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｂは、ＳＤＲ光電変換部１０２に供給される。このＳＤＲ光電変換部１０２では、基本フォーマット画像データＶｂに対して、ＳＤＲ画像用の光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の基本フォーマット画像データＶｂ´が得られる。この基本フォーマット画像データＶｂ´は、ビデオエンコーダ１０６のエンコード部１０６-0に供給される。
また、高品質フォーマット画像データ（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｈ１は、ＳＤＲ光電変換部１０３に供給される。このＳＤＲ光電変換部１０３では、高品質フォーマット画像データＶｈ１に対して、ＳＤＲ画像用の光電変換特性（ＳＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ１´が得られる。この高品質フォーマット画像データＶｈ１´は、ビデオエンコーダ１０６のエンコード部１０６-１に供給される。
また、高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）Ｖｈ２は、ＨＤＲ光電変換部１０４に供給される。このＨＤＲ光電変換部１０４では、高品質フォーマット画像データＶｈ２に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ２´が得られる。この高品質フォーマット画像データＶｈ２´は、ビデオエンコーダ１０６のエンコード部１０６-2に供給される。
また、高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）Ｖｈ３は、ＨＤＲ光電変換部１０５に供給される。このＨＤＲ光電変換部１０５では、高品質フォーマット画像データＶｈ３に対して、ＨＤＲ画像用の光電変換特性（ＨＤＲ ＯＥＴＦカーブ）が適用されて、伝送用の高品質フォーマット画像データＶｈ３´が得られる。この高品質フォーマット画像データＶｈ３´は、ビデオエンコーダ１０６のエンコード部１０６-3に供給される。
ビデオエンコーダ１０６では、基本フォーマット画像データＶｂ´、高品質フォーマット画像データＶｈ１´，Ｖｈ２´，Ｖｈ３´のそれぞれに対して符号化処理が施されて、基本ストリーム（基本レイヤのストリーム）Ｃｂ、拡張ストリーム（拡張レイヤのストリーム）Ｃｈ１，Ｃｈ２，Ｃｈ３が生成される。すなわち、エンコード部１０６-0では、伝送用の基本フォーマット画像データＶｂ´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、基本ストリームＣｂが得られる。
また、エンコード部１０６-1では、伝送用の高品質フォーマット画像データＶｈ１´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、拡張ストリームＣｈ１が得られる。また、エンコード部１０６-2では、伝送用の高品質フォーマット画像データＶｈ２´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、拡張ストリームＣｈ２が得られる。さらに、エンコード部１０６-3では、伝送用の高品質フォーマット画像データＶｈ３´に対してＨ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの予測符号化処理が行われて、拡張ストリームＣｈ３が得られる。
ビデオエンコーダ１０６では、基本ストリームＣｂのアクセスユニットの先頭に配置されたＡＵＤのＮＡＬユニットに、デコード順（エンコード順）を示す情報を持たせることが行われる。また、ビデオエンコーダ１０６では、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットの先頭に、デコード順（エンコード順）を示す情報を持つ、新規定義するＥＡＵＤのＮＡＬユニットが配置される。
ビデオエンコーダ１０６で得られる基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３の各ストリームは、システムエンコーダ１０７に供給される。システムエンコーダ１０７では、各ストリームを用いて、ビデオストリームが生成され、ＰＥＳパケット化およびＴＳパケット化が行われて、トランスポートストリームＴＳが生成される。
ここで、２ストリーム構成の場合、基本ストリームＣｂのアクセスユニットを含む基本ビデオストリームと拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットを含む２本のビデオストリームが生成される。また、１ストリーム構成の場合、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットを含む１本のビデオストリームが生成される。トランスポートストリームＴＳは、送信部１０８に送られる。送信部１０８では、このトランスポートストリームＴＳが、放送波あるいはネットのパケットに載せて、受信装置２００に送信される。
「受信装置の構成」
図１０は、受信装置２００の構成例を示している。この受信装置２００は、図２の送信装置１００の構成例に対応したものである。この受信装置２００は、制御部２０１と、受信部２０２と、システムデコーダ２０３と、圧縮データバッファ（ｃｐｂ）２０４と、ビデオデコーダ２０５と、ＳＤＲ電光変換部２０６，２０７と、ＨＤＲ電光変換部２０８、２０９と、表示部（表示デバイス）２１０と、ＮＡＬユニット解析部２１１を有している。
制御部２０１は、ＣＰＵ（Central Processing Unit）を備えて構成され、制御プログラムに基づいて、受信装置２００の各部の動作を制御する。受信部２０２は、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳを受信する。システムデコーダ２０３は、このトランスポートストリームＴＳからビデオストリームを抽出する。
２ストリーム構成の場合（図８参照）、基本ストリームＣｂを含む基本ビデオストリームと、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３を含む拡張ビデオストリームの２本のビデオストリームを抽出する。また、１ストリーム構成の場合（図９参照）、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３を含む１本のビデオストリームを抽出する。
圧縮データバッファ２０４は、システムデコーダ２０３で抽出されて送られてきた基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットを順に蓄積する。ＮＡＬユニット解析部２１１は、圧縮データバッファ２０４に蓄積された各アクセスユニットのＮＡＬユニットを解析する。ＮＡＬユニット解析部２１１は、各アクセスユニットの先頭に配置されたＡＵＤ，ＥＡＵＤのＮＡＬユニットの「au_decoding_order」のフィールドのデコード順を示す情報から、各アクセスユニットのデコード順を把握する。
また、ＮＡＬユニット解析部２１１は、各アクセスユニットのＮＡＬユニットヘッダのnuh_layer_id」のフィールドおよび「nuh_temporal_id_plus1」のフィールドの情報から、各アクセスユニットが基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のいずれのストリームに係るアクセスユニットであるかを把握する。
圧縮データバッファ２０４は、上述したようにシステムデコーダ２０３で抽出されて送られてきて順に蓄積された各アクセスユニットの順を、ＮＡＬユニット解析部２１１で把握される各アクセスユニットのデコード順に基づいて、デコード順となっていない箇所に関しては、デコード順となるように変更する。
図１１（ａ）は、システムデコーダ２０３で抽出されて圧縮データバッファ２０４に送られるアクセスユニット列の一例を示している。なお、「Dc_order」は、デコード順を示す昇順の値である。第２番目に受信されたアクセスユニットと、第３番目に受信されたアクセスユニットの順は、デコード順とはなっていない。また、第５番目から第７番目に受信されたアクセスユニットの順は、デコード順とはなっていない。そこで、圧縮データバッファ２０４は、ＮＡＬユニット解析部２１１で把握される各アクセスユニットのデコード順に基づいて、図１１（ｂ）に示すように、デコード順となっていない箇所に関しては、デコード順となるように変更する。
ビデオデコーダ２０５は、４つのデコード部２０５-0，２０５-1，２０５-2，２０５-3を有する。ビデオデコーダ２０５は、圧縮データバッファ２０４に蓄積された各アクセスユニットに対して、デコード順に、復号化処理をする。デコード部２０５-0は、基本ストリームＣｂのアクセスユニットに復号化処理を行って、基本フォーマット画像データＶｂ´を生成する。この場合、デコード部２０５-0は、画像データＶｂ´内で予測補償を行う。
デコード部２０５-1は、拡張ストリームＣｈ１のアクセスユニットに復号化処理を行って、高品質フォーマット画像データＶｈ１´を生成する。この場合、デコード部２０５-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ１´内の予測補償、または画像データＶｂ´との間の予測補償を、行う。
デコード部２０５-2は、拡張ストリームＣｈ２のアクセスユニットに復号化処理を行って、高品質フォーマット画像データＶｈ２´を生成する。この場合、デコード部２０５-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ２´内の予測補償、または画像データＶｈ１´との間の予測補償を、行う。
デコード部２０５-3は、拡張ストリームＣｈ３のアクセスユニットに復号化処理を行って、高品質フォーマット画像データＶｈ３´を生成する。この場合、デコード部２０５-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ３´内の予測補償、または画像データＶｈ２´との間の予測補償を、行う。
図１２は、デコード部２５０の主要部の構成例を示している。このデコード部２５０は、デコード部２０５-1，２０５-2，２０５-3に適用し得るものである。このデコード部２５０は、図４のエンコード部１６５の処理とは逆の処理を行う。このデコード部２５０は、デコード機能部２５１と、レイヤ内予測補償部２５２と、レイヤ間予測補償部２５３と、予測調整部２５４と、選択部２５５と、を有している。
デコード機能部２５１は、符号化画像データＣＶに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部２５２は、予測残差データに対して、画像データＶ１内での予測補償（レイヤ内予測補償）を行って、画像データＶ１を得る。レイヤ間予測補償部２５３は、予測残差データに対して、参照対象の画像データＶ２との間での予測補償（レイヤ間予測補償）を行って、画像データＶ１を得る。
予測調整部２５４は、詳細説明は省略するが、図４のエンコード部１６０の予測調整部１６３と同様に、画像データＶ１の、画像データＶ２に対するスケーラブル拡張のタイプに応じた処理を行う。選択部２５５は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部２５２で得られる画像データＶ１、またはレイヤ間予測補償部２５３で得られる画像データＶ１を選択的に取り出して、出力とする。
図１０に戻って、ＳＤＲ電光変換部２０６は、デコード部２０５-0で得られる基本フォーマット画像データＶｂ´に、上述した送信装置１００におけるＳＤＲ光電変換部１０２とは逆特性の電光変換を施し、基本フォーマット画像データＶｂを得る。この基本フォーマット画像データＶｂは、解像度がＨＤ、ダイナミックレンジがＳＤＲ、フレームレートがＬＦＲである画像データ（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）である。
また、ＳＤＲ電光変換部２０７は、デコード部２０５-1で得られる高品質フォーマット画像データＶｈ１´に、上述した送信装置１００におけるＳＤＲ光電変換部１０３とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ１を得る。この高品質フォーマット画像データＶｈ１は、解像度がＵＨＤ、ダイナミックレンジがＳＤＲ、フレームレートがＬＦＲである画像データ（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）である。
また、ＨＤＲ電光変換部２０８は、デコード部２０５-2で得られる高品質フォーマット画像データＶｈ２´に、上述した送信装置１００におけるＨＤＲ光電変換部１０４とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ２を得る。この高品質フォーマット画像データＶｈ２は、解像度がＵＨＤ、ダイナミックレンジがＨＤＲ、フレームレートがＬＦＲである画像データ（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）である。
また、ＨＤＲ電光変換部２０９は、デコード部２０５-3で得られる高品質フォーマット画像データＶｈ３´に、上述した送信装置１００におけるＨＤＲ光電変換部１０５とは逆特性の電光変換を施し、高品質フォーマット画像データＶｈ３を得る。この高品質フォーマット画像データＶｈ３は、解像度がＵＨＤ、ダイナミックレンジがＨＤＲ、フレームレートがＨＦＲである画像データ（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）である。
表示部２１０は、例えば、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ（Organic Electro-Luminescence）パネル等で構成されている。表示部２１０は、表示能力に応じて、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３のいずれかによる画像を表示する。
図１０に示す受信装置２００の動作を簡単に説明する。受信部２０２では、送信装置１００から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームＴＳが受信される。このトランスポートストリームＴＳは、システムデコーダ２０３に供給される。システムデコーダ２０３では、このトランスポートストリームＴＳからビデオストリームが抽出される。
２ストリーム構成の場合（図８参照）、基本ストリームＣｂを含む基本ビデオストリームと、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３を含む拡張ビデオストリームの２本のビデオストリームが抽出される。また、１ストリーム構成の場合（図９参照）、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３を含む１本のビデオストリームが抽出される。
システムデコーダ２０３で抽出された基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のアクセスユニットは圧縮データバッファ２０４に送られて、順に蓄積される。ＮＡＬユニット解析部２１１では、圧縮データバッファ２０４に蓄積された各アクセスユニットのＮＡＬユニットが解析される。
ＮＡＬユニット解析部２１１では、各アクセスユニットの先頭に配置されたＡＵＤ，ＥＡＵＤのＮＡＬユニットの「au_decoding_order」のフィールドのデコード順を示す情報から、各アクセスユニットのデコード順が把握される。また、ＮＡＬユニット解析部２１１では、各アクセスユニットのＮＡＬユニットヘッダのnuh_layer_id」のフィールドおよび「nuh_temporal_id_plus1」のフィールドの情報から、各アクセスユニットが基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，ＣＨ３のいずれのストリームに係るアクセスユニットであるかが把握される。
圧縮データバッファ２０４では、上述したようにシステムデコーダ２０３で抽出されて送られてきて順に蓄積された各アクセスユニットの順が、ＮＡＬユニット解析部２１１で把握される各アクセスユニットのデコード順に基づいて、デコード順となっていない箇所に関しては、デコード順となるように変更される（図１１（ａ），（ｂ）参照）。
圧縮データバッファ２０４に蓄積された各アクセスユニットは、デコード順に、ビデオデコーダ２０５に供給されて、復号化処理が施される。この場合、基本ストリームＣｂのアクセスユニットはデコード部２０５-0に供給されて復号化処理が施され、基本フォーマット画像データＶｂ´が生成される。この場合、デコード部２０５-0では、画像データＶｂ´内で予測補償が行われる。
また、拡張ストリームＣｈ１のアクセスユニットはデコード部２０５-1に供給されて復号化処理が施され、高品質フォーマット画像データＶｈ１´が生成される。この場合、デコード部２０５-1では、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ１´内の予測補償、または画像データＶｂ´との間の予測補償が、行われる。
また、拡張ストリームＣｈ２のアクセスユニットはデコード部２０５-2に供給されて復号化処理が施され、高品質フォーマット画像データＶｈ２´が生成される。この場合、デコード部２０５-2では、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ２´内の予測補償、または画像データＶｈ１´との間の予測補償が、行われる。
また、拡張ストリームＣｈ３のアクセスユニットはデコード部２０５-3に供給されて復号化処理が施され、高品質フォーマット画像データＶｈ３´が生成される。この場合、デコード部２０５-3では、符号化時における予測に対応させて、符号化ブロック毎に、画像データＶｈ３´内の予測補償、または画像データＶｈ２´との間の予測補償が、行われる。
ビデオデコーダ２０５のデコード部２０５-0で生成される基本フォーマット画像データＶｂ´は、ＳＤＲ電光変換部２０６で電光変換が施されて、基本フォーマット画像データ（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｂが得られる。また、ビデオデコーダ２０５のデコード部２０５-1で生成される高品質フォーマット画像データＶｈ１´は、ＳＤＲ電光変換部２０７で電光変換が施されて、高品質フォーマット画像データ（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｈ１が得られる。
また、ビデオデコーダ２０５のデコード部２０５-2で生成される高品質フォーマット画像データＶｈ２´は、ＨＤＲ電光変換部２０８で電光変換が施されて、高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）Ｖｈ２が得られる。また、ビデオデコーダ２０５のデコード部２０５-3で生成される高品質フォーマット画像データＶｈ３´は、ＨＤＲ電光変換部２０９で電光変換が施されて、高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）Ｖｈ３が得られる。
表示部２１０には、基本フォーマット画像データＶｂ、高品質フォーマット画像データＶｈ１，Ｖｈ２，Ｖｈ３のいずれかが表示能力に応じて選択的に供給され、画像の表示が行われる。ここで、表示部２１０が、解像度がＨＤ、ダイナミックレンジがＳＤＲ、フレームレートがＬＦＲの画像表示能力がある場合には、ＳＤＲ電光変換部２０６で得られる基本フォーマット画像データ（ＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｂが表示部２１０に供給される。この場合、ビデオデコーダ２０５では、基本ストリームＣｂのアクセスユニットに復号化処理を施すことで足りる。
また、表示部２１０が、解像度がＵＨＤ、ダイナミックレンジがＳＤＲ、フレームレートがＬＦＲの画像表示能力がある場合には、ＳＤＲ電光変換部２０７で得られる高品質フォーマット画像データ（ＵＨＤ＆ＳＤＲ＆ＬＦＲ画像データ）Ｖｈ１が表示部２１０に供給される。この場合、ビデオデコーダ２０５では、基本ストリームＣｂ、拡張ストリームＣｈ１のアクセスユニットに復号化処理を施すことで足りる。
また、表示部２１０が、解像度がＵＨＤ、ダイナミックレンジがＨＤＲ、フレームレートがＬＦＲの画像表示能力がある場合には、ＨＤＲ電光変換部２０８で得られる高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＬＦＲ画像データ）Ｖｈ２が表示部２１０に供給される。この場合、ビデオデコーダ２０５では、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２のアクセスユニットに復号化処理を施すことで足りる。
また、表示部２１０が、解像度がＵＨＤ、ダイナミックレンジがＨＤＲ、フレームレートがＨＦＲの画像表示能力がある場合には、ＨＤＲ電光変換部２０９で得られる高品質フォーマット画像データ（ＵＨＤ＆ＨＤＲ＆ＨＦＲ画像データ）Ｖｈ３が表示部２１０に供給される。この場合、ビデオデコーダ２０５では、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，Ｃｈ３の全てに復号化処理を施すことが必要となる。
以上説明したように、図１に示す送受信システム１０において、送信装置１００では、基本ストリーム、拡張ストリームのアクセスユニットにデコード順を示す情報が付加されるものである。そのため、受信側では、基本ストリーム、拡張ストリームのアクセスユニットの復号化処理を、デコード順を示す情報を参照することで容易に正しい順番で行うことができ、受信側におけるストリームのパケットの受信がデコード順でない場合にあっても復号化処理が滞るということを回避可能となる。
＜２．変形例＞
なお、上述実施の形態においては、基本ストリームＣｂ、拡張ストリームＣｈ１，Ｃｈ２，Ｃｈ３のアクセスユニットにデコード順を示す情報を付加する例を示した。しかし、拡張ストリームのアクセスユニットにのみデコード順を示す情報を付加することも考えられる。この場合、受信側では、拡張ストリームのアクセスユニットの復号化処理を、基本ストリームデコード後の拡張ストリームのデコード順を示す情報を参照することで容易に正しい順番で行うことができ、受信側における拡張ストリームのパケットの受信がデコード順でない場合にあっても復号化処理が滞るということを回避可能となる。
また、上述実施の形態においては、送信装置１００と受信装置２００とからなる送受信システム１０を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置２００の部分が、ＨＤＭＩ（High-Definition Multimedia Interface）などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからＥＤＩＤ（Extended display identification data）を取得する等して表示能力情報を得ることができる。なお、「ＨＤＭＩ」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、ＭＰ４やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム（ＭＰＥＧ−２ ＴＳ）あるいはＭＭＴ（MPEG Media Transport）、インターネット配信で使用されているＩＳＯＢＭＦＦ（ＭＰ４）などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
（１）基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信装置。
（２）上記符号化画像データはＮＡＬユニット構造を有し、
上記画像符号化部は、上記拡張ストリームのアクセスユニットの先頭に上記デコード順を示す情報を持つ拡張アクセス・ユニット・デリミタのＮＡＬユニットを配置する
前記（１）に記載の送信装置。
（３）上記画像符号化部は、さらに、上記基本ストリームのアクセスユニットにデコード順を示す情報を付加する
前記（１）または（２）に記載の送信装置。
（４）上記符号化画像データはＮＡＬユニット構造を有し、
上記画像符号化部は、上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのＮＡＬユニットに上記デコード順を示す情報を持たせる
前記（３）に記載の送信装置。
（５）基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化ステップと、
送信部により、上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
送信方法。
（６）基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信装置。
（７）上記基本ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理部は、上記基本ストリームのアクセスユニットおよび上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
前記（６）
（８）受信部により、基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理ステップを有し、
上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
上記処理ステップでは、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
受信方法。
本技術の主な特徴は、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを、各アクセスユニットにデコード順を示す情報を付加して送信することで、受信側において、拡張ストリームの各アクセスユニットの復号化処理を、デコード順を示す情報を参照して容易に正しい順番で行い得るようにしたことである（図５、図６参照）。
１０・・・送受信システム
１００・・・送信装置
１０１・・・制御部
１０２，１０３・・・ＳＤＲ光電変換部
１０４，１０５・・・ＨＤＲ光電変換部
１０６・・・ビデオエンコーダ
１０６-0，１０６-1，１０６-2，１０６-3・・・エンコード部
１０７・・・システムエンコーダ
１０８・・・送信部
１５０・・・画像データ生成部
１５１・・・カメラ
１５２・・・フレームレート変換部
１５３・・・ダイナミックレンジ変換部
１５４・・・解像度変換部
１６０・・・エンコード部
１６１・・・レイヤ内予測部
１６２・・・レイヤ間予測部
１６３・・・予測調整部
１６４・・・選択部
１６５・・・エンコード機能部
２００・・・受信装置
２０１・・・制御部
２０２・・・受信部
２０３・・・システムデコーダ
２０４・・・圧縮データバッファ
２０５・・・ビデオデコーダ
２０５-0，２０５-1，２０５-2，２０５-3・・・デコード部
２０６，２０７・・・ＳＤＲ電光変換部
２０８，２０９・・・ＨＤＲ電光変換部
２１０・・・表示部
２１１・・・ＮＡＬユニット解析部
２５０・・・デコード部
２５１・・・デコード機能部
２５２・・・レイヤ内予測補償部
２５３・・・レイヤ間予測補償部
２５４・・・予測調整部
２５５・・・選択部

Claims (8)

  1. 基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化部と、
    上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
    上記画像符号化部は、
    上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
    上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
    送信装置。
  2. 上記符号化画像データはＮＡＬユニット構造を有し、
    上記画像符号化部は、上記拡張ストリームのアクセスユニットの先頭に上記デコード順を示す情報を持つ拡張アクセス・ユニット・デリミタのＮＡＬユニットを配置する
    請求項１に記載の送信装置。
  3. 上記画像符号化部は、さらに、上記基本ストリームのアクセスユニットにデコード順を示す情報を付加する
    請求項１に記載の送信装置。
  4. 上記符号化画像データはＮＡＬユニット構造を有し、
    上記画像符号化部は、上記基本ストリームのアクセスユニットの先頭に配置されたアクセス・ユニット・デリミタのＮＡＬユニットに上記デコード順を示す情報を持たせる
    請求項３に記載の送信装置。
  5. 基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを生成する画像符号化ステップと、
    送信部により、上記基本ストリームおよび上記所定数の拡張ストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
    上記画像符号化ステップでは、
    上記高品質フォーマット画像データのピクチャ毎の符号化画像データを、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得、
    上記拡張ストリームのアクセスユニットにデコード順を示す情報を付加する
    送信方法。
  6. 基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理部を備え、
    上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
    上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
    上記処理部は、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
    受信装置。
  7. 上記基本ストリームのアクセスユニットにデコード順を示す情報が付加されており、
    上記処理部は、上記基本ストリームのアクセスユニットおよび上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
    請求項６に記載の受信装置。
  8. 受信部により、基本フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとして含む基本ストリームと、高品質フォーマット画像データのピクチャ毎の符号化画像データをアクセスユニットとしてそれぞれ含む所定数の拡張ストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記基本ストリーム、あるいは上記基本ストリームと上記所定数の拡張ストリームの一部または全部を処理して基本フォーマット画像データ、あるいは所定の高品質フォーマット画像データを得る処理ステップを有し、
    上記高品質フォーマット画像データのピクチャ毎の符号化画像データは、該高品質フォーマット画像データに上記基本フォーマット画像データおよび/または他の高品質フォーマット画像データを参照した予測符号化処理を施して得られたものであり、
    上記拡張ストリームのアクセスユニットにデコード順を示す情報が付加されており、
    上記処理ステップでは、上記拡張ストリームのアクセスユニットの復号化処理を、上記デコード順を示す情報に基づいた順番で行う
    受信方法。
JP2017536734A 2015-08-25 2016-08-10 送信装置、送信方法、受信装置および受信方法 Expired - Fee Related JP6801662B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015165902 2015-08-25
JP2015165902 2015-08-25
PCT/JP2016/073544 WO2017033748A1 (ja) 2015-08-25 2016-08-10 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2017033748A1 true JPWO2017033748A1 (ja) 2018-06-14
JP6801662B2 JP6801662B2 (ja) 2020-12-16

Family

ID=58099918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017536734A Expired - Fee Related JP6801662B2 (ja) 2015-08-25 2016-08-10 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (1) US10834444B2 (ja)
EP (1) EP3343927A4 (ja)
JP (1) JP6801662B2 (ja)
KR (1) KR20180043786A (ja)
CN (1) CN107925776B (ja)
AU (1) AU2016310755B2 (ja)
MX (1) MX2018002265A (ja)
WO (1) WO2017033748A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) * 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
FR3073112B1 (fr) * 2017-11-02 2021-04-02 Ateme Procede et systeme de traitement d'un contenu multimedia dans un reseau de zone metropolitaine
US11825121B2 (en) * 2019-09-23 2023-11-21 Tencent America LLC Method for access unit delimiter signaling

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201990A1 (en) * 2008-02-04 2009-08-13 Alcatel-Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011514080A (ja) * 2008-03-06 2011-04-28 ジェネラル・インスツルメント・コーポレーション 拡張されたビデオストリームを復号するための方法および装置
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015057875A (ja) * 2013-08-09 2015-03-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
JP2000228768A (ja) 1999-02-05 2000-08-15 Sony Corp デジタル信号伝送装置および方法、並びに提供媒体
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
KR20100037659A (ko) 2005-05-24 2010-04-09 노키아 코포레이션 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치
US8306112B2 (en) 2005-09-20 2012-11-06 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CN101707715A (zh) * 2005-09-20 2010-05-12 三菱电机株式会社 图像编码装置和图像编码方法
US8654756B2 (en) * 2008-07-18 2014-02-18 Panasonic Corporation Transmission device, reception device, transmission method, reception method, and transmission/reception system
JP5001314B2 (ja) * 2009-02-27 2012-08-15 株式会社エヌ・ティ・ティ・ドコモ 無線基地局装置及び変調・符号化方式選択方法
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
US8275936B1 (en) * 2009-09-21 2012-09-25 Inphi Corporation Load reduction system and method for DIMM-based memory systems
KR101910192B1 (ko) * 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
SG191748A1 (en) * 2011-01-19 2013-08-30 Ericsson Telefon Ab L M Indicating bit stream subsets
PL2842313T3 (pl) * 2012-04-13 2017-06-30 Ge Video Compression, Llc Skalowalny strumień danych i obiekt sieciowy
US9264782B2 (en) * 2013-01-25 2016-02-16 Electronics And Telecommunications Research Institute Method and system for providing realistic broadcasting image
KR101921646B1 (ko) * 2013-07-15 2018-11-23 지이 비디오 컴프레션, 엘엘씨 확장 메커니즘을 사용하는 계층 식별 시그널링
JP6811181B2 (ja) * 2015-10-15 2021-01-13 ソニー株式会社 受信装置、送信装置、及び、データ処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090201990A1 (en) * 2008-02-04 2009-08-13 Alcatel-Lucent Method and device for reordering and multiplexing multimedia packets from multimedia streams pertaining to interrelated sessions
JP2009225431A (ja) * 2008-02-19 2009-10-01 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2011514080A (ja) * 2008-03-06 2011-04-28 ジェネラル・インスツルメント・コーポレーション 拡張されたビデオストリームを復号するための方法および装置
JP2015005977A (ja) * 2013-06-18 2015-01-08 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法および受信方法
JP2015057875A (ja) * 2013-08-09 2015-03-26 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
WO2015076277A1 (ja) * 2013-11-22 2015-05-28 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MISKA M. HANNUKSELA: "MV-HEVC/SHVC HLS: On access unit definition and allowing different decoding orders in different laye", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JCTVC-Q0091, JPN6020014695, March 2014 (2014-03-01), pages 1 - 3, ISSN: 0004321702 *

Also Published As

Publication number Publication date
US20190007707A1 (en) 2019-01-03
JP6801662B2 (ja) 2020-12-16
MX2018002265A (es) 2018-03-23
CN107925776A (zh) 2018-04-17
EP3343927A4 (en) 2019-03-13
KR20180043786A (ko) 2018-04-30
EP3343927A1 (en) 2018-07-04
AU2016310755A1 (en) 2018-02-15
AU2016310755B2 (en) 2020-12-24
CN107925776B (zh) 2021-06-08
US10834444B2 (en) 2020-11-10
WO2017033748A1 (ja) 2017-03-02

Similar Documents

Publication Publication Date Title
JP6888717B2 (ja) 送信方法および送信装置
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP7552825B2 (ja) 送信方法および送信装置
US20160345023A1 (en) Transmission device, transmission method, reception device, and reception method
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201109

R151 Written notification of patent or utility model registration

Ref document number: 6801662

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees