JP2024026562A - 送信方法、送信装置、受信装置および受信方法 - Google Patents
送信方法、送信装置、受信装置および受信方法 Download PDFInfo
- Publication number
- JP2024026562A JP2024026562A JP2023220577A JP2023220577A JP2024026562A JP 2024026562 A JP2024026562 A JP 2024026562A JP 2023220577 A JP2023220577 A JP 2023220577A JP 2023220577 A JP2023220577 A JP 2023220577A JP 2024026562 A JP2024026562 A JP 2024026562A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- format
- encoded image
- unit
- video stream
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000005540 biological transmission Effects 0.000 title description 21
- 238000003780 insertion Methods 0.000 claims description 12
- 230000037431 insertion Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 abstract description 16
- 238000006243 chemical reaction Methods 0.000 description 60
- 239000010410 layer Substances 0.000 description 46
- 239000011229 interlayer Substances 0.000 description 14
- 239000000284 extract Substances 0.000 description 13
- 238000004148 unit process Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2351—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving encryption of additional data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/454—Content or additional data filtering, e.g. blocking advertisements
- H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/633—Control signals issued by server directed to the network components or client
- H04N21/6332—Control signals issued by server directed to the network components or client directed to client
- H04N21/6336—Control signals issued by server directed to the network components or client directed to client directed to decoder
Abstract
【課題】基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信する。【解決手段】基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する、あるいは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する。生成されたビデオストリームを含む所定フォーマットのコンテナを送信する。基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する。【選択図】図10
Description
本技術は、送信装置、送信方法および受信装置に関し、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する送信装置等に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献1には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信することにある。
本技術の概念は、
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
本技術において、画像符号化部により、基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームが生成される。例えば、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われる。また、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が行われる。
送信部により、画像符号化部で生成された基本ビデオストリームおよび拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
画像符号化部では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。例えば、符号化画像データは、NALユニット構造を有し、画像符号化部は、識別情報をNALユニットのヘッダに挿入する、ようにされてもよい。この場合、例えば、画像符号化部は、識別情報を、NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する、ようにされてもよい。また、この場合、例えば、画像符号化部は、識別情報を、NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する、ようにされてもよい。
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナは、MPEG2-TSであり、情報挿入部は、情報を、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。この場合、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ビデオストリームおよび拡張ビデオストリームを有する所定フォーマットのコンテナが受信される。ここで、基本ビデオストリームには、基本フォーマット画像データの符号化画像データが含まれる。拡張ビデオストリームには、所定数の高品質フォーマット画像データのそれぞれの符号化画像データが含まれる。
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されている。例えば、符号化画像データは、NALユニット構造を有し、識別情報は、NALユニットのヘッダに挿入されている、ようにされてもよい。処理部により、受信されたコンテナが有する各ビデオストリームが、識別情報と表示能力情報に基づいて処理される。
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに挿入されている、対応するフォーマットを識別するための識別情報と、表示能力情報に基づいて、受信されたコンテナが有する拡張ビデオストリームが処理されるものである。そのため、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、処理部は、コンテナのレイヤに挿入されている情報に基づいて、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する、ようにされてもよい。
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置にある。
本技術において、画像符号化部により、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームが生成される。例えば、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われる。また、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が行われる。
送信部により、画像符号化部で生成されたビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
画像符号化部では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。例えば、符号化画像データは、NALユニット構造を有し、画像符号化部は、識別情報をNALユニットのヘッダに挿入する、ようにされてもよい。この場合、例えば、画像符号化部は、識別情報を、NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する、ようにされてもよい。また、この場合、例えば、画像符号化部は、識別情報を、NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する、ようにされてもよい。
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、例えば、コンテナは、MPEG2-TSであり、情報挿入部は、情報を、プログラムマップテーブルの配下に存在するビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する、ようにされてもよい。この場合、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
また、本技術の他の概念は、
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受が受信される。
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されている。例えば、符号化画像データは、NALユニット構造を有し、識別情報は、NALユニットのヘッダに挿入されている、ようにされてもよい。処理部により、受信されたコンテナが有するビデオストリームが、識別情報と表示能力情報に基づいて処理される。
このように本技術においては、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに挿入されている、対応するフォーマットを識別するための識別情報と、表示能力情報に基づいて、受信されたコンテナが有するビデオストリームが処理されるものである。そのため、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
なお、本技術において、例えば、コンテナのレイヤに、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、処理部は、コンテナのレイヤに挿入されている情報に基づいて、符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する、ようにされてもよい。
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有している。送信装置100から受信装置200にコンテナとしてのトランスポートストリームTSが放送波あるいはネットのパケットに載せて送信される。この実施の形態においては、(1)トランスポートストリームTSが基本ビデオストリームおよび拡張ビデオストリームの2本のビデオストリームを有する2ストリーム構成の場合と、(2)トランスポートストリームTSが1本のビデオストリームを有する1ストリーム構成の場合の2通りがある。
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有している。送信装置100から受信装置200にコンテナとしてのトランスポートストリームTSが放送波あるいはネットのパケットに載せて送信される。この実施の形態においては、(1)トランスポートストリームTSが基本ビデオストリームおよび拡張ビデオストリームの2本のビデオストリームを有する2ストリーム構成の場合と、(2)トランスポートストリームTSが1本のビデオストリームを有する1ストリーム構成の場合の2通りがある。
「2ストリーム構成の場合」
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、基本ビデオストリームと拡張ビデオストリームの2本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを含むものである。基本ビデオストリームは、例えば、基本フォーマット画像データにH.264/AVC、H.265/HEVCなどの予測符号化処理が施されて生成されたものである。
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、基本ビデオストリームと拡張ビデオストリームの2本のビデオストリームが含まれる。基本ビデオストリームは、基本フォーマット画像データの符号化画像データを含むものである。基本ビデオストリームは、例えば、基本フォーマット画像データにH.264/AVC、H.265/HEVCなどの予測符号化処理が施されて生成されたものである。
拡張ビデオストリームは、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。この拡張ビデオストリームは、所定数の高品質画像データに、それぞれ、例えば、H.264/AVC、H.265/HEVCなどの予測符号化処理が施されて生成されたものである。
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入される。受信側では、この識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。この実施の形態において、識別情報は、NALユニットのヘッダに挿入される。
コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。受信側では、この情報により、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。この実施の形態において、情報は、プログラムマップテーブルの配下に存在する拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、上述したように、基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと、所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有している。
所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、上述したように、対応するフォーマットを識別するための識別情報が挿入されている。受信装置200は、この識別情報と表示能力情報に基づいて、トランスポートストリームTSに含まれている各ビデオストリームを処理し、表示能力に応じた画像データを取得する。
「1ストリーム構成の場合」
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、1本のビデオストリームが含まれる。このビデオストリームは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。このビデオストリームは、基本フォーマット画像データおよび所定数の高品質フォーマット画像データに、それぞれ、例えば、H.264/AVC、H.265/HEVCなどの予測符号化処理が施されて生成されたものである。
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、1本のビデオストリームが含まれる。このビデオストリームは、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むものである。このビデオストリームは、基本フォーマット画像データおよび所定数の高品質フォーマット画像データに、それぞれ、例えば、H.264/AVC、H.265/HEVCなどの予測符号化処理が施されて生成されたものである。
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、基本フォーマットあるいは対応する高品質フォーマットを識別するための識別情報が挿入される。受信側では、この識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。この実施の形態において、識別情報は、NALユニットのヘッダに挿入される。
コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。受信側では、この情報により、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。この実施の形態において、情報は、プログラムマップテーブルの配下に存在するビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。このトランスポートストリームTSは、上述したように、基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有している。
基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、上述したように、対応するフォーマットを識別するための識別情報が挿入されている。受信装置200は、この識別情報と表示能力情報に基づいて、トランスポートストリームTSに含まれているビデオストリームを処理し、表示能力に応じた画像データを取得する。
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、送信画像データとして、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を取り扱う。ここで、基本フォーマット画像データVbは、フレーム周波数が50HzであるLDR(Low Dynamic Lange)画像データである。高品質フォーマット画像データVh1は、フレーム周波数が100HzであるLDR画像データである。LDR画像データは、従来のLDR画像の白ピークの明るさに対して0%から100%の輝度範囲を持つ。
図2は、送信装置100の構成例を示している。この送信装置100は、送信画像データとして、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を取り扱う。ここで、基本フォーマット画像データVbは、フレーム周波数が50HzであるLDR(Low Dynamic Lange)画像データである。高品質フォーマット画像データVh1は、フレーム周波数が100HzであるLDR画像データである。LDR画像データは、従来のLDR画像の白ピークの明るさに対して0%から100%の輝度範囲を持つ。
高品質フォーマット画像データVh2は、フレーム周波数が50HzであるHDR(High Dynamic Range)画像データである。高品質フォーマット画像データVh3は、フレーム周波数が100HzであるHDR画像データである。このHDR画像データは、従来のLDR画像の白ピークの明るさを100%とすると、0~100%*N、例えば0~1000%あるいはそれ以上の範囲の輝度をもつ。
図3は、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を生成する画像データ生成部150の構成例を示している。この画像データ生成部150は、HDRカメラ151と、フレームレート変換部152と、ダイナミックレンジ変換部153と、フレームレート変換部154を有している。
HDRカメラ151は、被写体を撮像し、フレーム周波数が100HzであるHDR画像データ、つまり高品質フォーマット画像データVh3を出力する。フレームレート変換部152は、HDRカメラ151から出力される高品質フォーマット画像データVh3に対して、フレーム周波数を100Hzから50Hzに変換する処理をおこなって、フレーム周波数が50HzであるHDR画像データ、つまり高品質フォーマット画像データVh2を出力する。
ダイナミックレンジ変換部153は、HDRカメラ151から出力される高品質フォーマット画像データVh3に対して、HDRからLDRに変換する処理をおこなって、フレーム周波数が100HzであるLDR画像データ、つまり高品質フォーマット画像データVh1を出力する。フレームレート変換部154は、ダイナミックレンジ変換部153から出力される高品質フォーマット画像データVh1に対して、フレーム周波数を100Hzから50Hzに変換する処理をおこなって、フレーム周波数が50HzであるLDR画像データ、つまり基本フォーマット画像データVbを出力する。
図2に戻って、送信装置100は、制御部101と、LDR光電変換部102,103と、HDR光電変換部104,105と、ビデオエンコーダ106と、システムエンコーダ107と、送信部108を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
LDR光電変換部102は、基本フォーマット画像データVbに対して、LDR画像用の光電変換特性(LDR OETFカーブ)を適用して、伝送用の基本フォーマット画像データVb´を得る。LDR光電変換部103は、高品質フォーマット画像データVh1に対して、LDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh1´を得る。
HDR光電変換部104は、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)を適用して、伝送用の高品質フォーマット画像データVh2´を得る。HDR光電変換部105は、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh3´を得る。
ビデオエンコーダ106は、4つのエンコード部106-0,106-1,106-2,106-3を有する。エンコード部106-0は、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化画像データCbを得る。この場合、エンコード部106-0は、画像データVb´内の予測を行う。
エンコード部106-1は、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化画像データCh1を得る。この場合、エンコード部106-1は、予測残差を小さくするために、符号化ブロック毎に、画像データVh1´内の予測、または画像データVb´との間の予測を、選択的に行う。
エンコード部106-2は、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化画像データCh2を得る。この場合、エンコード部106-2は、予測残差を小さくするために、符号化ブロック毎に、画像データVh2´内の予測、または画像データVb´との間の予測を、選択的に行う。
エンコード部106-3は、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、符号化画像データCh3を得る。この場合、エンコード部106-3は、予測残差を小さくするために、符号化ブロック毎に、画像データVh3´内の予測、または画像データVh2´との間の予測を、選択的に行う。
図4は、エンコード部160の主要部の構成例を示している。このエンコード部160は、エンコード部106-1,106-2,106-3に適用し得るものである。このエンコード部160は、レイヤ内予測部161と、レイヤ間予測部162と、予測調整部163と、選択部164と、エンコード機能部165を有している。
レイヤ内予測部161は、符号化対象の画像データV1に対して、この画像データV1内での予測(レイヤ内予測)を行って予測残差データを得る。レイヤ間予測部162は、符号化対象の画像データV1に対して、参照対象の画像データV2との間での予測(レイヤ間予測)を行って予測残差データを得る。
予測調整部163は、レイヤ間予測部162におけるレイヤ間予測を効率よく行うために、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。ダイナミックレンジ拡張の場合は、LDRからHDRに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、他のレイヤのブロックを所定のサイズにスケーリング処理を施したものを対象とする。フレームレート拡張の場合は、バイパスする。色域拡張の場合は、輝度・色差のそれぞれに対してマッピングを行う。ビット長拡張の場合は、画素のMSBを揃える変換を行う。
例えば、エンコード部106-1の場合、画像データV1は高品質フォーマット画像データVh1´(100Hz、LDR)であり、画像データV2は基本フォーマット画像データVb´(50Hz、LDR)であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部163では、画像データVb´がそのままバイパスされる。
また、例えば、エンコード部106-2の場合、画像データV1は高品質フォーマット画像データVh2´(50Hz、HDR)であり、画像データV2は基本フォーマット画像データVb´(50Hz、LDR)であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部163では、画像データVb´に対してLDRからHDRに変換するためのレベル調整が行われる。なお、レベル調整は、ダイナミックレンジ変換部153から供給される情報を元に行われてもよい。
また、例えば、エンコード部106-3の場合、画像データV1は高品質フォーマット画像データVh3´(100Hz、HDR)であり、画像データV2は高品質フォーマット画像データVh2´(50Hz、HDR)であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部163では、画像データVb´がそのままバイパスされる。
選択部164は、符号化ブロック毎に、レイヤ内予測部161で得られる予測残差データ、またはレイヤ間予測部162で得られる予測残差データを選択的に取り出し、エンコード機能部165に送る。この場合、選択部164では、例えば、予測残差の小さい方が取り出される。エンコード機能部165は、選択部164から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、符号化画像データCVを得る。
図2に戻って、ビデオエンコーダ106は、符号化画像データCb,Ch1,Ch2,Ch3のそれぞれに、対応するフォーマットを識別するための識別情報を挿入する。ビデオエンコーダ106は、この識別情報を、例えば、NALユニットのヘッダに挿入する。
図5(a)は、NALユニットヘッダの構造例(Syntax)を示し、図5(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「forbidden_zero_bit」の1ビットフィールドは、0が必須である。「nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「nuh_layer_id」の6ビットフィールドは、ストリームのレイヤ拡張種別を示すIDである。「nuh_temporal_id_plus1」の3ビットフィールドは、temporal_id(0~6)を示し、1を加えた値(1~7)を取る。
この実施の形態において、「nuh_layer_id」の6ビットフィールドは、当該NALユニット(符号化画像データ)が対応するフォーマットを識別するための識別情報を示す。例えば、“0”は、基本を示す。“1”は、空間拡張を示す。“2”は、フレームレート拡張を示す。“3”は、ビット長拡張を示す。“4”は、ダイナミックレンジ拡張を示す。“5”は、広色域拡張を示す。“6”は、フレームレート拡張とダイナミックレンジ拡張を示す。“7”は、空間拡張とフレームレート拡張を示す。
符号化画像データCbは基本フォーマット画像データVbに対応し、この符号化画像データCbの「nuh_layer_id」は“0”とされる。また、符号化画像データCh1は、フレームレート拡張フォーマット画像データVh1に対応し、この符号化画像データCh1の「nuh_layer_id」は“2”とされる。また、符号化画像データCh2は、ダイナミックレンジ拡張フォーマット画像データVh2に対応し、この符号化画像データCh2の「nuh_layer_id」は“4”とされる。また、符号化画像データCh3は、フレームレート拡張とダイナミックレンジ拡張のフォーマット画像データVh3に対応し、この符号化画像データCh3「nuh_layer_id」は“6”とされる。
図6は、符号化画像データCb,Ch1,Ch2,Ch3の構成例を示している。横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、矢印は、予測符号化処理におけるピクチャの参照関係の一例を示している。レイヤ間、レイヤ内の双方とも予測はブロックごとに対象ピクチャが変わり、また、予測の向き、参照数は図示の例に限定されるわけではない。
符号化画像データCbは、「00」、「01」、・・・のピクチャの符号化画像データで構成される。符号化画像データCh1は、符号化画像データCbの各ピクチャの間に位置する「10」、「11」、・・・のピクチャの符号化画像データで構成される。符号化画像データCh2は、符号化画像データCbの各ピクチャと同じ位置の「20」、「21」、・・・のピクチャの符号化画像データで構成される。そして、符号化画像データCh3は、符号化画像データCh2の各ピクチャの間に位置する「30」、「31」、・・・のピクチャの符号化画像データで構成される。
図2に戻って、システムエンコーダ107は、ビデオエンコーダ106で生成された符号化画像データCb,Ch1,Ch2,Ch3を用いて、ビデオストリームを生成し、PESパケット化およびTSパケット化を行って、トランスポートストリームTSを生成する。そして、送信部108は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
ここで、2ストリーム構成の場合、システムエンコーダ107は、符号化画像データCbを含む基本ビデオストリームと符号化画像データCh1,Ch2,Ch3を含む拡張ビデオストリームを生成する。つまり、この場合、トランスポートストリームTSは、符号化画像データCbを含む基本ビデオストリームと符号化画像データCh1,Ch2,Ch3を含む拡張ビデオストリームの2本のビデオストリームを有するものとなる。
また、1ストリーム構成の場合、システムエンコーダ107は、符号化画像データCb,Ch1,Ch2,Ch3を含むビデオストリームを生成する。つまり、この場合、トランスポートストリームTSは、符号化画像データCb,Ch1,Ch2,Ch3を含む1本のビデオストリームを有するものとなる。
システムエンコーダ107は、コンテナ(トランスポートストリーム)のレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する。
この実施の形態において、2ストリーム構成の場合、PMT(Program Map Table)の配下に存在する拡張ビデオストリーム(符号化データCh1,Ch2,Ch3を含む)に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)を挿入する。この場合、符号化画像データCh1,Ch2,Ch3に挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する。
また、この実施の形態において、1ストリーム構成の場合、PMT(Program Map Table)の配下に存在するビデオストリーム(符号化画像データCb,Ch1,Ch2,Ch3を含む)に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)を挿入する。この場合、符号化画像データCb,Ch1,Ch2,Ch3に挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する。
図7は、このスケーラブル・エクステンション・デスクリプタの構造例(Syntax)を示している。図8は、図7に示す構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・エクステンション・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「Extended_spatial_resolution_flag」のフラグは、空間解像度の拡張成分を含むかを示す。“1”は空間解像度拡張成分を含むことを示し、“0”は空間解像度拡張成分を含まないことを示す。「Extended_frame_rate_flag」のフラグは、フレームレート拡張成分を含むかを示す。“1”はフレームレート拡張成分を含むことを示し、“0”はフレームレート拡張成分を含まないことを示す。
「Extended_bit_depth_flag」のフラグは、ビット長拡張成分を含むかを示す。“1”はビット長拡張成分を含むことを示し、“0”はビット長拡張成分を含まないことを示す。「Extended_dynamic_range_flag」のフラグは、ダイナミックレンジ拡張成分を含むかを示す。“1”はダイナミックレンジ拡張成分を含むことを示し、“0”はダイナミックレンジ拡張成分を含まないことを示す。「Extended_color_gamut_flag」のフラグは、色域拡張成分を含むかを示す。“1”は色域拡張成分を含むことを示し、“0”は色域拡張成分を含まないことを示す。
「number_of_layerIDs」の8ビットフィールドは、ストリームが含むレイヤ数を示す。レイヤ数分だけ「layerID」の6ビットフィールドが存在する。この「layerID」のフィールドは、レイヤID(Layer_id)を示す。
ここで、2ストリーム構成の場合であって、拡張ビデオストリームに符号化画像データCh1,Ch2,Ch3が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“0”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定される。また、「number_of_layerIDs」は“3”に設定され、「layerID」として、順に、“2”、“4”、“6”が設定される。
このような設定により、「layerID」=“2”はフレームレート拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと定義される。また、「layerID」=“4”はダイナミックレンジ拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「layerID」=“6”はフレームレート拡張およびダイナミックレンジ拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
また、1ストリーム構成の場合であって、ビデオストリームに符号化データCb,Ch1,Ch2,Ch3が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“0”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定される。また、「number_of_layerIDs」は“4”に設定され、「layerID」として、順に、“0”、“2”、“4”、“6”が設定される。
このような設定により、「layerID」=“0”は基本を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“0”は基本フォーマットの符号化画像データを示すものと定義される。また、「layerID」=“2”はフレームレート拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと定義される。また、「layerID」=“4”はダイナミックレンジ拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「layerID」=“6”はフレームレート拡張およびダイナミックレンジ拡張を示し、従ってNALユニットのヘッダの「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
図9は、NALユニットヘッダの「nuh_layer_id」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示している。すなわち、ストリームに、「nuh_layer_id」=“0”である基本フォーマットの符号化画像データ(基本成分)が含まれる場合、「layerID」として、“0”が設定される。
また、ストリームに、「nuh_layer_id」=“1”である空間拡張の符号化画像データ(空間拡張成分)が含まれる場合、「Extended_spatial_resolution_flag」は“1”とされ、「layerID」として、“1”が設定される。また、ストリームに、「nuh_layer_id」=“2”であるフレームレート拡張の符号化画像データ(フレームレート拡張成分)が含まれる場合、「Extended_frame_rate_flag」は“1”とされ、「layerID」として、“2”が設定される。また、ストリームに、「nuh_layer_id」=“3”であるフレームレート拡張の符号化画像データ(ビット長拡張成分)が含まれる場合、「Extended_bit_depth_flag」は“1”とされ、「layerID」として、“3”が設定される。
また、ストリームに、「nuh_layer_id」=“4”であるダイナミックレンジ拡張の符号化画像データ(ダイナミックレンジ拡張成分)が含まれる場合、「Extended_dynamic_range_flag」は“1”とされ、「layerID」として、“4”が設定される。また、ストリームに、「nuh_layer_id」=“5”である色域拡張の符号化画像データ(色域拡張成分)が含まれる場合、「Extended_color_gamut_flag」は“1”とされ、「layerID」として、“5”が設定される。
また、ストリームに、「nuh_layer_id」=“6”であるフレームレート拡張とダイナミックレンジ拡張の符号化画像データ(フレームレート拡張成分とダイナミックレンジ拡張成分)が含まれる場合、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”とされ、「layerID」として、“6”が設定される。また、ストリームに、「nuh_layer_id」=“7”である空間拡張とフレームレート拡張の符号化画像データ(空間拡張成分とフレームレート拡張成分)が含まれる場合、「Extended_spatial_resolution_flag」および「Extended_frame_rate_flag」は“1”とされ、「layerID」として、“7”が設定される。
[トランスポートストリームTSの構成]
図10は、2ストリーム構成の場合におけるトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
図10は、2ストリーム構成の場合におけるトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
基本ビデオストリームSTbのパケット識別子(PID)は例えばPID1とされている。この基本ビデオストリームSTbには、基本フォーマットの各ピクチャの符号化画像データが含まれている。この基本フォーマットの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は、例えば、“0”とされ、基本フォーマットに係る符号化画像データであることが示される。
また、拡張ビデオストリームSTeのパケット識別子(PID)は例えばPID2とされている。この拡張ビデオストリームSTeには、フレームレート拡張、ダイナミックレンジ拡張、さらにはフレームレート拡張およびダイナミックレンジ拡張の3つの高品質フォーマットの各ピクチャの符号化画像データが含まれている。この高品質フォーマットの各ピクチャの符号化画像データには、AUD、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。
なお、基本フォーマットの各ピクチャの符号化画像データにおけるSPSと、高品質フォーマットの各ピクチャの符号化画像データにおけるSPSとは、「nal_unit_type」の値は同じで、中にエクステンションを含むかどうかで異なる。すなわち、高品質フォーマットの各ピクチャの符号化画像データにおけるSPSは、SPSエクステンションを含む。なお、基本フォーマットのSPSと高品質フォーマットのSPSとを別の「nal_unit_type」の値とすることも可能である。
フレームレート拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“2”とされ、フレームレート拡張に係る符号化画像データであることが示される。また、ダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“4”とされ、ダイナミックレンジ拡張に係る符号化画像データであることが示される。また、フレームレート拡張およびダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“6”とされ、フレームレート拡張およびダイナミックレンジ拡張に係る符号化画像データであることが示される。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームSTbと拡張ビデオストリームSTeの2本のビデオストリームに対応して2つのビデオエレメンタリストリームループ(video ES loop)が存在する。基本ビデオストリームSTbに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置される。
また、拡張ビデオストリームSTeに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST1)、パケット識別子(PID2)等の情報が配置されると共に、この拡張ビデオストリームSTeに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)(図7参照)が挿入される。
このデスクリプタにおいて、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定され、「number_of_layerIDs」は“3”に設定され、「layerID」として、順に、“2”、“4”、“6”が設定される。これにより、NALユニットのヘッダの「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと定義される。また、NALユニットのヘッダの「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、NALユニットのヘッダの「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
図11は、1ストリーム構成の場合におけるトランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、1本のビデオストリームSTが含まれている。この構成例では、このビデオストリームSTのPESパケット「video PES」が存在する。
このビデオストリームSTのパケット識別子(PID)は例えばPID1とされている。このビデオストリームSTには、基本フォーマットの各ピクチャの符号化画像データが含まれていると共に、フレームレート拡張、ダイナミックレンジ拡張、さらにはフレームレート拡張およびダイナミックレンジ拡張の3つの高品質フォーマットの各ピクチャの符号化画像データが含まれている。
基本フォーマットの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は、例えば、“0”とされ、基本フォーマットに係る符号化画像データであることが示される。
また、高品質フォーマットの各ピクチャの符号化画像データには、AUD、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。なお、基本フォーマットの各ピクチャの符号化画像データにおけるSPSと、高品質フォーマットの各ピクチャの符号化画像データにおけるSPSとは、「nal_unit_type」の値は同じで、中にエクステンションを含むかどうかで異なる。すなわち、高品質フォーマットの各ピクチャの符号化画像データにおけるSPSは、SPSエクステンションを含む。
フレームレート拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“2”とされ、フレームレート拡張に係る符号化画像データであることが示される。また、ダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“4”とされ、ダイナミックレンジ拡張に係る符号化画像データであることが示される。また、フレームレート拡張およびダイナミックレンジ拡張の各ピクチャの符号化画像データを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“6”とされ、フレームレート拡張およびダイナミックレンジ拡張に係る符号化画像データであることが示される。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、1本のビデオストリームSTに対応して1つのビデオエレメンタリストリームループ(video ES loop)が存在する。
このビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置されると共に、このビデオストリームSTに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)(図7参照)が挿入される。
このデスクリプタにおいて、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定され、「number_of_layerIDs」は“4”に設定され、「layerID」として、順に、“0”、“2”、“4”、“6”が設定される。これにより、NALユニットのヘッダの「nuh_layer_id」=“0”は基本フォーマットの符号化画像データを示すものと定義される。NALユニットのヘッダの「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと定義される。また、NALユニットのヘッダの「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、NALユニットのヘッダの「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
図2に示す送信装置100の動作を簡単に説明する。フレーム周波数が50HzのLDR画像データである基本フォーマット画像データVbは、LDR光電変換部102に供給される。このLDR光電変換部102では、基本フォーマット画像データVbに対して、LDR画像用の光電変換特性(LDR OETFカーブ)が適用されて、伝送用の基本フォーマット画像データVb´が得られる。この基本フォーマット画像データVb´は、ビデオエンコーダ106のエンコード部106-0,106-1,106-2に供給される。
また、フレーム周波数が100HzのLDR画像データである高品質フォーマット画像データVh1は、LDR光電変換部103に供給される。このLDR光電変換部103では、高品質フォーマット画像データVh1に対して、LDR画像用の光電変換特性(LDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh1´が得られる。この高品質フォーマット画像データVh1´は、ビデオエンコーダ106のエンコード部106-1に供給される。
また、フレーム周波数が50HzのHDR画像データである高品質フォーマット画像データVh2は、HDR光電変換部104に供給される。このHDR光電変換部104では、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh2´が得られる。この高品質フォーマット画像データVh2´は、ビデオエンコーダ106のエンコード部106-2,106-3に供給される。
また、フレーム周波数が100HzのHDR画像データである高品質フォーマット画像データVh3は、HDR光電変換部105に供給される。このHDR光電変換部105では、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh3´が得られる。この高品質フォーマット画像データVh3´は、ビデオエンコーダ106のエンコード部106-3に供給される。
ビデオエンコーダ106では、基本フォーマット画像データVb´、高品質フォーマット画像データVh1´,Vh2´,Vh3´のそれぞれに対して符号化処理が施されて、符号化画像データCb,Ch1,Ch2,Ch3が生成される。すなわち、エンコード部106-0では、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、符号化画像データCbが得られる。
また、エンコード部106-1では、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、符号化画像データCh1が得られる。また、エンコード部106-2では、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、符号化画像データCh2が得られる。さらに、エンコード部106-3では、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われて、符号化画像データCh3が得られる。
ビデオエンコーダ106では、符号化画像データCb,Ch1,Ch2,Ch3のそれぞれに、対応するフォーマットを識別するための識別情報が挿入される。すなわち、ビデオエンコーダ106では、NALユニットのヘッダの「nuh_layer_id」のフィールドに、当該NALユニット(符号化画像データ)が対応するフォーマットを識別するための識別情報が挿入される。
ビデオエンコーダ106で得られる符号化画像データCb,Ch1,Ch2,Ch3は、システムエンコーダ107に供給される。システムエンコーダ107では、符号化画像データCb,Ch1,Ch2,Ch3を用いて、ビデオストリームが生成され、PESパケット化およびTSパケット化が行われて、トランスポートストリームTSが生成される。
ここで、2ストリーム構成の場合、符号化画像データCbを含む基本ビデオストリームと符号化画像データCh1,Ch2,Ch3を含む拡張ビデオストリームの2本のビデオストリームが生成される。また、1ストリーム構成の場合、符号化画像データCb,Ch1,Ch2,Ch3を含む1本のビデオストリームが生成される。
システムエンコーダ107では、コンテナ(トランスポートストリーム)のレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入される。
ここで、2ストリーム構成の場合、PMTの配下に存在する拡張ビデオストリーム(符号化画像データCh1,Ch2,Ch3を含む)に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタが挿入される。また、1ストリーム構成の場合、PMTの配下に存在するビデオストリーム(符号化画像データCb,Ch1,Ch2,Ch3を含む)に対応したビデオエレメンタリストリームループ中に、スケーラブル・エクステンション・デスクリプタが挿入される。
システムエンコーダ107で生成されるトランスポートストリームTSは、送信部108に送られる。送信部108では、このトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成」
図12は、受信装置200の構成例を示している。この受信装置200は、図2の送信装置100の構成例に対応したものである。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、圧縮データバッファ(cpb)204と、ビデオデコーダ205と、LDR電光変換部206,207と、HDR電光変換部208、209と、表示部(表示デバイス)210を有している。
図12は、受信装置200の構成例を示している。この受信装置200は、図2の送信装置100の構成例に対応したものである。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、圧縮データバッファ(cpb)204と、ビデオデコーダ205と、LDR電光変換部206,207と、HDR電光変換部208、209と、表示部(表示デバイス)210を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSからビデオストリームを抽出する。
2ストリーム構成の場合(図10参照)、基本フォーマット画像データの符号化画像データCbを含む基本ビデオストリームと高品質フォーマット画像データの符号化画像データCh1,Ch2,Ch3を含む拡張ビデオストリームの2本のビデオストリームを抽出する。また、1ストリーム構成の場合(図11参照)、基本フォーマット画像データの符号化画像データCbおよび高品質フォーマット画像データの符号化画像データCh1,Ch2,Ch3を含む1本のビデオストリームを抽出する。
また、システムデコーダ203は、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報を抽出し、制御部201に送る。この情報には、上述したスケーラブル・エクステンション・デスクリプタも含まれる。制御部201は、このデスクリプタに基づいて、符号化画像データに挿入されている識別情報(この実施の形態においては、NALユニットのヘッダの「nuh_layer_id」)がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
圧縮データバッファ204は、システムデコーダ203で抽出されるビデオストリームを、一時的に蓄積する。ビデオデコーダ205は、4つのデコード部205-0,205-1,205-2,205-3を有する。デコード部205-0は、圧縮データバッファ204から選択的に読み出される、基本フォーマットの符号化画像データ(基本成分)Cbに対して復号化処理を行って、基本フォーマット画像データVb´を生成する。この場合、デコード部205-0は、画像データVb´内で予測補償を行う。
デコード部205-1は、圧縮データバッファ204から選択的に読み出される、フレームレート拡張の符号化画像データ(フレームレート拡張成分)Ch1に対して復号化処理を行って、高品質フォーマット画像データVh1´を生成する。この場合、デコード部205-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh1´内の予測補償、または画像データVb´との間の予測補償を、行う。
デコード部205-2は、圧縮データバッファ204から選択的に読み出される、ダイナミックレンジ拡張の符号化画像データ(ダイナミックレンジ拡張成分)Ch2に対して復号化処理を行って、高品質フォーマット画像データVh2´を生成する。この場合、デコード部205-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh2´内の予測補償、または画像データVb´との間の予測補償を、行う。
デコード部205-3は、圧縮データバッファ204から選択的に読み出される、フレームレート拡張とダイナミックレンジ拡張の符号化画像データ(フレームレート拡張成分とダイナミックレンジ拡張成分)Ch3に対して復号化処理を行って、高品質フォーマット画像データVh3´を生成する。この場合、デコード部205-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh3´内の予測補償、または画像データVh2´との間の予測補償を、行う。
図13は、デコード部250の主要部の構成例を示している。このデコード部250は、デコード部205-1,205-2,205-3に適用し得るものである。このデコード部250は、図4のエンコード部165の処理とは逆の処理を行う。このデコード部250は、デコード機能部251と、レイヤ内予測補償部252と、レイヤ間予測補償部253と、予測調整部254と、選択部255と、を有している。
デコード機能部251は、符号化画像データCVに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部252は、予測残差データに対して、画像データV1内での予測補償(レイヤ内予測補償)を行って、画像データV1を得る。レイヤ間予測補償部253は、予測残差データに対して、参照対象の画像データV2との間での予測補償(レイヤ間予測補償)を行って、画像データV1を得る。
予測調整部254は、詳細説明は省略するが、図4のエンコード部160の予測調整部163と同様に、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じた処理を行う。選択部255は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部252で得られる画像データV1、またはレイヤ間予測補償部253で得られる画像データV1を選択的に取り出して、出力とする。
図12に戻って、LDR電光変換部206は、デコード部205-0で得られる基本フォーマット画像データVb´に、上述した送信装置100におけるLDR光電変換部102とは逆特性の電光変換を施し、基本フォーマット画像データVbを得る。この基本フォーマット画像データは、フレーム周波数が50HzのLDR画像データである。
また、LDR電光変換部207は、デコード部205-1で得られる高品質フォーマット画像データVh1´に、上述した送信装置100におけるLDR光電変換部103とは逆特性の電光変換を施し、高品質フォーマット画像データVh1を得る。この高品質フォーマット画像データVh1は、フレーム周波数が100HzのLDR画像データである。
また、HDR電光変換部208は、デコード部205-2で得られる高品質フォーマット画像データVh2´に、上述した送信装置100におけるHDR光電変換部104とは逆特性の電光変換を施し、高品質フォーマット画像データVh2を得る。この高品質フォーマット画像データVh2は、フレーム周波数が50HzのHDR画像データである。
また、HDR電光変換部209は、デコード部205-3で得られる高品質フォーマット画像データVh3´に、上述した送信装置100におけるHDR光電変換部105とは逆特性の電光変換を施し、高品質フォーマット画像データVh3を得る。この高品質フォーマット画像データVh3は、フレーム周波数が100HzのHDR画像データである。
表示部210は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。表示部210は、表示能力に応じて、基本フォーマット画像データVb、高品質フォーマット画像データVh1,Vh2,Vh3のいずれかによる画像を表示する。
この場合、制御部201は、表示部210に供給すべき画像データを制御する。この制御は、各符号化画像データに挿入されている基本フォーマット、高品質フォーマットの識別情報と、表示部209の表示能力情報に基づいて、行われる。
すなわち、表示部210が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、表示部210に基本フォーマットの符号化画像データ(基本成分)Cbの復号化に係る基本フォーマット画像データVbが供給されるように制御する。この場合、制御部201は、圧縮データバッファ204から基本フォーマットの符号化画像データCbを選択的に取り出してデコード部205-0に送る。そして、制御部201は、デコード部205-0が符号化画像データCbを復号化し、LDR電光変換部206が基本フォーマット画像データVbを出力するように制御する。
また、表示部210が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、表示部210にフレームレート拡張の符号化画像データ(フレームレート拡張成分)Ch1の復号化に係る高品質フォーマット画像データVh1が供給されるように制御する。
この場合、制御部201は、圧縮データバッファ204から基本フォーマットの符号化画像データCbを選択的に取り出してデコード部205-0に送ると共に、圧縮データバッファ204からフレームレート拡張の符号化画像データCh1を選択的に取り出してデコード部205-1に送る。そして、制御部201は、デコード部205-0が符号化画像データCbを復号化し、デコード部205-1が符号化画像データCh1を復号化し、LDR電光変換部207が高品質フォーマット画像データVh1を出力するように制御する。
また、表示部210が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、表示部210にダイナミックレンジ拡張の符号化画像データ(ダイナミックレンジ拡張成分)Ch2の復号化に係る高品質フォーマット画像データVh2が供給されるように制御する。
この場合、制御部201は、圧縮データバッファ204から基本フォーマットの符号化画像データCbを選択的に取り出してデコード部205-0に送ると共に、圧縮データバッファ204からダイナミックレンジ拡張の符号化画像データCh2を選択的に取り出してデコード部205-2に送る。そして、制御部201は、デコード部205-0が符号化画像データCbを復号化し、デコード部205-2が符号化画像データCh2を復号化し、LDR電光変換部208が高品質フォーマット画像データVh2を出力するように制御する。
また、表示部210が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、表示部210にフレームレート拡張およびダイナミックレンジ拡張の符号化画像データ(フレームレート拡張成分およびダイナミックレンジ拡張成分)Ch3の復号化に係る高品質フォーマット画像データVh3が供給されるように制御する。
この場合、制御部201は、圧縮データバッファ204から基本フォーマットの符号化画像データCbを選択的に取り出してデコード部205-0に送ると共に、圧縮データバッファ204からダイナミックレンジ拡張の符号化画像データCh2を選択的に取り出してデコード部205-1に送り、さらに、圧縮データバッファ204からフレームレート拡張とダイナミックレンジ拡張の符号化画像データCh3を選択的に取り出してデコード部205-3に送る。
そして、制御部201は、デコード部205-0が符号化画像データCbを復号化し、デコード部205-2が符号化画像データCh2を復号化し、デコード部205-3が符号化画像データCh3を復号化し、HDR電光変換部209が高品質フォーマット画像データVh3を出力するように制御する。
図14は、2ストリーム構成の場合における圧縮データバッファ(cpb)204の出力と、「nuh_layer_id」による符号化画像データCb,Ch1,Ch2,Ch3の対応するデコード部への振り分けを概略的に示している。
2ストリーム構成の場合、図14(a)に示すように、圧縮データバッファ(cpb)204から、基本ビデオストリーム(PID1)に含まれていた基本フォーマットの符号化画像データCbおよび拡張ビデオストリーム(PID2)に含まれていた高品質フォーマットの符号化画像データCh1,Ch2,Ch3の各ピクチャの符号化画像デーが順次読み出されていく。
ここで、「00」、「01」、・・・は、符号化画像データCbを構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“0”に設定されている。制御部201は、この符号化画像データCbが基本ビデオストリームに含まれていたものであることから、「nuh_layer_id」=“0”は基本フォーマットの符号化画像データを示すものと把握する。
また、「10」、「11」、・・・は、符号化画像データCh1を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“2”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと把握する。
また、「20」、「21」、・・・は、符号化画像データCh2を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“4”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと把握する。
さらに、「30」、「31」、・・・は、符号化画像データCh3を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“6”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと把握する。
圧縮データバッファ204から読み出された各ピクチャの符号化画像データは、図14(b)に示すように、「nuh_layer_id」に基づいて、対応するデコード部に送られる。この場合、デコードに関係しないレイヤの符号化画像データは。読み捨てられる。図示の例は、全てをデコードする場合の例を示している。
図15は、1ストリーム構成の場合における圧縮データバッファ(cpb)204の出力と、「nuh_layer_id」による符号化画像データCb,Ch1,Ch2,Ch3の対応するデコード部への振り分けを概略的に示している。
1ストリーム構成の場合、図15(a)に示すように、圧縮データバッファ(cpb)204から、1本のビデオストリーム(PID1)に含まれていた基本フォーマットの符号化画像データCbおよび高品質フォーマットの符号化画像データCh1,Ch2,Ch3の各ピクチャの符号化画像デーが順次読み出されていく。
ここで、「00」、「01」、・・・は、符号化画像データCbを構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“0”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“0”は基本フォーマットの符号化画像データを示すものと把握する。
また、「10」、「11」、・・・は、符号化画像データCh1を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“2”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“2”はフレームレート拡張の符号化画像データを示すものと把握する。
また、「20」、「21」、・・・は、符号化画像データCh2を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“4”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“4”はダイナミックレンジ拡張の符号化画像データを示すものと把握する。
さらに、「30」、「31」、・・・は、符号化画像データCh3を構成する各ピクチャの符号化画像データを示しており、NALユニットのヘッダの「nuh_layer_id」は“6”に設定されている。制御部201は、スケーラブル・エクステンション・デスクリプタによる定義から、「nuh_layer_id」=“6”はフレームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと把握する。
圧縮データバッファ204から読み出された各ピクチャの符号化画像データは、図15(b)に示すように、「nuh_layer_id」に基づいて、対応するデコード部に送られる。この場合、デコードに関係しないレイヤの符号化画像データは。読み捨てられる。図示の例は、全てをデコードする場合の例を示している。
図16のフローチャートは、制御部201が、表示能力情報(表示性能情報)から、デコード範囲を判断する処理の一例を示している。制御部201は、ステップST1において、処理を開始する。
次に、制御部201は、ステップST2において、スケーラブル・エクステンション・デスクリプタを参照して、各フォーマットの「nuh_layer_id」を把握する。この実施の形態では、基本フォーマットでは「nuh_layer_id」=“0”であり、フレームレート拡張では「nuh_layer_id」=“2”であり、ダイナミックレンジレート拡張では「nuh_layer_id」=“4”であり、フレームレート拡張およびダイナミックレンジレート拡張では「nuh_layer_id」=“6”であることを把握する。
次に、制御部201は、ステップST3において、100pHDRの表示、つまりフレーム周波数が100HzでHDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST4において、「nuh_layer_id」が“0”,“4”,“6”である符号化画像データ、つまり符号化画像データCb,Ch2,Ch3をデコード範囲とし、その後、ステップST11において、処理を終了する。
ステップST3で可能でないとき、制御部201は、ステップST5において、50pHDRの表示、つまりフレーム周波数が50HzでHDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST6において、「nuh_layer_id」が“0”,“4”である符号化画像データ、つまり符号化画像データCb,Ch2をデコード範囲とし、その後、ステップST11において、処理を終了する。
ステップST5で可能でないとき、制御部201は、ステップST7において、100pLDRの表示、つまりフレーム周波数が100HzでLDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST8において、「nuh_layer_id」が“0”,“2”である符号化画像データ、つまり符号化画像データCb,Ch1をデコード範囲とし、その後、ステップST11において、処理を終了する。
ステップST7で可能でないとき、制御部201は、ステップST9において、50pLDRの表示、つまりフレーム周波数が50HzでLDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST10において、「nuh_layer_id」が“0”である符号化画像データ、つまり符号化画像データCbをデコード範囲とし、その後、ステップST11において、処理を終了する。なお、ステップST9で可能でないとき、制御部201は、ステップST11において、処理を終了する。
図12に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSからビデオストリームが抽出される。このビデオストリームは、圧縮データバッファ204に一時的に蓄積される。
ここで、2ストリーム構成の場合(図10参照)、基本フォーマット画像データの符号化画像データCbを含む基本ビデオストリームと高品質フォーマット画像データの符号化画像データCh1,Ch2,Ch3を含む拡張ビデオストリームの2本のビデオストリームが抽出される。また、1ストリーム構成の場合((図11参照)、基本フォーマット画像データの符号化画像データCbおよび高品質フォーマット画像データの符号化画像データCh1,Ch2,Ch3を含む1本のビデオストリームが抽出される。
また、システムデコーダ203では、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報が抽出され、制御部201に送られる。この情報には、スケーラブル・エクステンション・デスクリプタも含まれる。制御部201では、このデスクリプタに基づいて、符号化画像データに挿入されている識別情報(この実施の形態においては、NALユニットのヘッダの「nuh_layer_id」)がいかなるフォーマットの符号化画像データを示すかが把握される。
表示部210が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、LDR電光変換部206から表示部210に基本フォーマット画像データVbが供給される。表示部210には、この基本フォーマット画像データVb、つまりフレーム周波数が50HzでLDR画像データによる50pLDR画像が表示される。
この場合、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“0”である基本フォーマットの符号化画像データCbが選択的に取り出されてデコード部205-0に供給される。デコード部205-0では、符号化画像データCbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。この基本フォーマット画像データVb´は、LDR電光変換部206に供給される。LDR電光変換部206では、この基本フォーマット画像データVb´に電光変換が施され、基本フォーマット画像データVbが得られて、表示部210に供給される。
また、表示部210が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、LDR電光変換部207から表示部210に高品質フォーマット画像データVh1が供給される。表示部210には、この高品質フォーマット画像データVh1、つまりフレーム周波数が100HzでLDR画像データによる画像が表示される。
この場合、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“0”である基本フォーマットの符号化画像データCbが選択的に取り出されてデコード部205-0に供給される。デコード部205-0では、符号化画像データCbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。
また、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“2”であるフレームレート拡張の符号化画像データCh1が選択的に取り出されてデコード部205-1に供給される。デコード部205-1では、符号化画像データCh1に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh1´が生成される。
デコード部205-1で生成される高品質フォーマット画像データVh1´は、LDR電光変換部207に供給される。LDR電光変換部207では、この高品質フォーマット画像データVh1´に電光変換が施され、高品質フォーマット画像データVh1が得られて、表示部210に供給される。
また、表示部210が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、HDR電光変換部208から表示部210に高品質フォーマット画像データVh2が供給される。表示部210には、この高品質フォーマット画像データVh2、つまりフレーム周波数が50HzでHDR画像データによる画像が表示される。
この場合、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“0”である基本フォーマットの符号化画像データCbが選択的に取り出されてデコード部205-0に供給される。デコード部205-0では、符号化画像データCbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。
また、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“4”であるダイナミックレンジ拡張の符号化画像データCh2が選択的に取り出されてデコード部205-2に供給される。デコード部205-2では、符号化画像データCh2に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh2´が生成される。
デコード部205-2で生成される高品質フォーマット画像データVh2´は、HDR電光変換部208に供給される。HDR電光変換部208では、この高品質フォーマット画像データVh2´に電光変換が施され、高品質フォーマット画像データVh2が得られて、表示部210に供給される。
また、表示部210が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、HDR電光変換部209から表示部210に高品質フォーマット画像データVh3が供給される。表示部210には、この高品質フォーマット画像データVh3、つまりフレーム周波数が100HzでHDR画像データによる画像が表示される。
この場合、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“0”である基本フォーマットの符号化画像データCbが選択的に取り出されてデコード部205-0に供給される。デコード部205-0では、符号化画像データCbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。
また、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“4”であるダイナミックレンジ拡張の符号化画像データCh2が選択的に取り出されてデコード部205-2に供給される。デコード部205-2では、符号化画像データCh2に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh2´が生成される。
また、圧縮データバッファ204からNALユニットのヘッダの「nuh_layer_id」が“6”であるフレームレート拡張およびダイナミックレンジ拡張の符号化画像データCh3が選択的に取り出されてデコード部205-3に供給される。デコード部205-3では、符号化画像データCh2に対して、高品質フォーマット画像データVh2´が参照されて復号化処理が行われ、高品質フォーマット画像データVh3´が生成される。
デコード部205-3で生成される高品質フォーマット画像データVh3´は、HDR電光変換部209に供給される。HDR電光変換部209では、この高品質フォーマット画像データVh3´に電光変換が施され、高品質フォーマット画像データVh3が得られて、表示部210に供給される。
以上説明したように、図1に示す送受信システム10において、送信装置100では、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されるものである。そのため、受信側では、識別情報に基づいて、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易に可能となる。
また、図1に示す送受信システム10において、送信装置100では、コンテナのレイヤに、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されるものである。そのため、受信側では、符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを、コンテナのレイヤで、予め把握することが可能となる。
<2.変形例>
なお、上述実施の形態においては、符号化画像データに識別情報を挿入するためにNALユニットのヘッダの「nuh_layer_id」のフィールドを用いる例を示したが、「nuh_layer_id」および「nuh_temporal_id_plus1」の2つのフィールドを用いることも考えられる。
なお、上述実施の形態においては、符号化画像データに識別情報を挿入するためにNALユニットのヘッダの「nuh_layer_id」のフィールドを用いる例を示したが、「nuh_layer_id」および「nuh_temporal_id_plus1」の2つのフィールドを用いることも考えられる。
例えば、符号化画像データCb,Ch1,Ch2,Ch3の「nuh_layer_id」および「nuh_temporal_id_plus1」は、例えば、図17に示すように、設定される。すなわち、基本フォーマットの符号化画像データCbについては、「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“1~6”とされる。また、フレームレート拡張の符号化画像データCh1については、「nuh_layer_id」は“0”とされ、「nuh_temporal_id_plus1」は“7”とされる。
また、ダイナミックレンジ拡張の符号化画像データCh2については、「nuh_layer_id」は“4”とされ、「nuh_temporal_id_plus1」は“1~6”とされる。さらに、フレームレート拡張およびダイナミックレンジ拡張の符号化画像データCh3については、「nuh_layer_id」は“4”とされ、「nuh_temporal_id_plus1」は“7”とされる。
この場合、スケーラブル・エクステンション・デスクリプタ(図7参照)は、以下のように設定される。すなわち、2ストリーム構成の場合であって、拡張ビデオストリームに符号化データCh2,Ch3が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“0”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定される。また、「number_of_layer IDs」は“3”に設定され、「layerID」として、順に、“4”、“4”が設定される。
このような設定により、「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“7”はフレームレート拡張の符号化画像データを示すものと定義される。また、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“1~6”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“7”は、レームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
また、1ストリーム構成の場合であって、拡張ビデオストリームに符号化データCb,Ch1,Ch2,Ch3が含まれるとき、「Extended_spatial_resolution_flag」、「Extended_bit_depth_flag」および「Extended_color_gamut_flag」は“0”に設定され、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”に設定される。また、「number_of_layer IDs」は“4”に設定され、「layerID」として、順に、“0”、“0”、“4”、“4”が設定される。
このような設定により、「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“1~6”は基本フォーマットの符号化画像データを示すものと定義される。また、「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“7”はフレームレート拡張の符号化画像データを示すものと定義される。また、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“1~6”はダイナミックレンジ拡張の符号化画像データを示すものと定義される。さらに、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“7”は、レームレート拡張およびダイナミックレンジ拡張の符号化画像データを示すものと定義される。
図18は、NALユニットヘッダの「nuh_layer_id」、「nuh_temporal_id_plus1」の値と、スケーラブル・エクステンション・デスクリプタの記述との対応関係を示している。すなわち、ストリームに、「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“1~6”である基本フォーマットの符号化画像データ(基本成分)が含まれる場合、「layerID」として、“0”が設定される。また、ストリームに、「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“7”であるフレームレート拡張の符号化画像データ(フレームレート拡張成分)が含まれる場合、「Extended_spatial_resolution_flag」は“1”とされ、「layerID」として、“0”が設定される。
また、ストリームに、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“1~6”であるダイナミックレンジ拡張の符号化画像データ(フレームレート拡張成分)が含まれる場合、「Extended_dynamic_range_flag」は“1”とされ、「layerID」として、“4”が設定される。また、ストリームに、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“7”であるフレームレート拡張およびダイナミックレンジ拡張の符号化画像データ(フレームレート拡張成分およびダイナミックレンジ拡張成分)が含まれる場合、「Extended_frame_rate_flag」および「Extended_dynamic_range_flag」は“1”とされ、「layerID」として、“4”が設定される。
図19のフローチャートは、上述したように符号化画像データに識別情報を挿入するためにNALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」の2つのフィールドを用いた場合において、制御部201が、表示能力情報(表示性能情報)から、デコード範囲を判断する処理の一例を示している。
制御部201は、ステップST21において、処理を開始する。次に、制御部201は、ステップST22において、スケーラブル・エクステンション・デスクリプタを参照して、各フォーマットの「nuh_layer_id」、「nuh_temporal_id_plus1」を把握する。
ここでは、基本フォーマットでは「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“1~6”であり、フレームレート拡張では「nuh_layer_id」=“0”、「nuh_temporal_id_plus1」=“7”であり、ダイナミックレンジ拡張では「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“1~6”であり、フレームレート拡張およびダイナミックレンジ拡張では、「nuh_layer_id」=“4”、「nuh_temporal_id_plus1」=“7”であることを把握する。
次に、制御部201は、ステップST23において、100pHDRの表示、つまりフレーム周波数が100HzでHDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST24において、「nuh_layer_id」=“0”かつ「nuh_temporal_id_plus1」=“1~6”である符号化画像データCbと、「nuh_layer_id」=“4”かつ「nuh_temporal_id_plus1」=“1~7”である符号化画像データCh2,Ch3をデコード範囲とし、その後、ステップST31において、処理を終了する。
ステップST23で可能でないとき、制御部201は、ステップST25において、50pHDRの表示、つまりフレーム周波数が50HzでHDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST26において、「nuh_layer_id」=“0”かつ「nuh_temporal_id_plus1」=“1~6”である符号化画像データCbと、「nuh_layer_id」=“4”かつ「nuh_temporal_id_plus1」=“1~6”である符号化画像データCh2をデコード範囲とし、その後、ステップST31において、処理を終了する。
ステップST25で可能でないとき、制御部201は、ステップST27において、100pLDRの表示、つまりフレーム周波数が100HzでLDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST28において、「nuh_layer_id」=“0” かつ「nuh_temporal_id_plus1」=“1~7”である符号化画像データCb,Ch1をデコード範囲とし、その後、ステップST31において、処理を終了する。
ステップST27で可能でないとき、制御部201は、ステップST29において、50pLDRの表示、つまりフレーム周波数が50HzでLDRの表示が可能か否かを判断する。可能であるとき、制御部201は、ステップST30において、「nuh_layer_id」=“0”かつ「nuh_temporal_id_plus1」=“1~6”である符号化画像データCbをデコード範囲とし、その後、ステップST31において、処理を終了する。なお、ステップST29で可能でないとき、制御部201は、ステップST31において、処理を終了する。
また、上述実施の形態においては、送信装置100と受信装置200とからなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからEDID(Extended display identification data)を取得する等して表示能力情報を得ることができる。なお、「HDMI」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG-2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
(2)上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
前記(1)に記載の送信装置。
(3)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記(2)に記載の送信装置。
(4)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記(2)に記載の送信装置。
(5)上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記(5)に記載の送信装置。
(7)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
(8)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
(9)上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
前記(8)に記載の受信装置。
(10)上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記(8)または(9)に記載の受信装置。
(11)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
(12)上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
前記(11)に記載の送信装置。
(13)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記(12)に記載の送信装置。
(14)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記(12)に記載の送信装置。
(15)上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記(11)から(14)のいずれかに記載の送信装置。
(16)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記(15)に記載の送信装置。
(17)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
(18)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
(19)上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
前記(18)に記載の受信装置。
(20)上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記(18)または(19)に記載の受信装置。
(1)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
(2)上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
前記(1)に記載の送信装置。
(3)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記(2)に記載の送信装置。
(4)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記(2)に記載の送信装置。
(5)上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記拡張ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記(5)に記載の送信装置。
(7)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
(8)基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
(9)上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
前記(8)に記載の受信装置。
(10)上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記(8)または(9)に記載の受信装置。
(11)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。
(12)上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
前記(11)に記載の送信装置。
(13)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
前記(12)に記載の送信装置。
(14)上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
前記(12)に記載の送信装置。
(15)上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
前記(11)から(14)のいずれかに記載の送信装置。
(16)上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
前記(15)に記載の送信装置。
(17)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。
(18)基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。
(19)上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
前記(18)に記載の受信装置。
(20)上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
前記(18)または(19)に記載の受信装置。
本技術の主な特徴は、基本フォーマット画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入して送信することで、受信側において、所定の符号化画像データに選択的に復号化処理を行って表示能力に応じた画像データを得ることを容易としたことである(図10、図11参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102,103・・・LDR光電変換部
104,105・・・HDR光電変換部
106・・・ビデオエンコーダ
106-0,106-1,106-2,106-3・・・エンコード部
107・・・システムエンコーダ
108・・・送信部
150・・・画像データ生成部
151・・・HDRカメラ
152,154・・・フレームレート変換部
153・・・ダイナミックレンジ変換部
160・・・エンコード部
161・・・レイヤ内予測部
162・・・レイヤ間予測部
163・・・予測調整部
164・・・選択部
165・・・エンコード機能部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・圧縮データバッファ
205・・・ビデオデコーダ
205-0,205-1,205-2,205-3・・・デコード部
206,207・・・LDR電光変換部
208,209・・・HDR電光変換部
210・・・表示部
250・・・デコード部
251・・・デコード機能部
252・・・レイヤ内予測補償部
253・・・レイヤ間予測補償部
254・・・予測調整部
255・・・選択部
100・・・送信装置
101・・・制御部
102,103・・・LDR光電変換部
104,105・・・HDR光電変換部
106・・・ビデオエンコーダ
106-0,106-1,106-2,106-3・・・エンコード部
107・・・システムエンコーダ
108・・・送信部
150・・・画像データ生成部
151・・・HDRカメラ
152,154・・・フレームレート変換部
153・・・ダイナミックレンジ変換部
160・・・エンコード部
161・・・レイヤ内予測部
162・・・レイヤ間予測部
163・・・予測調整部
164・・・選択部
165・・・エンコード機能部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・圧縮データバッファ
205・・・ビデオデコーダ
205-0,205-1,205-2,205-3・・・デコード部
206,207・・・LDR電光変換部
208,209・・・HDR電光変換部
210・・・表示部
250・・・デコード部
251・・・デコード機能部
252・・・レイヤ内予測補償部
253・・・レイヤ間予測補償部
254・・・予測調整部
255・・・選択部
本技術は、送信方法、送信装置、受信装置および受信方法に関する。
Claims (20)
- 基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。 - 上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
請求項1に記載の送信装置。 - 上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
請求項2に記載の送信装置。 - 上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
請求項2に記載の送信装置。 - 上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
請求項1に記載の送信装置。 - 上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項5に記載の送信装置。 - 基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。 - 基本フォーマット画像データの符号化画像データを含む基本ビデオストリームと所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含む拡張ビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する各ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。 - 上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
請求項8に記載の受信装置。 - 上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項8に記載の受信装置。 - 基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記画像符号化部は、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信装置。 - 上記符号化画像データは、NALユニット構造を有し、
上記画像符号化部は、上記識別情報を上記NALユニットのヘッダに挿入する
請求項11に記載の送信装置。 - 上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」のフィールドを用いて挿入する
請求項12に記載の送信装置。 - 上記画像符号化部は、上記識別情報を、上記NALユニットのヘッダの「nuh_layer_id」および「nuh_temporal_id_plus1」のフィールドを用いて挿入する
請求項12に記載の送信装置。 - 上記コンテナのレイヤに、上記符号化画像データに挿入される識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報を挿入する情報挿入部をさらに備える
請求項11に記載の送信装置。 - 上記コンテナは、MPEG2-TSであり、
上記情報挿入部は、
上記情報を、プログラムマップテーブルの配下に存在する上記ビデオストリームに対応したビデオエレメンタリストリームループ内に挿入する
請求項15に記載の送信装置。 - 基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記画像符号化ステップでは、上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報を挿入する
送信方法。 - 基本フォーマット画像データの符号化画像データおよび所定数の高品質フォーマット画像データのそれぞれの符号化画像データを含むビデオストリームを有する所定フォーマットのコンテナを受信する受信部を備え、
上記基本フォーマット画像データおよび上記所定数の高品質フォーマット画像データのそれぞれの符号化画像データに、対応するフォーマットを識別するための識別情報が挿入されており、
上記受信されたコンテナが有する上記ビデオストリームを、上記識別情報と表示能力情報に基づいて処理する処理部をさらに備える
受信装置。 - 上記符号化画像データは、NALユニット構造を有し、
上記識別情報は、上記NALユニットのヘッダに挿入されている
請求項18に記載の受信装置。 - 上記コンテナのレイヤに、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを定義する情報が挿入されており、
上記処理部は、上記コンテナのレイヤに挿入されている情報に基づいて、上記符号化画像データに挿入されている識別情報がいかなるフォーマットの符号化画像データを示すかを把握する
請求項18に記載の受信装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014161833 | 2014-08-07 | ||
JP2014161833 | 2014-08-07 | ||
JP2021042048A JP7147903B2 (ja) | 2014-08-07 | 2021-03-16 | 送信方法および送信装置 |
JP2022150748A JP7416164B2 (ja) | 2014-08-07 | 2022-09-21 | 送信方法、送信装置、受信装置および受信方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022150748A Division JP7416164B2 (ja) | 2014-08-07 | 2022-09-21 | 送信方法、送信装置、受信装置および受信方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024026562A true JP2024026562A (ja) | 2024-02-28 |
Family
ID=55263639
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016540130A Active JP6652058B2 (ja) | 2014-08-07 | 2015-07-09 | 送信装置、送信方法および受信装置 |
JP2019193994A Active JP6856105B2 (ja) | 2014-08-07 | 2019-10-25 | 送信装置、送信方法、受信装置および受信方法 |
JP2021042048A Active JP7147903B2 (ja) | 2014-08-07 | 2021-03-16 | 送信方法および送信装置 |
JP2022150748A Active JP7416164B2 (ja) | 2014-08-07 | 2022-09-21 | 送信方法、送信装置、受信装置および受信方法 |
JP2023220577A Pending JP2024026562A (ja) | 2014-08-07 | 2023-12-27 | 送信方法、送信装置、受信装置および受信方法 |
Family Applications Before (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016540130A Active JP6652058B2 (ja) | 2014-08-07 | 2015-07-09 | 送信装置、送信方法および受信装置 |
JP2019193994A Active JP6856105B2 (ja) | 2014-08-07 | 2019-10-25 | 送信装置、送信方法、受信装置および受信方法 |
JP2021042048A Active JP7147903B2 (ja) | 2014-08-07 | 2021-03-16 | 送信方法および送信装置 |
JP2022150748A Active JP7416164B2 (ja) | 2014-08-07 | 2022-09-21 | 送信方法、送信装置、受信装置および受信方法 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10397642B2 (ja) |
EP (2) | EP3910960A1 (ja) |
JP (5) | JP6652058B2 (ja) |
KR (1) | KR102366503B1 (ja) |
CN (1) | CN106664445B (ja) |
ES (1) | ES2885548T3 (ja) |
HU (1) | HUE055488T2 (ja) |
MX (1) | MX368827B (ja) |
PL (1) | PL3179729T3 (ja) |
PT (1) | PT3179729T (ja) |
RU (1) | RU2687956C2 (ja) |
WO (1) | WO2016021365A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10750217B2 (en) * | 2016-03-21 | 2020-08-18 | Lg Electronics Inc. | Broadcast signal transmitting/receiving device and method |
FR3070566B1 (fr) * | 2017-08-30 | 2020-09-04 | Sagemcom Broadband Sas | Procede de recuperation d'un fichier cible d'un logiciel d'exploitation et dispositif d'utilisation |
US11606528B2 (en) * | 2018-01-03 | 2023-03-14 | Saturn Licensing Llc | Advanced television systems committee (ATSC) 3.0 latency-free display of content attribute |
WO2021128295A1 (en) * | 2019-12-27 | 2021-07-01 | Huawei Technologies Co., Ltd. | An encoder, a decoder and corresponding methods for inter prediction |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5144425A (en) * | 1991-08-26 | 1992-09-01 | General Electric Company | Apparatus for hierarchically dividing video signals |
JPH10248051A (ja) * | 1997-03-05 | 1998-09-14 | Matsushita Electric Ind Co Ltd | ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置 |
CN1190081C (zh) * | 1997-03-17 | 2005-02-16 | 松下电器产业株式会社 | 发送和接收动态图像数据的方法及其设备 |
US6490705B1 (en) * | 1998-10-22 | 2002-12-03 | Lucent Technologies Inc. | Method and apparatus for receiving MPEG video over the internet |
US6501797B1 (en) * | 1999-07-06 | 2002-12-31 | Koninklijke Phillips Electronics N.V. | System and method for improved fine granular scalable video using base layer coding information |
US6263022B1 (en) * | 1999-07-06 | 2001-07-17 | Philips Electronics North America Corp. | System and method for fine granular scalable video with selective quality enhancement |
US8284845B1 (en) * | 2000-01-24 | 2012-10-09 | Ati Technologies Ulc | Method and system for handling data |
US7095782B1 (en) * | 2000-03-01 | 2006-08-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for streaming scalable video |
US7940716B2 (en) * | 2005-07-01 | 2011-05-10 | Terahop Networks, Inc. | Maintaining information facilitating deterministic network routing |
US6496217B1 (en) * | 2001-06-12 | 2002-12-17 | Koninklijke Philips Electronics N.V. | Video communication system using model-based coding and prioritzation techniques |
US7958532B2 (en) * | 2001-06-18 | 2011-06-07 | At&T Intellectual Property Ii, L.P. | Method of transmitting layered video-coded information |
JP4329358B2 (ja) * | 2003-02-24 | 2009-09-09 | 富士通株式会社 | ストリーム配信方法、及びストリーム配信システム |
US20040208239A1 (en) * | 2003-04-21 | 2004-10-21 | Lars Karlsson | Method and apparatus for the intelligent and automatic gathering of sudden short duration communications signals |
EP1851948A1 (fr) * | 2005-02-09 | 2007-11-07 | Previsite | Procede de realisation en masse de visites virtuelles interactives pour diffusion multimedia, ainsi que systeme de misse en oeuvre |
JP4693444B2 (ja) * | 2005-03-09 | 2011-06-01 | 株式会社東芝 | 情報記録方法および情報記録装置 |
KR100931870B1 (ko) * | 2005-04-13 | 2009-12-15 | 노키아 코포레이션 | 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템 |
US20090222855A1 (en) * | 2005-05-24 | 2009-09-03 | Jani Vare | Method and apparatuses for hierarchical transmission/reception in digital broadcast |
KR100961743B1 (ko) * | 2005-12-09 | 2010-06-07 | 삼성전자주식회사 | 다중 홉 중계방식의 광대역 무선 접속통신시스템에서 중계서비스를 지원하기 위한 장치 및 방법 |
US8072943B2 (en) * | 2005-12-09 | 2011-12-06 | Samsung Electronics Co., Ltd. | Wireless communication system and methodology for communicating via multiple information streams |
US7836016B2 (en) * | 2006-01-13 | 2010-11-16 | International Business Machines Corporation | Method and apparatus for disseminating new content notifications in peer-to-peer networks |
US9209934B2 (en) * | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
US8576858B2 (en) * | 2006-12-13 | 2013-11-05 | Viasat, Inc. | Multiple transmission paths for hierarchical layers |
US8467457B2 (en) * | 2007-01-16 | 2013-06-18 | Mobixell Networks (Israel) Ltd | System and a method for controlling one or more signal sequences characteristics |
WO2008125900A1 (en) * | 2007-04-13 | 2008-10-23 | Nokia Corporation | A video coder |
MX2009011217A (es) * | 2007-04-18 | 2009-12-07 | Thomson Licensing | Sistemas de codificacion. |
KR20090004660A (ko) * | 2007-07-02 | 2009-01-12 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
KR20090079838A (ko) * | 2008-01-17 | 2009-07-22 | 엘지전자 주식회사 | Iptv 수신 시스템 및 그 데이터 처리 방법 |
KR101580516B1 (ko) * | 2008-04-07 | 2015-12-28 | 엘지전자 주식회사 | 방송 신호 수신 방법 및 방송 신호 수신 장치 |
JP2009267537A (ja) * | 2008-04-22 | 2009-11-12 | Toshiba Corp | 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム |
CN102150432A (zh) * | 2008-09-17 | 2011-08-10 | 夏普株式会社 | 可分级视频流解码装置以及可分级视频流生成装置 |
JP5541488B2 (ja) * | 2009-02-09 | 2014-07-09 | ソニー株式会社 | コンテンツ受信装置および方法 |
JP2010263615A (ja) * | 2009-04-08 | 2010-11-18 | Sony Corp | 情報処理装置、情報処理方法、再生装置、再生方法 |
KR20120015443A (ko) * | 2009-04-13 | 2012-02-21 | 리얼디 인크. | 향상된 해상도의 스테레오스코픽 비디오의 엔코딩, 디코딩 및 배포 |
US20110096828A1 (en) * | 2009-09-22 | 2011-04-28 | Qualcomm Incorporated | Enhanced block-request streaming using scalable encoding |
US20110187503A1 (en) * | 2010-02-01 | 2011-08-04 | Mario Costa | Method and System for Data Center Rack Brackets For Automatic Location Tracking of Information Technology Components |
US20120320168A1 (en) * | 2010-03-05 | 2012-12-20 | Electronics And Telecommunications Research Institute | Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services |
EP2375747B1 (en) * | 2010-04-12 | 2019-03-13 | Sun Patent Trust | Filter positioning and selection |
MX2012001738A (es) * | 2010-08-09 | 2012-04-05 | Panasonic Corp | Metodo de codificacion de imagenes, metodo de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de decodificacion de imagenes. |
HUE054404T2 (hu) * | 2011-01-19 | 2021-09-28 | Samsung Electronics Co Ltd | Berendezés és eljárás vezérlõüzenet vételére rádióadási rendszerben |
KR20120084234A (ko) * | 2011-01-19 | 2012-07-27 | 삼성전자주식회사 | Mpeg media transport(mmt)에서 mmt au를 전송하는 방법 |
US8904445B2 (en) * | 2011-01-24 | 2014-12-02 | At&T Intellectual Property I, L.P. | Methods and apparatus to manage bandwidth allocations in media delivery networks |
US20120224651A1 (en) * | 2011-03-03 | 2012-09-06 | Yutaka Murakami | Signal generation method and signal generation apparatus |
WO2012147365A1 (ja) * | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | 記録媒体、再生装置、及び記録装置 |
KR20140040165A (ko) * | 2011-07-26 | 2014-04-02 | 엘지전자 주식회사 | 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법 |
CA2816434C (en) * | 2011-10-28 | 2017-10-24 | Panasonic Corporation | Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format |
KR102048730B1 (ko) * | 2011-11-30 | 2020-01-08 | 삼성전자주식회사 | 방송 데이터 송/수신장치 및 방법 |
EP2991357A1 (en) | 2012-04-06 | 2016-03-02 | Vidyo, Inc. | Level signaling for layered video coding |
WO2013161442A1 (ja) * | 2012-04-24 | 2013-10-31 | ソニー株式会社 | 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法 |
BR112014032108B1 (pt) * | 2012-06-28 | 2022-12-27 | Sony Corporation | Dispositivos transmissor, receptor, de codificação e de decodificação, e, métodos de transmissão e de recepção |
WO2014034463A1 (ja) * | 2012-08-27 | 2014-03-06 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
JP6258206B2 (ja) * | 2012-09-07 | 2018-01-10 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 送信装置、送信方法、受信装置および受信方法 |
EP2876882A4 (en) * | 2012-09-09 | 2016-03-09 | Lg Electronics Inc | IMAGE DECODING METHOD AND APPARATUS USING THE SAME |
US9161039B2 (en) * | 2012-09-24 | 2015-10-13 | Qualcomm Incorporated | Bitstream properties in video coding |
KR102028696B1 (ko) * | 2012-10-04 | 2019-10-07 | 삼성전자주식회사 | 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법 |
WO2014059051A1 (en) * | 2012-10-09 | 2014-04-17 | Rodriguez Arturo A | Providing a common set of parameters for sub-layers of coded video |
WO2014069920A1 (en) * | 2012-11-01 | 2014-05-08 | Samsung Electronics Co., Ltd. | Recording medium, reproducing device for providing service based on data of recording medium, and method thereof |
US20140211861A1 (en) * | 2013-01-25 | 2014-07-31 | Electronics And Telecommunications Research Institute | Method and system for providing high definition (hd) broadcasting service and ultra high definition (uhd) broadcasting service |
SG10201913551WA (en) * | 2013-04-07 | 2020-03-30 | Dolby Int Ab | Signaling change in output layer sets |
FR3008245B1 (fr) * | 2013-07-03 | 2017-05-26 | Abb France | Dispositif de protection a l’encontre de surtensions electriques transitoires |
KR102121947B1 (ko) * | 2013-09-27 | 2020-06-11 | 삼성전자주식회사 | 신호 처리 장치 및 그의 신호 처리 방법 |
-
2015
- 2015-07-09 WO PCT/JP2015/069793 patent/WO2016021365A1/ja active Application Filing
- 2015-07-09 CN CN201580041287.5A patent/CN106664445B/zh active Active
- 2015-07-09 JP JP2016540130A patent/JP6652058B2/ja active Active
- 2015-07-09 MX MX2017001415A patent/MX368827B/es active IP Right Grant
- 2015-07-09 PL PL15830176T patent/PL3179729T3/pl unknown
- 2015-07-09 US US15/323,773 patent/US10397642B2/en active Active
- 2015-07-09 EP EP21183996.4A patent/EP3910960A1/en active Pending
- 2015-07-09 RU RU2017103077A patent/RU2687956C2/ru active
- 2015-07-09 EP EP15830176.2A patent/EP3179729B1/en active Active
- 2015-07-09 HU HUE15830176A patent/HUE055488T2/hu unknown
- 2015-07-09 PT PT158301762T patent/PT3179729T/pt unknown
- 2015-07-09 ES ES15830176T patent/ES2885548T3/es active Active
- 2015-07-09 KR KR1020177000890A patent/KR102366503B1/ko active IP Right Grant
-
2019
- 2019-10-25 JP JP2019193994A patent/JP6856105B2/ja active Active
-
2021
- 2021-03-16 JP JP2021042048A patent/JP7147903B2/ja active Active
-
2022
- 2022-09-21 JP JP2022150748A patent/JP7416164B2/ja active Active
-
2023
- 2023-12-27 JP JP2023220577A patent/JP2024026562A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20170040189A (ko) | 2017-04-12 |
EP3179729A1 (en) | 2017-06-14 |
EP3179729A4 (en) | 2017-12-06 |
CN106664445B (zh) | 2020-04-21 |
RU2017103077A3 (ja) | 2018-11-15 |
CN106664445A (zh) | 2017-05-10 |
JP7416164B2 (ja) | 2024-01-17 |
WO2016021365A1 (ja) | 2016-02-11 |
MX2017001415A (es) | 2017-05-09 |
JP6652058B2 (ja) | 2020-02-19 |
JP7147903B2 (ja) | 2022-10-05 |
JPWO2016021365A1 (ja) | 2017-05-18 |
EP3179729B1 (en) | 2021-08-25 |
US20170164033A1 (en) | 2017-06-08 |
RU2017103077A (ru) | 2018-07-31 |
KR102366503B1 (ko) | 2022-02-23 |
MX368827B (es) | 2019-10-18 |
PT3179729T (pt) | 2021-09-21 |
JP2021093772A (ja) | 2021-06-17 |
US10397642B2 (en) | 2019-08-27 |
ES2885548T3 (es) | 2021-12-14 |
PL3179729T3 (pl) | 2021-12-20 |
JP2022171957A (ja) | 2022-11-11 |
HUE055488T2 (hu) | 2021-11-29 |
JP6856105B2 (ja) | 2021-04-07 |
EP3910960A1 (en) | 2021-11-17 |
RU2687956C2 (ru) | 2019-05-17 |
JP2020014256A (ja) | 2020-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7375857B2 (ja) | 受信装置 | |
JP7416164B2 (ja) | 送信方法、送信装置、受信装置および受信方法 | |
JP7380796B2 (ja) | 送信方法、送信装置、受信装置および受信方法 | |
JP6801662B2 (ja) | 送信装置、送信方法、受信装置および受信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240124 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240124 |