JP6652056B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6652056B2
JP6652056B2 JP2016538249A JP2016538249A JP6652056B2 JP 6652056 B2 JP6652056 B2 JP 6652056B2 JP 2016538249 A JP2016538249 A JP 2016538249A JP 2016538249 A JP2016538249 A JP 2016538249A JP 6652056 B2 JP6652056 B2 JP 6652056B2
Authority
JP
Japan
Prior art keywords
image data
video stream
format image
predetermined number
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016538249A
Other languages
English (en)
Other versions
JPWO2016017397A1 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016017397A1 publication Critical patent/JPWO2016017397A1/ja
Application granted granted Critical
Publication of JP6652056B2 publication Critical patent/JP6652056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545Input to filtering algorithms, e.g. filtering a region of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/44029Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを送信する送信装置等に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献1には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのためのベースレイヤのストリームと、高解像度のビデオサービスのための拡張レイヤのストリームを生成し、これらを含む放送信号を送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高フレーム周波数、高ダイナミックレンジ、広色域、高ビット長などがある。
特表2008−543142号公報
本技術の目的は、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信することにある。
本技術の概念は、
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナおよび/または上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置にある。
本技術において、画像符号化部により、基本ビデオストリームと所定数の拡張ビデオストリームが生成される。ここで、基本ビデオストリームは、基本フォーマット画像データが符号化されて得られたものである。また、所定数の拡張ビデオストリームはそれぞれ所定数の高品質フォーマット画像データが符号化されて得られたものである。
例えば、画像符号化部は、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理を行って基本ビデオストリームを生成し、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理を選択的に行って拡張ビデオストリームを生成する、ようにされてもよい。
送信部により、画像符号化部で生成された基本ビデオストリームおよび所定数の拡張ビデオストリームを含む所定フォーマットのコンテナが送信される。例えば、コンテナは、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)であってもよい。また、例えば、コンテナは、インターネットの配信などで用いられるMP4、あるいはそれ以外のフォーマットのコンテナであってもよい。
識別情報挿入部により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が、コンテナやビデオストリームのレイヤに挿入される。例えば、コンテナは、MPEG2−TSであり、識別情報挿入部は、識別情報をコンテナのレイヤに挿入する場合、この識別情報をプログラムマップテーブル(PMT:Program Map Table)の配下に存在する所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ(video ES loop)内に挿入する、ようにされてもよい。また、例えば、ビデオストリームはNAL(Network Abstraction Layer)ユニット構造を有し、識別情報挿入部は、識別情報をNALユニットのヘッダに挿入する、ようにされてもよい。
このように本技術においては、所定数の拡張ビデオストリームが対応する高品質フォーマットの識別情報がコンテナやビデオストリームのレイヤに挿入されて送信されるものである。そのため、受信側では、識別情報に基づいて、所定のビデオストリームに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易となる。
なお、本技術において、例えば、コンテナのレイヤに挿入される識別情報には、所定数の拡張ビデオストリームがそれぞれ基本フォーマット画像データとの間の予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている、ようにされてもよい。この場合、受信側では、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で基本フォーマット画像データが参照されたか他の高品質フォーマット画像データが参照されたかを容易に認識可能となる。
また、本技術において、例えば、コンテナのレイヤに挿入される識別情報には、所定数の拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている、ようにされてもよい。この場合、受信側では、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で参照された画像データに対応したビデオストリームがどれであるかを容易に認識可能となる。
また、本技術の他の概念は、
基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤおよび/または上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置にある。
本技術において、受信部により、基本ビデオストリームおよび所定数の拡張ビデオストリームを含むコンテナが受信される。ここで、基本ビデオストリームは、基本フォーマット画像データが符号化されて得られたものである。また、所定数の拡張ビデオストリームはそれぞれ所定数の高品質フォーマット画像データが符号化されて得られたものである。コンテナやビデオストリームのレイヤには、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されている。
例えば、基本ビデオストリームは、基本フォーマット画像データに対して、この基本フォーマット画像データ内の予測符号化処理が行われて生成されており、拡張ビデオストリームは、高品質フォーマット画像データに対して、この高品質フォーマット画像データ内の予測符号化処理または基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている、ようにされてもよい。
処理部により、受信されたコンテナに含まれている各ビデオストリームが、識別情報に基づいて処理される。例えば、処理部は、識別情報と表示能力情報に基づいて基本ビデオストリームおよび所定の拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する、ようにされてもよい。
このように本技術においては、コンテナやビデオストリームのレイヤに挿入されて送られてくる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報に基づいて各ビデオストリームの処理を行うものである。そのため、所定のビデオストリームに選択的に復号化処理を行って受信能力に応じた画像データを得ることが容易となる。
本技術によれば、基本フォーマット画像データと共に所定数の高品質フォーマット画像データを良好に送信できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を生成する画像データ生成部の構成例を示すブロック図である。 エンコード部の主要部の構成例を示すブロック図である。 NALユニットヘッダの構造例と、その構造例における主要なパラメータの内容を示す図である。 基本ビデオストリームSTbと拡張ビデオストリームSTe1,STe2,STe3の構成例を示す図である。 スケーラブル・エクステンション・デスクリプタの構造例を示す図である。 スケーラブル・エクステンション・デスクリプタの構造例における主要な情報の内容を示す図である。 スケーラブル・エクステンション・デスクリプタの「type of enhancement」のフィールドの値と、NALユニットヘッダの「nuh_layer_id」のフィールドの値との対応関係を示す図である。 トランスポートストリームTSの構成例を示す図である。 受信装置の構成例を示すブロック図である。 デコード部の主要部の構成例を示すブロック図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システム]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100と、受信装置200とを有する構成となっている。
送信装置100は、コンテナとしてのトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、基本ビデオストリームと、所定数の拡張ビデオストリームが含まれる。
基本ビデオストリームは、基本フォーマット画像データに、例えば、H.264/AVC、H.265/HEVCなどの符号化が施されて生成されたものである。ここで、基本フォーマット画像データに関しては、この基本フォーマット画像データ内の予測符号化処理が行われて、基本ビデオストリームが生成される。
所定数の拡張ビデオストリームは、所定数の高品質画像データに、それぞれ、例えば、H.264/AVC、H.265/HEVCなどの符号化が施されて生成されたものである。ここで、高品質フォーマット画像データに関しては、この高品質フォーマット画像データ内の予測符号化処理、または基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて拡張ビデオストリームが生成される。
コンテナのレイヤに、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入される。受信側では、この識別情報により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットをコンテナのレイヤで容易に把握可能となる。この実施の形態において、識別情報は、プログラムマップテーブルの配下に存在する所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入される。
この識別情報には、所定数の拡張ビデオストリームがそれぞれ基本フォーマット画像データとの予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加される。受信側では、この情報により、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で基本フォーマット画像データが参照されたか他の高品質フォーマット画像データが参照されたかをコンテナのレイヤで容易に認識可能となる。
また、この識別情報には、所定数の拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加される。受信側では、この情報により、所定数の拡張ビデオストリームをそれぞれ生成する際の予測符号化処理で参照された画像データに対応したビデオストリームがどれであるかをコンテナのレイヤで容易に認識可能となる。
ビデオストリームのレイヤに、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入される。受信側では、この識別情報により、所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットを容易に把握可能となる。この実施の形態において、識別情報は、NALユニットのヘッダに挿入される。
受信装置200は、送信装置100から放送波あるいはネットのパケットに載せて送られてくる上述のトランスポートストリームTSを受信する。上述したようにコンテナやビデオストリームのレイヤに、トランスポートストリームTSに含まれている所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されている。受信装置200は、この識別情報に基づいて、トランスポートストリームTSに含まれている各ビデオストリームを処理し、表示能力に応じた画像データを取得する。
「送信装置の構成」
図2は、送信装置100の構成例を示している。この送信装置100は、送信画像データとして、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を取り扱う。ここで、基本フォーマット画像データVbは、フレーム周波数が50HzであるLDR(Low Dynamic Lange)画像データである。高品質フォーマット画像データVh1は、フレーム周波数が100HzであるLDR画像データである。LDR画像データは、従来のLDR画像の白ピークの明るさに対して0%から100%の輝度範囲を持つ。
高品質フォーマット画像データVh2は、フレーム周波数が50HzであるHDR(High Dynamic Range)画像データである。高品質フォーマット画像データVh3は、フレーム周波数が100HzであるHDR画像データである。このHDR画像データは、従来のLDR画像の白ピークの明るさを100%とすると、0〜100%*N、例えば0〜400%あるいは0〜800%などの輝度範囲を持つ。
図3は、基本フォーマット画像データVbと、3つの高品質フォーマット画像データVh1,Vh2,Vh3を生成する画像データ生成部150の構成例を示している。この画像データ生成部150は、HDRカメラ151と、フレームレート変換部152と、ダイナミックレンジ変換部153と、フレームレート変換部154を有している。
HDRカメラ151は、被写体を撮像し、フレーム周波数が100HzであるHDR画像データ、つまり高品質フォーマット画像データVh3を出力する。フレームレート変換部152は、HDRカメラ151から出力される高品質フォーマット画像データVh3に対して、フレーム周波数を100Hzから50Hzに変換する処理をおこなって、フレーム周波数が50HzであるHDR画像データ、つまり高品質フォーマット画像データVh2を出力する。
ダイナミックレンジ変換部153は、HDRカメラ151から出力される高品質フォーマット画像データVh3に対して、HDRからLDRに変換する処理をおこなって、フレーム周波数が100HzであるLDR画像データ、つまり高品質フォーマット画像データVh1を出力する。フレームレート変換部154は、ダイナミックレンジ変換部153から出力される高品質フォーマット画像データVh1に対して、フレーム周波数を100Hzから50Hzに変換する処理をおこなって、フレーム周波数が50HzであるLDR画像データ、つまり基本フォーマット画像データVbを出力する。
図2に戻って、送信装置100は、制御部101と、LDR光電変換部102,103と、HDR光電変換部104,105と、ビデオエンコーダ106と、システムエンコーダ107と、送信部108を有している。制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。
LDR光電変換部102は、基本フォーマット画像データVbに対して、LDR画像用の光電変換特性(LDR OETFカーブ)を適用して、伝送用の基本フォーマット画像データVb´を得る。LDR光電変換部103は、高品質フォーマット画像データVh1に対して、LDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh1´を得る。
HDR光電変換部104は、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)を適用して、伝送用の高品質フォーマット画像データVh2´を得る。HDR光電変換部105は、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性を適用して、伝送用の高品質フォーマット画像データVh3´を得る。
ビデオエンコーダ106は、4つのエンコード部106-0,106-1,106-2,106-3を有する。エンコード部106-0は、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、基本ビデオストリームSTbを生成する。この場合、エンコード部106-0は、画像データVb´内の予測を行う。
エンコード部106-1は、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、拡張ビデオストリームSTe1を生成する。この場合、エンコード部106-1は、予測残差を小さくするために、符号化ブロック毎に、画像データVh1´内の予測、または画像データVb´との間の予測を、選択的に行う。
エンコード部106-2は、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、拡張ビデオストリームSTe2を生成する。この場合、エンコード部106-2は、予測残差を小さくするために、符号化ブロック毎に、画像データVh2´内の予測、または画像データVb´との間の予測を、選択的に行う。
エンコード部106-3は、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理を行って、拡張ビデオストリームSTe3を生成する。この場合、エンコード部106-3は、予測残差を小さくするために、符号化ブロック毎に、画像データVh3´内の予測、または画像データVh2´との間の予測を、選択的に行う。
図4は、エンコード部160の主要部の構成例を示している。このエンコード部160は、エンコード部106-1,106-2,106-3に適用し得るものである。このエンコード部160は、レイヤ内予測部161と、レイヤ間予測部162と、予測調整部163と、選択部164と、エンコード機能部165を有している。
レイヤ内予測部161は、符号化対象の画像データV1に対して、この画像データV1内での予測(レイヤ内予測)を行って予測残差データを得る。レイヤ間予測部162は、符号化対象の画像データV1に対して、参照対象の画像データV2との間での予測(レイヤ間予測)を行って予測残差データを得る。
予測調整部163は、レイヤ間予測部162におけるレイヤ間予測を効率よく行うために、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じて、以下の処理を行う。ダイナミックレンジ拡張の場合は、LDRからHDRに変換するためのレベル調整を行う。空間スケーラブル拡張の場合は、ブロックを所定のサイズに拡大する。フレームレート拡張の場合は、バイパスする。色域拡張の場合は、輝度・色差のそれぞれに対してマッピングを行う。ビット長拡張の場合は、画素のMSBを揃える変換を行う。
例えば、エンコード部106-1の場合、画像データV1は高品質フォーマット画像データVh1´(100Hz、LDR)であり、画像データV2は基本フォーマット画像データVb´(50Hz、LDR)であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部163では、画像データVb´がそのままバイパスされる。
また、例えば、エンコード部106-2の場合、画像データV1は高品質フォーマット画像データVh2´(50Hz、HDR)であり、画像データV2は基本フォーマット画像データVb´(50Hz、LDR)であり、スケーラブル拡張のタイプはダイナミックレンジ拡張に当たる。そのため、予測調整部163では、画像データVb´に対してLDRからHDRに変換するためのレベル調整が行われる。
また、例えば、エンコード部106-3の場合、画像データV1は高品質フォーマット画像データVh3´(100Hz、HDR)であり、画像データV2は高品質フォーマット画像データVh2´(50Hz、HDR)であり、スケーラブル拡張のタイプはフレームレート拡張に当たる。そのため、予測調整部163では、画像データVb´がそのままバイパスされる。
選択部164は、符号化ブロック毎に、レイヤ内予測部161で得られる予測残差データ、またはレイヤ間予測部162で得られる予測残差データを選択的に取り出し、エンコード機能部165に送る。この場合、選択部164では、例えば、予測残差の小さい方が取り出される。エンコード機能部165は、選択部164から取り出された予測残差データに対して、変換符号化、量子化、エントロピー符号化などのエンコード処理を行って、ビデオストリームSTを得る。
図2に戻って、ビデオエンコーダ106は、拡張ビデオストリームSTe1,STe2,STe3のレイヤに、それぞれに対応する高品質フォーマットの識別情報を挿入する。ビデオエンコーダ106は、この識別情報を、例えば、NALユニットのヘッダに挿入する。
図5(a)は、NALユニットヘッダの構造例(Syntax)を示し、図5(b)は、その構造例における主要なパラメータの内容(Semantics)を示している。「Forbidden_zero_bit」の1ビットフィールドは、0が必須である。「nal_unit_type」の6ビットフィールドは、NALユニットタイプを示す。「Nuh_layer_id」の6ビットフィールドは、ストリームのレイヤ拡張種別を示すIDである。「nuh_temporal_id_plus1」の3ビットフィールドは、temporal_id(0〜6)を示し、1を加えた値(1〜7)を取る。
この実施の形態において、「nuh_layer_id」の6ビットフィールドは、各拡張ビデオストリームが対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)を示す。例えば、“0”は、ベースストリームを示す。“1〜4”は、空間拡張ストリームを示す。“5〜8”は、フレームレート拡張ストリームを示す。“9〜12”は、ダイナミックレンジ拡張ストリームを示す。“13〜16”は、色域拡張ストリームを示す。“17〜20”は、ビット長拡張ストリームを示す。“21〜24”は、空間拡張およびフレームレート拡張を示す。“25〜28”は、フレームレート拡張およびダイナミックレンジ拡張を示す。
例えば、基本ビデオストリームSTbはベースストリームに該当し、従ってこの基本ビデオストリームSTbを構成するNALユニットのヘッダにおける「nuh_layer_id」は、“0”とされる。また、例えば、拡張ビデオストリームSTe1はフレームレート拡張ストリームに該当し、従ってこの拡張ビデオストリームSTe1を構成するNALユニットのヘッダにおける「nuh_layer_id」は、“5〜8”の範囲のいずれかとされる。
また、例えば、拡張ビデオストリームSTe2はダイナミックレンジ拡張ストリームに該当し、従ってこの拡張ビデオストリームSTe2を構成するNALユニットのヘッダにおける「nuh_layer_id」は、“9〜12”の範囲のいずれかとされる。また、例えば、拡張ビデオストリームSTe3はフレームレート拡張およびダイナミックレンジ拡張のストリームに該当し、従ってこの拡張ビデオストリームSTe3を構成するNALユニットのヘッダにおける「nuh_layer_id」は、“25〜28”の範囲のいずれかとされる。
図6は、基本ビデオストリームSTb、拡張ビデオストリームSTe1,STe2,STe3の構成例を示している。横軸は表示順(POC:picture order of composition)を示し、左側は表示時刻が前で、右側は表示時刻が後になる。矩形枠のそれぞれがピクチャを示し、実線矢印は、予測符号化におけるピクチャの参照関係を示している。
基本ビデオストリームSTbは、「00」、「01」、・・・のピクチャの符号化画像データで構成される。拡張ビデオストリームSTe1は、基本ビデオストリームSTbの各ピクチャの間に位置する「10」、「11」、・・・のピクチャの符号化画像データで構成される。拡張ビデオストリームSTe2は、基本ビデオストリームSTbの各ピクチャと同じ位置の「20」、「21」、・・・のピクチャの符号化画像データで構成される。そして、拡張ビデオストリームSTe3は、拡張ビデオストリームSTe2の各ピクチャの間に位置する「30」、「31」、・・・のピクチャの符号化画像データで構成される。
図2に戻って、システムエンコーダ107は、ビデオエンコーダ106で生成された基本ビデオストリームSTbと拡張ビデオストリームSTe1,STe2,STe3を含むトランスポートストリームTSを生成する。そして、送信部108は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
この際、システムエンコーダ107は、コンテナ(トランスポートストリーム)のレイヤに、拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報を挿入する。この実施の形態においては、例えば、PMT(Program Map Table)の配下に存在する各拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、識別情報を含むスケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)を挿入する。
図7は、このスケーラブル・エクステンション・デスクリプタの構造例(Syntax)を示している。図8は、図7に示す構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、スケーラブル・エクステンション・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「type of enhancement」の4ビットフィールドは、各拡張ビデオストリームが対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)を示す。例えば、“1”は、空間スケーラブル拡張を示す。“2”は、フレームレートスケーラブル拡張を示す。“3”は、ダイナミックレンジスケーラブル拡張を示す。“4”は、色域スケーラブル拡張を示す。“5”は、ビット長スケーラブル拡張を示す。“6”は、空間/フレームレートスケーラブル拡張を示す。“7”は、フレームレート/ダイナミックレンジスケーラブル拡張を示す。
例えば、拡張ビデオストリームSTe1はフレームレートスケーラブル拡張に該当し、従ってこの拡張ビデオストリームSTe1に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“2”とされる。
また、例えば、拡張ビデオストリームSTe2はダイナミックレンジスケーラブル拡張に該当し、従ってこの拡張ビデオストリームSTe2に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“3”とされる。
また、例えば、拡張ビデオストリームSTe3はフレームレート/ダイナミックレンジスケーラブル拡張に該当し、従ってこの拡張ビデオストリームSTe3に対応するスケーラブル・エクステンション・デスクリプタの「type of enhancement」は、“7”とされる。
図9は、この「type of enhancement」のフィールドの値と、上述したNALユニットヘッダの「nuh_layer_id」のフィールドの値との対応関係を示している。このように、いずれのフィールドからであっても、各拡張ビデオストリームが対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)を同じように把握できることがわかる。
図7に戻って、「scalable_priority」の4ビットフィールドは、各拡張ビデオストリームの同一の拡張カテゴリ内での優先順位を示す。すなわち、このフィールドは、各拡張ビデオストリームがそれぞれ基本フォーマット画像データとの間の予測符号化処理を行って生成されているか高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す。
例えば、“0”は基本ストリームを参照する第1優先ストリームであること、つまり基本フォーマット画像データとの間の予測符号化処理を行って生成されていることを示す。また、例えば、“1”は第1優先のストリームを参照する第2優先ストリームであること、つまり高品質フォーマット画像データとの間の予測符号化処理を行って生成されていることを示す。
例えば、拡張ビデオストリームSTe1は、高品質フォーマット画像データVh1´の符号化に係るものであり、基本フォーマット画像データVb´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe1に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“0”とされる。
また、例えば、拡張ビデオストリームSTe2は、高品質フォーマット画像データVh2´の符号化に係るものであり、基本フォーマット画像データVb´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe2に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“0”とされる。
また、例えば、拡張ビデオストリームSTe3は、高品質フォーマット画像データVh3´の符号化に係るものであり、高品質フォーマット画像データVh2´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe3に対応するスケーラブル・エクステンション・デスクリプタの「scalable_priority」は、“1”とされる。
「enhancement reference PID」の32ビットフィールドは、参照ストリームのPID値を示す。すなわち、このフィールドは、各拡張ビデオストリームをそれぞれ生成する際に行われた基本フォーマット画像データあるいは他の高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームのPID値を示す。
例えば、拡張ビデオストリームSTe1は、高品質フォーマット画像データVh1´の符号化に係るものであり、基本フォーマット画像データVb´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe1に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、基本ビデオストリームSTbのPID値を示す。
また、例えば、拡張ビデオストリームSTe2は、高品質フォーマット画像データVh2´の符号化に係るものであり、基本フォーマット画像データVb´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe2に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、基本ビデオストリームSTbのPID値を示す。
また、例えば、拡張ビデオストリームSTe3は、高品質フォーマット画像データVh3´の符号化に係るものであり、高品質フォーマット画像データVh2´との間の予測符号化処理を行って生成されている。そのため、この拡張ビデオストリームSTe3に対応するスケーラブル・エクステンション・デスクリプタの「enhancement reference PID」は、拡張ビデオストリームSTe2のPID値を示す。
[トランスポートストリームTSの構成]
図10は、トランスポートストリームTSの構成例を示している。このトランスポートストリームTSには、基本ビデオストリームSTbと拡張ビデオストリームSTe1,STe2,STe3の4つのビデオストリームが含まれている。この構成例では、各ビデオストリームのPESパケット「video PES」が存在する。
基本ビデオストリームSTbのパケット識別子(PID)は例えばPID1とされている。このビデオストリームの各ピクチャの符号化画像データには、AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は“0”とされ、基本ビデオストリームであることが示されている(図9参照)。
また、拡張ビデオストリームSTe1のパケット識別子(PID)は例えばPID2とされている。このビデオストリームの各ピクチャの符号化画像データには、AUD、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は例えば“5”とされ、フレームレート拡張ストリームであることが示されている(図9参照)。
また、拡張ビデオストリームSTe2のパケット識別子(PID)は例えばPID3とされている。このビデオストリームの各ピクチャの符号化画像データには、AUD、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は例えば“9”とされ、ダイナミックレンジ拡張ストリームであることが示されている(図9参照)。
さらに、拡張ビデオストリームSTe3のパケット識別子(PID)は例えばPID4とされている。このビデオストリームの各ピクチャの符号化画像データには、AUD、SPS、PPS、PSEI、SLICE、SSEI、EOSなどのNALユニットが存在する。これらのNALユニットのヘッダにおける「nuh_layer_id」は例えば“25”とされ、フレームレート拡張およびダイナミックレンジ拡張のストリームであることが示されている(図9参照)。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。このPSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。
PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリームループが存在する。この構成例では、基本ビデオストリームSTbと拡張ビデオストリームSTe1,STe2,STe3の4つのビデオストリームに対応して4つのビデオエレメンタリストリームループ(video ES loop)が存在する。基本ビデオストリームSTbに対応したビデオエレメンタリストリームループには、ストリームタイプ(ST0)、パケット識別子(PID1)等の情報が配置される。
また、拡張ビデオストリームSTe1に対応したビデオエレメンタリストリームループには、ストリームタイプ(ST1)、パケット識別子(PID2)等の情報が配置されると共に、この拡張ビデオストリームSTe1に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタ(Scalable extension descriptor)が挿入される。
このデスクリプタにおける「type of enhancement」は“2”とされ、フレームレート拡張ストリーム(フレームレートスケーラブル拡張)であることが示されている(図9参照)。また、このデスクリプタにおける「scalable_priority」は“0”とされ、基本ストリームを参照する第1優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「PID1」とされ、基本ビデオストリームSTbを参照することが示されている。
また、拡張ビデオストリームSTe2に対応したビデオエレメンタリストリームループには、ストリームタイプ(ST2)、パケット識別子(PID3)等の情報が配置されると共に、この拡張ビデオストリームSTe2に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタが挿入される。
このデスクリプタにおける「type of enhancement」は“3”とされ、ダイナミックレンジ拡張ストリーム(ダイナミックレンジスケーラブル拡張)であることが示されている(図9参照)。また、このデスクリプタにおける「scalable_priority」は“0”とされ、基本ストリームを参照する第1優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「PID1」とされ、基本ビデオストリームSTbを参照することが示されている。
また、拡張ビデオストリームSTe3に対応したビデオエレメンタリストリームループには、ストリームタイプ(ST3)、パケット識別子(PID4)等の情報が配置されると共に、この拡張ビデオストリームSTe3に関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述したスケーラブル・エクステンション・デスクリプタが挿入される。
このデスクリプタにおける「type of enhancement」は“7”とされ、フレームレート拡張およびダイナミックレンジ拡張のストリーム(フレームレート/ダイナミックレンジスケーラブル拡張)であることが示されている(図9参照)。また、このデスクリプタにおける「scalable_priority」は“1”とされ、第1優先のストリームを参照する第2優先のストリームであることが示されている。また、このデスクリプタにおける「enhancement reference PID」は「PID3」とされ、拡張ビデオストリームSTe2を参照することが示されている。
図2に示す送信装置100の動作を簡単に説明する。フレーム周波数が50HzのLDR画像データである基本フォーマット画像データVbは、LDR光電変換部102に供給される。このLDR光電変換部102では、基本フォーマット画像データVbに対して、LDR画像用の光電変換特性(LDR OETFカーブ)が適用されて、伝送用の基本フォーマット画像データVb´が得られる。この基本フォーマット画像データVb´は、ビデオエンコーダ106のエンコード部106-0,106-1,106-2に供給される。
また、フレーム周波数が100HzのLDR画像データである高品質フォーマット画像データVh1は、LDR光電変換部103に供給される。このLDR光電変換部103では、高品質フォーマット画像データVh1に対して、LDR画像用の光電変換特性(LDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh1´が得られる。この高品質フォーマット画像データVh1´は、ビデオエンコーダ106のエンコード部106-1に供給される。
また、フレーム周波数が50HzのHDR画像データである高品質フォーマット画像データVh2は、HDR光電変換部104に供給される。このHDR光電変換部104では、高品質フォーマット画像データVh2に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh2´が得られる。この高品質フォーマット画像データVh2´は、ビデオエンコーダ106のエンコード部106-2,106-3に供給される。
また、フレーム周波数が100HzのHDR画像データである高品質フォーマット画像データVh3は、HDR光電変換部105に供給される。このHDR光電変換部105では、高品質フォーマット画像データVh3に対して、HDR画像用の光電変換特性(HDR OETFカーブ)が適用されて、伝送用の高品質フォーマット画像データVh3´が得られる。この高品質フォーマット画像データVh3´は、ビデオエンコーダ106のエンコード部106-3に供給される。
ビデオエンコーダ106では、基本フォーマット画像データVb´、高品質フォーマット画像データVh1´,Vh2´,Vh3´のそれぞれに対して符号化処理が施されてビデオストリームが生成される。すなわち、エンコード部106-0では、伝送用の基本フォーマット画像データVb´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む基本ビデオストリームSTbが生成される。この場合、エンコード部106-0では、画像データVb´内の予測が行われる。
また、エンコード部106-1では、伝送用の高品質フォーマット画像データVh1´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームSTe1が生成される。この場合、エンコード部106-1では、予測残差を小さくするために、符号化ブロック毎に、画像データVh1´内の予測、または画像データVb´との間の予測が、選択的に行われる。
また、エンコード部106-2では、伝送用の高品質フォーマット画像データVh2´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームSTe2が生成される。この場合、エンコード部106-2では、予測残差を小さくするために、符号化ブロック毎に、画像データVh2´内の予測、または画像データVb´との間の予測が、選択的に行われる。
また、エンコード部106-3では、伝送用の高品質フォーマット画像データVh3´に対してH.264/AVC、H.265/HEVCなどの予測符号化処理が行われ、各ピクチャの符号化画像データを含む拡張ビデオストリームSTe3が生成される。この場合、エンコード部106-3では、予測残差を小さくするために、符号化ブロック毎に、画像データVh3´内の予測、または画像データVh2´との間の予測が、選択的に行われる。
また、ビデオエンコーダ106では、拡張ビデオストリームSTe1,STe2,STe3のレイヤに、それぞれに対応する高品質フォーマットの識別情報が挿入される。すなわち、ビデオエンコーダ106では、NALユニットのヘッダの「nuh_layer_id」のフィールドに、各拡張ビデオストリームが対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)が設定される(図5、図9参照)。
ビデオエンコーダ106で生成される基本ビデオストリームSTb、拡張ビデオストリームSTe1,STe2,STeは、システムエンコーダ107に供給される。このシステムエンコーダ107では、各ビデオストリームを含むトランスポートストリームTSが生成される。
このシステムエンコーダ107では、コンテナ(トランスポートストリーム)のレイヤに、拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報が挿入される。すなわち、システムエンコーダ107では、PMTの配下に存在する各拡張ビデオストリームに対応したビデオエレメンタリストリームループ中に、識別情報(ストリームの拡張カテゴリ情報)を含むスケーラブル・エクステンション・デスクリプタが挿入される(図7、図9参照)。
システムエンコーダ107で生成されるトランスポートストリームTSは、送信部108に送られる。送信部108では、このトランスポートストリームTSが、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成」
図11は、受信装置200の構成例を示している。この受信装置200は、図2の送信装置100の構成例に対応したものである。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、LDR電光変換部205,206Lと、HDR電光変換部207,208と、表示部(表示デバイス)209を有している。制御部201は、CPU(Central Processing Unit)を備えて構成され、図示しないストレージに格納されている制御プログラムに基づいて、受信装置200の各部の動作を制御する。
受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから基本ビデオストリームSTb、拡張ビデオストリームSTe1,STe2,STe3を抽出する。
また、システムデコーダ203は、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報を抽出し、制御部201に送る。この情報には、上述したスケーラブル・エクステンション・デスクリプタも含まれる。制御部201は、このデスクリプタの「type of enhancement」のフィールドから、拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)を把握できる。
また、制御部201は、このデスクリプタの「scalable_priority」のフィールドから、拡張ビデオストリームSTe1,STe2,STe3のそれぞれにおける同一の拡張カテゴリ内での優先順位、つまり基本ストリームを参照する第1優先ストリームであるか、第1優先ストリームを参照する第2優先ストリームであるかを把握できる。さらに、制御部201は、このデスクリプタの「enhancement reference PID」のフィールドから、拡張ビデオストリームSTe1,STe2,STe3のそれぞれが参照するビデオストリームのPID値を把握できる。
ビデオデコーダ204は、4つのデコード部204-0,204-1,204-2,204-3を有する。デコード部204-0は、基本ビデオストリームSTbに対して復号化処理を行って、基本フォーマット画像データVb´を生成する。この場合、デコード部204-0は、画像データVb´内で予測補償を行う。
デコード部204-1は、拡張ビデオストリームSTe1に対して復号化処理を行って、高品質フォーマット画像データVh1´を生成する。この場合、デコード部204-1は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh1´内の予測補償、または画像データVb´との間の予測補償を、行う。
デコード部204-2は、拡張ビデオストリームSTe2に対して復号化処理を行って、高品質フォーマット画像データVh2´を生成する。この場合、デコード部204-2は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh2´内の予測補償、または画像データVb´との間の予測補償を、行う。
デコード部204-3は、拡張ビデオストリームSTe3に対して復号化処理を行って、高品質フォーマット画像データVh3´を生成する。この場合、デコード部204-3は、符号化時における予測に対応させて、符号化ブロック毎に、画像データVh3´内の予測補償、または画像データVh2´との間の予測補償を、行う。
図12は、デコード部240の主要部の構成例を示している。このデコード部240は、デコード部204-1,204-2,204-3に適用し得るものである。このデコード部240は、図4のエンコード部165の処理とは逆の処理を行う。このデコード部240は、デコード機能部241と、レイヤ内予測補償部242と、レイヤ間予測補償部243と、予測調整部244と、選択部245と、を有している。
デコード機能部241は、ビデオストリームSTに対して、予測補償以外のデコード処理を行って予測残差データを得る。レイヤ内予測補償部242は、予測残差データに対して、画像データV1内での予測補償(レイヤ内予測補償)を行って、画像データV1を得る。レイヤ間予測補償部243は、予測残差データに対して、参照対象の画像データV2との間での予測補償(レイヤ間予測補償)を行って、画像データV1を得る。
予測調整部244は、詳細説明は省略するが、図4のエンコード部160の予測調整部163と同様に、画像データV1の、画像データV2に対するスケーラブル拡張のタイプに応じた処理を行う。選択部245は、符号化時における予測に対応させて、符号化ブロック毎に、レイヤ内予測補償部242で得られる画像データV1、またはレイヤ間予測補償部243で得られる画像データV1を選択的に取り出して、出力とする。
図11に戻って、ビデオデコーダ204は、各ビデオストリームのNALユニットのヘッダ情報を制御部201に送る。制御部201は、このヘッダ情報の「nuh_layer_id」のフィールドから、拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)を把握できる。
LDR電光変換部205は、デコード部204-0で得られる基本フォーマット画像データVb´に、上述した送信装置100におけるLDR光電変換部102とは逆特性の電光変換を施し、基本フォーマット画像データVbを得る。この基本フォーマット画像データは、フレーム周波数が50HzのLDR画像データである。
また、LDR電光変換部206は、デコード部204-1で得られる高品質フォーマット画像データVh1´に、上述した送信装置100におけるLDR光電変換部103とは逆特性の電光変換を施し、高品質フォーマット画像データVh1を得る。この高品質フォーマット画像データVh1は、フレーム周波数が100HzのLDR画像データである。
また、HDR電光変換部207は、デコード部204-2で得られる高品質フォーマット画像データVh2´に、上述した送信装置100におけるHDR光電変換部104とは逆特性の電光変換を施し、高品質フォーマット画像データVh2を得る。この高品質フォーマット画像データVh2は、フレーム周波数が50HzのHDR画像データである。
また、HDR電光変換部208は、デコード部204-3で得られる高品質フォーマット画像データVh3´に、上述した送信装置100におけるHDR光電変換部105とは逆特性の電光変換を施し、高品質フォーマット画像データVh3を得る。この高品質フォーマット画像データVh3は、フレーム周波数が100HzのHDR画像データである。
表示部209は、例えば、LCD(Liquid Crystal Display)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。表示部209は、表示能力に応じて、基本フォーマット画像データVb、高品質フォーマット画像データVh1,Vh2,Vh3のいずれかによる画像を表示する。
この場合、制御部201は、表示部209に供給すべき画像データを制御する。この制御は、上述したように制御部201が把握する拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)と、表示部209の表示能力情報に基づいて、行われる。
すなわち、表示部209が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、表示部209に基本ビデオストリームSTbの復号化に係る基本フォーマット画像データVbが供給されるように制御する。この場合、制御部201は、デコード部204-0が基本ビデオストリームSTbを復号化し、LDR電光変換部205が基本フォーマット画像データVbを出力するように制御する。
また、表示部209が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、表示部209に拡張ビデオストリームSTe1の復号化に係る高品質フォーマット画像データVh1が供給されるように制御する。この場合、制御部201は、デコード部204-0が基本ビデオストリームSTbを復号化し、デコード部204-1が拡張ビデオストリームSTe1を復号化し、LDR電光変換部206が高品質フォーマット画像データVh1を出力するように制御する。
また、表示部209が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、表示部209に拡張ビデオストリームSTe2の復号化に係る高品質フォーマット画像データVh2が供給されるように制御する。この場合、制御部201は、デコード部204-0が基本ビデオストリームSTbを復号化し、デコード部204-2が拡張ビデオストリームSTe2を復号化し、HDR電光変換部207が高品質フォーマット画像データVh2を出力するように制御する。
また、表示部209が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、表示部209に拡張ビデオストリームSTe3の復号化に係る高品質フォーマット画像データVh3が供給されるように制御する。この場合、制御部201は、デコード部204-0が基本ビデオストリームSTbを復号化し、デコード部204-2が拡張ビデオストリームSTe2を復号化し、デコード部204-3が拡張ビデオストリームSTe3を復号化し、HDR電光変換部208が高品質フォーマット画像データVh3を出力するように制御する。
図11に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、基本ビデオストリームSTb、拡張ビデオストリームSTe1,STe2,STe3が抽出される。
また、システムデコーダ203では、コンテナ(トランスポートストリーム)のレイヤに挿入されている種々の情報が抽出され、制御部201に送られる。この情報には、スケーラブル・エクステンション・デスクリプタも含まれる。制御部201では、このデスクリプタの「type of enhancement」のフィールドから、拡張ビデオストリームSTe1,STe2,STe3のそれぞれに対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)が把握される。
表示部209が高フレーム周波数の表示も高ダイナミックレンジの表示も不可能である場合には、LDR電光変換部205から表示部209に基本フォーマット画像データVbが供給される。表示部209には、この基本フォーマット画像データVb、つまりフレーム周波数が50HzでLDR画像データによる画像が表示される。
この場合、システムデコーダ203で抽出される基本ビデオストリームSTbがデコード部204-0に供給される。デコード部204-0では、基本ビデオストリームSTbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。ここで、デコード部204-0では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームSTbであることの確認が可能となる。
デコード部204-0で生成される基本フォーマット画像データVb´は、LDR電光変換部205に供給される。LDR電光変換部205では、この基本フォーマット画像データVb´に電光変換が施され、基本フォーマット画像データVbが得られて、表示部209に供給される。
また、表示部209が高フレーム周波数の表示は可能だが高ダイナミックレンジの表示が不可能である場合には、LDR電光変換部206から表示部209に高品質フォーマット画像データVh1が供給される。表示部209には、この高品質フォーマット画像データVh1、つまりフレーム周波数が100HzでLDR画像データによる画像が表示される。
この場合、システムデコーダ203で抽出される基本ビデオストリームSTbがデコード部204-0に供給される。デコード部204-0では、基本ビデオストリームSTbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。また、システムデコーダ203で抽出される拡張ビデオストリームSTe1がデコード部204-1に供給される。デコード部204-1では、拡張ビデオストリームSTe1に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh1´が生成される。
ここで、デコード部204-0では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームSTbであることの確認が可能となる。また、デコード部204-1では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームSTe1であることの確認が可能となる。
デコード部204-1で生成される高品質フォーマット画像データVh1´は、LDR電光変換部206に供給される。LDR電光変換部206では、この高品質フォーマット画像データVh1´に電光変換が施され、高品質フォーマット画像データVh1が得られて、表示部209に供給される。
また、表示部209が高フレーム周波数の表示は不可能だが高ダイナミックレンジの表示が可能である場合には、HDR電光変換部207から表示部209に高品質フォーマット画像データVh2が供給される。表示部209には、この高品質フォーマット画像データVh2、つまりフレーム周波数が50HzでHDR画像データによる画像が表示される。
この場合、システムデコーダ203で抽出される基本ビデオストリームSTbがデコード部204-0に供給される。デコード部204-0では、基本ビデオストリームSTbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。また、システムデコーダ203で抽出される拡張ビデオストリームSTe2がデコード部204-2に供給される。デコード部204-2では、拡張ビデオストリームSTe2に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh2´が生成される。
ここで、デコード部204-0では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームSTbであることの確認が可能となる。また、デコード部204-2では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームSTe2であることの確認が可能となる。
デコード部204-2で生成される高品質フォーマット画像データVh2´は、HDR電光変換部207に供給される。HDR電光変換部207では、この高品質フォーマット画像データVh2´に電光変換が施され、高品質フォーマット画像データVh2が得られて、表示部209に供給される。
また、表示部209が高フレーム周波数の表示も高ダイナミックレンジの表示も可能である場合には、HDR電光変換部208から表示部209に高品質フォーマット画像データVh3が供給される。表示部209には、この高品質フォーマット画像データVh3、つまりフレーム周波数が100HzでHDR画像データによる画像が表示される。
この場合、システムデコーダ203で抽出される基本ビデオストリームSTbがデコード部204-0に供給される。デコード部204-0では、基本ビデオストリームSTbに対して復号化処理が行われ、基本フォーマット画像データVb´が生成される。また、システムデコーダ203で抽出される拡張ビデオストリームSTe2がデコード部204-2に供給される。デコード部204-2では、拡張ビデオストリームSTe2に対して、基本フォーマット画像データVb´が参照されて復号化処理が行われ、高品質フォーマット画像データVh2´が生成される。
さらに、システムデコーダ203で抽出される拡張ビデオストリームSTe3がデコード部204-3に供給される。デコード部204-3では、拡張ビデオストリームSTe3に対して、高品質フォーマット画像データVh2´が参照されて復号化処理が行われ、高品質フォーマット画像データVh3´が生成される。
ここで、デコード部204-0では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが基本ビデオストリームSTbであることの確認が可能となる。また、デコード部204-2では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームSTe2であることの確認が可能となる。また、デコード部204-3では、NALユニットのヘッダの「nuh_layer_id」のフィールドから、供給ビデオストリームが拡張ビデオストリームSTe3であることの確認が可能となる。
デコード部204-3で生成される高品質フォーマット画像データVh3´は、HDR電光変換部208に供給される。HDR電光変換部208では、この高品質フォーマット画像データVh3´に電光変換が施され、高品質フォーマット画像データVh3が得られて、表示部209に供給される。
以上説明したように、図1に示す送受信システム10において、送信装置100では、トランスポートストリームTSに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)がコンテナやビデオストリームのレイヤに挿入されて送信されるものである。そのため、受信側では、この識別情報に基づいて、所定のビデオストリームに選択的に復号化処理を行って表示能力に応じた画像データを得ることが容易となる。
<2.変形例>
なお、上述実施の形態においては、トランスポートストリームTSに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)がコンテナおよびビデオストリームの双方のレイヤに挿入されて送信される例を示した。しかし、この識別情報を、コンテナのレイヤのみ、あるいはビデオストリームのレイヤのみに挿入することも考えられる。
また、ストリームのレイヤ拡張種別を示すIDと、ストリームの拡張カテゴリ、そして、拡張カテゴリ内での優先順位を示す情報を伝送する代わりに、それらを組み合わせた状態を、「stream_type」の値で示すことも可能である。例えば、図10に示すように、基本ストリームは「Stream_type = ST0」、フレームレートスケーラブル拡張の第1ストリームは「Stream_type = ST1」、ダイナミックレンジスケーラブル拡張の第1ストリームは「Stream_type = ST2」、フレームレート/ダイナミックレンジスケーラブル拡張のストリーム(第2拡張ストリーム)は「Stream_type = ST3」、というようにできる。
また、上述実施の形態においては、送信装置100と受信装置200とからなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。この場合、セットトップボックスは、モニタからEDID(Extended display identification data)を取得する等して表示能力情報を得ることができる。なお、「HDMI」は、登録商標である。
また、上述実施の形態においては、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、インターネット等のネットワークを利用して受信端末に配信される構成のシステムにも同様に適用できる。インターネットの配信では、MP4やそれ以外のフォーマットのコンテナで配信されることが多い。つまり、コンテナとしては、デジタル放送規格で採用されているトランスポートストリーム(MPEG−2 TS)、インターネット配信で使用されているMP4などの種々のフォーマットのコンテナが該当する。
また、本技術は、以下のような構成を取ることもできる。
(1)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入部を備える
送信装置。
(2)上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記(1)に記載の送信装置。
(3)上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームがそれぞれ上記基本フォーマット画像データとの間の予測符号化処理を行って生成されているか上記高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている
前記(2)に記載の送信装置。
(4)上記コンテナのレイヤに挿入される上記識別情報には、
上記所定数の拡張ビデオストリームをそれぞれ生成する際に行われた上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている
前記(2)または(3)に記載の送信装置。
(5)上記コンテナは、MPEG2−TSであり、
上記識別情報挿入部は、
上記識別情報をプログラムマップテーブルの配下に存在する上記所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入する
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記識別情報挿入部は、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤにさらに挿入する
前記(1)から(5)のいずれかに記載の送信装置。
(7)上記ビデオストリームはNALユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記NALユニットのヘッダに挿入する
前記(6)に記載の送信装置。
(8)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記コンテナのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
(9)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
送信装置。
(10)上記画像符号化部は、
上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
前記(9)に記載の送信装置。
(11)上記ビデオストリームはNALユニット構造を有し、
上記識別情報挿入部は、
上記識別情報を上記NALユニットのヘッダに挿入する
前記(9)または(10)に記載の送信装置。
(12)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入ステップを有する
送信方法。
(13)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
(14)上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記(13)に記載の受信装置。
(15)上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記(13)または(14)に受信装置。
(16)受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
(17)基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
受信装置。
(18)上記処理部は、
上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
前記(17)に記載の受信装置。
(19)上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
前記(17)または(18)に受信装置。
(20)受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数の高品質フォーマット画像データをそれぞれ符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報が挿入されており、
上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
受信方法。
本技術の主な特徴は、トランスポートストリームTSに含まれる所定数の拡張ビデオストリームがそれぞれ対応する高品質フォーマットの識別情報(ストリームの拡張カテゴリ情報)をコンテナやビデオストリームのレイヤに挿入して送信することで、受信側において、表示能力に応じた画像データを得ることを容易としたことである(図10参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102,103・・・LDR光電変換部
104,105・・・HDR光電変換部
106・・・ビデオエンコーダ
106-0,106-1,106-1,106-1・・・エンコード部
107・・・システムエンコーダ
108・・・送信部
150・・・画像データ生成部
151・・・HDRカメラ
152,154・・・フレームレート変換部
153・・・ダイナミックレンジ変換部
160・・・エンコード部
161・・・レイヤ内予測部
162・・・レイヤ間予測部
163・・・予測調整部
164・・・選択部
165・・・エンコード機能部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
204-0,204-1,204-1,204-1・・・デコード部
205,206・・・LDR電光変換部
207,208・・・HDR電光変換部
209・・・表示部
240・・・デコード部
241・・・デコード機能部
242・・・レイヤ内予測補償部
243・・・レイヤ間予測補償部
244・・・予測調整部
245・・・選択部

Claims (20)

  1. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
    上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
    上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報を、上記コンテナのレイヤに挿入する識別情報挿入部を備える
    送信装置。
  2. 上記画像符号化部は、
    上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
    上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
    請求項1に記載の送信装置。
  3. 上記コンテナのレイヤに挿入される上記識別情報には、
    上記所定数の拡張ビデオストリームがそれぞれ上記基本フォーマット画像データとの間の予測符号化処理を行って生成されているか上記高品質フォーマット画像データとの間の予測符号化処理を行って生成されているかを示す情報が付加されている
    請求項2に記載の送信装置。
  4. 上記コンテナのレイヤに挿入される上記識別情報には、
    上記所定数の拡張ビデオストリームをそれぞれ生成する際に行われた上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理で参照された画像データに対応したビデオストリームを示す情報が付加されている
    請求項2に記載の送信装置。
  5. 上記コンテナは、MPEG2−TSであり、
    上記識別情報挿入部は、
    上記識別情報をプログラムマップテーブルの配下に存在する上記所定数の拡張ビデオストリームに対応した各ビデオエレメンタリストリームループ内に挿入する
    請求項1に記載の送信装置。
  6. 上記識別情報挿入部は、
    上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報を、上記ビデオストリームのレイヤにさらに挿入する
    請求項1に記載の送信装置。
  7. 上記ビデオストリームはNALユニット構造を有し、
    上記識別情報挿入部は、
    上記識別情報を上記NALユニットのヘッダに挿入する
    請求項6に記載の送信装置。
  8. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
    送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
    上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報を、上記コンテナのレイヤに挿入する識別情報挿入ステップを有する
    送信方法。
  9. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化部と、
    上記画像符号化部で生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
    上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入部を備える
    送信装置。
  10. 上記画像符号化部は、
    上記基本フォーマット画像データに関しては、該基本フォーマット画像データ内の予測符号化処理を行って上記基本ビデオストリームを生成し、
    上記高品質フォーマット画像データに関しては、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理を選択的に行って上記拡張ビデオストリームを生成する
    請求項9に記載の送信装置。
  11. 上記ビデオストリームはNALユニット構造を有し、
    上記識別情報挿入部は、
    上記識別情報を上記NALユニットのヘッダに挿入する
    請求項9に記載の送信装置。
  12. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを生成する画像符号化ステップと、
    送信部により、上記画像符号化ステップで生成された上記基本ビデオストリームおよび上記所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
    上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報を、上記ビデオストリームのレイヤに挿入する識別情報挿入ステップを有する
    送信方法。
  13. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報が挿入されており、
    上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
    受信装置。
  14. 上記処理部は、
    上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
    請求項13に記載の受信装置。
  15. 上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
    上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
    請求項13に受信装置。
  16. 受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記コンテナのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報が挿入されており、
    上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
    受信方法。
  17. 基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
    上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報が挿入されており、
    上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理部をさらに備える
    受信装置。
  18. 上記処理部は、
    上記識別情報と表示能力情報に基づいて上記基本ビデオストリームおよび所定の上記拡張ビデオストリームに対して復号化処理を行って、表示能力に対応した画像データを取得する
    請求項17に記載の受信装置。
  19. 上記基本ビデオストリームは、上記基本フォーマット画像データに対して、該基本フォーマット画像データ内の予測符号化処理が行われて生成されており、
    上記拡張ビデオストリームは、上記高品質フォーマット画像データに対して、該高品質フォーマット画像データ内の予測符号化処理または上記基本フォーマット画像データあるいは他の上記高品質フォーマット画像データとの間の予測符号化処理が選択的に行われて生成されている
    請求項17に受信装置。
  20. 受信部により、基本フォーマット画像データを符号化して得られた基本ビデオストリームと所定数のタイプのスケーラブル拡張にそれぞれ対応した所定数の高品質フォーマット画像データを符号化して得られた所定数の拡張ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
    上記ビデオストリームのレイヤには、上記所定数の拡張ビデオストリームがそれぞれ対応するスケーラブル拡張のタイプを示す識別情報が挿入されており、
    上記受信されたコンテナに含まれている上記各ビデオストリームを、上記識別情報に基づいて処理する処理ステップをさらに有する
    受信方法。
JP2016538249A 2014-07-31 2015-07-09 送信装置、送信方法、受信装置および受信方法 Active JP6652056B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014156995 2014-07-31
JP2014156995 2014-07-31
PCT/JP2015/069786 WO2016017397A1 (ja) 2014-07-31 2015-07-09 送信装置、送信方法、受信装置および受信方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019193953A Division JP6856104B2 (ja) 2014-07-31 2019-10-25 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2016017397A1 JPWO2016017397A1 (ja) 2017-04-27
JP6652056B2 true JP6652056B2 (ja) 2020-02-19

Family

ID=55217302

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2016538249A Active JP6652056B2 (ja) 2014-07-31 2015-07-09 送信装置、送信方法、受信装置および受信方法
JP2019193953A Active JP6856104B2 (ja) 2014-07-31 2019-10-25 送信装置、送信方法、受信装置および受信方法
JP2021042016A Active JP7147902B2 (ja) 2014-07-31 2021-03-16 送信方法および送信装置
JP2022150697A Active JP7380796B2 (ja) 2014-07-31 2022-09-21 送信方法、送信装置、受信装置および受信方法
JP2023187480A Pending JP2023181422A (ja) 2014-07-31 2023-11-01 送信方法および送信装置

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2019193953A Active JP6856104B2 (ja) 2014-07-31 2019-10-25 送信装置、送信方法、受信装置および受信方法
JP2021042016A Active JP7147902B2 (ja) 2014-07-31 2021-03-16 送信方法および送信装置
JP2022150697A Active JP7380796B2 (ja) 2014-07-31 2022-09-21 送信方法、送信装置、受信装置および受信方法
JP2023187480A Pending JP2023181422A (ja) 2014-07-31 2023-11-01 送信方法および送信装置

Country Status (5)

Country Link
US (2) US10743005B2 (ja)
EP (1) EP3177025A4 (ja)
JP (5) JP6652056B2 (ja)
MX (1) MX2017001032A (ja)
WO (1) WO2016017397A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202087B2 (en) 2014-07-31 2021-12-14 Sony Corporation Transmission device, transmission method, reception device, and reception method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017175459A (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248051A (ja) * 1997-03-05 1998-09-14 Matsushita Electric Ind Co Ltd ディジタルデータ送信方法、ディジタルデータ送信装置およびディジタルデータ受信装置
JP4329358B2 (ja) * 2003-02-24 2009-09-09 富士通株式会社 ストリーム配信方法、及びストリーム配信システム
US20060233247A1 (en) * 2005-04-13 2006-10-19 Visharam Mohammed Z Storing SVC streams in the AVC file format
KR20100037659A (ko) 2005-05-24 2010-04-09 노키아 코포레이션 디지털 방송에서 계층적인 전송/수신을 위한 방법 및 장치
JP2009267537A (ja) * 2008-04-22 2009-11-12 Toshiba Corp 階層化されたエレメンタリーストリームの多重化装置、分離装置及び多重化方法並びにプログラム
FR2966680A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome hierarchique, signal et programme d'ordinateur correspondants
KR20140040165A (ko) * 2011-07-26 2014-04-02 엘지전자 주식회사 비디오 스트림 전송 장치, 비디오 스트림 수신 장치, 비디오 스트림 전송 방법 및 비디오 스트림 수신 방법
AU2013243822B2 (en) * 2012-04-06 2016-06-23 Vidyo, Inc. Level signaling for layered video coding
WO2013161442A1 (ja) * 2012-04-24 2013-10-31 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
WO2014025213A1 (ko) * 2012-08-10 2014-02-13 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
BR112015003707A2 (pt) * 2012-08-27 2017-07-04 Sony Corp dispositivo e método de transmissão, e, dispositivo e método de recepção.
DK2894861T3 (da) * 2012-09-07 2020-02-10 Saturn Licensing Llc Overførselsindretning, overførselsfremgangsmåde, modtageindretning og modtagefremgangsmåde
US10097825B2 (en) * 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US9462287B2 (en) * 2013-01-04 2016-10-04 Dolby International Ab Implicit signaling of scalability dimension identifier information in a parameter set
US10205954B2 (en) * 2013-10-23 2019-02-12 Qualcomm Incorporated Carriage of video coding standard extension bitstream data using MPEG-2 systems
MX2017001032A (es) 2014-07-31 2017-05-09 Sony Corp Dispositivo de transmision, metodo de transmision, dispositivo de recepcion y metodo de recepcion.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202087B2 (en) 2014-07-31 2021-12-14 Sony Corporation Transmission device, transmission method, reception device, and reception method

Also Published As

Publication number Publication date
US20200336750A1 (en) 2020-10-22
US11202087B2 (en) 2021-12-14
MX2017001032A (es) 2017-05-09
JP2023181422A (ja) 2023-12-21
JP2022177214A (ja) 2022-11-30
US20170111644A1 (en) 2017-04-20
JP2021101566A (ja) 2021-07-08
JP2020022194A (ja) 2020-02-06
EP3177025A4 (en) 2018-01-10
WO2016017397A1 (ja) 2016-02-04
EP3177025A1 (en) 2017-06-07
JP7380796B2 (ja) 2023-11-15
US10743005B2 (en) 2020-08-11
JP6856104B2 (ja) 2021-04-07
JP7147902B2 (ja) 2022-10-05
JPWO2016017397A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6888717B2 (ja) 送信方法および送信装置
JP7380796B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP6801662B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191025

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200106

R151 Written notification of patent or utility model registration

Ref document number: 6652056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151