JP7232183B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP7232183B2
JP7232183B2 JP2019530557A JP2019530557A JP7232183B2 JP 7232183 B2 JP7232183 B2 JP 7232183B2 JP 2019530557 A JP2019530557 A JP 2019530557A JP 2019530557 A JP2019530557 A JP 2019530557A JP 7232183 B2 JP7232183 B2 JP 7232183B2
Authority
JP
Japan
Prior art keywords
information
image data
stream
encoded stream
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019530557A
Other languages
English (en)
Other versions
JPWO2019017362A1 (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019017362A1 publication Critical patent/JPWO2019017362A1/ja
Application granted granted Critical
Publication of JP7232183B2 publication Critical patent/JP7232183B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/28Arrangements for simultaneous broadcast of plural pieces of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13Arrangements for device control affected by the broadcast information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、基本レイヤおよび拡張レイヤの画像データを符号化して送信する送信装置等に関する。
従来、基本フォーマット画像データと共に高品質フォーマット画像データを送信し、受信側において、基本フォーマット画像データまたは高品質フォーマット画像データを選択的に用いることが知られている。例えば、特許文献1には、メディア符号化をスケーラブルに行って、低解像度のビデオサービスのための基本レイヤの符号化ストリームと、高解像度のビデオサービスのための拡張レイヤの符号化ストリームを生成し、これらを含むコンテナを送信することが記載されている。なお、高品質フォーマットには、高解像度の他に、高ダイナミックレンジ、広色域、高ビット長などがある。
特表2008-543142号公報
一つの放送・通信による配信を種々の能力の端末が受信することを想定した伝送を行う際に、その配信情報を受信側で容易に取得可能に伝送することが必要になる。
本技術の目的は、少なくともコーデック内部における機能拡張の情報を受信側で容易に取得可能とすることにある。
本技術の概念は、
基本レイヤの各ピクチャの画像データを符号化して第1の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第2の符号化ストリームを生成する画像符号化部と、
上記第1の符号化ストリームおよび上記第2の符号化ストリームを送信するストリーム送信部と、
少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を上記符号化ストリームの外側で送信する情報送信部を備える
送信装置にある。
本技術において、画像符号化部により、基本レイヤの各ピクチャの画像データが符号化されて第1の符号化ストリームが生成され、拡張レイヤの各ピクチャの画像データが符号化されて第2の符号化ストリームが生成される。ストリーム送信部により、第1の符号化ストリームおよび第2の符号化ストリームが送信される。また、情報送信部により、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報が符号化ストリームの外側で送信される。
例えば、情報送信部は、機能拡張情報を、第1の符号化ストリームおよび第2の符号化ストリームを含むコンテナのレイヤに挿入して送信する、ようにされてもよい。この場合、例えば、コンテナは、MPEG2-TSであり、情報送信部は、機能拡張情報を、プログラム・マップ・テーブルに挿入して送信する、ようにされてもよい。また、この場合、例えば、コンテナは、MMTストリームであり、情報送信部は、機能拡張情報を、MMT・パッケージ・テーブルに挿入して送信する、ようにされてもよい。また、第2の符号化ストリームに、ダイナミックレンジおよび色域の変換情報を挿入する情報挿入部をさらに備える、ようにされてもよい。
また、例えば、情報送信部は、機能拡張情報を、第1の符号化ストリームおよび第2の符号化ストリームに関するメタ情報を持つメタファイルに挿入して送信する、ようにされてもよい。この場合、例えば、メタファイルは、MPDファイルである、ようにされてもよい。
このように本技術においては、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を符号化ストリームの外側で送信するものである。そのため、受信側では、少なくともコーデック内部における機能拡張の情報を容易に取得でき、この情報に基づき表示能力に応じてコーデック内部における機能拡張処理を適切に行うことが可能となる。
なお、本技術において、例えば、機能拡張情報は、コーデック外部における機能拡張の情報をさらに含む、ようにされてもよい。この場合、例えば、コーデック外部における機能拡張の情報は、ダイナミックレンジおよび色域の変換に関する情報である、ようにされてもよい。これにより、受信側では、コーデック外部における機能拡張の情報も容易に取得でき、この情報に基づき表示能力に応じてコーデック外部における機能拡張処理を適切に行うことが可能となる。
また、本技術の他の概念は、
基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを受信するストリーム受信部と、
上記符号化ストリームの外側で送られてくる、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を受信する情報受信部と、
上記第1の符号化ストリームおよび上記第2の符号化ストリームを上記機能拡張情報に基づいて処理する処理部を備える
受信装置にある。
本技術において、ストリーム受信部により、基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームが受信される。情報送信部により、符号化ストリームの外側で送られてくる、少なくともコーデック内部における機能拡張の情報含む機能拡張情報が受信される。そして、処理部により、第1の符号化ストリームおよび第2の符号化ストリームが機能拡張情報に基づいて処理される。
このように本技術においては、少なくともコーデック内部における機能拡張の情報を符号化ストリームの外側で受信し、この情報に基づいて第1の符号化ストリームおよび第2の符号化ストリームを処理するものである。そのため、少なくともコーデック内部における機能拡張の情報を容易に取得でき、この情報に基づき表示能力に応じてコーデック内部における機能拡張処理を適切に行うことが可能となる。
なお、本技術において、例えば、機能拡張情報は、コーデック外部における機能拡張の情報をさらに含む、ようにされてもよい。この場合、例えば、コーデック外部における機能拡張の情報は、ダイナミックレンジおよび色域の変換に関する情報である、ようにされてもよい。これにより、コーデック外部における機能拡張の情報も容易に取得でき、この情報に基づき表示能力に応じてコーデック外部における機能拡張処理を適切に行うことが可能となる。
本技術によれば、少なくともコーデック内部における機能拡張の情報を受信側で容易に取得できる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
MPEG-DASHベースのストリーム配信システムの構成例を示すブロック図である。 MPDファイルに階層的に配置されている各構造体の関係の一例を示す図である。 実施の形態としての送受信システムの構成例を示すブロック図である。 第1~第5のレイヤ分解におけるコーデック内部やコーデック外部での変換処理を説明するための図である。 送受信システムのシステム全体の構成例を概略的に示す図である。 SDRおよびHDRの光電変換特性の一例を示す図である。 ダイナミックレンジ及びカラー空間の変換処理に必要なデータを説明するための図である。 ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”およびダイナミックレンジをHDRからHDR-low(SDRも含む)に変換するためのメタデータ“DRCL2_mapping”の一例を示す図である。 メタデータ“DRCL_mapping”の構造例を示す図である。 メタデータ“DRCL_mapping”の構造例における主要な情報の内容を示す図である。 SDRからHDRへのダイナミックレンジ変換の処理を模式的に示す図である。 HDRからSDRへのダイナミックレンジ変換の処理を模式的に示す図である。 コーデック外部でHDR/Color gamutへの変換を行う場合におけるMP4ストリームの構成例を示す図である。 コーデック内部でHDR/Color gamutスケーラブルを行う場合におけるMP4ストリームの構成例を示す図である。 第1のレイヤ分解の場合における送受信システムの送信側および受信側の詳細構成例を示す図である。 第2のレイヤ分解の場合における送受信システムの送信側および受信側の詳細構成例を示す図である。 第3のレイヤ分解の場合における送受信システムの送信側および受信側の詳細構成例を示す図である。 第4のレイヤ分解の場合における送受信システムの送信側および受信側の詳細構成例を示す図である。 第5のレイヤ分解の場合における送受信システムの送信側および受信側の詳細構成例を示す図である。 第1のレイヤ分解に対応したMPDファイルの記述例を示す図である。 第2のレイヤ分解に対応したMPDファイルの記述例を示す図である。 第3のレイヤ分解に対応したMPDファイルの記述例を示す図である。 第4のレイヤ分解に対応したMPDファイルの記述例を示す図である。 第5のレイヤ分解に対応したMPDファイルの記述例を示す図である。 “SupplementaryDescriptor”の「Value」セマンティスクスを示す図である。 マルチディメンジョン・デスクリプタの構造例を示す図である。 マルチディメンジョン・デスクリプタの構造例における主要な情報の内容を示す図である。 コーデック外部でHDR/Color gamutへの変換を行う場合におけるトランスポートストリームの構成例を示す図である。 コーデック内部でHDR/Color gamutスケーラブルを行う場合におけるトランスポートストリームの構成例を示す図である。 コーデック外部でHDR/Color gamutへの変換を行う場合におけるMMTストリームの構成例を示す図である。 コーデック内部でHDR/Color gamutスケーラブルを行う場合におけるMMTストリームの構成例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[MPEG-DASHベースのストリーム配信システムの概要]
最初に、本技術を適用し得るMPEG-DASHベースのストリーム配信システムの概要を説明する。
図1(a)は、MPEG-DASHベースのストリーム配信システム30Aの構成例を示している。この構成例では、メディアストリームとMPD(Media Presentation Description )ファイルが、通信ネットワーク伝送路(通信伝送路)を通じて送信される。このストリーム配信システム30Aは、DASHストリームファイルサーバ31およびDASH MPDサーバ32に、N個のサービス受信機33-1,33-2,・・・,33-Nが、CDN(Content Delivery Network)34を介して、接続された構成となっている。
DASHストリームファイルサーバ31は、所定のコンテンツのメディアデータ(ビデオデータ、オーディオデータ、字幕データなど)に基づいて、DASH仕様のストリームセグメント(以下、適宜、「DASHセグメント」という)を生成し、サービス受信機からのHTTP要求に応じてセグメントを送出する。このDASHストリームファイルサーバ31は、ストリーミング専用のサーバであってもよいし、また、ウェブ(Web)サーバで兼用されることもある。
また、DASHストリームファイルサーバ31は、サービス受信機33(33-1,33-2,・・・,33-N)からCDN34を介して送られてくる所定ストリームのセグメントの要求に対応して、そのストリームのセグメントを、CDN34を介して、要求元の受信機に送信する。この場合、サービス受信機33は、MPD(Media Presentation Description)ファイルに記載されているレートの値を参照して、クライアントの置かれているネットワーク環境の状態に応じて、最適なレートのストリームを選択して要求を行う。
DASH MPDサーバ32は、DASHストリームファイルサーバ31において生成されるDASHセグメントを取得するためのMPDファイルを生成するサーバである。コンテンツマネジメントサーバ(図示せず)からのコンテンツメタデータと、DASHストリームファイルサーバ31において生成されたセグメントのアドレス(url)をもとに、MPDファイルを生成する。なお、DASHストリームファイルサーバ31とDASH MPDサーバ32は、物理的に同じものであってもよい。
MPDのフォーマットでは、ビデオやオーディオなどのそれぞれのストリーム毎にリプレゼンテーション(Representation)という要素を利用して、それぞれの属性が記述される。例えば、MPDファイルには、レートの異なる複数のビデオデータストリーム毎に、リプレゼンテーションを分けてそれぞれのレートが記述される。サービス受信機33では、そのレートの値を参考にして、上述したように、サービス受信機33の置かれているネットワーク環境の状態に応じて、最適なストリームを選択できる。
図1(b)は、MPEG-DASHベースのストリーム配信システム30Bの構成例を示している。この構成例では、メディアストリームとMPDファイルが、RF伝送路(放送伝送路)を通じて送信される。このストリーム配信システム30Bは、DASHストリームファイルサーバ31およびDASH MPDサーバ32が接続された放送送出システム36と、M個のサービス受信機35-1,35-2,・・・,35-Mとで構成されている。
このストリーム配信システム30Bの場合、放送送出システム36は、DASHストリームファイルサーバ31で生成されるDASH仕様のストリームセグメント(DASHセグメント)およびDASH MPDサーバ32で生成されるMPDファイルを、放送波に載せて送信する。
図2は、MPDファイルに階層的に配置されている各構造体の関係の一例を示している。図2(a)に示すように、MPDファイル全体としてのメディア・プレゼンテーション(Media Presentation)には、時間間隔で区切られた複数のピリオド(Period)が存在する。例えば、最初のピリオドはスタートが0秒から、次のピリオドはスタートが100秒から、などとなっている。
図2(b)に示すように、ピリオドには、複数のアダプテーションセット(AdaptationSet)が存在する。各アダプテーションセットはビデオやオーディオ等のメディアタイプの違いや、同じメディアタイプでも言語の違い、視点の違い等に依存する。図2(c)に示すように、アダプテーションセットには複数のリプレゼンテーション(Representation)が存在する。各リプレゼンテーションはストリーム属性、例えばレートの違い等に依存する。
図2(d)に示すように、リプレゼンテーションには、セグメントインフォ(SegmentInfo)が含まれている。このセグメントインフォには、図2(e)に示すように、イニシャライゼーション・セグメント(Initialization Segment)と、ピリオドをさらに細かく区切ったセグメント(Segment)毎の情報が記述される複数のメディア・セグメント(Media Segment)が存在する。メディアセグメントには、ビデオやオーディオなどのセグメントデータを実際に取得するためのアドレス(url)の情報等が存在する。
なお、アダプテーションセットに含まれる複数のリプレゼンテーションの間では、ストリームのスイッチングを自由に行うことができる。これにより、受信側のネットワーク環境の状態に応じて、最適なレートのストリームを選択でき、途切れのないビデオ配信が可能となる。
[送受信システムの構成例]
図3は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、サービス送信システム100とサービス受信機200により構成されている。この送受信システム10において、サービス送信システム100は、上述の図1(a)に示すストリーム配信システム30AのDASHストリームファイルサーバ31およびDASH MPDサーバ32に対応する。また、この送受信システム10において、サービス送信システム100は、上述の図1(b)に示すストリーム配信システム30BのDASHストリームファイルサーバ31、DASH MPDサーバ32および放送送出システム36に対応する。
また、この送受信システム10において、サービス受信機200は、上述の図1(a)に示すストリーム配信システム30Aのサービス受信機33(33-1,33-2,・・・,33-N)に対応する。また、この送受信システム10において、サービス受信機200は、上述の図1(b)に示すストリーム配信システム30Bのサービス受信機35(35-1,35-2,・・・,35-M)に対応する。
サービス送信システム100は、DASH/MP4、つまりメタファイルとしてのMPDファイルと、ビデオやオーディオなどのメディアストリーム(メディアセグメント)が含まれるMP4を、通信ネットワーク伝送路(図1(a)参照)またはRF伝送路(図1(b)参照)を通じて、送信する。
この実施の形態においては、メディアストリームとして、第1の符号化ストリームと第2の符号化ストリームが含まれる。第1の符号化ストリームは、基本レイヤ(Base Layer)の各ピクチャの画像データが符号化されて得られたものである。第2の符号化ストリームは、拡張レイヤ(Enhanced Layer)の各ピクチャの画像データが符号化されて得られたものである。
MPDファイルは、第1の符号化ストリームと第2の符号化ストリームに関するメタ情報を持っている。この実施の形態においては、このMPDファイルに、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報が含まれている。なお、この機能拡張情報に、さらにコーデック外部における機能拡張の情報が含まれることもある。例えば、このコーデック外部における機能拡張の情報は、ダイナミックレンジおよび色域の変換に関する情報である。
サービス受信機200は、サービス送信システム100から通信ネットワーク伝送路(図1(a)参照)またはRF伝送路(図1(b)参照)を通じて送られてくる上述のMP4を受信する。サービス受信機200は、MPDファイルから、第1の符号化ストリームと第2の符号化ストリームに関するメタ情報を取得する他、コーデック内部における機能拡張の情報、さらに存在する場合にはコーデック外部における機能拡張の情報を含む機能拡張情報を取得する。そして、サービス受信機200は、この機能拡張情報に基づき表示能力に応じて機能拡張処理を行って画像表示をする。
UHD(Ultra HD) HDR(High Dynamic Range)の画像データを異なる表示能力を持つ複数の受信端末(受信機)に配信する場合、例えば以下の(1)~(5)のように、レイヤ分解して伝送される。そして、この実施の形態において、MPDには、分解状態が的確に記述される。
(1)第1のレイヤ分解(ダイナミックレンジの1ディメンジョン)
このレイヤ分解では、ダイナミックレンジの1ディメンジョンのレイヤ分解であり、SDR(Standard Dynamic Range)とHDR(High Dynamic Range)のスケーラブル符号化がなされて伝送される。
図4(a)は、この場合におけるコーデック内部での変換処理を示している。横軸は、時間方向を示している。基本レイヤ(Base Layer)の各ピクチャは、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この基本レイヤに関しては、当該基本レイヤの各ピクチャの画像データが符号化される。
拡張レイヤ(Enhanced Layer)の各ピクチャは、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である。この拡張レイヤに関しては、当該拡張レイヤの各ピクチャの画像データについて、基本レイヤとのダイナミックレンジおよび色域の差分が符号化される。
この場合、受信側では、UHD SDRの表示能力しか持っていないときは、基本レイヤの符号化ストリームのみが選択的に復号化されて、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にUHD SDR画像が表示される。
また、この場合、受信側では、UHD HDRの表示能力を持っているときは、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがHDRであり、色域が2020である画像データが取得されて、ディスプレイ(表示部)にUHD HDR画像が表示される。
(2)第2のレイヤ分解(解像度とダイナミックレンジの2ディメンジョン)
このレイヤ分解では、解像度とダイナミックレンジの2ディメンジョンのレイヤ分解であり、HDとUHDのスケーラブル符号化がなされて伝送され、受信側ではダイナミックレンジをSDRからHDRに変換することが可能とされている。
図4(b)は、この場合におけるコーデック内部と外部での変換処理を示している。横軸は、時間方向を示している。基本レイヤ(Base Layer)の各ピクチャは、解像度が1920*1080のHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この基本レイヤに関しては、当該基本レイヤの各ピクチャの画像データが符号化される。
拡張レイヤ(Enhanced Layer)の各ピクチャは、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この拡張レイヤに関しては、当該拡張レイヤの各ピクチャの画像データについて、基本レイヤとの解像度差分が符号化される。
また、拡張レイヤをデコードした後に、ダイナミックレンジをSDRからHDRに変換し、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である画像データを得るためのメタデータ(補助情報)が付加される。
この場合、受信側では、HD SDRの表示能力しか持っていないときは、基本レイヤの符号化ストリームのみが選択的に復号化されて、解像度が1920*1080のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にHD SDRの画像が表示される。
また、この場合、受信側では、UHD SDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にUHD SDR画像が表示される。
また、この場合、受信側では、UHD HDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得される。さらに、受信側では、メタデータに基づいて、SDRからHDR変換されて、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である画像データに変換され、ディスプレイ(表示部)にUHD HDR画像が表示される。
(3)第3のレイヤ分解(解像度とダイナミックレンジの2ディメンジョン)
このレイヤ分解では、(2)と同様に解像度とダイナミックレンジの2ディメンジョンのレイヤ分解であるが、HDとUHDのスケーラブル符号化とSDRとHDRのスケーラブル符号化がなされて伝送される。
図4(c)は、この場合におけるコーデック内部での変換処理を示している。横軸は、時間方向を示している。基本レイヤ(Base Layer)の各ピクチャは、解像度が1920*1080のHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この基本レイヤに関しては、当該基本レイヤの各ピクチャの画像データが符号化される。
拡張レイヤ(Enhanced Layer)の各ピクチャは、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である。この拡張レイヤに関しては、当該拡張レイヤの各ピクチャの画像データについて、基本レイヤとの解像度、さらにはダイナミックレンジおよび色域の差分が符号化される。
この場合、受信側では、HD SDRの表示能力しか持っていない場合は、基本レイヤの符号化ストリームのみが選択的に復号化されて、解像度が1920*1080のHD解像度であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にHD SDR画像が表示される。
また、この場合、受信側では、UHD HDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがHDRであり、色域が2020である画像データが取得されて、ディスプレイ(表示部)にUHD HDR画像が表示される。
(4)第4のレイヤ分解(フレームレートとダイナミックレンジの2ディメンジョン)
このレイヤ分解では、フレームレートとダイナミックレンジの2ディメンジョンのレイヤ分解であり、NFR(Normal Frame Rate)とHFR(High Frame Rate)のスケーラブル符号化がなされて伝送され、受信側ではダイナミックレンジをSDRからHDRに変換することが可能とされる。
図4(d)は、この場合におけるコーデック内部と外部での変換処理を示している。横軸は、時間方向を示している。基本レイヤ(Base Layer)の各ピクチャは、フレームレートが60PでNFRであり、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この基本レイヤに関しては、当該基本レイヤの各ピクチャの画像データが符号化される。
拡張レイヤ(Enhanced Layer)の各ピクチャは、フレームレートが120PでHFRであり、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この拡張レイヤに関しては、拡張レイヤの各ピクチャの画像データが符号化される。なお、この拡張レイヤに関しては、基本レイヤの各ピクチャの間に位置する+60Pのフレームのみを符号化することも考えられる。
また、拡張レイヤをデコードした後に、ダイナミックレンジをSDRからHDRに変換し、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である画像データを得るためのメタデータ(補助情報)が付加される。
この場合、受信側では、LFR UHD SDRの表示能力しか持っていない場合は、基本レイヤの符号化ストリームのみが選択的に復号化されて、フレームレートが60PでNFRであり、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にNFR UHD SDRの画像が表示される。
また、この場合、受信側では、HFR UHD SDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、フレームレートが120PでHFRであり、解像度が3840*2160のUHD解像であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にUHD SDR画像が表示される。
また、この場合、受信側では、HFR UHD HDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、フレームレートが120PでHFRであり、解像度が3840*2160のUHD解像であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得される。さらに、受信側では、メタデータに基づいて、SDRからHDR変換されて、フレームレートが120PでHFRであり、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である画像データに変換され、ディスプレイ(表示部)にHFR UHD HDR画像が表示される。
(5)第5のレイヤ分解(解像度とダイナミックレンジの2ディメンジョン)
このレイヤ分解では、(3)と同様に解像度とダイナミックレンジの2ディメンジョンのレイヤ分解であるが、HDとUHDのスケーラブル符号化とSDRとHDRのスケーラブル符号化がなされて伝送され、受信側ではダイナミックレンジをHDRからHDR-low(SDRを含む)に変換することが可能とされる。ここで、HDR-lowは、HDRに比べてブライトネスが低いものを意味する。
図4(e)は、この場合におけるコーデック内部での変換処理を示している。横軸は、時間方向を示している。基本レイヤ(Base Layer)の各ピクチャは、解像度が1920*1080のHD解像度であり、ダイナミックレンジがSDRであり、色域が709である。この基本レイヤに関しては、当該基本レイヤの各ピクチャの画像データが符号化される。
拡張レイヤ(Enhanced Layer)の各ピクチャは、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDRであり、色域が2020である。この拡張レイヤに関しては、当該拡張レイヤの各ピクチャの画像データについて、基本レイヤとの解像度、さらにはダイナミックレンジおよび色域の差分が符号化される。
また、拡張レイヤをデコードした後に、ダイナミックレンジをHDRからHDR-lowに変換して、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDR-lowであり、色域が2020である画像データを得るための、メタデータ(補助情報)が付加される。
この場合、受信側では、HD SDRの表示能力しか持っていない場合は、基本レイヤの符号化ストリームのみが選択的に復号化されて、解像度が1920*1080のHD解像度であり、ダイナミックレンジがSDRであり、色域が709である画像データが取得されて、ディスプレイ(表示部)にHD SDR画像が表示される。
また、この場合、受信側では、UHD HDRの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがHDRであり、色域が2020である画像データが取得されて、ディスプレイ(表示部)にUHD HDR画像が表示される。
また、この場合、受信側では、UHD HDR-lowの表示能力を持っている場合は、基本レイヤおよび拡張レイヤの両方の符号化ストリームが復号化されて、解像度が3840*2160のUHD解像であり、ダイナミックレンジがHDRであり、色域が2020である画像データが取得される。さらに、受信側では、メタデータに基づいて、HDRからHDR-lowに変換されて、解像度が3840*2160のUHD解像度であり、ダイナミックレンジがHDR-lowであり、色域が2020である画像データに変換され、ディスプレイ(表示部)にUHD HDR-low画像が表示される。
図5は、送受信システム10のシステム全体の構成例を概略的に示している。サービス送信システム100は,制御部101と、HDR光電変換部102と、ビデオエンコーダ103と、コンテナエンコーダ104を有している。
制御部101は、サービス送信システム100の各部の動作を制御する。HDR光電変換部102は、UHD HDRの画像データ(ビデオデータ)Vhに対して、HDR光電変換特性を適用して光電変換し、HDR伝送画像データV1を得る。このHDR伝送ビデオデータV1は、HDR OETFで映像制作された映像素材となる。例えば、HDR光電変換特性として、ITU-R Rec. BT. 2100 HLG(HLG: Hybrid Log-Gamma)の特性、あるいはITU-R Rec. BT. 2100 PQ(PQ: Perceptual Quantization)の特性などが適用される。
図6は、SDRおよびHDRの光電変換特性の一例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。破線aは、SDR光電変換特性(BT.709:ガンマ特性)を示している。このSDR光電変換特性において、入力輝度レベルがSDR特性表現限界輝度SLであるとき、伝送符号値はピークレベルMPとなる。ここで、SLは例えば100cd/mである。
実線bは、HDR光電変換特性としてのITU-R Rec. BT. 2100 HLG(HLG)の特性を示している。一点鎖線cは、HDR光電変換特性としてのITU-R Rec. BT. 2100 PQ(PQカーブ)の特性を示している。このHDR光電変換特性において、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。
ITU-R Rec. BT. 2100 HLG(HLG)の特性は、SDR光電変換特性(BT.709:ガンマ特性)との互換領域を含んでいる。すなわち、入力輝度レベルがゼロから両特性の互換境界値までは、両特性のカーブは一致している。入力輝度レベルが互換限界値であるとき、伝送符号値はリファレンスレベルSPとなる。ITU-R Rec. BT. 2100 PQ(PQカーブ)の特性は、高輝度に対応し、人間の視覚特性に適合するといわれる量子化ステップのカーブである。
図5に戻って、ビデオエンコーダ103は、HDR符号化対象ビデオデータV1に対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施して符号化画像データを得、この符号化画像データを含む第1の符号化ストリームおよび第2の符号化ストリームを生成する。上述したように、第1の符号化ストリームは基本レイヤ(Base Layer)の各ピクチャの画像データが符号化されて得られたものであり、第2の符号化ストリームは拡張レイヤ(Enhanced Layer)の各ピクチャの画像データが符号化されて得られたものである。
ビデオエンコーダ103は、上述の第2、第4、第5のレイヤ分解においては、アクセスユニット(AU)の“SEIs”の部分に、ダイナミックレンジをSDRからHDRに変換するためのメタデータ、あるいはダイナミックレンジをHDRからHDR-lowに変換するためのメタデータを持つSEIメッセージ(SEI message)を挿入する。
このメタデータは、変換前のデータ“data0”から変換後のデータ“data1”に変換するためのデータであり、図7に示すように、3つの変換、すなわち非線形空間から線形空間への変換「LNR0」、カラー空間の変換「Color conv」、線形空間から非線形空間への変換「LNR1」に必要な情報、テーブルあるいは非線形特性を再現するために必要なピボット情報などである。
図8(a)は、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”の一例を示している。ダイナミックレンジをSDRからPQ HDRに変換する場合、メタデータ“DRCL1_mapping”は、“Transfer characteristic”が「SDR(gamma)」、“Color gamut”が「709」である画像データを“Transfer characteristic”が「HDR-PQ」、“Color gamut”が「2020」である画像データに変換するための情報となる。
また、ダイナミックレンジをSDRからHLG HDRに変換する場合、メタデータ“DRCL1_mapping”は、“Transfer characteristic”が「SDR(gamma)」、“Color gamut”が「709」である画像データを“Transfer characteristic”が「HDR-HLG」、“Color gamut”が「2020」である画像データに変換するための情報となる。
図8(b)は、ダイナミックレンジをHDRからHDR-low(SDRも含む)に変換するためのメタデータ“DRCL2_mapping”の一例を示している。ダイナミックレンジをPQ HDRからHDR-lowに変換する場合、メタデータ“DRCL2_mapping”は、“Transfer characteristic”が「HDR-PQ)」、“Color gamut”が「2020」である画像データを“Transfer characteristic”が「HDR-low」、“Color gamut”が「2020」である画像データに変換するための情報となる。なお、「*」印は、HDR-lowへの輝度変換がトーンマッピング(tone mapping)を行って実現できることを含む。
また、ダイナミックレンジをHLG HDRからHDR-low(SDRも含む)SDRに変換する場合、メタデータ“DRCL2_mapping”は、“Transfer characteristic”が「HDR-HLG」、“Color gamut”が「2020」である画像データを“Transfer characteristic”が「HDR-low」、“Color gamut”が「2020」である画像データに変換するための情報となる。なお、「*」印は、HDR-lowへの輝度変換がトーンマッピング(tone mapping)を行って実現できることを含む。
図9は、上述のメタデータ“DRCL1_mapping”やメタデータ“DRCL2_mapping”を構成するメタデータ“DRCL_mapping”の構造例(Syntax)を示している。また、図10は、その構造例における主要な情報の内容(Semantics)を示している。
「in_transfer_function」の8ビットフィールドは、符号化ビデオの非線形伝達関数を示す。例えば、“1”はITU-R Rec. BT.709特性を示し、“16”はITU-R Rec. BT.2100 PQ 特性を示し、“18”はITU-R Rec. BT.2100 HLG 特性を示す。
「in_color_primaries」の8ビットフィールドは、符号化ビデオのカラープライマリ(色域)を示す。例えば、“1”はITU-R Rec. BT.709を示し、“9”はITU-R Rec. BT.2100を示す。「in_matrix_coeffs」の8ビットフィールドは、符号化ビデオのカラーコンポーネントマトリクス変換係数を示す。例えば、“1”はITU-R Rec. BT.709 の係数を示し、“9”はITU-R Rec. BT.2020 非定輝度システム の係数を示す。
ここで、「in_color_primaries」が ITU-R Rec. BT.709 の場合、「in_matrix_coeffs」はITU-R Rec. BT.709 システムの係数になる。また、「in_color_primaries」がITU-R Rec. BT.2020の場合、「in_matrix_coeffs」はITU-R Rec. BT.2020 非定輝度システムの係数になる。以上は、「out_color_primaries」と「out_matrix_coeffs 」の場合も同様である。
「post_conversion_type」の8ビットフィールドは、変換メタデータのタイプを示す。例えば、“0”はSDR->HDR 変換メタデータ(ETSI TS 103433-1)を示し、“1”はHDR->Non-HDR 変換メタデータ1 (SMPTE2094-10)を示し、“2”はHDR->Non-HDR 変換メタデータ2 (SMPTE2094-40)を示す。
「out_transfer_function」の8ビットフィールドは、ポスト処理変換後のビデオの非線形伝達関数を示す。例えば、“1”はITU-R Rec. BT.709特性を示し、“16”はITU-R Rec. BT.2100 PQ 特性を示し、“18”はITU-R Rec. BT.2100 HLG 特性を示す。
「out_color_primaries」の8ビットフィールドは、ポスト処理変換後ビデオのカラープライマリ(色域)を示す。例えば、“1”はITU-R Rec. BT.709を示し、“9”はITU-R Rec. BT.2100を示す。「out_matrix_coeffs」の8ビットフィールドは、ポスト処理変換後ビデオのカラーコンポーネントマトリクス変換係数を示す。例えば、“1”はITU-R Rec. BT.709 の係数を示し、“9”はITU-R Rec. BT.2020 非定輝度システム の係数を示す。
図11は、SDRからHDRへのダイナミックレンジ変換の処理を模式的に示している。なお、図示の例においては、カラー空間の変換は省略している。線形光空間の輝度(brightness)にSDR OETF特性で伝送値に変換された(A)はSDRの輝度レベル0~100%の範囲に存在する。
(A)はSDR EOTFで変換され、さらに、システムガンマ(Systemgamma)の補正を掛けることにより線形な光線空間で最大100cd/mの値となる。その値に所定のSDR/HDRマッピングを施した輝度(brightness)に対してHDR OETF特性が適用されてHDR特性の値(B)となる。
図12は、HDRからSDRへのダイナミックレンジ変換の処理を模式的に示している。なお、図示の例においては、カラー空間の変換は省略している。線形光空間の輝度(brightness)にHDR OETF特性で伝送値に変換された(A)はHDRの輝度レベル、例えば0~1000cd/mの範囲に存在する。
(A)はHDR EOTFで変換され、さらに、システムガンマ(Systemgamma)の補正を掛けることにより線形な光線空間で最大1000cd/mの値となる。その値に所定のHDR/SDRマッピングを施した輝度(brightness)に対してSDR OETF特性が適用されてSDR特性の値(B)となる。なお、詳細説明は省略するが、HDRからHDR-lowへのダイナミックレンジ変換の処理も、このHDRからSDRへのダイナミックレンジ変換の処理と同様である。
図5に戻って、コンテナエンコーダ104は、ビデオエンコーダ103で生成された第1の符号化ストリームおよび第2の符号化ストリームを含むコンテナ、ここではMP4ストリームを、配信ストリームSTMとして生成する。この場合、第1の符号化ストリームが含まれるMP4ストリームと、第2の符号化ストリームが含まれるMP4ストリームを生成する。このようにコンテナエンコーダ105で得られたMP4の配信ストリームSTMは、放送波あるいはネットのパケットに載せて、サービス受信機200に送信される。
図13は、コーデック外部でHDR/Color gamutへの変換を行う場合(上述の第2、第4のレイヤ分解に対応)における基本レイヤのトラックB(Track B)および拡張レイヤのトラックE(Track E)のデータを含むMP4ストリームの構成例を示している。図示の例は、フラグメンテッドMP4(Fragmented MP4)の場合の例である。
MP4ストリームには、制御情報が入る“moof”ボックスとメディアデータ本体が入る“mdat”ボックスから構成されるムービーフラグメント(Movie Fragment)が所定個数配置される。“mdat”ボックスには、トラックデータが断片化されて得られた断片が入るので、“moof”ボックスに入る制御情報はその断片に関する制御情報となる。
トラックBに対応したMP4ストリーム「video-baselayer stream」において、各ムービーフラグメントの“mdat”ボックスには、基本レイヤの各ピクチャの画像データの符号化画像データ(アクセスユニット)が所定ピクチャ数分、例えば1GOP分だけ配置される。ここで、各アクセスユニットは、「VPS」、「SPS」、「PPS」、「SEI」、「SLICE」などのNALユニットにより構成される。なお、「VPS」、「SPS」は、例えば、GOPの先頭ピクチャに挿入される。「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では拡張レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。
各ムービーフラグメントの“moof”ボックス内に“traf”ボックスが存在し、そのボックス内に“tfdt”ボックスが存在する。この“tfdt”ボックスに、“moof”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“moof”ボックス内に“tfdt”ボックスが存在し、その内に“sgpd”ボックスが存在し、さらに、その内に“tscl”ボックスが存在する。この“tscl”ボックスに、「temporalLayerId」、「tllevel_idc」、「tlConstantFrameRate」のパラメータの記載がある。「temporalLayerId」は、テンポラルID(temporal_id)を示し、ここでは“1”とされている。「tlConstantFrameRate」は“1”とされることで、フレームレートがコンスタントであることを示す。「tllevel_idc」は、基本ビデオストリームSTbのレベルを示し、ここでは“123”とされている。
トラックEに対応したMP4ストリーム「video-enhancelayer stream」において、各ムービーフラグメントの“mdat”ボックスには、拡張レイヤの各ピクチャの画像データの符号化画像データ(アクセスユニット)が所定ピクチャ数分、例えば1GOP分だけ配置される。ここで、各アクセスユニットは、「SPS」、「PPS」、「SEI」、「SLICE」などのNALユニットにより構成される。なお、「SPS」は、例えば、GOPの先頭ピクチャに挿入される。
「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping” (図8(a)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、デコード後のSDRをHDRに変換するもので、HDR受信機はHDRに変換して表示する。SDR受信機は、このSEIメッセージを無視できる。
各ムービーフラグメントの“moof”ボックス内に“traf”ボックスが存在し、そのボックス内に“tfdt”ボックスが存在する。この“tfdt”ボックスに、“moof”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“moof”ボックス内に“tfdt”ボックスが存在し、その内に“sgpd”ボックスが存在し、さらに、その内に“tscl”ボックスが存在する。この“tscl”ボックスに、「temporalLayerId」、「tllevel_idc」、「tlConstantFrameRate」のパラメータの記載がある。「temporalLayerId」は、テンポラルID(temporal_id)を示し、ここでは“2”とされている。「tlConstantFrameRate」は“1”とされることで、フレームレートがコンスタントであることを示す。「tllevel_idc」は、基本ビデオストリームSTbのレベルを示し、ここでは“153”とされている。
図14は、コーデック内部でHDR/Color gamutスケーラブルを行う場合(上述の第1、第3、第5のレイヤ分解に対応)における基本レイヤのトラックB(Track B)および拡張レイヤのトラックE(Track E)のデータを含むMP4ストリームの構成例を示している。図示の例は、フラグメンテッドMP4(Fragmented MP4)の場合の例である。
MP4ストリームには、制御情報が入る“moof”ボックスとメディアデータ本体が入る“mdat”ボックスから構成されるムービーフラグメント(Movie Fragment)が所定個数配置される。“mdat”ボックスには、トラックデータが断片化されて得られた断片が入るので、“moof”ボックスに入る制御情報はその断片に関する制御情報となる。
トラックBに対応したMP4ストリーム「video-baselayer stream」において、各ムービーフラグメントの“mdat”ボックスには、基本レイヤの各ピクチャの画像データの符号化画像データ(アクセスユニット)が所定ピクチャ数分、例えば1GOP分だけ配置される。ここで、各アクセスユニットは、「VPS」、「SPS」、「PPS」、「SEI」、「SLICE」などのNALユニットにより構成される。なお、「VPS」、「SPS」は、例えば、GOPの先頭ピクチャに挿入される。「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では拡張レイヤのダイナミックレンジ/色域の情報が示され、ここではHDR/2020とされている。
各ムービーフラグメントの“moof”ボックス内に“traf”ボックスが存在し、そのボックス内に“tfdt”ボックスが存在する。この“tfdt”ボックスに、“moof”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“moof”ボックス内に“tfdt”ボックスが存在し、その内に“sgpd”ボックスが存在し、さらに、その内に“tscl”ボックスが存在する。この“tscl”ボックスに、「temporalLayerId」、「tllevel_idc」、「tlConstantFrameRate」のパラメータの記載がある。「temporalLayerId」は、テンポラルID(temporal_id)を示し、ここでは“1”とされている。「tlConstantFrameRate」は“1”とされることで、フレームレートがコンスタントであることを示す。「tllevel_idc」は、基本ビデオストリームSTbのレベルを示し、ここでは“123”とされている。
トラックEに対応したMP4ストリーム「video-enhancelayer stream」において、各ムービーフラグメントの“mdat”ボックスには、拡張レイヤの各ピクチャの画像データの符号化画像データ(アクセスユニット)が所定ピクチャ数分、例えば1GOP分だけ配置される。ここで、各アクセスユニットは、「SPS」、「PPS」、「SEI」、「SLICE」などのNALユニットにより構成される。なお、「SPS」は、例えば、GOPの先頭ピクチャに挿入される。
「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping” (図8(b)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、HDR-low表示の受信機のために供給される。HDR-low表示の受信機は、このメタデータ“DRCL2_mapping”により、デコーダ(base+enhance)出力のHDRをHDR-lowに変換して表示する。HDR受信機は、このSEIメッセージを無視できる。
各ムービーフラグメントの“moof”ボックス内に“traf”ボックスが存在し、そのボックス内に“tfdt”ボックスが存在する。この“tfdt”ボックスに、“moof”ボックスの後の最初のアクセスユニットのデコードタイム“baseMediaDecodeTime”の記載がある。
また、“moof”ボックス内に“tfdt”ボックスが存在し、その内に“sgpd”ボックスが存在し、さらに、その内に“tscl”ボックスが存在する。この“tscl”ボックスに、「temporalLayerId」、「tllevel_idc」、「tlConstantFrameRate」のパラメータの記載がある。「temporalLayerId」は、テンポラルID(temporal_id)を示し、ここでは“2”とされている。「tlConstantFrameRate」は“1”とされることで、フレームレートがコンスタントであることを示す。「tllevel_idc」は、基本ビデオストリームSTbのレベルを示し、ここでは“153”とされている。
図5に戻って、サービス受信機200は、制御部201と、コンテナデコーダ202と、ビデオデコーダ203と、コンバータ204と、HDRまたはSDRの電光変換部205を有している。制御部201は、サービス受信機200の各部の動作を制御する。
コンテナデコーダ202は、サービス受信機200の表示能力に応じて、受信されたMP4の配信ストリームSTMから、第1の符号化ストリームのみ、あるいは第1の符号化ストリームおよび第2の符号化ストリームの双方を選択的に取り出し、ビデオデコーダ203に送る。
ビデオデコーダ203は、コンテナデコーダ202で選択的に取り出された符号化ストリームにデコード処理を施して、SDRまたはHDRの画像データを得る。また、ビデオデコーダ203は、コンテナデコーダ202で選択的に取り出された符号化ストリームに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
抽出情報には、上述したアクセスユニットのSPS NALユニットの領域に挿入されているVUI情報、VPS NALユニットの領域に挿入されているVUIext情報や、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”、あるいはダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping”を含むSEIメッセージも含まれる。
コンバータ204は、サービス受信機200の表示能力に応じて、メタデータ“DRCL1_mapping”やメタデータ“DRCL2_mapping”に基づいて、ダイナミックレンジをSDRからHDRに、あるいはダイナミックレンジをHDRからSDR(HDR-low)に変換する。電光変換部205は、入力されるHDRまたはSDR(HDR-low)の画像データに対して、それに対応する電光変換特性を適用して表示用画像データVdspを得る。
次に、図5におけるサービス送信システム100側のビデオエンコーダ103およびコンテナエンコーダ104と、サービス受信機200側のコンテナデコーダ202、ビデオデコーダ203およびコンバータ204の部分の構成の詳細を説明する。
図15は、上述した第1のレイヤ分解(図4(a)参照)の場合における構成例を示している。この図15において、図5と対応する部分には、同一符号を付して示している。この場合、サービス受信機200側には、コンバータ204が存在しない状態となる。
UHD HDR/2020の画像データは、変換部111に入力されて、UHD SDR/709の画像データに変換される。このUHD SDR/709の画像データは、基本レイヤ(Base Layer)の各ピクチャの画像データであり、基本レイヤ・エンコーダ(Base Layer encoder)112で符号化されて、第1の符号化ストリームが生成される。
また、この第1の符号化ストリームが復号化されて得られた基本レイヤの各ピクチャの画像データが基本レイヤ・デコーデッドピクチャバッファ(BL DPB)113に一時的に蓄積され、レイヤ内およびレイヤ間の予測符号化に利用される。
また、UHD HDR/2020の画像データは、拡張レイヤ・エンコーダ(Enhanced Layer encoder)114で符号化されて、第2の符号化ストリームが生成される。また、この第2の符号化ストリームが復号化されて得られた拡張レイヤの各ピクチャの画像データが拡張レイヤ・デコーデッドピクチャバッファ(EL DPB)115に一時的に蓄積され、レイヤ内の予測符号化に利用される。
この場合、基本レイヤ・デコーデッドピクチャバッファ113から対応するピクチャの画像データが読み出され、この画像データのダイナミックレンジおよび色域がカラーリマッピングテーブル(Color remapping table)116でSDR/709からHDR/2020に変換されて、レイヤ間予測回路(Inter layer prediction)117に送られる。これにより、拡張レイヤ・エンコーダ114では、適宜、レイヤ間の予測符号化も行われる。
コンテナエンコーダ104では、基本レイヤ・エンコーダ112で生成された第1の符号化ストリームおよび拡張レイヤ・エンコーダ114で生成された第2の符号化ストリームを含むMP4ストリームが配信ストリームSTMとして生成される。
サービス受信機200がUHD SDRの表示能力しか持っていない場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームのみが取り出されて、基本レイヤ・デコーダ211に送られる。なお、コンテナデコーダ202では、MP4ストリームが持つシグナリング情報(Signaling information)が抽出され、制御部(Receiver CPU)201に送られる
基本レイヤ・デコーダ211では、第1の符号化ストリームにデコード処理が施されて、UHD SDR/709の画像データが得られる。また、この画像データが基本レイヤ・デコーデッドピクチャバッファ(BL DPB)212に一時的に蓄積され、レイヤ内の予測補償に利用される。また、基本レイヤ・デコーダ211では、第1の符号化ストリームに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られて使用される。
また、サービス受信機200がUHD HDRの表示能力を持っている場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームおよび第2の符号化ストリームの双方が取り出される。この第1の符号化ストリームは、基本レイヤ・デコーダ211に送られてデコード処理され、基本レイヤ・デコーデッドピクチャバッファ212には、デコードされて得られた基本レイヤの各ピクチャの画像データが一時的に蓄積され、レイヤ内およびレイヤ間の予測補償に利用される。
また、コンテナデコーダ202で取り出された第2の符号化ストリームは、拡張レイヤ・デコーダ213に送られてデコード処理が施されて、UHD HDR/2020の画像データが得られる。また、この画像データが拡張レイヤ・デコーデッドピクチャバッファ(EL DPB)214に一時的に蓄積され、レイヤ内の予測補償に利用される。
また、基本レイヤ・デコーデッドピクチャバッファ212から対応するピクチャの画像データが読み出され、この画像データのダイナミックレンジおよび色域がカラーリマッピングテーブル(Color remapping table)215でSDR/709からHDR/2020に変換されて、レイヤ間予測回路(Inter layer prediction)216に送られる。これにより、拡張レイヤ・デコーダ213では、適宜、レイヤ間の予測補償も行われる。
図16は、上述した第2のレイヤ分解(図4(b)参照)の場合における構成例を示している。この図16において、図5、図15と対応する部分には、同一符号を付して示している。
UHD HDR/2020の画像データは、変換部111に入力されて、UHD SDR/709の画像データに変換される。ここで、この変換部111からは、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”が得られる。
変換部111で得られたUHD SDR/709の画像データは、変換部121に入力されて、HD SDR/709の画像データに変換される。このHD SDR/709の画像データは、基本レイヤの各ピクチャの画像データであり、基本レイヤ・エンコーダ112で符号化されて、第1の符号化ストリームが生成される。
基本レイヤ・エンコーダ112では、第1の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”を含むSEIメッセージが挿入される。
また、この第1の符号化ストリームが復号化されて得られた基本レイヤの各ピクチャの画像データが基本レイヤ・デコーデッドピクチャバッファ113に一時的に蓄積され、レイヤ内およびレイヤ間の予測符号化に利用される。
また、変換部111で得られたUHD SDR/709の画像データは、拡張レイヤ・エンコーダ114で符号化されて、第2の符号化ストリームが生成される。
拡張レイヤ・エンコーダ114では、第2の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”を含むSEIメッセージが挿入される。なお、このメタデータ“DRCL1_mapping”は、少なくとも、第1の符号化ストリームまたは第2の符号化ストリームのいずれかに挿入されてあればよい。
また、この第2の符号化ストリームが復号化されて得られた拡張レイヤの各ピクチャの画像データが拡張レイヤ・デコーデッドピクチャバッファ115に一時的に蓄積され、レイヤ内の予測符号化に利用される。
また、基本レイヤ・デコーデッドピクチャバッファ113から対応するピクチャの画像データが読み出され、この画像データの解像度がアップサンプリングフィルタ(Upsampling filter)122でHDからUHDに変換されて、レイヤ間予測回路117に送られる。これにより、拡張レイヤ・エンコーダ114では、適宜、レイヤ間の予測符号化も行われる。
コンテナエンコーダ104では、基本レイヤ・エンコーダ112で生成された第1の符号化ストリームおよび拡張レイヤ・エンコーダ114で生成された第2の符号化ストリームを含むMP4ストリームが配信ストリームSTMとして生成される。
サービス受信機200がHD SDRの表示能力しか持っていない場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームのみが取り出されて、基本レイヤ・デコーダ211に送られる。なお、コンテナデコーダ202では、MP4ストリームが持つシグナリング情報が抽出され、制御部201に送られる
基本レイヤ・デコーダ211では、第1の符号化ストリームにデコード処理が施されて、HD SDR/709の画像データが得られる。また、この画像データが基本レイヤ・デコーデッドピクチャバッファ212に一時的に蓄積され、レイヤ内の予測補償に利用される。また、基本レイヤ・デコーダ211では、第1の符号化ストリームに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られて使用される。
また、サービス受信機200がUHD SDRの表示能力を持っている場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームおよび第2の符号化ストリームの双方が取り出される。この第1の符号化ストリームは、基本レイヤ・デコーダ211に送られてデコード処理され、基本レイヤ・デコーデッドピクチャバッファ212には、デコードされて得られた基本レイヤの各ピクチャの画像データが一時的に蓄積され、レイヤ内およびレイヤ間の予測補償に利用される。
また、コンテナデコーダ202で取り出された第2の符号化ストリームは、拡張レイヤ・デコーダ213に送られてデコード処理が施されて、UHD SDR/709の画像データが得られる。また、この画像データが拡張レイヤ・デコーデッドピクチャバッファ214に一時的に蓄積され、レイヤ内の予測補償に利用される。
この場合、基本レイヤ・デコーデッドピクチャバッファ212から対応するピクチャの画像データが読み出され、この画像データの解像度がサンプリングフィルタ(Upsampling filter)221でHDからUHDに変換されて、レイヤ間予測回路216に送られる。これにより、拡張レイヤ・デコーダ213では、適宜、レイヤ間の予測補償も行われる。
また、サービス受信機200がUHD HDRの表示能力を持っている場合、上述したように拡張レイヤ・デコーダ213で得られたUHD SDR/709の画像データが、変換部222で、基本レイヤ・デコーダ211あるいは拡張レイヤ・デコーダ213で抽出された、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”に基づいて変換されて、UHD HDR/2020の画像データが得られる。
図17は、上述した第3のレイヤ分解(図4(c)参照)の場合における構成例を示している。この図17において、図5、図15、図16と対応する部分には、同一符号を付して示している。
UHD HDR/2020の画像データは、変換部123に入力されて、HD SDR/709の画像データに変換される。このHD SDR/709の画像データは、基本レイヤの各ピクチャの画像データであり、基本レイヤ・エンコーダ112で符号化されて、第1の符号化ストリームが生成される。
また、この第1の符号化ストリームが復号化されて得られた基本レイヤの各ピクチャの画像データが基本レイヤ・デコーデッドピクチャバッファ113に一時的に蓄積され、レイヤ内およびレイヤ間の予測符号化に利用される。
また、UHD HDR/2020の画像データは、拡張レイヤ・エンコーダ114で符号化されて、第2の符号化ストリームが生成される。また、この第2の符号化ストリームが復号化されて得られた拡張レイヤの各ピクチャの画像データが拡張レイヤ・デコーデッドピクチャバッファ(EL DPB)115に一時的に蓄積され、レイヤ内の予測符号化に利用される。
この場合、基本レイヤ・デコーデッドピクチャバッファ113から対応するピクチャの画像データが読み出され、この画像データの解像度がアップサンプリングフィルタ122でHDからUHDに変換され、さらにそのダイナミックレンジおよび色域がカラーリマッピングテーブル116でSDR/709からHDR/2020に変換されて、レイヤ間予測回路117に送られる。これにより、拡張レイヤ・エンコーダ114では、適宜、レイヤ間の予測符号化も行われる。
コンテナエンコーダ104では、基本レイヤ・エンコーダ112で生成された第1の符号化ストリームおよび拡張レイヤ・エンコーダ114で生成された第2の符号化ストリームを含むMP4ストリームが配信ストリームSTMとして生成される。
サービス受信機200がHD SDRの表示能力しか持っていない場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームのみが取り出されて、基本レイヤ・デコーダ211に送られる。なお、コンテナデコーダ202では、MP4ストリームが持つシグナリング情報が抽出され、制御部201に送られる
基本レイヤ・デコーダ211では、第1の符号化ストリームにデコード処理が施されて、HD SDR/709の画像データが得られる。また、この画像データが基本レイヤ・デコーデッドピクチャバッファ212に一時的に蓄積され、レイヤ内の予測補償に利用される。また、基本レイヤ・デコーダ211では、第1の符号化ストリームに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られて使用される。
また、サービス受信機200がUHD HDRの表示能力を持っている場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームおよび第2の符号化ストリームの双方が取り出される。この第1の符号化ストリームは、基本レイヤ・デコーダ211に送られてデコード処理され、基本レイヤ・デコーデッドピクチャバッファ212には、デコードされて得られた基本レイヤの各ピクチャの画像データが一時的に蓄積され、レイヤ内およびレイヤ間の予測補償に利用される。
また、コンテナデコーダ202で取り出された第2の符号化ストリームは、拡張レイヤ・デコーダ213に送られてデコード処理が施されて、UHD HDR/2020の画像データが得られる。また、この画像データが拡張レイヤ・デコーデッドピクチャバッファ214に一時的に蓄積され、レイヤ内の予測補償に利用される。
また、基本レイヤ・デコーデッドピクチャバッファ212から対応するピクチャの画像データが読み出され、この画像データの解像度がアップサンプリングフィルタ221でHDからUHDに変換され、さらにそのダイナミックレンジおよび色域がカラーリマッピングテーブル(Color remapping table)215でSDR/709からHDR/2020に変換されて、レイヤ間予測回路(Inter layer prediction)216に送られる。これにより、拡張レイヤ・デコーダ213では、適宜、レイヤ間の予測補償も行われる。
図18は、上述した第4のレイヤ分解(図4(d)参照)の場合における構成例を示している。この図18において、図5、図15~図17と対応する部分には、同一符号を付して示している。
HFR UHD HDR/2020の画像データは、変換部124に入力されて、HFR UHD SDR/709の画像データに変換される。ここで、この変換部111からは、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”が得られる。
変換部111で得られたHFR(120P) UHD SDR/709の画像データは、基本レイヤ・エンコーダ112に入力され、NFR(60P)のフレームレートのピクチャのみが基本レイヤに階層分類され、基本レイヤ・エンコーダ112で符号化されて、第1の符号化ストリームが生成される。
基本レイヤ・エンコーダ112では、第1の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”を含むSEIメッセージが挿入される。
また、この第1の符号化ストリームが復号化されて得られた基本レイヤの各ピクチャの画像データが基本レイヤ・デコーデッドピクチャバッファ113に一時的に蓄積され、レイヤ内およびレイヤ間の予測符号化に利用される。
また、変換部124で得られたHFR(120P) UHD SDR/709の画像データは、拡張レイヤ・エンコーダ114で符号化されて、第2の符号化ストリームが生成される。
拡張レイヤ・エンコーダ114では、第2の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”を含むSEIメッセージが挿入される。なお、このメタデータ“DRCL1_mapping”は、少なくとも、第1の符号化ストリームまたは第2の符号化ストリームのいずれかに挿入されてあればよい。
また、この第2の符号化ストリームが復号化されて得られた拡張レイヤの各ピクチャの画像データが拡張レイヤ・デコーデッドピクチャバッファ115に一時的に蓄積され、レイヤ内の予測符号化に利用される。
また、基本レイヤ・デコーデッドピクチャバッファ113から対応するピクチャの画像データが読み出されて、階層レイヤ予測回路125に送られる。これにより、拡張レイヤ・エンコーダ114では、適宜、レイヤ間の予測符号化も行われる。
コンテナエンコーダ104では、基本レイヤ・エンコーダ112で生成された第1の符号化ストリームおよび拡張レイヤ・エンコーダ114で生成された第2の符号化ストリームを含むMP4ストリームが配信ストリームSTMとして生成される。
サービス受信機200がLFR UHD SDRの表示能力しか持っていない場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームのみが取り出されて、基本レイヤ・デコーダ211に送られる。なお、コンテナデコーダ202では、MP4ストリームが持つシグナリング情報が抽出され、制御部201に送られる
基本レイヤ・デコーダ211では、第1の符号化ストリームにデコード処理が施されて、LFR UHD SDR/709の画像データが得られる。また、この画像データが基本レイヤ・デコーデッドピクチャバッファ212に一時的に蓄積され、レイヤ内の予測補償に利用される。また、基本レイヤ・デコーダ211では、第1の符号化ストリームに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られて使用される。
また、サービス受信機200がHFR UHD SDRの表示能力を持っている場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームおよび第2の符号化ストリームの双方が取り出される。この第1の符号化ストリームは、基本レイヤ・デコーダ211に送られてデコード処理され、基本レイヤ・デコーデッドピクチャバッファ212には、デコードされて得られた基本レイヤの各ピクチャの画像データが一時的に蓄積され、レイヤ内およびレイヤ間の予測補償に利用される。
また、コンテナデコーダ202で取り出された第2の符号化ストリームは、拡張レイヤ・デコーダ213に送られてデコード処理が施されて、HFR UHD SDR/709の画像データが得られる。また、この画像データが拡張レイヤ・デコーデッドピクチャバッファ214に一時的に蓄積され、レイヤ内の予測補償に利用される。
この場合、基本レイヤ・デコーデッドピクチャバッファ212から対応するピクチャの画像データが読み出され、階層レイヤ予測回路223に送られる。これにより、拡張レイヤ・デコーダ213では、適宜、レイヤ間の予測補償も行われる。
また、サービス受信機200がHFR UHD HDRの表示能力を持っている場合、上述したように拡張レイヤ・デコーダ213で得られたHFR UHD SDR/709の画像データが、変換部222で、基本レイヤ・デコーダ211あるいは拡張レイヤ・デコーダ213で抽出された、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping”に基づいて変換されて、HFR UHD HDR/2020の画像データが得られる。
図19は、上述した第5のレイヤ分解(図4(e)参照)の場合における構成例を示している。この図19において、図5、図15~図18と対応する部分には、同一符号を付して示している。
UHD HDR/2020の画像データは、変換部123に入力されて、HD SDR/709の画像データに変換される。このHD SDR/709の画像データは、基本レイヤの各ピクチャの画像データであり、基本レイヤ・エンコーダ112で符号化されて、第1の符号化ストリームが生成される。
基本レイヤ・エンコーダ112では、第1の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping”を含むSEIメッセージが挿入される。
また、この第1の符号化ストリームが復号化されて得られた基本レイヤの各ピクチャの画像データが基本レイヤ・デコーデッドピクチャバッファ113に一時的に蓄積され、レイヤ内およびレイヤ間の予測符号化に利用される。
また、UHD HDR/2020の画像データは、拡張レイヤ・エンコーダ114で符号化されて、第2の符号化ストリームが生成される。拡張レイヤ・エンコーダ114では、第2の符号化ストリームの「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping”を含むSEIメッセージが挿入される。なお、このメタデータ“DRCL2_mapping”は、少なくとも、第1の符号化ストリームまたは第2の符号化ストリームのいずれかに挿入されてあればよい。
また、この第2の符号化ストリームが復号化されて得られた拡張レイヤの各ピクチャの画像データが拡張レイヤ・デコーデッドピクチャバッファ115に一時的に蓄積され、レイヤ内の予測符号化に利用される。
また、基本レイヤ・デコーデッドピクチャバッファ113から対応するピクチャの画像データが読み出され、この画像データの解像度がアップサンプリングフィルタ(Upsampling filter)122でHDからUHDに変換され、さらにそのダイナミックレンジおよび色域がカラーリマッピングテーブル116でSDR/709からHDR/2020に変換されて、レイヤ間予測回路117に送られる。これにより、拡張レイヤ・エンコーダ114では、適宜、レイヤ間の予測符号化も行われる。
コンテナエンコーダ104では、基本レイヤ・エンコーダ112で生成された第1の符号化ストリームおよび拡張レイヤ・エンコーダ114で生成された第2の符号化ストリームを含むMP4ストリームが配信ストリームSTMとして生成される。
サービス受信機200がHD SDRの表示能力しか持っていない場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームのみが取り出されて、基本レイヤ・デコーダ211に送られる。なお、コンテナデコーダ202では、MP4ストリームが持つシグナリング情報が抽出され、制御部201に送られる
基本レイヤ・デコーダ211では、第1の符号化ストリームにデコード処理が施されて、HD SDR/709の画像データが得られる。また、この画像データが基本レイヤ・デコーデッドピクチャバッファ212に一時的に蓄積され、レイヤ内の予測補償に利用される。また、基本レイヤ・デコーダ211では、第1の符号化ストリームに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られて使用される。
また、サービス受信機200がUHD HDRの表示能力を持っている場合、コンテナデコーダ202では、受信されたMP4の配信ストリームSTMから第1の符号化ストリームおよび第2の符号化ストリームの双方が取り出される。この第1の符号化ストリームは、基本レイヤ・デコーダ211に送られてデコード処理され、基本レイヤ・デコーデッドピクチャバッファ212には、デコードされて得られた基本レイヤの各ピクチャの画像データが一時的に蓄積され、レイヤ内およびレイヤ間の予測補償に利用される。
また、コンテナデコーダ202で取り出された第2の符号化ストリームは、拡張レイヤ・デコーダ213に送られてデコード処理が施されて、UHD HDR/709の画像データが得られる。また、この画像データが拡張レイヤ・デコーデッドピクチャバッファ214に一時的に蓄積され、レイヤ内の予測補償に利用される。
この場合、基本レイヤ・デコーデッドピクチャバッファ212から対応するピクチャの画像データが読み出され、この画像データの解像度がアップサンプリングフィルタ221でHDからUHDに変換され、さらにそのダイナミックレンジおよび色域がカラーリマッピングテーブル(Color remapping table)215でSDR/709からHDR/2020に変換されて、レイヤ間予測回路(Inter layer prediction)216に送られる。これにより、拡張レイヤ・デコーダ213では、適宜、レイヤ間の予測補償も行われる。
また、サービス受信機200がUHD HDR-lowの表示能力を持っている場合、上述したように拡張レイヤ・デコーダ213で得られたUHD HDR/2020の画像データが、変換部224で、基本レイヤ・デコーダ211あるいは拡張レイヤ・デコーダ213で抽出された、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping”に基づいて変換されて、UHD HDR-low/2020の画像データが得られる。
図20~図24は、それぞれ、上述した第1~第5のレイヤ分解に対応したMPDファイルの記述例を示している。ここでは、説明の簡単化のためにビデオストリームに関する情報のみが記述されている例を示しているが、実際にはビデオストリームの他のメディアストリームに関する情報も記述されている。図25は、“SupplementaryDescriptor”の「Value」セマンティスクスを示している。
最初に、図20のMPDファイルの記述例について説明する。このMPDファイルの記述例は、第1のレイヤ分解(図4(a)、図15参照)に対応したものである。「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.L153,xx, hev1.yy.yy.L153,yy”」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、153のレベルと、153のレベルのHEVCの符号化画像データが存在することが示されている。
このMPDファイルには、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームに対応した第1のリプレゼンテーション(Representation)が存在すると共に、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームに対応した第1のリプレゼンテーションが存在する
第1のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“0”/>」の記述により、エンコードされたビデオのダイナミックレンジが“SDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“0”/>」の記述により、エンコードされたビデオのEOTFタイプが“gamma”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“0”/>」の記述により、エンコードされたビデオのカラープライマリが“709”であることが示される。
また、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “0”」の記述により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“0”が付与されることが示され、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamBase.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamBase.mp4」として示されている。
また、第2のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“1”/>」の記述により、エンコードされたビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“2”/>」の記述により、エンコードされたビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“1”/>」の記述により、エンコードされたビデオのカラープライマリが“2020”であることが示される。
また、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “1”」、「dependencyLevel=“0”」の記述により、第1の符号化ストリームの上に拡張により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“1”が付与されることが示され、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamEnhanced.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamEnhanced.mp4」として示されている。
次に、図21のMPDファイルの記述例について説明する。このMPDファイルの記述例は、第2のレイヤ分解(図4(b)、図16参照)に対応したものである。「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.L123,xx, hev1.yy.yy.L153,yy”」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、123のレベルと、153のレベルのHEVCの符号化画像データが存在することが示されている。
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“0”/>」の記述により、エンコードされたビデオのダイナミックレンジが“SDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“0”/>」の記述により、エンコードされたビデオのEOTFタイプが“gamma”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“0”/>」の記述により、エンコードされたビデオのカラープライマリが“709”であることが示される。
コーデック外部における変換情報が記述されている。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtdynamicrange” value=“1”/>」の記述により、コンバート後のビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvttransferfunction” value=“2”/>」の記述により、コンバート後のビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtxycolourprimaries” value=“1”/>」の記述により、コンバート後のビデオのカラープライマリが“2020”であることが示される。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtconversion_type” value=“0”/>」の記述により、コンバートに用いるメタデータのタイプが、“SDR→HDR 変換メタデータ (ETSI TS 103433-1)”であることが示される。
このMPDファイルには、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームに対応した第1のリプレゼンテーション(Representation)が存在すると共に、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームに対応した第1のリプレゼンテーションが存在する
第1のリプレゼンテーションにおいて、「width=“1920" height=“1080" frameRate=“60"」、「codecs="hev1.xx.xx.L123,xx"」、「level= “0”」の記述により、HD(2K) 60Pのストリームを実現することが示され、タグ情報としてレベル“0”が付与されることが示され、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームのレベルが“123”であることが示される。また、「<BaseURL>videostreamBase.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamBase.mp4」として示されている。
また、第2のリプレゼンテーションにおいて、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “1”」、「dependencyLevel=“0”」の記述により、第1の符号化ストリームの上に拡張により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“1”が付与されることが示され、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamEnhanced.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamEnhanced.mp4」として示されている。
次に、図22のMPDファイルの記述例について説明する。このMPDファイルの記述例は、第1のレイヤ分解(図4(c)、図17参照)に対応したものである。「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.L123,xx, hev1.yy.yy.L153,yy”」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、123のレベルと、153のレベルのHEVCの符号化画像データが存在することが示されている。
このMPDファイルには、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームに対応した第1のリプレゼンテーション(Representation)が存在すると共に、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームに対応した第1のリプレゼンテーションが存在する
第1のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“0”/>」の記述により、エンコードされたビデオのダイナミックレンジが“SDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“0”/>」の記述により、エンコードされたビデオのEOTFタイプが“gamma”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“0”/>」の記述により、エンコードされたビデオのカラープライマリが“709”であることが示される。
また、「width=“1920" height=“1080" frameRate=“60"」、「codecs="hev1.xx.xx.L123,xx"」、「level= “0”」の記述により、HD(2K) 60Pのストリームを実現することが示され、タグ情報としてレベル“0”が付与されることが示され、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームのレベルが“123”であることが示される。また、「<BaseURL>videostreamBase.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamBase.mp4」として示されている。
また、第2のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“1”/>」の記述により、エンコードされたビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“2”/>」の記述により、エンコードされたビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“1”/>」の記述により、エンコードされたビデオのカラープライマリが“2020”であることが示される。
また、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “1”」、「dependencyLevel=“0”」の記述により、第1の符号化ストリームの上に拡張により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“1”が付与されることが示され、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamEnhanced.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamEnhanced.mp4」として示されている。
次に、図23のMPDファイルの記述例について説明する。このMPDファイルの記述例は、第2のレイヤ分解(図4(d)、図18参照)に対応したものである。「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.L153,xx, hev1.yy.yy.L156,yy”」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、153のレベルと、156のレベルのHEVCの符号化画像データが存在することが示されている。
「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“0”/>」の記述により、エンコードされたビデオのダイナミックレンジが“SDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“0”/>」の記述により、エンコードされたビデオのEOTFタイプが“gamma”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“0”/>」の記述により、エンコードされたビデオのカラープライマリが“709”であることが示される。
コーデック外部における変換情報が記述されている。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtdynamicrange” value=“1”/>」の記述により、コンバート後のビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvttransferfunction” value=“2”/>」の記述により、コンバート後のビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtxycolourprimaries” value=“1”/>」の記述により、コンバート後のビデオのカラープライマリが“2020”であることが示される。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtconversion_type” value=“0”/>」の記述により、コンバートに用いるメタデータのタイプが、“SDR→HDR 変換メタデータ (ETSI TS 103433-1)”であることが示される。
このMPDファイルには、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームに対応した第1のリプレゼンテーション(Representation)が存在すると共に、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームに対応した第1のリプレゼンテーションが存在する
第1のリプレゼンテーションにおいて、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “0”」の記述により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“0”が付与されることが示され、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamBase.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamBase.mp4」として示されている。
また、第2のリプレゼンテーションにおいて、「width=“3840" height=“2160" frameRate=“120"」、「codecs="hev1.xx.xx.L156,xx"」、「level= “1”」、「dependencyLevel=“0”」の記述により、第1の符号化ストリームの上に拡張により、UHD(4K) 120Pのストリームを実現することが示され、タグ情報としてレベル“1”が付与されることが示され、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームのレベルが“156”であることが示される。また、「<BaseURL>videostreamEnhanced.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamEnhanced.mp4」として示されている。
次に、図24のMPDファイルの記述例について説明する。このMPDファイルの記述例は、第2のレイヤ分解(図4(e)、図19参照)に対応したものである。「<AdaptationSet mimeType=“video/mp4” codecs=“hev1.xx.xx.L153,xx, hev1.yy.yy.L156,yy”」の記述により、ビデオストリームに対するアダプテーションセット(AdaptationSet)が存在し、そのビデオストリームはMP4ファイル構造で供給され、153のレベルと、156のレベルのHEVCの符号化画像データが存在することが示されている。
コーデック外部における変換情報が記述されている。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtdynamicrange” value=“1”/>」の記述により、コンバート後のビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvttransferfunction” value=“2”/>」の記述により、コンバート後のビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtxycolourprimaries” value=“1”/>」の記述により、コンバート後のビデオのカラープライマリが“2020”であることが示される。また、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:cvtconversion_type” value=“1”/>」の記述により、コンバートに用いるメタデータのタイプが、“HDR→HDR-low 変換メタデータ1 (SMPTE2094-10)”であることが示される。
このMPDファイルには、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームに対応した第1のリプレゼンテーション(Representation)が存在すると共に、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームに対応した第1のリプレゼンテーションが存在する
第1のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“0”/>」の記述により、エンコードされたビデオのダイナミックレンジが“SDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“0”/>」の記述により、エンコードされたビデオのEOTFタイプが“gamma”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“0”/>」の記述により、エンコードされたビデオのカラープライマリが“709”であることが示される。
また、「width=“19200" height=“1080" frameRate=“60"」、「codecs="hev1.xx.xx.L123,xx"」、「level= “0”」の記述により、HD(2K) 60Pのストリームを実現することが示され、タグ情報としてレベル“0”が付与されることが示され、基本レイヤの各ピクチャの符号化画像データを持つ第1の符号化ストリームのレベルが“123”であることが示される。また、「<BaseURL>videostreamBase.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamBase.mp4」として示されている。
また、第2のリプレゼンテーションにおいて、「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codeddynamicrange” value=“1”/>」の記述により、エンコードされたビデオのダイナミックレンジが“HDR”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedtransferfunction” value=“2”/>」の記述により、エンコードされたビデオのEOTFタイプが“PQ”であることが示される。「<SupplementaryDescriptor schemeIdUri=“urn:brdcst:video:codedxycolourprimaries” value=“1”/>」の記述により、エンコードされたビデオのカラープライマリが“2020”であることが示される。
また、「width=“3840" height=“2160" frameRate=“60"」、「codecs="hev1.xx.xx.L153,xx"」、「level= “1”」、「dependencyLevel=“0”」の記述により、第1の符号化ストリームの上に拡張により、UHD(4K) 60Pのストリームを実現することが示され、タグ情報としてレベル“1”が付与されることが示され、拡張レイヤの各ピクチャの符号化画像データを持つ第2の符号化ストリームのレベルが“153”であることが示される。また、「<BaseURL>videostreamEnhanced.mp4</BaseURL>」の記述により、第1のビデオストリームのロケーション先が、「videostreamEnhanced.mp4」として示されている。
上述したように、図3に示す送受信システム10においては、第1の符号化ストリームおよび第2の符号化ストリームに関するメタ情報を持つメタファイルであるMPDファイルに、コーデック内部における機能拡張の情報(スケーラブル符号化情報)やコーデック外部における機能拡張の情報(変換情報)が記述される。そのため、受信側では、MPDファイルから、これらの情報を容易に取得でき、その情報に基づき表示能力に応じてコーデック内部における機能拡張処理やコーデック外部における機能拡張処理を適切に行うことができる。
<2.変形例>
なお、上述実施の形態においては、コンテナがMP4(ISOBMFF)である例を示した。しかし、本技術は、コンテナがMP4に限定されるものではなく、MPEG-2 TSやMMTなどの他のフォーマットのコンテナであっても同様に適用し得る。
例えば、MPEG-2 TSの場合には、図5に示すサービス送信システム100のコンテナエンコーダ104では、第1の符号化ストリームおよび第2の符号化ストリームを含むトランスポートストリーム(Transport Stream)が生成される。
この際、コンテナエンコーダ104では、プログラム・マップ・テーブル(PMT:Program Map Table)の各符号化ストリームに対応したビデオエレメンタリストリームループに、上述のMPDファイルと同様にコーデック内部における機能拡張の情報(スケーラブル符号化情報)やコーデック外部における機能拡張の情報(変換情報)を持つ、新規定義するマルチディメンジョン・デスクリプタ(multidimension_descriptor)が挿入される。
図26は、マルチディメンジョン・デスクリプタの構造例(Syntax)を示している。また、図27は、その構造例における主要な情報の内容(Semantics)を示している。
「multidimension_descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、マルチディメンジョン・デスクリプタであることを示す。「multidimension_descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして、以降のバイト数を示す。
「profile_idc」の8ビットフィールドは、符号化のプロファイルを示し、符号化方式の規定に依存する値を示す。「level_idc」の8ビットフィールドは、符号化のレベルを示し、符号化方式の規定に依存する値を示す。「resolution」の8ビットフィールドは、符号化画像の解像度を示す。例えば、“0”は640(H)*480(V)、“1”は1920(H)*1080(V)、“2”は3840(H)*2160(V)、“3”は7680(H)*4320(V)を示す。
「frame_rate」の8ビットフィールドは、符号化画像のフレームレートを示す。例えば、“0”は24Hz、“1”は25Hz、“2”は29.97Hz、“3”は30Hz、“4”は50Hz、“5”は59.94Hz。“6”は60Hz、“7”は100Hz、“8”は119.88Hz、“9”は120Hzを示す。「bitdepth」の8ビットフィールドは、符号化画像のコンポーネントのビット幅を示す。例えば、“0”は8ビット、“1”は10ビットを示す。
「codeddynamicrange」の8ビットフィールドは、エンコードされたビデオのダイナミックレンジ情報を示す。例えば、“0”はSDR、“1”はHDRを示す。「codedtransferfunction」の8ビットフィールドは、エンコードされたビデオのEOTFタイプを示す。例えば、“0”はgamma、“1”はHLG、“2”はPQを示す。「codedxycolourprimaries」の8ビットフィールドは、エンコードされたビデオのカラープライマリを示す。例えば、“0”は709、“1”は2020を示す。
「external_conversion_flag」の1ビットフィールドは、コーデックの外部で変換するメタ情報が含まれるかどうかを示すフラグである。例えば、”0”は変換メタが含まれないこと示し、“1”は変換メタが含まれることを示す。「external_conversion_flag」が“1”であるとき、「cvtdynamicrange」、「cvttransferfunction」、「cvtxycolourprimaries」、「conversion_type」の各8ビットフィールドが存在する。
「cvtdynamicrange」の8ビットフィールドは、コンバート後のビデオのダイナミックレンジ情報を示す。例えば、“0”はSDR、“1”はHDRを示す。「cvttransferfunction」の8ビットフィールドは、エンコードされたビデオのEOTFタイプを示す。例えば、“0”はgamma、“1”はHLG、“2”はPQを示す。「cvtxycolourprimaries」の8ビットフィールドは、エンコードされたビデオのカラープライマリを示す。例えば、“0”は709、“1”は2020を示す。
「cvtconversion_type」の8ビットフィールドは、コンバートに用いるメタデータ(変換メタデータ)のタイプを示す。例えば、“0”は「SDR->HDR 変換メタデータ (ETSI TS 103433-1)」、“1”は「HDR->Non-HDR 変換メタデータ1 (SMPTE2094-10)」、“2”は「HDR->Non-HDR 変換メタデータ2 (SMPTE2094-40)」を示す。
また、「layer_ level」の8ビットフィールドは、符号化ストリームのレイヤ値を示す。例えば、“0”は基本レイヤ、“1”は拡張レイヤを示す。「dependency_level」の8ビットフィールドは、基本レイヤ以外の符号化ストリームの場合に、直接参照するストリームのレイヤ値(layer_level)を示す。
図28は、コーデック外部でHDR/Color gamutへの変換を行う場合(上述の第2、第4のレイヤ分解に対応)におけるトランスポートストリームの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES1」と、PID2で識別されるビデオストリームのPESパケット「video PES2」が存在する。
PESパケット「video PES1」のペイロードには、基本レイヤ(Base Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。PESパケット「video PES2」のペイロードには、拡張レイヤ(Enhanced Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。
PESパケット「video PES1」でコンテナされるアクセスユニット(符号化画像データ)において、「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。
また、PESパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット(符号化画像データ)において、「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping” (図8(a)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、デコード後のSDRをHDRに変換するもので、HDR受信機はHDRに変換して表示する。SDR受信機は、このSEIメッセージを無視できる。
また、PMTに、基本ビデオストリーム「video PES1」と、拡張ビデオストリーム「video PES2」に対応したビデオエレメンタリストリームループ(video ES loop)が存在する。ビデオエレメンタリストリームループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video ES1 loop」には、基本ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“0x24”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、「video ES2 loop」には、拡張ビデオストリーム(video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“0x2x”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
図29は、コーデック内部でHDR/Color gamutスケーラブルを行う場合(上述の第1、第3、第5のレイヤ分解に対応)におけるトランスポートストリームの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「video PES1」と、PID2で識別されるビデオストリームのPESパケット「video PES2」が存在する。
PESパケット「video PES1」のペイロードには、基本レイヤ(Base Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。PESパケット「video PES2」のペイロードには、拡張レイヤ(Enhanced Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。
PESパケット「video PES1」でコンテナされるアクセスユニット(符号化画像データ)において、「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではHDR/2020とされている。
また、PESパケット「video PES2」でコンテナされる各ピクチャのアクセスユニット(符号化画像データ)において、「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping” (図8(b)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、デコード後のHDRをHDR-lowに変換するもので、HDR-low受信機はHDR-lowに変換して表示する。HDR受信機は、このSEIメッセージを無視できる。
また、PMTに、基本ビデオストリーム「video PES1」と、拡張ビデオストリーム「video PES2」に対応したビデオエレメンタリストリームループ(video ES loop)が存在する。ビデオエレメンタリストリームループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video ES1 loop」には、基本ビデオストリーム(video PES1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、基本ビデオストリームを示す“0x24”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、「video ES2 loop」には、拡張ビデオストリーム(video PES2)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このストリームタイプは、拡張ビデオストリームを示す“0x2x”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、例えば、MMTの場合には、図5に示すサービス送信システム100のコンテナエンコーダ104では、第1の符号化ストリームおよび第2の符号化ストリームを含むMMTストリーム(MMT Stream)が生成される。
この際、コンテナエンコーダ104では、MMT・パッケージ・テーブル(MPT:MMT Package Table)の拡張ビデオストリームに対応したビデオアセットループに、上述のMPDファイルと同様にコーデック内部における機能拡張の情報(スケーラブル符号化情報)やコーデック外部における機能拡張の情報(変換情報)を持つ、新規定義するマルチディメンジョン・デスクリプタ(multidimension_descriptor)が挿入される。
図30は、コーデック外部でHDR/Color gamutへの変換を行う場合(上述の第2、第4のレイヤ分解に対応)におけるMMTストリームの構成例を示している。この構成例では、ID1で識別されるビデオストリームのMPUパケット「video MPU1」と、PID2で識別されるビデオストリームのMPUパケット「video MPU2」が存在する。
MPUパケット「video MPU1」のペイロードには、基本レイヤ(Base Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。MPUパケット「video MPU2」のペイロードには、拡張レイヤ(Enhanced Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。
MPUパケット「video MPU1」でコンテナされるアクセスユニット(符号化画像データ)において、「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。
また、MPUパケット「video MPU2」パケットでコンテナされる各ピクチャのアクセスユニット(符号化画像データ)において、「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをSDRからHDRに変換するためのメタデータ“DRCL1_mapping” (図8(a)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、デコード後のSDRをHDRに変換するもので、HDR受信機はHDRに変換して表示する。SDR受信機は、このSEIメッセージを無視できる。
また、MPTに、基本ビデオストリーム「video MPU1」と、拡張ビデオストリーム「video MPU2」に対応したビデオアセットループ(video asset loop)が存在する。ビデオアセットループ(video asset loop)には、ビデオストリームに対応して、アセットタイプ、アセットID等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video asset1 loop」には、基本ビデオストリーム(video MPU1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“0x24”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、「video ES2 loop」には、拡張ビデオストリーム(video MPU2)に対応して、アセットタイプ、アセットID等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“0x2x”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
図31は、コーデック内部でHDR/Color gamutスケーラブルを行う場合(上述の第1、第3、第5のレイヤ分解に対応)におけるMMTストリームの構成例を示している。この構成例では、ID1で識別されるビデオストリームのMPUパケット「video MPU1」と、PID2で識別されるビデオストリームのMPUパケット「video MPU2」が存在する。
MPUパケット「video MPU1」のペイロードには、基本レイヤ(Base Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。MPUパケット「video MPU2」のペイロードには、拡張レイヤ(Enhanced Layer)の各ピクチャのアクセスユニット(符号化画像データ)が含まれる。
MPUパケット「video MPU1」でコンテナされるアクセスユニット(符号化画像データ)において、「SPS」の“VUI”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではSDR/709とされている。また、「VPS」の“VUIext”では基本レイヤのダイナミックレンジ/色域の情報が示され、ここではHDR/2020とされている。
また、MPUパケット「video MPU2」パケットでコンテナされる各ピクチャのアクセスユニット(符号化画像データ)において、「SEI」に、SEIメッセージの一つとして、ダイナミックレンジをHDRからHDR-lowに変換するためのメタデータ“DRCL2_mapping” (図8(b)参照)を含むSEIメッセージが挿入される。このSEIメッセージは、デコード後のSDRをHDRに変換するもので、HDR受信機はHDRに変換して表示する。SDR受信機は、このSEIメッセージを無視できる。
また、MPTに、基本ビデオストリーム「video MPU1」と、拡張ビデオストリーム「video MPU2」に対応したビデオアセットループ(video asset loop)が存在する。ビデオアセットループ(video asset loop)には、ビデオストリームに対応して、アセットタイプ、アセットID等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
「video asset1 loop」には、基本ビデオストリーム(video MPU1)に対応して、ストリームタイプ、パケット識別子(PID)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、基本ビデオストリームを示す“0x24”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、「video ES2 loop」には、拡張ビデオストリーム(video MPU2)に対応して、アセットタイプ、アセットID等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このアセットタイプは、拡張ビデオストリームを示す“0x2x”とされる。また、デスクリプタの一つとして、マルチディメンジョン・デスクリプタ(図26参照)が挿入される。
また、上述実施の形態においては、送信装置100と受信装置200からなる送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、受信装置200の部分が、例えば、(HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックスおよびモニタの構成などであってもよい。なお、「HDMI」は、登録商標である。
また、本技術は、以下のような構成を取ることもできる。
(1)基本レイヤの各ピクチャの画像データを符号化して第1の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第2の符号化ストリームを生成する画像符号化部と、
上記第1の符号化ストリームおよび上記第2の符号化ストリームを送信するストリーム送信部と、
少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を上記符号化ストリームの外側で送信する情報送信部を備える
送信装置。
(2)上記機能拡張情報は、コーデック外部における機能拡張の情報をさらに含む
前記(1)に記載の送信装置。
(3)上記コーデック外部における機能拡張の情報は、ダイナミックレンジおよび色域の変換に関する情報である
前記(2)に記載の送信装置。
(4)上記第2の符号化ストリームに、上記ダイナミックレンジおよび色域の変換情報を挿入する情報挿入部をさらに備える
前記(3)に記載の送信装置。
(5)上記情報送信部は、上記機能拡張情報を、上記第1の符号化ストリームおよび上記第2の符号化ストリームを含むコンテナのレイヤに挿入して送信する
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記コンテナは、MPEG2-TSであり、
上記情報送信部は、上記機能拡張情報を、プログラム・マップ・テーブルに挿入して送信する
前記(5)に記載の送信装置。
(7)上記コンテナは、MMTストリームであり、
上記情報送信部は、上記機能拡張情報を、MMT・パッケージ・テーブルに挿入して送信する
前記(5)に記載の送信装置。
(8)上記情報送信部は、上記機能拡張情報を、上記第1の符号化ストリームおよび上記第2の符号化ストリームに関するメタ情報を持つメタファイルに挿入して送信する
前記(1)から(4)のいずれかに記載の送信装置。
(9)上記メタファイルは、MPDファイルである
前記(8)に記載の送信装置。
(10)画像符号化部が、基本レイヤの各ピクチャの画像データを符号化して第1の符号化ストリームを生成すると共に、拡張レイヤの各ピクチャの画像データを符号化して第2の符号化ストリームを生成する画像符号化ステップと、
ストリーム送信部が、上記第1の符号化ストリームおよび上記第2の符号化ストリームを送信するストリーム送信ステップと、
情報送信部が、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を上記符号化ストリームの外側で送信する情報送信ステップを有する
送信方法。
(11)基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを受信するストリーム受信部と、
上記符号化ストリームの外側で送られてくる、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を受信する情報受信部と、
上記第1の符号化ストリームおよび上記第2の符号化ストリームを上記機能拡張情報に基づいて処理する処理部を備える
受信装置。
(12)上記機能拡張情報は、コーデック外部における機能拡張の情報をさらに含む
前記(11)に記載の受信装置。
(13)上記コーデック外部における機能拡張の情報は、ダイナミックレンジおよび色域の変換に関する情報である
前記(12)に記載の受信装置。
(14)ストリーム受信部が、基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを受信するストリーム受信ステップと、
情報受信部が、上記符号化ストリームの外側で送られてくる、少なくともコーデック内部における機能拡張の情報を含む機能拡張情報を受信する情報受信ステップと、
処理部が、上記第1の符号化ストリームおよび上記第2の符号化ストリームを上記機能拡張情報に基づいて処理する処理ステップを有する
受信方法。
本技術の主な特徴は、コーデック内部における機能拡張の情報(スケーラブル符号化情報)やコーデック外部における機能拡張の情報(変換情報)を符号化ストリームの外側で送信することで、受信側では、コーデック内部やコーデック外部における機能拡張の情報を容易に取得でき、この情報に基づき表示能力に応じて機能拡張処理を適切に行うことを可能としたことである(図20-図24、図26、図28-図31参照)。
10・・・送受信システム
100・・・サービス送信システム
101・・・制御部
102・・・HDR光電変換部
103・・・ビデオエンコーダ
104・・・コンテナエンコーダ
111・・・変換部
112・・・基本レイヤ・エンコーダ
113・・・基本レイヤ・デコーデッドピクチャバッファ
114・・・拡張レイヤ・エンコーダ
115・・・拡張レイヤ・デコーデッドピクチャバッファ
116・・・カラーリマッピングテーブル
117・・・レイヤ間予測回路
121・・・変換部
122・・・アップサンプリングフィルタ
123・・・変換部
124・・・変換部
125・・・階層レイヤ予測回路
200・・・サービス受信機
201・・・制御部
202・・・コンテナデコーダ
203・・・ビデオデコーダ
204・・・コンバータ
205・・・電光変換部
211・・・基本レイヤ・デコーダ
212・・・基本レイヤ・デコーデッドピクチャバッファ
213・・・拡張レイヤ・デコーダ
214・・・拡張レイヤ・デコーデッドピクチャバッファ
215・・・カラーリマッピングテーブル
216・・・レイヤ間予測回路
221・・・アップサンプリングフィルタ
222・・・変換部
223・・・階層レイヤ予測回路
224・・・変換部

Claims (12)

  1. 基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームおよび拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを送信するストリーム送信部と、
    コーデック内部における機能拡張処理のための第1の情報を含む機能拡張情報を上記符号化ストリームの外側で送信する情報送信部を備え、
    上記第1の情報は、上記基本レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報と、上記拡張レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報を含む
    送信装置。
  2. 上記機能拡張情報は、コーデック外部におけるコンバートによる機能拡張処理のための第2の情報をさらに含み、
    上記第2の情報は、コンバート後の画像データのダイナミックレンジおよび色域の情報を含む
    請求項1に記載の送信装置。
  3. 上記第2の符号化ストリームに、上記第2の情報を挿入する情報挿入部をさらに備える
    請求項2に記載の送信装置。
  4. 上記情報送信部は、上記機能拡張情報を、上記第1の符号化ストリームおよび上記第2の符号化ストリームを含むコンテナのレイヤに挿入して送信する
    請求項1に記載の送信装置。
  5. 上記コンテナは、MPEG2-TSであり、
    上記情報送信部は、上記機能拡張情報を、プログラム・マップ・テーブルに挿入して送信する
    請求項4に記載の送信装置。
  6. 上記コンテナは、MMTストリームであり、
    上記情報送信部は、上記機能拡張情報を、MMT・パッケージ・テーブルに挿入して送信する
    請求項4に記載の送信装置。
  7. 上記情報送信部は、上記機能拡張情報を、上記第1の符号化ストリームおよび上記第2の符号化ストリームに関するメタ情報を持つメタファイルに挿入して送信する
    請求項1に記載の送信装置。
  8. 上記メタファイルは、MPDファイルである
    請求項7に記載の送信装置。
  9. 基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームおよび拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを送信するストリーム送信ステップと、
    コーデック内部における機能拡張処理のための第1の情報を含む機能拡張情報を上記符号化ストリームの外側で送信する情報送信ステップを有し、
    上記第1の情報は、上記基本レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報と、上記拡張レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報を含む
    送信方法。
  10. 基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを受信するストリーム受信部と、
    上記符号化ストリームの外側で送られてくる、コーデック内部における機能拡張処理のための第1の情報を含む機能拡張情報を受信する情報受信部を備え、
    上記第1の情報は、上記基本レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報と、上記拡張レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報を含み、
    上記第1の符号化ストリームおよび上記第2の符号化ストリームを上記機能拡張情報に基づいて処理する処理部をさらに備える
    受信装置。
  11. 上記機能拡張情報は、コーデック外部におけるコンバートによる機能拡張処理のための第2の情報をさらに含み、
    上記第2の情報は、コンバート後の画像データのダイナミックレンジおよび色域の情報を含む
    請求項10に記載の受信装置。
  12. 基本レイヤの各ピクチャの画像データを符号化して生成された第1の符号化ストリームと、拡張レイヤの各ピクチャの画像データを符号化して生成された第2の符号化ストリームを受信するストリーム受信ステップと、
    上記符号化ストリームの外側で送られてくる、コーデック内部における機能拡張処理のための第1の情報を含む機能拡張情報を受信する情報受信ステップを有し、
    上記第1の情報は、上記基本レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報と、上記拡張レイヤの各ピクチャの画像データのダイナミックレンジおよび色域の情報を含み、
    上記第1の符号化ストリームおよび上記第2の符号化ストリームを上記機能拡張情報に基づいて処理する処理ステップをさらに有する
    受信方法。
JP2019530557A 2017-07-20 2018-07-18 送信装置、送信方法、受信装置および受信方法 Active JP7232183B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017140592 2017-07-20
JP2017140592 2017-07-20
PCT/JP2018/026828 WO2019017362A1 (ja) 2017-07-20 2018-07-18 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2019017362A1 JPWO2019017362A1 (ja) 2020-05-28
JP7232183B2 true JP7232183B2 (ja) 2023-03-02

Family

ID=65015951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530557A Active JP7232183B2 (ja) 2017-07-20 2018-07-18 送信装置、送信方法、受信装置および受信方法

Country Status (8)

Country Link
US (2) US11245929B2 (ja)
EP (1) EP3657807A1 (ja)
JP (1) JP7232183B2 (ja)
KR (1) KR102538975B1 (ja)
CN (1) CN110915221B (ja)
CA (1) CA3069106A1 (ja)
MX (1) MX2020000449A (ja)
WO (1) WO2019017362A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614156B2 (ja) 2014-11-07 2019-12-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2020050884A1 (en) * 2018-09-04 2020-03-12 Google Llc Temporal prediction shifting for scalable video coding
BR112022026963A2 (pt) 2020-07-01 2023-01-24 Dolby Laboratories Licensing Corp Distribuição de imagens de alta faixa dinâmica em um sistema de reprodução de capacidade mista
CN112040240B (zh) * 2020-11-03 2021-08-27 深圳市大疆创新科技有限公司 数据处理方法、设备和存储介质
US11606605B1 (en) 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015126469A (ja) 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
WO2015118909A1 (ja) 2014-02-07 2015-08-13 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、表示装置および表示方法
JP2016063538A (ja) 2014-09-12 2016-04-25 日本放送協会 送信装置および受信装置
JP2016541140A (ja) 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100511693B1 (ko) * 1997-10-23 2005-09-02 미쓰비시덴키 가부시키가이샤 화상 복호화 장치
JP4733939B2 (ja) * 2004-01-08 2011-07-27 パナソニック株式会社 信号復号化装置及び信号復号化方法
WO2006125850A1 (en) 2005-05-24 2006-11-30 Nokia Corporation Method and apparatuses for hierarchical transmission/reception in digital broadcast
JP2007053554A (ja) * 2005-08-17 2007-03-01 Sony Corp 符号化装置、符号化方法、復号装置、復号方法およびプログラム
US8306827B2 (en) * 2006-03-10 2012-11-06 Panasonic Corporation Coding device and coding method with high layer coding based on lower layer coding results
CN101558652B (zh) * 2006-10-20 2011-08-17 诺基亚公司 用于实现低复杂度多视点视频编码的系统和方法
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
JPWO2011089982A1 (ja) 2010-01-22 2013-05-23 ソニー株式会社 受信装置、送信装置、通信システム、受信装置の制御方法、及びプログラム
KR20140129950A (ko) * 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 다중 안테나를 이용하는 송신, 수신, 및 시스템
KR101967398B1 (ko) 2013-07-09 2019-04-09 노키아 테크놀로지스 오와이 모션 정보를 시그널링하기 위한 구문을 수반하는 비디오 코딩을 위한 방법 및 장치
US20160295220A1 (en) * 2013-11-21 2016-10-06 Lg Electronics Inc. Signal transceiving apparatus and signal transceiving method
JP2015192381A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 画像処理装置及び画像処理方法
JP6330507B2 (ja) 2014-06-19 2018-05-30 ソニー株式会社 画像処理装置及び画像処理方法
JP6466258B2 (ja) * 2014-08-07 2019-02-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 再生装置、再生方法および記録媒体
WO2017043863A1 (ko) * 2015-09-07 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
DE112016004284T5 (de) * 2015-09-23 2018-05-30 Arris Enterprises Llc Signalisierung von High Dynamic Range- und Wide Color Gamut-Inhalt in Transportströmen
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016541140A (ja) 2013-11-13 2016-12-28 エルジー エレクトロニクス インコーポレイティド Hdr放送サービスの提供のための放送信号送受信方法及び装置
JP2015126469A (ja) 2013-12-27 2015-07-06 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム
WO2015118909A1 (ja) 2014-02-07 2015-08-13 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、表示装置および表示方法
JP2016063538A (ja) 2014-09-12 2016-04-25 日本放送協会 送信装置および受信装置

Also Published As

Publication number Publication date
WO2019017362A1 (ja) 2019-01-24
CN110915221B (zh) 2022-06-07
US20220086500A1 (en) 2022-03-17
US11245929B2 (en) 2022-02-08
JPWO2019017362A1 (ja) 2020-05-28
CA3069106A1 (en) 2019-01-24
KR102538975B1 (ko) 2023-06-02
CN110915221A (zh) 2020-03-24
US11736732B2 (en) 2023-08-22
KR20200028335A (ko) 2020-03-16
US20200154143A1 (en) 2020-05-14
MX2020000449A (es) 2020-07-13
EP3657807A4 (en) 2020-05-27
EP3657807A1 (en) 2020-05-27

Similar Documents

Publication Publication Date Title
JP7232183B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11838564B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP2021132398A (ja) 送信方法および送信装置
US11792452B2 (en) Transmission device, transmission method, reception device and reception method
JP7416164B2 (ja) 送信方法、送信装置、受信装置および受信方法
JP7160158B2 (ja) 送信装置および送信方法
US12126848B2 (en) Transmission device, transmission method, reception device and reception method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220901

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230217

R150 Certificate of patent or registration of utility model

Ref document number: 7232183

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150