JPWO2018096925A1 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JPWO2018096925A1
JPWO2018096925A1 JP2018526592A JP2018526592A JPWO2018096925A1 JP WO2018096925 A1 JPWO2018096925 A1 JP WO2018096925A1 JP 2018526592 A JP2018526592 A JP 2018526592A JP 2018526592 A JP2018526592 A JP 2018526592A JP WO2018096925 A1 JPWO2018096925 A1 JP WO2018096925A1
Authority
JP
Japan
Prior art keywords
subtitle
bitmap
data
video
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018526592A
Other languages
English (en)
Other versions
JP7195925B2 (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018096925A1 publication Critical patent/JPWO2018096925A1/ja
Application granted granted Critical
Publication of JP7195925B2 publication Critical patent/JP7195925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H04N21/2358Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages for generating different versions, e.g. for different recipient devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362Generation or processing of Service Information [SI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

サブタイトルのグラフィックスデータをビデオデータに重畳する際の受信側の処理負荷を軽減する。ビデオデータを持つビデオストリームを生成する。サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成する。ビデオストリームとサブタイトルストリームを含むコンテナを送信する。サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ。受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先ビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができる。

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、サブタイトル(字幕)情報をビットマップデータで送信する送信装置等に関する。
従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、サブタイトルのグラフィックスデータをビットマップデータに変換して送信する運用が行われている(例えば、特許文献1参照)。
特開2011−030180号公報
従来、ビデオデータ、サブタイトルのグラフィックスデータが各々別ストリームで伝送される際、色域や輝度について両者間で顕著な違いが存在しなかった。そのため、重畳する際に特別な配慮をせず合成が行われていた。
例えば、ビデオデータの色域が広色域(例えば、ITU-R Rec Bt.2020準拠)で、サブタイトルのグラフィックスデータの色域が狭色域(例えば、sRGB) の場合、ビデオの画品質を高画質に保つには、サブタイトルのグラフィックスデータの色域をビデオデータの色域に合わせてから重畳することが必要になる。
また、例えば、ビデオデータがハイダイナミックレンジ(HDR)で、サブタイトルのグラフィックスデータが標準レベルのダイナミックレンジ(SDR)で制作されたものである場合、ビデオの画品質を高画質に保つには、サブタイトルのグラフィックスデータをビデオデータのダイナミックレンジ領域に適合させてから重畳することが必要になる。
本技術の目的は、サブタイトルのグラフィックスデータをビデオデータに重畳する際の受信側の処理負荷を軽減することにある。
本技術の概念は、
ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ
送信装置にある。
本技術において、ビデオエンコード部により、ビデオデータを持つビデオストリームが生成される。サブタイトルエンコード部により、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームが生成される。送信部により、ビデオストリームとサブタイトルストリームを含むコンテナが送信される。

サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つものとされる。例えば、第1のセグメントは、CLUT・デフィニション・セグメントである、ようにされてもよい。また、例えば、第1のセグメントは、変換情報を異にする複数のビットマップ変換テーブルを有する、ようにされてもよい。
このように本技術においては、サブタイトルストリームは色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つものである。そのため、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先ビデオデータ(例えば、表示用ビデオデータ)の特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することが可能となる。
なお、本技術において、例えば、サブタイトルストリームは、サブタイトルストリームは、ビットマップ変換テーブルの適合情報を有する第2のセグメントをさらに持つ、ようにされてもよい。この場合、例えば、適合情報は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよび重畳先ビデオデータの特性の情報、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である、ようにされてもよい。
また、この場合、例えば、第2のセグメントは、レンダリング・ガイド・セグメントであるか、ディスプレイ・デフィニション・セグメントである、ようにされてもよい。また、この場合、例えば、第1のセグメントが有するビットマップ変換テーブルと該ビットマップ変換テーブルが対応する上記第2のセグメントが有する特性の情報はそれぞれに同一の識別情報が付加されて関連付けされている、ようにされてもよい。
このようにサブタイトルストリームが第1のセグメントが有するビットマップ変換テーブルの適合情報を有する第2のセグメントをさらに持つことで、受信側では、例えば、複数のビットマップ変換テーブルから用いるべきビットマップ変換テーブルを容易かつ適切に選択することが可能となる。
また、本技術において、例えば、第1のセグメントは、ビットマップ変換テーブルの適合情報をさらに有する、ようにされてもよい。この場合、例えば、適合情報は、ビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である、ようにされてもよい。
また、本技術の他の概念は、
ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナを受信する受信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っており、
上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ビデオデータに基づいて得られた重畳先ビデオデータに重畳する処理を制御する制御部をさらに備える
受信装置にある。
本技術において、受信部により、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナが受信される。サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っている。
ビデオストリームをデコードしてビデオデータを得る処理と、サブタイトルストリームをデコードしてビットマップデータとビットマップ変換テーブルを得る処理が行われる。ビットマップデータをビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、このサブタイトルのグラフィックスデータをビデオデータに基づいて得られた表示用ビデオデータ(例えば、表示用ビデオデータ)に重畳する処理が行われる。
例えば、第1のセグメントは、変換情報を異にする複数のビットマップ変換テーブルを有しており、複数のビットマップ変換テーブルは、サブタイトルのグラフィックスデータの互いに異なる複数の特性に対応しているか、サブタイトルのグラフィックスデータおよびビデオデータの互いに異なる複数の特性に対応しており、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、複数のビットマップ変換テーブルのうちビットマップデータへの変換前のサブタイトルのグラフィックスデータおよび表示用ビデオデータの特性に適合したビットマップ変換テーブルを選択的に用いる、ようにされてもよい。
このように本技術においては、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、サブタイトルストリームが持つ第1のセグメントが有する色域および/または輝度の変換情報を含めたビットマップ変換テーブルを用いるものである。そのため、重畳先ビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、処理負荷を軽減することが可能となる。
なお、本技術において、例えば、サブタイトルストリームは、複数のビットマップ変換テーブルのそれぞれが対応する特性の情報を有する第2のセグメントをさらに持っており、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、第2のセグメントが有する複数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて、重畳先ビデオデータの特性に適合したビットマップ変換テーブルを選択する、ようにされてもよい。これにより、複数のビットマップ変換テーブルから用いるべきビットマップ変換テーブルを容易かつ適切に選択することが可能となる。
また、本技術において、例えば、第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、制御部は、ビットマップ変化テーブルで変換されて得られたサブタイトルのグラフィックスデータの特性が重畳先ビデオデータに合わないときは、この特性を合わせるポスト処理をさらに制御する、ようにされてもよい。これにより、重畳先ビデオデータに、それに合った特性のサブタイトルのグラフィックスデータを重畳することが可能となる。
また、本技術において、例えば、第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、制御部は、送信側と共有する上記1つのビットマップ変換テーブルの適合特性の情報を保持する、ようにされてもよい。これにより。制御部は、ビットマップ変換テーブルで変換されて得られたサブタイトルのグラフィックスデータの特性を容易に認識し得る。
本技術によれば、サブタイトルのグラフィックスデータをビデオデータに重畳する際の受信側の処理負荷を軽減することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 ビットマップ変換テーブルにおけるビットマップデータからサブタイトルのグラフィックスデータ(Y/CbCr)への変換以外の他の変換対象例を示す図である。 CLUT伝送ループにビデオ情報を入れる場合におけるビットマップ変換テーブル情報を説明するための図である。 受信側で必要となる変換機能(ビットマップ変換テーブルが持つ変換機能)の詳細を説明するための図である。 SDRからHDRへの輝度レベル変換を説明するための図である。 HDRからSDRへの輝度レベル変換を説明するための図である。 CLUT伝送ループにビデオ情報を入れない場合におけるビットマップ変換テーブル情報を説明するための図である。 CLUT・デフィニション・セグメント(CDS)の構造例を示す図(1/2)である。 CLUT・デフィニション・セグメント(CDS)の構造例を示す図(2/2)である。 CLUT・デフィニション・セグメント(CDS)の構造例における主要な情報の内容を示す図である。 CLUT伝送ループにビデオ情報を入れる場合におけるレンダリング・ガイド・セグメント(RGS)の構造例を示す図である。 CLUT伝送ループにビデオ情報を入れない場合におけるレンダリング・ガイド・セグメント(RGS)の構造例を示す図である。 レンダリング・ガイド・セグメント(RGS)の構造例における主要な情報の内容を示す図である。 CLUT伝送ループにビデオ情報を入れる場合におけるビットマップ変換テーブルのバリエーションを示す図である。 CLUT伝送ループにビデオ情報を入れない場合におけるビットマップ変換テーブルのバリエーションを示す図である。 トランスポートストリームの構成例を示す図である。 受信装置の構成例を示すブロック図である。 CLUT伝送ループにビデオ情報を入れる場合におけるビットマップ変換テーブルの選択例を示す図である。 CLUT伝送ループにビデオ情報を入れない場合におけるビットマップ変換テーブルの選択例を示す図である。 SDRレンジでサブタイトル表示を行う場合とHDRレンジでサブタイトル表示を行う場合におけるビット幅の使用範囲を説明するための図である。 CLUT伝送ループにビデオ情報を入れる場合における処理フローの一例を示す図である。 CLUT伝送ループにビデオ情報を入れない場合における処理フローの一例を示す図である。 サブタイトル伝送に含まれるビットマップ変換テーブル(CLUT)のバリエーションを示す図である。 受信装置の他の構成例を示すブロック図である。 制御部の制御のもとに行われるマッピング部、変換部、ポスト処理部などの処理フローの一例を示す図である。 ディスプレイ・ディフィニション・セグメント(DDS)の構造例を示す図である。 ディスプレイ・ディフィニション・セグメント(DDS)の構造例における主要な情報の内容を示す図である。 トランスポートストリームの構成例を示す図である。 CLUT・デフィニション・セグメント(CDS)の構造例を示す図(1/2)である。 CLUT・デフィニション・セグメント(CDS)の構造例を示す図(2/2)である。 トランスポートストリームの構成例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、ビデオデータ(画像データ)を持つビデオストリームが含まれる。
また、このトランスポートストリームTSには、サブタイトルデータ(字幕データ)としてサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームが含まれる。このサブタイトルストリームは、色域および/または輝度、この実施の形態では双方の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つものとされる。この実施の形態において、第1のセグメントはCLUT・デフィニション・セグメントであり、この第1のセグメントは、1つ以上のビットマップ変換テーブルを有するものとされる。
これにより、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先ビデオデータ(例えば、表示用ビデオデータ)の特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することが可能となる。
また、サブタイトルストリームは、ビットマップ変換テーブルの適合情報を有する第2のセグメントをさらに持つものとされる。この適合情報は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよび重畳先ビデオデータの特性の情報、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である。この実施の形態において、例えば、第2のセグメントは、新規定義するレンダリング・ガイド・セグメントとされる。
この場合、第1のセグメントが有するビットマップ変換テーブルとこのビットマップ変換テーブルが対応する第2のセグメントが有する特性の情報はそれぞれに同一の識別情報が付加されて関連付けされている。これにより、受信側では、所定数のビットマップ変換テーブルから用いるべきビットマップ変換テーブルを容易かつ適切に選択することが可能となる。
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを受信する。受信装置200は、ビデオストリームをデコードしてビデオデータを得る。また、受信装置200は、サブタイトルストリームをデコードして、ビットマップデータと、第1のセグメントが有するビットマップ変換テーブルを得、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換する。
この場合、変換情報を有する複数のビットマップ変換テーブルを有する場合、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、複数のビットマップ変換テーブルのうち重畳先ビデオデータの特性に適合したビットマップ変換テーブルが選択的に用いられる。この場合、第2のセグメントが有する複数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて、重畳先ビデオデータの特性に適合したビットマップ変換テーブルが選択される。
受信装置200は、ビットマップデータを変換して得られたサブタイトルのグラフィックスデータを重畳先ビデオデータ(例えば、表示用ビデオデータ)に重畳する。この場合、重畳先ビデオデータとしては、送信側から送られてきたビデオデータそのものだけでなく、それに必要に応じて色域やダイナミックレンジの変換処理を施して得られたビデオデータも考えられる。このようにサブタイトルのグラフィックスデータが重畳されたビデオデータにより、モニタには、サブタイトル付きの画像表示が行われる。
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、ビデオエンコーダ102と、変換部103と、サブタイトルエンコーダ104と、システムエンコーダ105と、送信部106を有している。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。ビデオエンコーダ102は、ビデオデータに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施し、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSを生成する。
ここで、ビデオデータは、SDR(Standard Dynamic Range)あるいはHDR(High Dynamic Range)のデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。ビデオエンコーダ102は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、ビデオデータの特性情報、つまり色域やダイナミックレンジ情報などのメタ情報を挿入する。
変換部103は、サブタイトルのグラフィックスデータをビットマップデータに変換する。ここで、サブタイトルのグラフィックスデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。変換部103は、ビットマップデータと共に、受信側で必要と想定されるHDRあるいはSDRのレベルを参照することによって、1つまたは2つ以上のビットマップ変換テーブルの情報を出力する。
ここで、ビットマップ変換テーブルは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルである。すなわち、このビットマップ変換テーブルは、ビットマップデータを単にサブタイトルのグラフィックスデータに変換するためのものではなく、重畳先ビデオデータ(例えば、表示用ビデオデータ)の色域やダイナミックレンジに合うように、色域や輝度をも併せて変換するものである。
図3は、ビットマップ変換テーブルにおける、ビットマップデータからサブタイトルのグラフィックスデータ(YCbCr)への変換以外の他の変換対象の例を示している。ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであり、重畳先ビデオデータがSDRである場合は、色域が他の変換対象となり得る。例えば、サブタイトルのグラフィックスデータの色域がBT.709で、重畳先ビデオデータの色域がBT.2020のときには、色域が変換対象となる。
また、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであり、重畳先ビデオデータがHDRである場合は、色域と輝度が変換対象となり得る。また、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであり、重畳先ビデオデータがSDRである場合は、色域と輝度が変換対象となり得る。なお、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであり、重畳先ビデオデータがHDRである場合は、色域もダイナミックレンジも共通であるので、変換対象になり得るものはない。
この実施の形態において、変換部103は、ビットマップ変換テーブル情報を出力する。このビットマップ変換テーブル情報としては、(A)CLUT伝送ループにビデオ情報を入れる場合と、(B)CLUT伝送ループにビデオ情報を入れない場合が考えられる。以下、(A)、(B)のそれぞれの場合について説明する。
最初に、(A)CLUT伝送ループにビデオ情報を入れる場合について説明する、変換部103は、例えば、図4の(1)から(5)の各場合に用いられるビットマップ変換テーブルの情報を出力する。なお、実際には、全てのビットマップ変換テーブルの情報ではなく、ビットマップデータへの変換前の、つまりサブタイトルを制作した状態におけるサブタイトルのグラフィックスデータの色域、ダイナミックレンジに対応したビットマップ変換テーブルのみの情報を出力する。
(1)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、重畳先ビデオデータがSDRである場合(色域が同じ場合)である。(2)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、重畳先ビデオデータがSDRである場合(色域が異なる場合)である。
(3)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、重畳先ビデオデータがHDRである場合である。(4)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであって、重畳先ビデオデータがSDRである場合である。(5)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであって、重畳先ビデオデータがHDRである場合である。
(1)から(5)の各場合における、必要とされる変換機能、従ってビットマップ変換テーブルが持つ変換機能の詳細を、図5を参照して、説明する。受信側に最大で必要となる変換機能は、以下の第1から第7の変換機能である。これらの変換機能における処理は、基本的に、ピクセル毎に独立した処理となる。
第1の変換機能301は、ビットマップデータをサブタイトルのグラフィックスデータに変換する機能である。第2の変換機能302は、ビットマップデータから変換されたサブタイトルのグラフィックスデータのドメインをYCbCrからRGB1に変換する機能である。第3の変換機能303は、ビットマップデータから変換されたサブタイトルのグラフィックスデータを輝度リニア空間にするために電光変換特性を適用して電光変換をする機能である。
第4の変換機能304は、ビットマップデータから変換されたサブタイトルのグラフィックスデータと重畳先ビデオデータのダイナミックレンジが異なることによる不都合を解消するために輝度レベルを変換する機能である。第5の変換機能305は、ビットマップデータから変換されたサブタイトルのグラフィックスデータの色域を重畳先ビデオデータの色域に合わせるための色域変換(RGB1→RGB2)をする機能である。
第6の変換機能306は、輝度リニア空間にあるサブタイトルのグラフィックスデータに、重畳先ビデオデータが持つ光電変換特性と同じ光電変換特性を適用して光電変換をする機能である。第7の変換機能307は、サブタイトルのグラフィックスデータのドメインをRGB2からYCbCrに変換する機能である。
(1)の場合、第1の変換機能301のみが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換され、このグラフィックスデータがそのまま出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータのいずれもSDRで、かつ色域も同じであることから、第2の変換機能302から第7の変換機能307は、バイパスされる。この変換処理は、今までのレガシーの放送で行われている処理と全く同じである。
(2)の場合、第1の変換機能301、第2の変換機能302、第5の変換機能305および第7の変換機能307が必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータの色域は、第5の変換機能305により、重畳先ビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.709の色域が、重畳先ビデオデータの色域であるBT.2020に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータのいずれもSDRであることから、第3の変換機能303、第4の変換機能304および第6の変換機能306は、バイパスされる。
(3)の場合、第1の変換機能301から第7の変換機能307の全てが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータは、第3の変換機能303により、SDR電光変換特性を適用して電光変換されて、輝度リニア空間とされる。輝度リニア空間とされたサブタイトルのグラフィックスデータは、第4の変換機能304により、輝度レベル変換される。この場合、所定のSDR輝度レベルがHDRのマッピング基準レベルとなるように変換される。
図6は、この輝度レベル変換の様子を示している。この図6において、実線aは、SDR変換カーブを示している。実線bは、HDR変換カーブを示している。破線cは、HDR変換カーブにマッピングされたSDRデータの範囲を示している。
この場合、SDRのサブタイトルのグラフィックスデータの輝度値“m”が、HDRのビデオデータの輝度値“m”と一致するマッピング基準値として扱われる。SDRのサブタイトルのグラフィックスデータの輝度値“m”を表す符号化コード値をQ%とし、HDRのビデオデータの輝度値“m”を表す符号化コード値をP%とすると、Q%を表すデジタルコードがP%を示すデジタルコードと一致するように、SDRのサブタイトルのグラフィックスデータが変換される。
このようにすることにより、SDRのサブタイトルのグラフィックスデータの[0・・a]は、HDRのビデオデータの[0・・a´]の範囲となる。これにより、サブタイトルの輝度が明るくなりすぎることなどが防止される。なお、図においては、SDR,HDR共に、符号化ビット空間をNで同一としている。また、0<P≦100、0<Q≦100である。
上述したように第4の変換機能304で輝度レベル変換されたサブタイトルのグラフィックスデータは、第5の変換機能305により、重畳先ビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.709の色域が、重畳先ビデオデータの色域であるBT.2020に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第6の変換機能306により、HDR光電変換特性が適用されて光電変換される。これにより、サブタイトルのグラフィックスデータは、重畳先ビデオデータと同じく、HDR光電変換特性を持つものとなる。このサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。
(4)の場合、上述の(3)の場合と同様に、第1の変換機能301から第7の変換機能307の全てが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータは、第3の変換機能303により、HDR電光変換特性を適用して電光変換されて、輝度リニア空間とされる。輝度リニア空間とされたサブタイトルのグラフィックスデータは、第4の変換機能304により、輝度レベル変換される。この場合、所定のHDR輝度レベルがSDRのマッピング基準レベルとなるように変換される。
図7は、この輝度レベル変換の様子を示している。この図7において、実線aは、SDR変換カーブを示している。実線bは、HDR変換カーブを示している。破線cは、HDR変換カーブをSDRにマッピングすることを目的にする変換カーブを示している。
この場合、HDRのサブタイトルのグラフィックスデータの輝度値“m”が、SDRのビデオデータの輝度値“m”と一致するマッピング基準値として扱われる。HDRのサブタイトルのグラフィックスデータの輝度値“m”を表す符号化コード値をP%とし、SDRのビデオデータの輝度値“m”を表す符号化コード値をQ%とすると、P%を表すデジタルコードがQ%を示すデジタルコードと一致するように、HDRのサブタイトルのグラフィックスデータが、破線cのようなトーンマップ(tone-map)特性を持つ変換カーブで変換される。
このようにすることにより、HDRのサブタイトルのグラフィックスデータの[0・・b]は[0・・a´]になり、クリッピングすること無しにSDRのビデオデータの[0・・a]の範囲に収まる。なお、図においては、SDR,HDR共に、符号化ビット空間をNで同一としている。また、0<P≦100、0<Q≦100である。
上述したように第4の変換機能304で輝度レベル変換されたサブタイトルのグラフィックスデータは、第5の変換機能305により、重畳先ビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.2020の色域が、重畳先ビデオデータの色域であるBT.709に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第6の変換機能306により、SDR光電変換特性が適用されて光電変換される。これにより、サブタイトルのグラフィックスデータは、重畳先ビデオデータと同じく、SDR光電変換特性を持つものとなる。このサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。
(5)の場合、第1の変換機能301のみが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換され、このグラフィックスデータがそのまま出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータのいずれもHDRで、かつ色域も同じであることから、第2の変換機能302から第7の変換機能307は、バイパスされる。
なお、図示の例では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータのHDR特性が同一の場合を示している。双方のデータのHDR特性が異なる場合には、(3)、(4)の場合と同様に、輝度レベルの変換も必要となる。双方のデータのHDR特性が異なる場合とは、例えば、サブタイトルのグラフィックスデータのHDR特性がPQ、ビデオデータのHDR特性がHLGの場合などである。
次に、(B)CLUT伝送ループにビデオ情報を入れない場合について説明する。変換部103は、例えば、図8の(1)から(3)の各場合に用いられるビットマップ変換テーブルの情報を出力する。(1)の場合は、サブタイトルを表示する際のビットマップデータから変換後のサブタイトルのグラフィックスデータがSDRであって色域が狭い(例えば、BT.709)場合である。
(2)の場合は、サブタイトルを表示する際のビットマップデータから変換後のサブタイトルのグラフィックスデータがSDRであって色域が広い(例えば、BT.2020)場合である。(3)の場合は、サブタイトルを表示する際のビットマップデータから変換後のサブタイトルのグラフィックスデータがHDRである場合である。
図2に戻って、サブタイトルエンコーダ104は、変換部103から出力されたビットマップデータと表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。種々のセグメントには、従来周知のDDS、PCS、RCS、CDS、ODS、EDSなどのセグメントの他に、新規定義するレンダリング・ガイド・セグメント(RGS: rendering_guide_segment)も含まれる。なお、本技術においては、後述するが、CDSの定義拡張をする。
CLUT・デフィニション・セグメント(CDS: CLUT_definition_segment)には、変換部103から出力される所定数のビットマップ変換テーブルの情報が含まれる。また、レンダリング・ガイド・セグメントには、その所定数のビットマップ変換テーブルのそれぞれが対応する、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータの特性情報((A)CLUT伝送ループにビデオ情報を入れる場合)、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータのみの特性情報((B)CLUT伝送ループにビデオ情報を入れない場合)が含まれる。
本技術において、CLUT・デフィニション・セグメントは第1のセグメントを構成し、レンダリング・ガイド・セグメントは第2のセグメントを構成する。CLUT・デフィニション・セグメントが有するビットマップ変換テーブルと、このビットマップ変換テーブルが対応するレンダリング・ガイド・セグメントが有する特性情報は、それぞれに同一の識別情報「CLUT_id」が付加されることで関連付けされる。
図9、図10は、CLUT・デフィニション・セグメント(CDS)の構造例(Syntax)を示し、図11は、その構造例における主要な情報の内容(Semantics)を示している。「CLUT_id」の8ビットフィールドは、個々のCLUT(ビットマップ変換テーブル)の識別情報(ID)を示す。新規定義する「output_range_type」の2ビットフィールドは、出力グラフィックスデータであるY,Cr,Cb,Tの各要素のビット深度(bit depth)を示す。
“0”は、Y,Cr,Cb,Tの各要素のビット深度を6:4:4:2とすることを示す。また、“1”は、Y,Cr,Cb,Tの各要素のビット深度を8:8:8:8とすることを示す。“2”は、Y,Cr,Cb,Tの各要素のビット深度を10:10:10:10とすることを示す。“3”は、Y,Cr,Cb,Tの各要素のビット深度を12:12:12:12とすることを示す。なお、“2”、“3”のビット深度は従来のCLUTには存在しなかったもので、重畳するビデオのビット深度に対応するよう準備するためのものである。
図12、図13は、レンダリング・ガイド・セグメント(RGS)の構造例(Syntax)を示し、図14は、その構造例における主要な情報の内容(Semantics)を示している。ここで、図12は、(A)CLUT伝送ループにビデオ情報を入れる場合におけるレンダリング・ガイド・セグメントの構造例を示し、図13は、(B)CLUT伝送ループにビデオ情報を入れない場合におけるレンダリング・ガイド・セグメントの構造例を示している。
図12に示すレンダリング・ガイド・セグメント(RGS)の構造例を説明する。「number_of_rendering_option_sets」の8ビットフィールドは、CLUT(ビットマップ変換テーブル)の情報の数を示す。そして、この数だけ、「CLUT_id」、「subtitle_color_gamut_information」、「subtitle_dynamic_range_information」、「video_color_gamut_information」、「video_dynamic_range_information」の各フィールドが繰り返し存在する。なお、CLUTを複数伝送する場合は、そのコンテナセグメントであるCDSを複数個、サブタイトルストリーム(サブタイトル符号化ストリーム)に挿入する。
「CLUT_id」の8ビットフィールドは、個々のCLUT(ビットマップ変換テーブル)の識別情報(ID)を示す。「subtitle_color_gamut_information」の8ビットフィールドは、ビットマップデータへの変換前、つまり制作した状態でのサブタイトルのグラフィックスデータの色域を示し、値の意味はHEVC規格の“color_primaries”と同様である。「subtitle_dynamic_range_information」の8ビットフィールドは、ビットマップデータへの変換前、つまり制作した状態でのサブタイトルのグラフィックスデータのダイナミックレンジのタイプを示し、値の意味はHEVC規格の“transfer_characterrstics”と同様である。
「video_color_gamut_information」の8ビットフィールドは、重畳先ビデオデータの色域を示し、値の意味はHEVC規格の“color_primaries”と同様である。「video_dynamic_range_information」の8ビットフィールドは、重畳先ビデオデータのダイナミックレンジのタイプを示し、値の意味はHEVC規格の“transfer_characterrstics”と同様である。
次に、図13に示すレンダリング・ガイド・セグメント(RGS)の構造例を説明する。「number_of_rendering_option_sets」の8ビットフィールドは、CLUT(ビットマップ変換テーブル)の情報の数を示す。そして、この数だけ、「CLUT_id」、「subtitle_color_gamut_information」、「subtitle_dynamic_range_information」の各フィールドが繰り返し存在する。なお、CLUTを複数伝送する場合は、そのコンテナセグメントであるCDSを複数個、サブタイトルストリーム(サブタイトル符号化ストリーム)に挿入する。
「CLUT_id」の8ビットフィールドは、個々のCLUT(ビットマップ変換テーブル)の識別情報(ID)を示す。「subtitle_color_gamut_information」の8ビットフィールドは、ビットマップデータから変換後のサブタイトルのグラフィックスデータの色域を示し、値の意味はHEVC規格の“color_primaries”と同様である。「subtitle_dynamic_range_information」の8ビットフィールドは、ビットマップデータから変換後のサブタイトルのグラフィックスデータのダイナミックレンジのタイプを示し、値の意味はHEVC規格の“transfer_characterrstics”と同様である。
図15は、(A)CLUT伝送ループにビデオ情報を入れる場合におけるビットマップ変換テーブルのバリエーションを示している。図示の例においては、「CLUT_id」が“1”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」、「video_dynamic_range_information」、「video_color_gamut_information」)がそれぞれ(SDR,BT.709,SDR,BT.709)である場合に適合するものであることが示されている。
また、「CLUT_id」が“2”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」、「video_dynamic_range_information」、「video_color_gamut_information」)がそれぞれ(SDR,BT.709,SDR,BT.2020)である場合に適合するものであることが示されている。また、「CLUT_id」が“3”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」、「video_dynamic_range_information」、「video_color_gamut_information」)がそれぞれ(SDR,BT.709,HDR,BT.2020)である場合に適合するものであることが示されている.
また、「CLUT_id」が“4”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」、「video_dynamic_range_information」、「video_color_gamut_information」)がそれぞれ(HDR,BT.2020,SDR,BT.2020)である場合に適合するものであることが示されている。また、「CLUT_id」が“5”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」、「video_dynamic_range_information」、「video_color_gamut_information」)がそれぞれ(HDR,BT.2020,HDR,BT.2020)である場合に適合するものであることが示されている.
図16は、(B)CLUT伝送ループにビデオ情報を入れない場合におけるビットマップ変換テーブルのバリエーションを示している。図示の例においては、「CLUT_id」が“1”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」)がそれぞれ(SDR,BT.709)である場合に適合するものであることが示されている。
また、「CLUT_id」が“2”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」)がそれぞれ(SDR,BT.2020)である場合に適合するものであることが示されている。また、「CLUT_id」が“3”であるビットマップ変換テーブル(CLUT)は、(「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」)がそれぞれ(HDR,BT.2020)である場合に適合するものであることが示されている。
図2に戻って、システムエンコーダ105は、ビデオエンコーダ102で生成されたビデオストリームVSと、サブタイトルエンコーダ104で生成されたサブタイトルストリームSSを含むトランスポートストリームTSを生成する。送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
「トランスポートストリームTSの構成例」
図17は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
PESパケットは、PESヘッダ(PES header)とPESペイロード(PES payload)からなっている。ビデオストリームのPESパケットにおいて、PESペイロードにはビデオ符号化ストリームが挿入されている。アクセスユニットのSPS NALユニットのVUIの領域に、伝送ビデオデータの色域識別情報(color_primaries)、ダイナミックレンジ情報(transfer_characteristics)が挿入されている。また、サブタイトルストリームのPESパケットには、従来周知のDDS、PCS、RCS、CDS、ODS、EDSなどのセグメントの他に、上述した新規定義するレンダリング・ガイド・セグメント(RGS)が挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)が存在する。ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
サブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)には、サブタイトルストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、PID情報はサブタイトルストリームのPESパケット「Subtitle PES2」に付与されるPID2を示すものとされる。
EIT配下にコンポーネントデスクリプタ(component_descriptor)が存在する。このコンポーネントデスクリプタの「Stream_content」は対象がサブタイトル(subtitle)であることを示し、「component_type」は、UHD向けであることを示す。一方、PMT配下のサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)に、サブタイトルデスクリプタ(Subtitle_descriptor)やストリーム・アイデンチファイヤ・デスクリプタ(Stream_identifier_descriptor)が存在する。サブタイトルデスクリプタの「Subtitling_type」は、コンポーネントデスクリプタの「component_type」と同じに設定され、UHD向けであることを示す。そして、ストリーム・アイデンチファイヤ・デスクリプタの「component_tag」により、コンポーネントデスクリプタと結び付く構造になっている。
図2に示す送信装置100の動作を簡単に説明する。ビデオデータは、ビデオエンコーダ102に供給される。このビデオデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。
ビデオエンコーダ102では、このビデオデータに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化が施されて、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSが生成される。このとき、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer_function)、ビデオデータの色域を示す情報(color_primaries)などのメタ情報が挿入される。
また、サブタイトルのグラフィックスデータは、変換部103に供給される。このサブタイトルのグラフィックスデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。変換部103では、サブタイトルのグラフィックスデータがビットマップデータに変換される。この変換部103からは、ビットマップデータと共に、受信側で必要とされると想定される1つまたは2つ以上のビットマップ変換テーブルの情報が出力される。
ここで、ビットマップ変換テーブルは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルである。すなわち、このビットマップ変換テーブルは、ビットマップデータを単にサブタイトルのグラフィックスデータに変換するためのものではなく、重畳先のビデオデータである重畳先ビデオデータに適合するように、色域や輝度をも併せて変換するものである。
変換部103から出力されるビットマップ変換テーブル情報には、(A)CLUT伝送ループにビデオ情報を入れる場合と、(B)CLUT伝送ループにビデオ情報を入れない場合の2種類が考えられ、いずれかのビットマップ変換テーブル情報とされる。
変換部103から出力されるビットマップデータおよびビットマップ変換テーブル情報は、サブタイトルエンコーダ104に供給される。サブタイトルエンコーダ104では、ビットマップデータと表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSが生成される。
種々のセグメントには、従来周知のDDS、PCS、RCS、CDS、ODS、EDSなどのセグメントの他に、新規定義するレンダリング・ガイド・セグメントも含まれる。CLUT・デフィニション・セグメント(CDS)には、変換部103から出力される所定数のビットマップ変換テーブルの情報が含まれる(図9、図10参照)。
また、レンダリング・ガイド・セグメントには、その所定数のビットマップ変換テーブルのそれぞれが対応する、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータの特性情報((A)CLUT伝送ループにビデオ情報を入れる場合)、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータのみの特性情報((B)CLUT伝送ループにビデオ情報を入れない場合)が含まれる(図12、図13参照)。
ビデオエンコーダ102で生成されたビデオストリームVSは、システムエンコーダ105に供給される。サブタイトルエンコーダ104で生成されたサブタイトルストリームSSは、システムエンコーダ105に供給される。システムエンコーダ105では、ビデオストリームVSとサブタイトルストリームSSを含むトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成例」
図18は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、マッピング部205と、サブタイトルデコーダ206と、変換部207と、ビデオ重畳部208を有している。また、この受信装置200は、YCbCr/RGB変換部211と、電光変換部212と、CEモニタ213を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから、ビデオストリームVSとサブタイトルストリームSSを抽出する。
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSをデコードして、ビデオデータを得る。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。マッピング部205は、CEモニタ213で表示可能となるように、ビデオデコーダ204で得られたビデオデータに、必要に応じて、色域やダイナミックレンジの変換処理を施して、表示用ビデオデータを得る。
サブタイトルデコーダ206は、システムデコーダ203で抽出されるサブタイトルストリームSSをデコードして、ビットマップデータと、所定数、つまり1つまたは2つ以上のビットマップ変換テーブル情報を得る。ここで、所定数のビットマップ変換テーブル情報は、上述のCLUT・デフィニション・セグメント(図9、図10参照)から得られる。
また、このとき、上述のレンダリング・ガイド・セグメント(図12、図13参照)から、その所定数のビットマップ変換テーブルのそれぞれが対応する特性の情報が抽出され、制御部201に送られる。この場合、(A)CLUT伝送ループにビデオ情報を入れる場合には、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータの特性情報が抽出される。一方、(B)CLUT伝送ループにビデオ情報を入れない場合には、ビットマップデータから変換後のサブタイトルのグラフィックスデータのみの特性情報が抽出される。
変換部207は、制御部201の制御の下、所定数のビットマップ変換テーブルのうち適合するビットマップ変換テーブルを用いて、ビットマップデータをサブタイトルのグラフィックスデータに変換する。この場合、制御部201は、用いるべきビットマップ変換テーブルを、上述したように、レンダリング・ガイド・セグメントから抽出される、当該所定数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて選択する。
ここで、制御部201は、(A)CLUT伝送ループにビデオ情報を入れる場合には、「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」で示されるダイナミックレンジ、色域がビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジ、色域と一致し、かつ「video_dynamic_range_information」、「video_color_gamut_information」で示されるダイナミックレンジ、色域が表示用ビデオデータ(重畳先ビデオデータ)のダイナミックレンジ、色域と一致するビットマップ変換テーブルを選択する。
図19は、この場合におけるビットマップ変換テーブルの選択例を示している。なお、CLUT1〜CLUT5は、それぞれ、図15において「CLUT_id」が“1”〜“5”で識別されるビットマップ変換テーブルであるとする。なお、サブタイトルのグラフィックスデータがSDR/709である場合には、CLUT1〜CLUT5のうち、CLUT1〜CLUT3のみが送られてくる。
例えば、サブタイトルのグラフィックスデータがSDR/709、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがHDR/2020の場合(ディスプレイ(CEモニタ213)がHDR/2020に対応している)には、CLUT3を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(b)に示すように、HDRレンジでサブタイトル表示を行うものであり、ビット幅全体の範囲に対して制限された範囲で使用される。
また、例えば、サブタイトルのグラフィックスデータがSDR/709、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがSDR/2020の場合(ディスプレイ(CEモニタ213)がSDR/2020に対応している)には、CLUT2を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(a)に示すように、SDRレンジでサブタイトル表示を行うものであり、ビット幅全体の範囲でフルに使用される。
また、例えば、サブタイトルのグラフィックスデータがSDR/709、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがSDR/709の場合(ディスプレイ(CEモニタ213)がSDR/709に対応している)には、CLUT1を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(a)に示すように、SDRレンジでサブタイトル表示を行うものであり、ビット幅全体の範囲でフルに使用される。
一方、制御部201は、(B)CLUT伝送ループにビデオ情報を入れない場合には、「subtitle_dynamic_range_information」、「subtitle_color_gamut_information」で示されるダイナミックレンジ、色域が表示用ビデオデータ(重畳先ビデオデータ)のダイナミックレンジ、色域と一致するビットマップ変換テーブルを選択する。
図20は、この場合におけるビットマップ変換テーブルの選択例を示している。なお、CLUT1〜CLUT3は、それぞれ、図16において「CLUT_id」が“1”〜“3”で識別されるビットマップ変換テーブルであるとする。
例えば、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがHDR/2020の場合(ディスプレイ(CEモニタ213)がHDR/2020に対応している)には、CLUT3を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(b)に示すように、HDRレンジでサブタイトル表示を行うものであり、ビットマップデータは、CLUT出力のビット幅全体の範囲に対して制限された範囲に変換される。
また、例えば、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがSDR/2020の場合(ディスプレイ(CEモニタ213)がSDR/2020に対応している)には、CLUT2を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(a)に示すように、SDRレンジでサブタイトル表示を行うものであり、ビットマップデータは、CLUT出力のビット幅全体の範囲に変換される。
また、例えば、ビデオデコーダ204から出力されるビデオデータがHDR/2020の場合であり、また、マッピング部205から出力される重畳先ビデオデータがSDR/709の場合(ディスプレイ(CEモニタ213)がSDR/709に対応している)には、CLUT1を選択する。この場合、変換部207から出力されるサブタイトルのグラフィックスデータは、図21(a)に示すように、SDRレンジでサブタイトル表示を行うものであり、CLUT出力のビット幅全体の範囲に変換される。
図18に戻って、ビデオ重畳部208は、マッピング部205から出力された表示用ビデオデータ(重畳先ビデオデータ)に、変換部207から出力されたサブタイトルのグラフィックスデータを重畳する。
図22は、(A)CLUT伝送ループにビデオ情報を入れる場合における、制御部201の制御のもとに行われるマッピング部205、変換部207などの処理フローの一例を示している。ステップST1において、処理が開始される。次に、ステップST2において、ディスプレイ(CEモニタ213)の色域、ダイナミックレンジの情報がチェックされる。
次に、ステップST3において、ビデオデコーダ204からのビデオの色域、ダイナミックレンジの情報が検知される。そして、ステップST4において、ビデオの色域、ダイナミックレンジは表示可能な色域、ダイナミックレンジの範囲内か判断される。
範囲内でないときは、ステップST5において表示可能となるように、マッピング部205でビデオデータの色域、ダイナミックレンジが変換され、それが表示用ビデオデータとされる。なお、範囲内であるときは、マッピング部205ではビデオデータの色域、ダイナミックレンジの変換は行われず、ビデオデコーダ204からのビデオデータがそのまま表示用ビデオデータとされる。
次に、ステップST6において、CLUTループ内のセットで伝送された表示ビデオの色域、ダイナミックレンジ情報とサブタイトルの色域、ダイナミックレンジ情報とからCLUTが選択される。次に、ステップST7において、選択されたCLUTによりサブタイトルデータが変換され、ビデオ重畳部208に転送される。そして、ステップST8において、処理が終了される。
図23は、(B)CLUT伝送ループにビデオ情報を入れない場合における、制御部201の制御のもとに行われるマッピング部205、変換部207などの処理フローの一例を示している。ステップST11において、処理が開始される。次に、ステップST12において、ディスプレイ(CEモニタ213)の色域、ダイナミックレンジの情報がチェックされる。
次に、ステップST13において、ビデオデコーダ204からのビデオの色域、ダイナミックレンジの情報が検知される。そして、ステップST14において、ビデオの色域、ダイナミックレンジは表示可能な色域、ダイナミックレンジの範囲内か判断される。
範囲内でないときは、ステップST15において表示可能となるように、マッピング部205でビデオデータの色域、ダイナミックレンジが変換され、それが表示用ビデオデータとされる。なお、範囲内であるときは、マッピング部205ではビデオデータの色域、ダイナミックレンジの変換は行われず、ビデオデコーダ204からのビデオデータがそのまま表示用ビデオデータとされる。
次に、ステップST16において、サブタイトル表示が、重畳する表示ビデオの色域、ダイナミックレンジと適合するように、CLUTループ内のセットで伝送されたサブタイトルの色域、ダイナミックレンジ情報からCLUTが選択される。次に、ステップST17において、選択されたCLUTによりサブタイトルデータが変換され、ビデオ重畳部208に転送される。そして、ステップST18において、処理が終了される。
図18に戻って、YCbCr/RGB変換部211は、サブタイトルのグラフィックスデータが重畳されたビデオデータV1´をYCbCr(輝度・色差)ドメインからRGBドメインに変換する。この場合、YCbCr/RGB変換部211は、色域識別情報に基づいて、色域に対応した変換式を用いて変換を行う。
電光変換部212は、RGBドメインに変換されたビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。CEモニタ213は、表示用ビデオデータに基づいて画像を表示する。このCEモニタ213は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成される。
図18に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、ビデオストリームVSおよびサブタイトルストリームSSが抽出される。
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSがデコードされて、ビデデータが得られる。このビデオデータは、マッピング部205に送られる。マッピング部205では、CEモニタ213で表示可能となるように、ビデオデータに、必要に応じて、色域やダイナミックレンジの変換処理が施されて、表示用ビデオデータが得られる。
システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデコーダ206に供給される。サブタイトルデコーダ206では、サブタイトルストリームSSがデコードされて、ビットマップデータと、所定数、つまり一つまたは2つ以上のビットマップ変換テーブルの情報が得られる。この所定数のビットマップ変換テーブルの情報は、CLUT・デフィニション・セグメント(図9、図10参照)から得られる。
また、このとき、レンダリング・ガイド・セグメント(図12、図13参照)から、その所定数のビットマップ変換テーブルのそれぞれが対応する特性の情報が抽出され、制御部201に送られる。この場合、(A)CLUT伝送ループにビデオ情報を入れる場合には、ビットマップデータへの変換前のサブタイトルのグラフィックスデータと重畳先ビデオデータの特性情報が抽出される。一方、(B)CLUT伝送ループにビデオ情報を入れない場合には、ビットマップデータから変換後のサブタイトルのグラフィックスデータのみの特性情報が抽出される。
サブタイトルデコーダ206で得られたビットマップデータと所定数のビットマップ変換テーブルの情報は、変換部207に供給される。変換部207では、制御部201の制御の下、所定数のビットマップ変換テーブルのうち適合するビットマップ変換テーブルが用いられ、ビットマップデータがサブタイトルのグラフィックスデータに変換される。この場合、制御部201では、用いるべきビットマップ変換テーブルが、レンダリング・ガイド・セグメントから抽出される、当該所定数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて選択される。
マッピング部205で得られた表示用ビデオデータ(重畳先ビデオデータ)は、ビデオ重畳部208に供給される。また、変換部207で得られたサブタイトルのグラフィックスデータは、ビデオ重畳部208に供給される。このビデオ重畳部208では、表示用ビデオデータに、サブタイトルのグラフィックスデータが重畳される。この場合、サブタイトルのグラフィックスデータがビデオデータに所定の比率で混合される。ここで、混合比率に関しては、T-Valueに則して行われる。
ビデオ重畳部208で得られた、サブタイトルのグラフィックスデータが重畳された表示用ビデオデータV1´は、YCbCr/RGB変換部211において、YCbCr(輝度・色差)ドメインからRGBドメインに変換されて、電光変換部212に供給される。電光変換部212では、ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。この表示用ビデオデータはCEモニタ213に供給される。CEモニタ213には、この表示用ビデオデータに基づいて画像が表示される。
上述したように、図1に示す送受信システム10において、送信側から受信側に送られるサブタイトルストリームが持つCLUT・デフィニション・セグメントは色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するものである。そのため、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、表示用ビデオデータ(重畳先ビデオデータ)の特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することが可能となる。
また、第1に示す送受信システム10においては、送信側から受信側に送られるサブタイトルストリームは、所定数のビットマップ変換テーブルのそれぞれが対応する特性の情報を有する第2のセグメントをさらに持つものである。受信側では、所定数のビットマップ変換テーブルから用いるべきビットマップ変換テーブルを容易かつ適切に選択することが可能となる。
<2.変形例>
なお、上述実施の形態においては、送信側から受信側に複数のビットマップ変換テーブル(CLUT)を送信する例を示した。しかし、送信側において、サブタイトルを重畳するビデオの特性(ダイナミックレンジ、色域)が一意に特定可能な場合、複数のビットマップ変換テーブル送る代わりに、上記に適合するビットマップ変換テーブルを一つだけ送ることもできる。
その場合には、ビットマップ変換テーブル(CLUT)の対象が「SDR/色域709」、「SDR/色域2020」、「HDR(HLG or PQ)/色域2020」のいずれかを示す情報をサブタイトルストリーム中に挿入する。
この挿入方法として、例えば、以下の1.から3.の方法などが考えられる。
1.上述のレンダリング・ガイド・セグメント(RGS:rendering_guide_segment)の要素(CLUT1つの場合も含まれるため)として伝送する方法。
2.ディスプレイ・ディフィニション・セグメント(DDS:display_difinition_segment)の空き領域に「CLUT_type」情報を埋め込む方法。
3.CLUT・デフィニション・セグメント(CDS: CLUT_definition_segment)の空き領域に「CLUT_type」情報を埋め込む方法。
なお、情報をサブタイトルストリーム中に挿入する代わりに、この情報を送信側および受信側で予め共有しておくことで一致させる方法も考えられる。この場合、受信装置は、予め共有する当該情報を例えば制御部201内の記憶部(メモリ)あるいは所定のロジックに保持する。以下では、主に、情報をサブタイトルストリーム中に挿入する場合について説明する。
図24は、サブタイトル伝送に含まれるビットマップ変換テーブル(CLUT)のバリエーションを示している。「CLUT_type」は、ビットマップデータから変換後のサブタイトルのグラフィックスデータの特性を示す。
図示の例においては、「CLUT_type」が“0”であるビットマップ変換テーブル(CLUT)は、ターゲットのダイナミックレンジ(dynamic_range)がHDR(HLG)で、ターゲットの色域(Color_gamut)が2020であることが示されている。また、「CLUT_type」が“1”であるビットマップ変換テーブルは、ターゲットのダイナミックレンジがHDR(PQ)で、ターゲットの色域が2020であることが示されている。
また、「CLUT_type」が“2”であるビットマップ変換テーブルは、ターゲットのダイナミックレンジがSDRで、ターゲットの色域が2020であることが示されている。また、「CLUT_type」が“3”であるビットマップ変換テーブルは、ターゲットのダイナミックレンジがSDRで、ターゲットの色域が709であることが示されている。
CLUT出力が最終的なディスプレイ表示に合う場合には、CLUT出力がそのまま重畳先ビデオデータ(表示用ビデオデータ)に重畳される。一方、CLUT出力が最終的なディスプレイ表示とは異なる場合には、CLUT出力に対してポスト処理でディスプレイ表示に合うように色域、ダイナミックレンジが変換された後に重畳先ビデオデータ(表示用ビデオデータ)に重畳される。
図25は、ビットマップ変換テーブルを一つだけ送る場合における受信装置200Aの構成例を示している。この受信装置200Aにおいては、変換部207の後段に、必要に応じて、変換部207で得られたサブタイトルのグラフィックスデータに色域やダイナミックレンジの変換処理を施すためのポスト処理部209が配置される。この受信装置200において、その他の図18に示す受信装置200と同様の構成となっている。なお、この図25において、図18と対応する部分には同一符号を付して示している。
変換部207で得られるCLUT出力(サブタイトルのグラフィックスデータ)が最終的なディスプレイ表示に合う場合には、CLUT出力がポスト処理部209をスルーしてそのまま重畳先ビデオデータ(表示用ビデオデータ)に重畳される。一方、CLUT出力が最終的なディスプレイ表示とは異なる場合には、CLUT出力に対してポスト処理部209でディスプレイ表示に合うように色域、ダイナミックレンジが変換された後に重畳先ビデオデータ(表示用ビデオデータ)に重畳される。
「ケース1」
ビデオデコーダ204の出力ビデオ情報がHDR(HLG)/2020の場合で、また、マッピング部205から出力される重畳先ビデオデータがHDR(HLG)/2020の場合(ディスプレイ(CEモニタ213)がHDR(HLG)/2020に対応している)には、サブタイトルはHDRレンジで表示する必要がある。このとき、CLUT0が受信されれば、変換部207ではこのCLUT0によりビットマップデータはHDR(HLG)/2020の画素データに変換され、ポスト処理部209をスルーしてビデオデータ重畳部208に送られる。
一方、このとき、CLUT3が受信されれば、変換部207ではこのCLUT03によりビットマップデータはSDR/709の画素データに変換され、その後にポスト処理部209で画素データはHDR(HLG)/2020の画素データに変換されてビデオデータ重畳部208に送られる。
「ケース2」
ビデオデコーダ204の出力ビデオ情報がHDR(PQ)/2020の場合で、また、マッピング部205から出力される重畳先ビデオデータがSDR/709の場合(ディスプレイ(CEモニタ213)がSDR/709に対応している)には、サブタイトルはSDRレンジで表示する必要がある。このとき、CLUT1が受信されれば、変換部207ではこのCLUT0によりビットマップデータはHDR(PQ)/2020の画素データに変換され、その後にポスト処理部209で画素データはSDR/709の画素データに変換されてビデオデータ重畳部208に送られる。
図26は、制御部201の制御のもとに行われるマッピング部205、変換部207、ポスト処理部209などの処理フローの一例を示している。ステップST21において、処理が開始される。次に、ステップST22において、ディスプレイ(CEモニタ213)の色域、ダイナミックレンジの情報がチェックされる。
次に、ステップST23において、ビデオデコーダ204からのビデオの色域、ダイナミックレンジの情報が検知される。そして、ステップST24において、ビデオの色域、ダイナミックレンジは表示可能な色域、ダイナミックレンジの範囲内か判断される。
範囲内でないときは、ステップST25において表示可能となるように、マッピング部205でビデオデータの色域、ダイナミックレンジが変換され、それが表示用ビデオデータとされる。なお、範囲内であるときは、マッピング部205ではビデオデータの色域、ダイナミックレンジの変換は行われず、ビデオデコーダ204からのビデオデータがそのまま表示用ビデオデータとされる。
次に、ステップST26において、サブタイトル表示が、重畳する表示ビデオの色域、ダイナミックレンジと適合するように、サブタイトルの表示特性(ダイナミックレンジ、色域)を決める。次に、ステップST27において、変換部207では、受信されたビットマップ変換テーブル(CLUT)によりサブタイトルデータの変換が行われる。
次に、ステップST28において、ステップST26で決めたサブタイトル表示特性と受信されたビットマップ変換テーブル(CLUT)のタイプが一致するか判断される。一致しないときは、ステップST29において、ポスト処理部209では、変換部207からのCLUT出力画素データが変換されて、サブタイトル表示特性に合わせられて、ステップST30において、ビデオ重畳部208に転送される。
一方、一致するときは、ステップST30において、変換部207からのCLUT出力画素データがそのままビデオ重畳部208に転送される。そして、ステップST31において、処理が終了される。
図27は、ディスプレイ・ディフィニション・セグメント(DDS)の空き領域に「CLUT_type」情報を埋め込む場合における当該セグメントの構造例(Syntax)を示し、図28は、その構造例における主要な情報の内容(Semantics)を示している。「CLUT_type」の2ビットフィールドは、CLUT・デフィニション・セグメント(CDS)で送られるビットマップ変換テーブル(CLUT)による変換後の画素のダイナミックレンジ、色域を示す。
“00”は、ダイナミックレンジがHDR(HLG)で、色域が2020であることを示す。“01”は、ダイナミックレンジがHDR(PQ)で、色域が2020であることを示す。“10”は、ダイナミックレンジがSDRで、色域が2020であることを示す。“11”は、ダイナミックレンジがSDRで、色域が709であることを示す。
図29は、ディスプレイ・ディフィニション・セグメントの空き領域に「CLUT_type」情報を埋め込む場合におけるトランスポートストリームTSの構成例を示している。サブタイトルストリームのPESパケットには、従来周知のDDS、PCS、RCS、CDS、ODS、EDSなどのセグメントが挿入されている。ディスプレイ・ディフィニション・セグメント(DDS)に、CLUT情報に対応するダイナミックレンジ、色域の情報が記述される。詳細説明は省略するが、この図29のその他は図17と同様である。
図30、図31は、CLUT・デフィニション・セグメント(CDS)の空き領域に「CLUT_type」情報を埋め込む場合における当該セグメントの構造例(Syntax)を示している。「CLUT_type」の2ビットフィールドは、当該CLUT・デフィニション・セグメント(CDS)で送られるビットマップ変換テーブル(CLUT)による変換後の画素のダイナミックレンジ、色域を示す。この「CLUT_type」は上述のディスプレイ・ディフィニション・セグメント(DDS)に埋め込まれるものと同じであるので、その説明は省略する。
図32は、CLUT・デフィニション・セグメント(CDS)の空き領域に「CLUT_type」情報を埋め込む場合におけるトランスポートストリームTSの構成例を示している。サブタイトルストリームのPESパケットには、従来周知のDDS、PCS、RCS、CDS、ODS、EDSなどのセグメントが挿入されている。CLUT・デフィニション・セグメント(CDS)に、CLUT情報に対応するダイナミックレンジ、色域の情報が記述される。詳細説明は省略するが、この図32のその他は図17と同様である。
また、上述実施の形態において、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、ビデオのレイヤは同一の方法で実現できる。
また、本技術は、以下のような構成を取ることもできる。
(1)ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ
送信装置。
(2)上記第1のセグメントは、CLUT・デフィニション・セグメントである
前記(1)に記載の送信装置。
(3)上記第1のセグメントは、上記変換情報を異にする複数のビットマップ変換テーブルを有する
前記(1)または(2)に記載の送信装置。
(4)上記サブタイトルストリームは、上記ビットマップ変換テーブルの適合情報を有する第2のセグメントをさらに持つ
前記(1)から(3)のいずれかに記載の送信装置。
(5)上記適合情報は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよび重畳先ビデオデータの特性の情報、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である
前記(4)に記載の送信装置。
(6)上記第2のセグメントは、レンダリング・ガイド・セグメントである
前記(4)または(5)に記載の送信装置。
(7)上記第2のセグメントは、ディスプレイ・デフィニション・セグメントである
前記(4)または(5)に記載の送信装置。
(8)上記第1のセグメントが有するビットマップ変換テーブルと該ビットマップ変換テーブルが対応する上記第2のセグメントが有する特性の情報はそれぞれに同一の識別情報が付加されて関連付けされている
前記(4)から(7)のいずれか記載の送信装置。
(9)上記第1のセグメントは、上記ビットマップ変換テーブルの適合情報をさらに有する
前記(1)に記載の送信装置。
(10)上記適合情報は、ビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である
前記(9)に記載の送信装置。
(11)ビデオエンコード部が、ビデオデータを持つビデオストリームを生成するビデオエンコードステップと、
サブタイトルエンコード部が、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
送信部が、上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信ステップを有し、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ
送信方法。
(12)ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナを受信する受信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っており、
上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ビデオデータに基づいて得られた重畳先ビデオデータに重畳する処理を制御する制御部をさらに備える
受信装置。
(13)上記第1のセグメントは、上記変換情報を異にする複数のビットマップ変換テーブルを有しており、
上記複数のビットマップ変換テーブルは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよびビデオデータの互いに異なる複数の特性に対応しているか、ビットマップデータから変換後のサブタイトルのグラフィックスデータの互いに異なる複数の特性に対応しており、
上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記複数のビットマップ変換テーブルのうち上記重畳先ビデオデータの特性に適合したビットマップ変換テーブルを選択的に用いる
前記(12)に記載の受信装置。
(14)上記サブタイトルストリームは、上記複数のビットマップ変換テーブルのそれぞれが対応する特性の情報を有する第2のセグメントをさらに持っており、
上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記第2のセグメントが有する上記複数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて、上記重畳先ビデオデータの特性に適合したビットマップ変換テーブルを選択する
前記(13)に記載の受信装置。
(15)上記第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、
上記制御部は、上記ビットマップ変化テーブルで変換されて得られたサブタイトルのグラフィックスデータの特性が上記重畳先ビデオデータに合わないときは、該特性を合わせるポスト処理をさらに制御する
前記(12)に記載の受信装置。
(16)上記第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、
上記制御部は、送信側と共有する上記1つのビットマップ変換テーブルの適合特性の情報を保持する
前記(12)または(13)に記載の受信装置。
(17)受信部が、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナを受信する受信ステップを有し、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っており、
制御部が、上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ビデオデータに基づいて得られた重畳先ビデオデータに重畳する処理を制御する制御ステップをさらに有する
受信方法。
本技術の主な特徴は、送信側から受信側に送られるサブタイトルストリームが持つCLUT・デフィニション・セグメントが色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するようにしたことで、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先ビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することを可能にしたことである(図2、図9−10参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・ビデオエンコーダ
103・・・変換部
104・・・サブタイトルエンコーダ
105・・・システムエンコーダ
106・・・送信部
200,200A・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・マッピング部
206・・・サブタイトルデコーダ
207・・・変換部
208・・・ビデオ重畳部
209・・・ポスト処理部
211・・・YCbCr/RGB変換部
212・・・電光変換部
213・・・CEモニタ

Claims (17)

  1. ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
    サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
    上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信部を備え、
    上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ
    送信装置。
  2. 上記第1のセグメントは、CLUT・デフィニション・セグメントである
    請求項1に記載の送信装置。
  3. 上記第1のセグメントは、上記変換情報を異にする複数のビットマップ変換テーブルを有する
    請求項1に記載の送信装置。
  4. 上記サブタイトルストリームは、上記ビットマップ変換テーブルの適合情報を有する第2のセグメントをさらに持つ
    請求項1に記載の送信装置。
  5. 上記適合情報は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよび重畳先ビデオデータの特性の情報、あるいはビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である
    請求項4に記載の送信装置。
  6. 上記第2のセグメントは、レンダリング・ガイド・セグメントである
    請求項4に記載の送信装置。
  7. 上記第2のセグメントは、ディスプレイ・デフィニション・セグメントである
    請求項4に記載の送信装置。
  8. 上記第1のセグメントが有するビットマップ変換テーブルと該ビットマップ変換テーブルが対応する上記第2のセグメントが有する特性の情報はそれぞれに同一の識別情報が付加されて関連付けされている
    請求項4に記載の送信装置。
  9. 上記第1のセグメントは、上記ビットマップ変換テーブルの適合情報をさらに有する
    請求項1に記載の送信装置。
  10. 上記適合情報は、ビットマップデータから変換後のサブタイトルのグラフィックスデータの特性の情報である
    請求項9に記載の送信装置。
  11. ビデオエンコード部が、ビデオデータを持つビデオストリームを生成するビデオエンコードステップと、
    サブタイトルエンコード部が、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
    送信部が、上記ビデオストリームと上記サブタイトルストリームを含むコンテナを送信する送信ステップを有し、
    上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持つ
    送信方法。
  12. ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナを受信する受信部を備え、
    上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っており、
    上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ビデオデータに基づいて得られた重畳先ビデオデータに重畳する処理を制御する制御部をさらに備える
    受信装置。
  13. 上記第1のセグメントは、上記変換情報を異にする複数のビットマップ変換テーブルを有しており、
    上記複数のビットマップ変換テーブルは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよびビデオデータの互いに異なる複数の特性に対応しているか、ビットマップデータから変換後のサブタイトルのグラフィックスデータの互いに異なる複数の特性に対応しており、
    上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記複数のビットマップ変換テーブルのうち上記重畳先ビデオデータの特性に適合したビットマップ変換テーブルを選択的に用いる
    請求項12に記載の受信装置。
  14. 上記サブタイトルストリームは、上記複数のビットマップ変換テーブルのそれぞれが対応する特性の情報を有する第2のセグメントをさらに持っており、
    上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記第2のセグメントが有する上記複数のビットマップ変換テーブルのそれぞれが対応する特性の情報に基づいて、上記重畳先ビデオデータの特性に適合したビットマップ変換テーブルを選択する
    請求項13に記載の受信装置。
  15. 上記第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、
    上記制御部は、上記ビットマップ変化テーブルで変換されて得られたサブタイトルのグラフィックスデータの特性が上記重畳先ビデオデータに合わないときは、該特性を合わせるポスト処理をさらに制御する
    請求項12に記載の受信装置。
  16. 上記第1のセグメントは、1つの上記ビットマップ変換テーブルを有しており、
    上記制御部は、送信側と共有する上記1つのビットマップ変換テーブルの適合特性の情報を保持する
    請求項12に記載の受信装置。
  17. 受信部が、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含むコンテナを受信する受信ステップを有し、
    上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する第1のセグメントを持っており、
    制御部が、上記ビデオストリームをデコードしてビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ビデオデータに基づいて得られた重畳先ビデオデータに重畳する処理を制御する制御ステップをさらに有する
    受信方法。
JP2018526592A 2016-11-22 2017-11-07 送信装置、送信方法、受信装置および受信方法 Active JP7195925B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016227294 2016-11-22
JP2016227294 2016-11-22
PCT/JP2017/040158 WO2018096925A1 (ja) 2016-11-22 2017-11-07 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2018096925A1 true JPWO2018096925A1 (ja) 2019-10-17
JP7195925B2 JP7195925B2 (ja) 2022-12-26

Family

ID=62195588

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018526592A Active JP7195925B2 (ja) 2016-11-22 2017-11-07 送信装置、送信方法、受信装置および受信方法

Country Status (7)

Country Link
US (1) US10382834B2 (ja)
EP (1) EP3389278B1 (ja)
JP (1) JP7195925B2 (ja)
CN (1) CN108476331B (ja)
HU (1) HUE060571T2 (ja)
PL (1) PL3389278T3 (ja)
WO (1) WO2018096925A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3783902A1 (en) * 2016-10-11 2021-02-24 Sony Corporation Receiving device and receiving method for subtitles
CN108900823B (zh) * 2018-07-05 2019-07-12 华为技术有限公司 一种视频信号处理的方法及装置
BR112022019770A2 (pt) 2020-03-30 2022-11-16 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094846A (ja) * 2007-10-10 2009-04-30 Panasonic Corp 映像・音声記録再生装置
JP2009147580A (ja) * 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
WO2013031549A1 (ja) * 2011-09-01 2013-03-07 ソニー株式会社 送信装置、送信方法および受信装置
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684542A (en) * 1993-12-21 1997-11-04 Sony Corporation Video subtitle processing system
JPH07231435A (ja) * 1993-12-21 1995-08-29 Sony Corp 字幕データ符号化装置、その復号化装置、並びに記録媒体
EP0745307B3 (en) * 1994-12-14 2010-06-23 Philips Electronics N.V. Subtitling transmission system
JPH08265661A (ja) * 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化/復号化方法および装置、および符号化字幕データ記録媒体
CN100401750C (zh) * 2004-01-12 2008-07-09 松下电器产业株式会社 字幕编码装置
KR100725248B1 (ko) * 2005-08-25 2007-06-04 주식회사 한국스테노 시각장애인용 속기입력장치 및 방법
JP4958713B2 (ja) 2007-10-04 2012-06-20 キヤノン株式会社 動画像符号化装置及びその制御方法
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP6053767B2 (ja) * 2011-06-14 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 高ダイナミックレンジ・ビデオのためのグラフィック処理
EP3783902A1 (en) * 2016-10-11 2021-02-24 Sony Corporation Receiving device and receiving method for subtitles

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094846A (ja) * 2007-10-10 2009-04-30 Panasonic Corp 映像・音声記録再生装置
JP2009147580A (ja) * 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
WO2013031549A1 (ja) * 2011-09-01 2013-03-07 ソニー株式会社 送信装置、送信方法および受信装置
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
US20180376221A1 (en) 2018-12-27
EP3389278B1 (en) 2022-10-12
PL3389278T3 (pl) 2023-03-13
CN108476331B (zh) 2023-01-06
US10382834B2 (en) 2019-08-13
WO2018096925A1 (ja) 2018-05-31
EP3389278A4 (en) 2019-01-16
EP3389278A1 (en) 2018-10-17
JP7195925B2 (ja) 2022-12-26
CN108476331A (zh) 2018-08-31
HUE060571T2 (hu) 2023-03-28

Similar Documents

Publication Publication Date Title
EP3255892B1 (en) Transmitting device, transmitting method, receiving device, and receiving method
US12058404B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11057547B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11317055B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US10349144B2 (en) Reception device, receiving method, transmission device, and transmitting method
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2024015131A (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221214

R150 Certificate of patent or registration of utility model

Ref document number: 7195925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150