JP7113746B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP7113746B2
JP7113746B2 JP2018517241A JP2018517241A JP7113746B2 JP 7113746 B2 JP7113746 B2 JP 7113746B2 JP 2018517241 A JP2018517241 A JP 2018517241A JP 2018517241 A JP2018517241 A JP 2018517241A JP 7113746 B2 JP7113746 B2 JP 7113746B2
Authority
JP
Japan
Prior art keywords
subtitle
data
bitmap
conversion
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018517241A
Other languages
English (en)
Other versions
JPWO2018070255A1 (ja
Inventor
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018070255A1 publication Critical patent/JPWO2018070255A1/ja
Application granted granted Critical
Publication of JP7113746B2 publication Critical patent/JP7113746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/025Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Circuits (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、字幕情報をビットマップデータで送信する送信装置等に関する。
従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、サブタイトルのグラフィックスデータをビットマップデータに変換して送信する運用が行われている(例えば、特許文献1参照)。
特開2011-030180号公報
従来、ビデオデータ、サブタイトルのグラフィックスデータが各々別ストリームで伝送される際、色域や輝度について両者間で顕著な違いが存在しなかった。そのため、重畳する際に特別な配慮をせず合成が行われていた。
例えば、ビデオデータの色域が広色域(例えば、ITU-R Rec Bt.2020準拠)で、サブタイトルのグラフィックスデータの色域が狭色域(例えば、sRGB) の場合、ビデオの画品質を高画質に保つには、サブタイトルのグラフィックスデータの色域をビデオデータの色域に合わせてから重畳することが必要になる。
また、例えば、ビデオデータがハイダイナミックレンジ(HDR)で、サブタイトルのグラフィックスデータが標準レベルのダイナミックレンジ(SDR)で制作されたものである場合、ビデオの画品質を高画質に保つには、サブタイトルのグラフィックスデータをビデオデータのダイナミックレンジ領域に適合させてから重畳することが必要になる。
本技術の目的は、サブタイトルのグラフィックスデータをビデオデータに重畳する際の受信側の処理負荷を軽減することにある。
本技術の概念は、
ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する
送信装置にある。
本技術において、ビデオエンコード部により、ビデオデータを持つビデオストリームが生成される。サブタイトルエンコード部により、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームが生成される。送信部により、ビデオストリームとサブタイトルストリームを含む所定フォーマットのコンテナが送信される。
サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するものとされる。例えば、サブタイトルストリームは、変換情報を異にする複数のビットマップ変換テーブルを有する、ようにされてもよい。この場合、例えば、複数のビットマップ変換テーブルには、それぞれ、サブタイトルのグラフィックスデータおよびターゲットビデオデータの適合特性情報が付加される、ようにされてもよい。
このように本技術においては、サブタイトルストリームは色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するものである。そのため、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することが可能となる。
なお、本技術において、例えば、サブタイトルストリームに、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報を挿入する情報挿入部をさらに備える、ようにされてもよい。これにより、受信側では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性を容易に把握可能となる。
また、本技術の他の概念は、
ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有しており、
上記ビデオストリームをデコードしてターゲットビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ターゲットビデオデータに重畳する処理を制御する制御部をさらに備える
受信装置にある。
本技術において、受信部により、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有している。
ビデオストリームをデコードしてターゲットビデオデータを得る処理と、サブタイトルストリームをデコードしてビットマップデータとビットマップ変換テーブルを得る処理が行われる。ビットマップデータをビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、このサブタイトルのグラフィックスデータをターゲットビデオデータに重畳する処理が行われる。
例えば、サブタイトルストリームは、変換情報を異にする複数のビットマップ変換テーブルを有しており、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、複数のビットマップ変換テーブルのうちビットマップデータへの変換前のサブタイトルのグラフィックスデータおよびターゲットビデオデータの特性に適合したビットマップ変換テーブルが用いられる、ようにされてもよい。
この場合、例えば、サブタイトルストリームに、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報が挿入されており、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性はサブタイトルストリームに挿入されている特性情報に基づいて判断される、ようにされてもよい。
このように本技術においては、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、サブタイトルストリームに挿入されている色域および/または輝度の変換情報を含めたビットマップ変換テーブルを用いるものである。そのため、重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、処理負荷を軽減することが可能となる。
なお、本技術において、例えば、ビットマップデータをサブタイトルのグラフィックスデータに変換する処理では、ビットマップ変換テーブルがビットマップデータへの変換前のサブタイトルのグラフィックスデータおよびターゲットビデオデータの特性に適合しないとき、ビットマップ変換テーブルを用いずに、その特性に適合するように、受信機処理においてビットマップデータがサブタイトルのグラフィックスデータに変換される、ようにされてもよい。この場合、重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを得ることができることから、ビデオの画品質の低下を抑制し得る。
本技術によれば、サブタイトルのグラフィックスデータをビデオデータに重畳する際の受信側の処理負荷を軽減することが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 ビットマップ変換テーブルにおけるビットマップデータからサブタイトルのグラフィックスデータ(Y/CbCr)への変換以外の他の変換対象例を示す図である。 ビットマップ変換テーブルの情報を説明するための図である。 受信側で必要となる変換機能(ビットマップ変換テーブルが持つ変換機能)の詳細を説明するための図である。 SDRからHDRへの輝度レベル変換を説明するための図である。 HDRからSDRへの輝度レベル変換を説明するための図である。 WC・セグメントの構造例を示す図(1/2)である。 WC・セグメントの構造例を示す図(2/2)である。 WC・セグメントの構造例における主要な情報の内容を示す図である。 「CLUT_entry_id」、「entry_CLUT_type」、「output_depth」の値の一例と、適合特性情報の値を一覧で示す図である。 レンダリング・ガイド・セグメントの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームの構成例を示す図である。 受信装置の構成例を示すブロック図である。 ビットマップ変換テーブル(CLUT)の選択例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、ビデオデータ(画像データ)を持つビデオストリームが含まれる。
また、このトランスポートストリームTSには、サブタイトルデータ(字幕データ)としてサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームが含まれる。このサブタイトルストリームは、色域および/または輝度、この実施の形態では双方の変換情報を含めたビットマップ変換テーブルを有するものとされる。
サブタイトルストリームは、所定数、つまり1つあるいは2つ以上のビットマップ変換テーブルを有するものとされる。その場合、各ビットマップ変換テーブルには、サブタイトルのグラフィックスデータおよびターゲットビデオデータの適合特性情報が付加される。ここで、特性は、色域および/またはダイナミックレンジ、この実施の形態では双方の特性である。これにより、受信側では、いずれのビットマップ変換テーブルを使用するのか容易に判断可能となる。
また、この実施の形態において、サブタイトルストリームに、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報が挿入される。これにより、受信側では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性を容易に把握可能となる。
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを受信する。受信装置200は、ビデオストリームに復号化処理を施してターゲットビデオデータを得る。この場合、ターゲットビデオデータとしては、送信側から送られてきたビデオデータそのものだけでなく、それに必要に応じて色域やダイナミックレンジの変換処理を施して得られたビデオデータも考えられる。
また、受信装置200は、サブタイトルストリームにデコード処理を施して、ビットマップデータおよびビットマップ変換テーブルを得、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換する。ここで、変換情報を異にする複数のビットマップ変換テーブルが得られる場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータおよびターゲットビデオデータの特性に適合したビットマップ変換テーブルが用いられる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性は、例えば、サブタイトルストリームに挿入されている特性情報から把握される。
そして、受信装置200は、ビットマップデータを変換して得られたサブタイトルのグラフィックスデータをターゲットビデオデータに重畳する。このようにサブタイトルのグラフィックスデータが重畳されたビデオデータにより、モニタには、サブタイトル付きの画像表示が行われる。
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、ビデオエンコーダ102と、変換部103と、サブタイトルエンコーダ104と、システムエンコーダ105と、送信部106を有している。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。ビデオエンコーダ102は、ビデオデータに対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化を施し、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSを生成する。
ここで、ビデオデータは、SDR(Standard Dynamic Range)あるいはHDR(High Dynamic Range)のデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。ビデオエンコーダ102は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、ビデオデータの特性情報、つまり色域やダイナミックレンジ情報などのメタ情報を挿入する。
変換部103は、サブタイトルのグラフィックスデータをビットマップデータに変換する。ここで、サブタイトルのグラフィックスデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。変換部103は、ビットマップデータと共に、受信側で必要と想定されるHDRあるいはSDRのレベルを参照することによって、1つまたは2つ以上のビットマップ変換テーブルの情報を出力する。
ここで、ビットマップ変換テーブルは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルである。すなわち、このビットマップ変換テーブルは、ビットマップデータを単にサブタイトルのグラフィックスデータに変換するためのものではなく、重畳先のビデオデータであるターゲットビデオデータの色域やダイナミックレンジに合うように、色域や輝度をも併せて変換するものである。
図3は、ビットマップ変換テーブルにおけるビットマップデータからサブタイトルのグラフィックスデータ(Y/CbCr)への変換以外の変換対象例を示している。ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであり、ターゲットビデオデータがSDRである場合は、色域が他の変換対象となり得る。例えば、サブタイトルのグラフィックスデータの色域がBT.709で、ターゲットビデオデータの色域がBT.2020のときには、色域が変換対象となる。
また、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであり、ターゲットビデオデータがHDRである場合は、色域と輝度が変換対象となり得る。また、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであり、ターゲットビデオデータがSDRである場合は、色域と輝度が変換対象となり得る。なお、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであり、ターゲットビデオデータがHDRである場合は、色域もダイナミックレンジも共通であるので、変換対象になり得るものはない。
この実施の形態において、変換部103は、図4の(1)から(5)の各場合に用いられるビットマップ変換テーブルの情報を出力する。(1)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、ターゲットビデオデータがSDRである場合(色域が同じ場合)である。(2)の場合は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、ターゲットビデオデータがSDRである場合(色域が異なる場合)である。
(3)の場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがSDRであって、ターゲットビデオデータがHDRである場合である。(4)の場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであって、ターゲットビデオデータがSDRである場合である。(5)の場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータがHDRであって、ターゲットビデオデータがHDRである場合である。
(1)から(5)の各場合における、受信側で必要となる変換機能、従ってビットマップ変換テーブルが持つ変換機能の詳細を、図5を参照して、説明する。受信側に最大で必要となる変換機能は、以下の第1から第7の変換機能である。これらの変換機能における処理は、基本的に、ピクセル毎に独立した処理となる。
第1の変換機能301は、ビットマップデータをサブタイトルのグラフィックスデータに変換する機能である。第2の変換機能302は、ビットマップデータから変換されたサブタイトルのグラフィックスデータのドメインをYCbCrからRGB1に変換する機能である。第3の変換機能303は、ビットマップデータから変換されたサブタイトルのグラフィックスデータを輝度リニア空間にするために電光変換特性を適用して電光変換をする機能である。
第4の変換機能304は、ビットマップデータから変換されたサブタイトルのグラフィックスデータとターゲットビデオデータのダイナミックレンジが異なることによる不都合を解消するために輝度レベルを変換する機能である。第5の変換機能305は、ビットマップデータから変換されたサブタイトルのグラフィックスデータの色域をターゲットビデオデータの色域に合わせるための色域変換(RGB1→RGB2)をする機能である。
第6の変換機能306は、輝度リニア空間にあるサブタイトルのグラフィックスデータに、ターゲットビデオデータが持つ光電変換特性と同じ光電変換特性を適用して光電変換をする機能である。第7の変換機能307は、サブタイトルのグラフィックスデータのドメインをRGB2からYCbCrに変換する機能である。
(1)の場合、第1の変換機能301のみが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換され、このグラフィックスデータがそのまま出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータとターゲットビデオデータのいずれもSDRで、かつ色域も同じであることから、第2の変換機能302から第7の変換機能307は、バイパスされる。この変換処理は、今までのレガシーの放送で行われている処理と全く同じである。
(2)の場合、第1の変換機能301、第2の変換機能302、第5の変換機能305および第7の変換機能307が必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータの色域は、第5の変換機能305により、ターゲットビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.709の色域が、ターゲットビデオデータの色域であるBT.2020に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータとターゲットビデオデータのいずれもSDRであることから、第3の変換機能303、第4の変換機能304および第6の変換機能306は、バイパスされる。
(3)の場合、第1の変換機能301から第7の変換機能307の全てが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータは、第3の変換機能303により、SDR電光変換特性を適用して電光変換されて、輝度リニア空間とされる。輝度リニア空間とされたサブタイトルのグラフィックスデータは、第4の変換機能304により、輝度レベル変換される。この場合、所定のSDR輝度レベルがHDRのマッピング基準レベルとなるように変換される。
図6は、この輝度レベル変換の様子を示している。この図6において、実線aは、SDR変換カーブを示している。実線bは、HDR変換カーブを示している。破線cは、HDR変換カーブにマッピングされたSDRデータの範囲を示している。
この場合、SDRのサブタイトルのグラフィックスデータの輝度値“m”が、HDRのビデオデータの輝度値“m”と一致するマッピング基準値として扱われる。SDRのサブタイトルのグラフィックスデータの輝度値“m”を表す符号化コード値をQ%とし、HDRのビデオデータの輝度値“m”を表す符号化コード値をP%とすると、Q%を表すデジタルコードがP%を示すデジタルコードと一致するように、SDRのサブタイトルのグラフィックスデータが変換される。
このようにすることにより、SDRのサブタイトルのグラフィックスデータの[0・・a]は、HDRのビデオデータの[0・・a´]の範囲となる。これにより、サブタイトルの輝度が明るくなりすぎることなどが防止される。なお、図においては、SDR,HDR共に、符号化ビット空間をNで同一としている。また、0<P≦100、0<Q≦100である。
上述したように第4の変換機能304で輝度レベル変換されたサブタイトルのグラフィックスデータは、第5の変換機能305により、ターゲットビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.709の色域が、ターゲットビデオデータの色域であるBT.2020に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第6の変換機能306により、HDR光電変換特性が適用されて光電変換される。これにより、サブタイトルのグラフィックスデータは、ターゲットビデオデータと同じく、HDR光電変換特性を持つものとなる。このサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。
(4)の場合、上述の(3)の場合と同様に、第1の変換機能301から第7の変換機能307の全てが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換される。このサブタイトルのグラフィックスデータは、第2の変換機能302により、YCbCrドメインからRGB1ドメインに変換される。
RGB1ドメインに変換されたサブタイトルのグラフィックスデータは、第3の変換機能303により、HDR電光変換特性を適用して電光変換されて、輝度リニア空間とされる。輝度リニア空間とされたサブタイトルのグラフィックスデータは、第4の変換機能304により、輝度レベル変換される。この場合、所定のHDR輝度レベルがSDRのマッピング基準レベルとなるように変換される。
図7は、この輝度レベル変換の様子を示している。この図7において、実線aは、SDR変換カーブを示している。実線bは、HDR変換カーブを示している。破線cは、HDR変換カーブをSDRにマッピングすることを目的にする変換カーブを示している。
この場合、HDRのサブタイトルのグラフィックスデータの輝度値“m”が、SDRのビデオデータの輝度値“m”と一致するマッピング基準値として扱われる。HDRのサブタイトルのグラフィックスデータの輝度値“m”を表す符号化コード値をP%とし、SDRのビデオデータの輝度値“m”を表す符号化コード値をQ%とすると、P%を表すデジタルコードがQ%を示すデジタルコードと一致するように、HDRのサブタイトルのグラフィックスデータが、破線cのようなトーンマップ(tone-map)特性を持つ変換カーブで変換される。
このようにすることにより、HDRのサブタイトルのグラフィックスデータの[0・・b]は[0・・a´]になり、クリッピングすること無しにSDRのビデオデータの[0・・a]の範囲に収まる。なお、図においては、SDR,HDR共に、符号化ビット空間をNで同一としている。また、0<P≦100、0<Q≦100である。
上述したように第4の変換機能304で輝度レベル変換されたサブタイトルのグラフィックスデータは、第5の変換機能305により、ターゲットビデオデータの色域に合うように変換される。例えば、サブタイトルのグラフィックスデータのBT.2020の色域が、ターゲットビデオデータの色域であるBT.709に合うように変換される。
色域変換されたサブタイトルのグラフィックスデータは、第6の変換機能306により、SDR光電変換特性が適用されて光電変換される。これにより、サブタイトルのグラフィックスデータは、ターゲットビデオデータと同じく、SDR光電変換特性を持つものとなる。このサブタイトルのグラフィックスデータは、第7の変換機能307により、RGB2ドメインからYCbCrに変換され、このグラフィックスデータが出力グラフィックスデータとなる。
(5)の場合、第1の変換機能301のみが必要となる。この場合、ビットマップデータは、第1の変換機能301によりサブタイトルのグラフィックスデータに変換され、このグラフィックスデータがそのまま出力グラフィックスデータとなる。この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータとターゲットビデオデータのいずれもHDRで、かつ色域も同じであることから、第2の変換機能302から第7の変換機能307は、バイパスされる。
なお、図示の例では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータとターゲットビデオデータのHDR特性が同一の場合を示している。双方のデータのHDR特性が異なる場合には、(3)、(4)の場合と同様に、輝度レベルの変換も必要となる。双方のデータのHDR特性が異なる場合とは、例えば、サブタイトルのグラフィックスデータのHDR特性がPQ、ビデオデータのHDR特性がHLGの場合などである。
図2に戻って、サブタイトルエンコーダ104は、変換部103から出力されたビットマップデータと表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。種々のセグメントには、従来周知のDDS、PCS、RCS、ODS、EDSなどのセグメントの他に、新規定義するWC・セグメント(WC segment)やレンダリング・ガイド・セグメント(Rendering_guide_segment)も含まれる。
WC・セグメントには、変換部103から出力された所定数のビットマップ変換テーブルの情報が含まれる。また、レンダリング・ガイド・セグメントには、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報、つまり色域やダイナミックレンジ情報などのメタ情報が含まれる。
図8、図9は、WC・セグメントの構造例(Syntax)を示し、図10は、その構造例における主要な情報の内容(Semantics)を示している。「CLUT_entry_id」の8ビットフィールドは、個々のCLUT(ビットマップ変換テーブル)のIDを示す。「entry_CLUT_type」の4ビットフィールドは、entry-CLUTの種別、つまり表示色のバリエーションを示し、入力ビットマップデータのレンジに相当する。例えば、“0x1”は2ビットエントリ(2bit entry)を示し、“0x2”は4ビットエントリ(4bit entry)を示し、“0x4”は8ビットエントリ(8bit entry)を示す。
「output_depth」の2ビットフィールドは、出力グラフィックスデータであるYCrCb,Tの各要素のビット深度を示す。例えば、“1”は8ビット(8bit)を示し、“2”は10ビット(10bit)を示し、“3”は12ビット(12bit)を示す。
「subtitle_dynamic_range_type」の2ビットフィールドは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジとして適合するダイナミックレンジの情報を示す。例えば、“1”は「SDR by gamma」を示し、“2”は「HDR by PQ」を示し、“3”は「HDR by HLG」を示す。「subtitle_color_gamut」の2ビットフィールドは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの色域として適合する色域の情報を示す。例えば、“1”は「BT.709」を示し、“2”は「BT.2020」を示す。
「target_video_dynamic_range_type」の2ビットフィールドは、ターゲットビデオデータのダイナミックレンジとして適合するダイナミックレンジの情報を示す。例えば、“1”は「SDR by gamma」を示し、“2”は「HDR by PQ」を示し、“3”は「HDR by HLG」を示す。「target_video_color_gamut」の2ビットフィールドは、ターゲットビデオデータの色域として適合する色域の情報を示す。例えば、“1”は「BT.709」を示し、“2”は「BT.2020」を示す。
このWC・セグメントには、ビットマップ変換テーブル毎に、「CLUT_entry_id」、「entry_CLUT_type」、「output_depth」、「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」の各フィールドが存在し、それに続いて、入力ビットマップデータの取り得る各値に対応した変換データであるYCrCb,Tの各要素が存在する。
図11は、「CLUT_entry_id」、「entry_CLUT_type」、「output_depth」の値の一例と、適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)の値を一覧で示している。
図示の例においては、「entry_CLUT_type」の値は“0x4”とされており、8ビットエントリ(8bit entry)、つまり入力ビットマップデータのレンジが8ビットであることが示されている。また、図示の例においては、「output_depth」の値は“2”とされており、出力グラフィックスデータであるYCrCb,Tの各要素のビット深度が10ビットであることが示されている。
また、図示の例においては、「CLUT_entry_id」が“1”であるビットマップ変換テーブル(CLUT)の適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)は(1,1,1,1)であり、上述の(1)の場合に対応したビットマップ変換テーブルであることが示されている。
すなわち、このビットマップ変換テーブル(CLUT)を用いることができるのは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジが「SDR by gamma」、色域が「BT.709」であって、ターゲットビデオデータのダイナミックレンジが「SDR by gamma」、色域が「BT.709」である場合である。
また、図示の例においては、「CLUT_entry_id」が“2”であるビットマップ変換テーブル(CLUT)の適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)は(1,1,1,2)であり、上述の(2)の場合に対応したビットマップ変換テーブルであることが示されている。
すなわち、このビットマップ変換テーブル(CLUT)を用いることができるのは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジが「SDR by gamma」、色域が「BT.709」であって、ターゲットビデオデータのダイナミックレンジが「SDR by gamma」、色域が「BT.2020」である場合である。
また、図示の例においては、「CLUT_entry_id」が“3”であるビットマップ変換テーブル(CLUT)の適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)は(1,1,3,2)であり、上述の(3)の場合に対応したビットマップ変換テーブルであることが示されている。
すなわち、このビットマップ変換テーブル(CLUT)を用いることができるのは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジが「SDR by gamma」、色域が「BT.709」であって、ターゲットビデオデータのダイナミックレンジが「HDR by HLG」、色域が「BT.2020」である場合である。
また、図示の例においては、「CLUT_entry_id」が“4”であるビットマップ変換テーブル(CLUT)の適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)は(2,2,1,2)であり、上述の(4)の場合に対応したビットマップ変換テーブルであることが示されている。
すなわち、このビットマップ変換テーブル(CLUT)を用いることができるのは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジが「HDR by PQ」、色域が「BT.2020」であって、ターゲットビデオデータのダイナミックレンジが「SDR by gamma」、色域が「BT.2020」である場合である。
また、図示の例においては、「CLUT_entry_id」が“5”であるビットマップ変換テーブル(CLUT)の適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)は(2,2,3,2)であり、上述の(5)の場合(HDR特性が異なる場合)に対応したビットマップ変換テーブルであることが示されている。
すなわち、このビットマップ変換テーブル(CLUT)を用いることができるのは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジが「HDR by PQ」、色域が「BT.2020」であって、ターゲットビデオデータのダイナミックレンジが「HDR by HLG」、色域が「BT.2020」である場合である。
図12(a)は、レンダリング・ガイド・セグメントの構造例(Syntax)を示し、図12(b)は、その構造例における主要な情報の内容(Semantics)を示している。「rendering_conversion_guide」の1ビットフィールドは、サブタイトルのグラフィックスデータをターゲットビデオデータに重畳するレンダリングに際し、色域やダイナミックレンジをビデオに合わせることが必要なことを示す。例えば、“1”は複数のビットマップ変換テーブルから適合するものを選択することで変換が可能であることを示し、“0”はそれ以外を示す。
「bitmap_data_color_gamut_information」の8ビットフィールドは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの色域を示すもので、セマンティクスはHEVC規格で定義されている情報である。「bitmap_data_dynamic range_information」の8ビットフィールドは、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジを示すもので、セマンティクスはHEVC規格で定義されている情報である。
図2に戻って、システムエンコーダ105は、ビデオエンコーダ102で生成されたビデオストリームVSと、サブタイトルエンコーダ104で生成されたサブタイトルストリームSSを含むトランスポートストリームTSを生成する。送信部106は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
「トランスポートストリームTSの構成例」
図13は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
PESパケットは、PESヘッダ(PES header)とPESペイロード(PES payload)からなっている。ビデオストリームのPESパケットにおいて、PESペイロードにはビデオ符号化ストリームが挿入されている。アクセスユニットのSPS NALユニットのVUIの領域に、伝送ビデオデータの色域識別情報(color_primaries)、ダイナミックレンジ情報(transfer_characteristics)が挿入される。また、サブタイトルストリームのPESパケットには、従来周知のDDS、PCS、RCS、ODS、EDSなどのセグメントの他に、上述した新規定義するWC・セグメント(WCS)やレンダリング・ガイド・セグメント(RGS)が挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)が存在する。
ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
サブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)には、サブタイトルストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、PID情報はサブタイトルストリームのPESパケット「Subtitle PES2」に付与されるPID2を示すものとされる。
図2に示す送信装置100の動作を簡単に説明する。ビデオデータは、ビデオエンコーダ102に供給される。このビデオデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。
ビデオエンコーダ102では、このビデオデータに対して、例えば、MPEG4-AVCあるいはHEVCなどの符号化が施されて、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSが生成される。このとき、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer_function)、ビデオデータの色域を示す情報(color_primaries)などのメタ情報が挿入される。
また、サブタイトルのグラフィックスデータは、変換部103に供給される。このサブタイトルのグラフィックスデータは、SDRあるいはHDRのデータであり、SDRあるいはHDRの光電変換特性を持たせたものである。変換部103では、サブタイトルのグラフィックスデータがビットマップデータに変換される。この変換部103からは、ビットマップデータと共に、受信側で必要とされると想定される1つまたは2つ以上のビットマップ変換テーブルの情報が出力される。
ここで、ビットマップ変換テーブルは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルである。すなわち、このビットマップ変換テーブルは、ビットマップデータを単にサブタイトルのグラフィックスデータに変換するためのものではなく、重畳先のビデオデータであるターゲットビデオデータに適合するように、色域や輝度をも併せて変換するものである。
変換部103から出力されたビットマップデータおよびビットマップ変換テーブル情報は、サブタイトルエンコーダ104に供給される。サブタイトルエンコーダ104では、ビットマップデータと表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSが生成される。
種々のセグメントには、従来周知のDDS、PCS、RCS、ODS、EDSなどのセグメントの他に、新規定義するWC・セグメント(図8-10参照)やレンダリング・ガイド・セグメント(図12参照)も含まれる。WC・セグメントには、ビットマップ変換テーブルの情報が含まれる。また、レンダリング・ガイド・セグメントには、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報、つまり色域やダイナミックレンジ情報などのメタ情報が含まれる。
ビデオエンコーダ102で生成されたビデオストリームVSは、システムエンコーダ105に供給される。サブタイトルエンコーダ104で生成されたサブタイトルストリームSSは、システムエンコーダ105に供給される。システムエンコーダ105では、ビデオストリームVSとサブタイトルストリームSSを含むトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部106により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
「受信装置の構成例」
図14は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、サブタイトルデコーダ205と、変換部206と、ビデオ重畳部207を有している。また、この受信装置200は、YCbCr/RGB変換部212と、電光変換部213と、表示マッピング部214と、CEモニタ215を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから、ビデオストリームVSとサブタイトルストリームSSを抽出する。
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理を行って、ターゲットビデオデータを得る。この場合、ターゲットビデオデータとしては、送信側から送られてきたビデオデータそのものだけでなく、それに必要に応じて色域やダイナミックレンジの変換処理を施して得られたビデオデータも考えられる。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
サブタイトルデコーダ205は、システムデコーダ203で抽出されるサブタイトルストリームSSに対して復号化処理を行って、ビットマップデータと、所定数、つまり1つまたは2つ以上のビットマップ変換テーブル情報を得る。ここで、所定数のビットマップ変換テーブル情報は、上述のWC・セグメント(図8-10参照)から得られる。また、このとき、レンダリング・ガイド・セグメント(図12参照)から、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報、つまり色域やダイナミックレンジの情報などのメタ情報が抽出され、制御部201に送られる。
変換部206は、所定数のビットマップ変換テーブルのうち適合するビットマップ変換テーブルを用いて、ビットマップデータをサブタイトルのグラフィックスデータに変換する。この場合、変換部206は、適合するビットマップ変換テーブルを、各ビットマップ変換テーブルに付加されている適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)(図8参照)に基づいて判断する。
変換部206は、「subtitle_dynamic_range_type」、「subtitle_color_gamut」で示されるダイナミックレンジ、色域がビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジ、色域と一致し、かつ「target_video_dynamic_range_type」、「target_video_color_gamut」で示されるダイナミックレンジ、色域がターゲットビデオデータのダイナミックレンジ、色域と一致するビットマップ変換テーブルを適合するものとする。
この場合、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジ、色域は、上述したように、レンダリング・ガイド・セグメント(図12参照)から抽出された、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報(色域やダイナミックレンジの情報)により把握される。
図15は、ビットマップ変換テーブルの選択例を示している。図示の例は、上述の図11の例で示される「CLUT_entry_id」が1-5である5つのビットマップ変換テーブル(CLUT1-5)の情報がWC・セグメントに含まれている場合の例である。また、図示の例は、ビットマップデータへの変換前のサブタイトルのグラフィックスデータのダイナミックレンジ、色域が、それぞれ、「SDR by gamma」、「BT.709」であり、ターゲットビデオデータのダイナミックレンジ、色域が、それぞれ、「HDR by HLG」、「BT.2020」である場合の例である。この場合には、図示のように、CLUT3が、適合するビットマップ変換テーブルとして選択される。
なお、変換部206は、上述の図5に示す第1の変換機能301から第7の変換機能307を備えたものとされる。変換部206は、WC・セグメントに含まれているビットマップ変換テーブルに適合するものがないときは、ビットマップ変換テーブルを用いずに、第1の変換機能301から第7の変換機能307のうち必要な変換機能を使用して、ビットマップデータから重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを生成する。
図14に戻って、ビデオ重畳部207は、ビデオデコーダ204から出力されたターゲットビデオデータに、変換部206から出力されたサブタイトルのグラフィックスデータを重畳する。YCbCr/RGB変換部212は、サブタイトルのグラフィックスデータが重畳されたビデオデータV1´をYCbCr(輝度・色差)ドメインからRGBドメインに変換する。この場合、YCbCr/RGB変換部212は、色域識別情報に基づいて、色域に対応した変換式を用いて変換を行う。
電光変換部213は、RGBドメインに変換されたビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。表示マッピング部214は、表示用ビデオデータに対して、CEモニタ215の最大輝度表示能力などに応じた表示輝度調整を行う。CEモニタ215は、表示輝度調整が行われた表示用ビデオデータに基づいて画像を表示する。このCEモニタ215は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成される。
図14に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、ビデオストリームVSおよびサブタイトルストリームSSが抽出される。
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対して復号化処理が施されて、ターゲットビデオデータが得られる。この場合、ターゲットビデオデータとしては、送信側から送られてきたビデオデータそのものだけでなく、それに必要に応じて色域やダイナミックレンジの変換処理を施して得られたビデオデータも考えられる。
システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデコーダ205に供給される。サブタイトルデコーダ205では、サブタイトルストリームSSに対して復号化処理が行われて、ビットマップデータと、所定数のビットマップ変換テーブルの情報が得られる。この所定数のビットマップ変換テーブル情報は、WC・セグメント(図8-10参照)から得られる。
また、このとき、レンダリング・ガイド・セグメント(図12参照)から、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報、つまり色域やダイナミックレンジの情報などのメタ情報が抽出され、制御部201に送られる。
サブタイトルデコーダ205で得られたビットマップデータと所定数のビットマップ変換テーブルの情報は、変換部206に供給される。変換部206では、制御部201の制御の下、所定数のビットマップ変換テーブルのうち適合するビットマップ変換テーブルが選択される。変換部206では、適合するビットマップ変換テーブルが、各ビットマップ変換テーブルに付加されている適合特性情報(「subtitle_dynamic_range_type」、「subtitle_color_gamut」、「target_video_dynamic_range_type」、「target_video_color_gamut」)(図8参照)に基づいて判断される。
そして、変換部206では、適合ビットマップ変換テーブルが用いられて、ビットマップデータがサブタイトルのグラフィックスデータに変換される。このように変換されたサブタイトルのグラフィックスデータの色域、ダイナミックレンジは、ビデオデコーダ204で得られたターゲットビデオデータの色域、ダイナミックレンジに合ったものとなる。
なお、変換部206では、送られてくるビットマップ変換テーブルに適合するものがないときは、備えられた第1の変換機能301から第7の変換機能307(図5参照)のうち必要な変換機能が受信機側の判断で使用され、ビットマップデータから重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータが生成される。
ビデオデコーダ204で得られたターゲットビデオデータは、ビデオ重畳部207に供給される。また、変換部206で得られたサブタイトルのグラフィックスデータは、ビデオ重畳部207に供給される。このビデオ重畳部207では、ターゲットビデオデータに、サブタイトルのグラフィックスデータが重畳される。この場合、サブタイトルのグラフィックスデータがビデオデータに所定の比率で混合される。ここで、混合比率に関しては、T-Valueに則して行われる。
ビデオ重畳部207で得られた、サブタイトルのグラフィックスデータが重畳されたビデオデータV1´は、YCbCr/RGB変換部212において、YCbCr(輝度・色差)ドメインからRGBドメインに変換されて、電光変換部213に供給される。電光変換部213では、ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
表示用ビデオデータは、表示マッピング部214に供給される。この表示マッピング部214では、表示用ビデオデータに対して、CEモニタ215の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはCEモニタ215に供給される。CEモニタ215には、この表示用ビデオデータに基づいて画像が表示される。
上述したように、図1に示す送受信システム10において、送信側から受信側に送られるサブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するものである。そのため、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータに変換するだけで、重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することが可能となる。
また、図1に示す送受信システム10において、送信側から受信側に送られるサブタイトルストリームに、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性情報を挿入するものである。そのため、受信側では、ビットマップデータへの変換前のサブタイトルのグラフィックスデータの特性を容易に把握可能となる。
<2.変形例>
なお、上述実施の形態において、コンテナがトランスポートストリーム(MPEG-2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、ビデオのレイヤは同一の方法で実現できる。
また、本技術は、以下のような構成を取ることもできる。
(1)ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する
送信装置。
(2)上記サブタイトルストリームは、上記変換情報を異にする複数のビットマップ変換テーブルを有する
前記(1)に記載の送信装置。
(3)上記複数のビットマップ変換テーブルには、それぞれ、サブタイトルのグラフィックスデータおよびターゲットビデオデータの適合特性情報が付加される
前記(2)に記載の送信装置。
(4)上記サブタイトルストリームに、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの特性情報を挿入する情報挿入部をさらに備える
前記(1)から(3)のいずれかに記載の送信装置。
(5)ビデオエンコード部が、ビデオデータを持つビデオストリームを生成するビデオエンコードステップと、
サブタイトルエンコード部が、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
送信部が、上記ビデオストリームと上記サブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップを有し、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有する
送信方法。
(6)ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有しており、
上記ビデオストリームをデコードしてターゲットビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ターゲットビデオデータに重畳する処理を制御する制御部をさらに備える
受信装置。
(7)上記サブタイトルストリームは、上記変換情報を異にする複数のビットマップ変換テーブルを有しており、
上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記複数のビットマップ変換テーブルのうち上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータおよび上記ターゲットビデオデータの特性に適合したビットマップ変換テーブルが用いられる
前記(6)に記載の受信装置。
(8)上記サブタイトルストリームに、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの特性情報が挿入されており、
上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの特性は上記サブタイトルストリームに挿入されている特性情報に基づいて判断される
前記(7)に記載の受信装置。
(9)上記ビットマップデータを上記サブタイトルのグラフィックスデータに変換する処理では、上記ビットマップ変換テーブルが上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータおよび上記ターゲットビデオデータの特性に適合しないとき、上記ビットマップ変換テーブルを用いずに、上記特性に適合するように、上記ビットマップデータが上記サブタイトルのグラフィックスデータに変換される
前記(6)から(8)のいずれかに記載の受信装置。
(10)受信部が、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記サブタイトルストリームは、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有しており、
制御部が、上記ビデオストリームをデコードしてターゲットビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップデータを該ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ターゲットビデオデータに重畳する処理を制御する制御ステップをさらに有する
受信方法。
本技術の主な特徴は、送信側から受信側に送られるサブタイトルストリームが色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有するようにしたことで、受信側では、ビットマップ変換テーブルを用いてビットマップデータをサブタイトルのグラフィックスデータを変換するだけで、重畳先のターゲットビデオデータの特性に合った特性のサブタイトルのグラフィックスデータを容易に得ることができ、受信側の処理負荷を軽減することを可能にしたことである(図2、図8-9参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・ビデオエンコーダ
103・・・変換部
104・・・サブタイトルエンコーダ
105・・・システムエンコーダ
106・・・送信部
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・サブタイトルデコーダ
206・・・変換部
207・・・ビデオ重畳部
212・・・YCbCr/RGB変換部
213・・・電光変換部
214・・・表示マッピング部
215・・・CEモニタ

Claims (9)

  1. ビデオデータを持つビデオストリームを生成するビデオエンコード部と、
    サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコード部と、
    上記ビデオストリームと上記サブタイトルストリームを送信する送信部を備え、
    上記サブタイトルストリームは、上記ビットマップデータをサブタイトルのグラフィックスデータに変換するための、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有し、
    上記ビットマップ変換テーブルは、サブタイトルのグラフィックスデータとターゲットビデオデータの色域および/またはダイナミックレンジの適合特性情報を含む
    送信装置。
  2. 上記サブタイトルストリームは、上変換情報を異にする複数のビットマップ変換テーブルを有する
    請求項1に記載の送信装置。
  3. 上記サブタイトルストリーム、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの色域および/またはダイナミックレンジの特性情報をさらに有す
    請求項1または2に記載の送信装置。
  4. ビデオエンコード部が、ビデオデータを持つビデオストリームを生成するビデオエンコードステップと、
    サブタイトルエンコード部が、サブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを生成するサブタイトルエンコードステップと、
    送信部が、上記ビデオストリームと上記サブタイトルストリームを送信する送信ステップを有し、
    上記サブタイトルストリームは、上記ビットマップデータをサブタイトルのグラフィックスデータに変換するための、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有し、
    上記ビットマップ変換テーブルは、サブタイトルのグラフィックスデータとターゲットビデオデータの色域および/またはダイナミックレンジの適合特性情報を含む
    送信方法。
  5. ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを受信する受信部を備え、
    上記サブタイトルストリームは、上記ビットマップデータをサブタイトルのグラフィックスデータに変換するための、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有しており、
    上記ビットマップ変換テーブルは、サブタイトルのグラフィックスデータとターゲットビデオデータの色域および/またはダイナミックレンジの適合特性情報を含んでおり、
    上記ビデオストリームをデコードしてターゲットビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップ変換テーブルに含まれている上記適合特性情報に基づいて該ビットマップ変換テーブルが上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータおよび上記ターゲットビデオデータの色域および/またはダイナミックレンジの特性に適合しているか判断する処理と、適合していると判断されたとき、上記ビットマップデータを上記ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ターゲットビデオデータに重畳する処理を制御する制御部をさらに備える
    受信装置。
  6. 上記サブタイトルストリームは、上記変換情報を異にする複数のビットマップ変換テーブルを有しており、
    記変換する処理では、上記複数のビットマップ変換テーブルのうち適合していると判断されたビットマップ変換テーブルが用いられる
    請求項に記載の受信装置。
  7. 上記サブタイトルストリーム、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの色域および/またはダイナミックレンジの特性情報をさらに有しており、
    上記判断する処理では、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータの色域および/またはダイナミックレンジの特性は上記サブタイトルストリームが有する特性情報に基づいて判断される
    請求項5または6に記載の受信装置。
  8. 記変換する処理では、上記ビットマップ変換テーブルが適合していないと判断されたとき、ビットマップ変換テーブルを用いずに、上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータおよび上記ターゲットビデオデータの色域および/またはダイナミックレンジの特性に適合するように、上記ビットマップデータがサブタイトルのグラフィックスデータに変換される
    請求項からのいずれかに記載の受信装置。
  9. 受信部が、ビデオデータを持つビデオストリームとサブタイトルのグラフィックスデータを変換して得られたビットマップデータを持つサブタイトルストリームを受信する受信ステップを有し、
    上記サブタイトルストリームは、上記ビットマップデータをサブタイトルのグラフィックスデータに変換するための、色域および/または輝度の変換情報を含めたビットマップ変換テーブルを有しており、
    上記ビットマップ変換テーブルは、サブタイトルのグラフィックスデータとターゲットビデオデータの色域および/またはダイナミックレンジの適合特性情報を含んでおり、
    制御部が、上記ビデオストリームをデコードしてターゲットビデオデータを得る処理と、上記サブタイトルストリームをデコードして上記ビットマップデータと上記ビットマップ変換テーブルを得る処理と、該ビットマップ変換テーブルに含まれている上記適合特性情報に基づいて該ビットマップ変換テーブルが上記ビットマップデータへの変換前の上記サブタイトルのグラフィックスデータおよび上記ターゲットビデオデータの色域および/またはダイナミックレンジの特性に適合しているか判断する処理と、適合していると判断されたとき、上記ビットマップデータを上記ビットマップ変換テーブルを用いてサブタイトルのグラフィックスデータに変換する処理と、該サブタイトルのグラフィックスデータを上記ターゲットビデオデータに重畳する処理を制御する制御ステップをさらに有する
    受信方法。
JP2018517241A 2016-10-11 2017-09-28 送信装置、送信方法、受信装置および受信方法 Active JP7113746B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016200179 2016-10-11
JP2016200179 2016-10-11
PCT/JP2017/035162 WO2018070255A1 (ja) 2016-10-11 2017-09-28 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JPWO2018070255A1 JPWO2018070255A1 (ja) 2019-07-25
JP7113746B2 true JP7113746B2 (ja) 2022-08-05

Family

ID=61905419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517241A Active JP7113746B2 (ja) 2016-10-11 2017-09-28 送信装置、送信方法、受信装置および受信方法

Country Status (5)

Country Link
US (2) US10757361B2 (ja)
EP (2) EP3783902A1 (ja)
JP (1) JP7113746B2 (ja)
CN (1) CN108370451B (ja)
WO (1) WO2018070255A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3783902A1 (en) 2016-10-11 2021-02-24 Sony Corporation Receiving device and receiving method for subtitles
CN108476331B (zh) * 2016-11-22 2023-01-06 索尼公司 发送设备、发送方法、接收设备、以及接收方法
BR112022019770A2 (pt) 2020-03-30 2022-11-16 Bytedance Inc Método de processamento de vídeo, aparelho para processar dados de vídeo, meios de armazenamento e de gravação não transitórios legíveis por computador
CN112235521B (zh) * 2020-09-29 2023-03-10 东软集团股份有限公司 一种实现字幕转换的方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094846A (ja) 2007-10-10 2009-04-30 Panasonic Corp 映像・音声記録再生装置
JP2009147580A (ja) 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
WO2014178286A1 (ja) 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016125691A1 (ja) 2015-02-03 2016-08-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016132976A1 (ja) 2015-02-17 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0745307B3 (en) * 1994-12-14 2010-06-23 Philips Electronics N.V. Subtitling transmission system
US7002605B1 (en) * 2000-07-03 2006-02-21 Alps Electric Co., Ltd. Image display apparatus for fixing luminance of blank area and varying only luminance of image
KR20060113708A (ko) * 2003-11-10 2006-11-02 코닌클리케 필립스 일렉트로닉스 엔.브이. 주위의 비디오 콘텐트에 기초한 자막 텍스트의 적응
CN100401750C (zh) 2004-01-12 2008-07-09 松下电器产业株式会社 字幕编码装置
KR100725248B1 (ko) 2005-08-25 2007-06-04 주식회사 한국스테노 시각장애인용 속기입력장치 및 방법
JP4958713B2 (ja) 2007-10-04 2012-06-20 キヤノン株式会社 動画像符号化装置及びその制御方法
US7925081B2 (en) 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
JP2011030180A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR20110018261A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치
CN101917557B (zh) * 2010-08-10 2012-06-27 浙江大学 一种基于视频内容的动态添加字幕方法
JP6053767B2 (ja) * 2011-06-14 2016-12-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 高ダイナミックレンジ・ビデオのためのグラフィック処理
JP2013066075A (ja) 2011-09-01 2013-04-11 Sony Corp 送信装置、送信方法および受信装置
DK177954B1 (en) 2013-07-04 2015-02-02 Jasopels As Apparatus for processing of pelts having helical scraping rollers
US10515667B2 (en) * 2013-07-19 2019-12-24 Koninklijke Philips N.V. HDR metadata transport
DE202015009982U1 (de) * 2014-02-07 2022-08-02 Sony Group Corporation Übertragungsvorrichtung, Empfangsvorrichtung und Anzeigevorrichtung
JP2016048891A (ja) * 2014-08-28 2016-04-07 株式会社東芝 画像処理システム及び装置ならびに画像処理方法
WO2016163603A1 (ko) * 2015-04-05 2016-10-13 엘지전자 주식회사 Xml 자막에 기반한 방송 서비스를 위한 방송 신호 송수신 방법 및 장치
EP3783902A1 (en) 2016-10-11 2021-02-24 Sony Corporation Receiving device and receiving method for subtitles
CN108476331B (zh) * 2016-11-22 2023-01-06 索尼公司 发送设备、发送方法、接收设备、以及接收方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094846A (ja) 2007-10-10 2009-04-30 Panasonic Corp 映像・音声記録再生装置
JP2009147580A (ja) 2007-12-13 2009-07-02 Sony Corp 情報処理装置および方法、プログラム、並びに情報処理システム
WO2014178286A1 (ja) 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2016081553A (ja) 2014-10-17 2016-05-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 記録媒体、再生方法、および再生装置
WO2016125691A1 (ja) 2015-02-03 2016-08-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016132976A1 (ja) 2015-02-17 2016-08-25 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
EP3386201B1 (en) 2020-11-04
US20190281253A1 (en) 2019-09-12
CN108370451B (zh) 2021-10-01
US20200358980A1 (en) 2020-11-12
EP3386201A1 (en) 2018-10-10
JPWO2018070255A1 (ja) 2019-07-25
US11317055B2 (en) 2022-04-26
US10757361B2 (en) 2020-08-25
EP3783902A1 (en) 2021-02-24
EP3386201A4 (en) 2018-12-05
WO2018070255A1 (ja) 2018-04-19
CN108370451A (zh) 2018-08-03

Similar Documents

Publication Publication Date Title
US11716493B2 (en) Transmission device, transmission method, reception device, reception method, display device, and display method
US10542304B2 (en) Transmission device, transmission method, reception device, and reception method
JP7396401B2 (ja) 送信装置、送信方法、受信装置および受信方法
US11627367B2 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11838564B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US11317055B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
US10349144B2 (en) Reception device, receiving method, transmission device, and transmitting method
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200827

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220726

R150 Certificate of patent or registration of utility model

Ref document number: 7113746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150