本発明の好適な実施例について具体的に説明し、その例を添付の図面に示す。添付の図面を参照した下記の詳細な説明は、本発明の具現可能な実施例を限定するものではなく、本発明の好適な実施例を説明するためのものである。下記の詳細な説明は、本発明に関する徹底した理解を提供するために細部事項を含む。しかし、当業者にとってはこれらの細部事項無しにも本発明の実行が可能であるということは明らかである。
本発明で使われる大部分の用語は、当該分野で広く使われる一般的なものから選択されるが、一部の用語は出願人によって任意に選択されてもよく、その意味は、必要時に次の説明で詳しく説明する。したがって、本発明は、用語の単純な名称や意味ではなく、用語の意図された意味に基づいて理解しなければならない。
本発明は、次世代放送サービスに対する放送信号の送信及び受信装置並びに方法を提供する。本発明の一実施例に係る次世代放送サービスは、地上波放送サービス、モバイル放送サービス、UHDTVサービスなどを含む。本発明は、一実施例によって、非−MIMO(non−Multiple Input Multiple Output)又はMIMO方式によって次世代放送サービスに対する放送信号を処理することができる。本発明の一実施例に係る非−MIMO方式は、MISO(Multiple Input Single Output)方式、SISO(Single Input Single Output)方式などを含むことができる。本発明は、特定の用途に要求される性能を達成すると共に、受信機の複雑度を最小化するために最適化されたフィジカルプロファイル(又はシステム)を提案する。
図1は、本発明の一実施例に係るプロトコルスタックを示す図である。
サービスを複数個のレイヤを経て受信機に伝達することができる。まず、送信側ではサービスデータを生成することができる。送信側のデリバリレイヤでは、サービスデータに、伝送のための処理を行い、フィジカルレイヤでは、これを放送信号にエンコードして、放送網又はブロードバンドを介して伝送することができる。
ここで、サービスデータは、ISO BMFF(base media file format)によるフォーマットで生成することができる。ISO BMFFメディアファイルは、放送網/ブロードバンドデリバリ、メディアエンカプセレーション(media encapsulation)及び/又は同期化フォーマット(synchronization format)で用いることができる。ここで、サービスデータは、サービスに関連した全てのデータであり、リニアサービスを構成するサービスコンポーネント、それに対するシグナリング情報、NRT(Non Real Time)データ、その他のファイルなどを含む概念であってもよい。
デリバリレイヤについて説明する。デリバリレイヤはサービスデータに対する伝送機能を提供することができる。サービスデータは、放送網及び/又はブロードバンドを介して伝達することができる。
放送網を介したサービスデリバリ(broadcast service delivery)において、2つの方法を挙げることができる。
第一の方法は、MMT(MPEG Media Transport)に基づいて、サービスデータをMPU(Media Processing Units)として処理し、これをMMTP(MMT protocol)を用いて伝送することができる。この場合、MMTPによって伝達されるサービスデータは、リニアサービスのためのサービスコンポーネント及び/又はそれに関するサービスシグナリング情報などを含むことができる。
第二の方法は、MPEG DASHに基づいて、サービスデータをDASHセグメントとして処理し、これをROUTE(Real time Object delivery over Unidirectional Transport)を用いて伝送することができる。この場合、ROUTEプロトコルによって伝達されるサービスデータは、リニアサービスのためのサービスコンポーネント、それに関するサービスシグナリング情報、及び/又はNRTデータなどを含むことができる。すなわち、NRTデータ及びファイルなどのノンタイムド(non timed)データは、ROUTEを用いて伝達することができる。
MMTP又はROUTEプロトコルによって処理されたデータは、UDP/IPレイヤを経てIPパケットとして処理することができる。放送網を介したサービスデータ伝達において、SLT(Service List Table)もUDP/IPレイヤを経て放送網を介して伝達することができる。SLTは、LLS(Low Level Signaling)テーブルに含めて伝達することができる。SLT、LLSテーブルについては後述する。
IPパケットはリンクレイヤでリンクレイヤパケットとして処理されてもよい。リンクレイヤは、上位レイヤから伝達される様々なフォーマットのデータを、リンクレイヤパケットとしてエンカプセレーションした後、フィジカルレイヤに伝達することができる。リンクレイヤについては後述する。
ハイブリッドサービスデリバリ(hybrid service delivery)においては、少なくとも1つのサービスエレメントをブロードバンドパス(path)を通じて伝達することができる。ハイブリッドサービスデリバリの場合、ブロードバンドで伝達されるデータは、DASHフォーマットのサービスコンポーネント、それに関するサービスシグナリング情報、及び/又はNRTデータなどを含むことができる。これらのデータはHTTP/TCP/IPを経て処理され、ブロードバンド伝送のためのリンクレイヤを経て、ブロードバンド伝送のためのフィジカルレイヤに伝達されてもよい。
フィジカルレイヤは、デリバリレイヤ(上位レイヤ及び/又はリンクレイヤ)から伝達されたデータを処理して、放送網又はブロードバンドを介して伝送することができる。フィジカルレイヤに関する詳細な事項は後述する。
サービスについて説明する。サービスは、全体的にユーザに示すサービスコンポーネントのコレクションであり、コンポーネントは、様々なメディアタイプのものであり、サービスは、連続的又は間欠的であり、サービスは、実時間又は非実時間であってもよく、実時間サービスは、TV番組のシーケンスで構成することができる。
サービスは種々のタイプを有することができる。第一に、サービスはアプリベースのエンハンスメントを有し得るリニアオーディオ/ビデオサービス又はオーディオだけのサービスであってもよい。第二に、サービスは、ダウンロードされたアプリケーションによってその再生/構成などが制御されるアプリベースのサービスであってもよい。第三に、サービスは、ESG(Electronic Service Guide)を提供するESGサービスであってもよい。第四に、緊急警報情報を提供するEA(Emergency Alert)サービスであってもよい。
アプリベースのエンハンスメントを有しないリニアサービスを放送網を介して伝達する場合、サービスコンポーネントを、(1)1つ以上のROUTEセッション、又は(2)1つ以上のMMTPセッションで伝達することができる。
アプリベースのエンハンスメントを有するリニアサービスを放送網を介して伝達する場合、サービスコンポーネントを、(1)1つ以上のROUTEセッション、及び(2)0個以上のMMTPセッションで伝達してもよい。この場合、アプリベースのエンハンスメントに用いられるデータは、NRTデータ又はその他のファイルなどの形態でROUTEセッションを通じて伝達してもよい。本発明の一実施例において、1つのサービスのリニアサービスコンポーネント(ストリーミングメディアコンポーネント)が2つのプロトコルによって同時に伝達されることを許容しなくてもよい。
アプリベースのサービスを放送網を介して伝達する場合、サービスコンポーネントを、1つ以上のROUTEセッションで伝達することができる。この場合、アプリベースのサービスに用いられるサービスデータを、NRTデータ又はその他のファイルなどの形態でROUTEセッションを通じて伝達することができる。
また、このようなサービスの一部のサービスコンポーネント又は一部のNRTデータ、ファイルなどをブロードバンドを介して伝達してもよい(ハイブリッドサービスデリバリ)。
すなわち、本発明の一実施例で、一つのサービスのリニアサービスコンポーネントをMMTプロトコルによって伝達することができる。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネントは、ROUTEプロトコルによって伝達してもよい。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネント及びNRTデータ(NRTサービスコンポーネント)は、ROUTEプロトコルによって伝達してもよい。本発明の他の実施例で、一つのサービスのリニアサービスコンポーネントは、MMTプロトコルによって伝達し、NRTデータ(NRTサービスコンポーネント)は、ROUTEプロトコルによって伝達してもよい。これらの実施例において、サービスの一部のサービスコンポーネント又は一部のNRTデータは、ブロードバンドを介して伝達してもよい。ここで、アプリベースのサービス又はアプリベースのエンハンスメントに関するデータはNRTデータ形態で、ROUTEによる放送網を介して伝達したり、ブロードバンドを介して伝達してもよい。NRTデータは、ローカリキャッシュドデータ(Locally cashed data)などと呼ぶこともできる。
それぞれのROUTEセッションは、サービスを構成するコンテンツコンポーネントを全体的に又は部分的に伝達する1つ以上のLCTセッションを含む。ストリーミングサービスデリバリにおいて、LCTセッションはオーディオ、ビデオ、又はクローズドキャプションストリームのようなユーザサービスの個別コンポーネントを伝達することができる。ストリーミングメディアはDASHセグメントとしてフォーマットされる。
それぞれのMMTPセッションは、MMTシグナリングメッセージ又は全体又は一部のコンテンツコンポーネントを伝達する1つ以上のMMTPパケットフローを含む。MMTPパケットフローは、MMTシグナリングメッセージ又はMPUとしてフォーマットされたコンポーネントを伝達することができる。
NRTユーザサービス又はシステムメタデータのデリバリのために、LCTセッションはファイルベースのコンテンツアイテムを伝達する。これらのコンテンツファイルは、NRTサービスの連続的(タイムド)又は離散的(ノンタイムド)メディアコンポーネント、サービスシグナリング、又はESGフラグメントのようなメタデータで構成することができる。サービスシグナリング又はESGフラグメントのようなシステムメタデータのデリバリも、MMTPのシグナリングメッセージモードで行うことができる。
受信機では、チューナーが周波数をスキャニングするが、特定周波数で放送シグナルを感知することができる。受信機は、SLTを抽出してその処理モジュールに送ることができる。SLTパーサーは、SLTをパースし、データを取得してチャネルマップに保存することができる。受信機は、SLTのブートストラップ情報を取得してROUTE又はMMTクライアントに伝達することができる。これによって受信機はSLSを取得して保存することができる。USBDなどを取得することができ、これはシグナリングパーサーによってパースされてもよい。
図2は、本発明の一実施例に係るサービスディスカバリ手続を示す図である。
フィジカルレイヤの放送信号フレームが伝達するブロードキャストストリームは、LLS(Low Level Signaling)を運搬することができる。LLSデータは、フェルノウン(well known)IPアドレス/ポートに伝達されるIPパケットのペイロードで運搬することができる。このLLSはそのタイプによってSLTを含むことができる。LLSデータは、LLSテーブルの形態にフォーマットすることができる。LLSデータを運搬する毎UDP/IPパケットの最初のバイトは、LLSテーブルの始めであってもよい。図示の実施例とは違い、LLSデータを伝達するIPストリームは、他のサービスデータと共に同一のPLPを介して伝達してもよい。
SLTは、高速のチャネルスキャンによって受信機がサービスリストを生成できるようにし、SLSをロケーティング(locating)するためのアクセス情報を提供する。SLTは、ブートストラップ情報を含むが、このブートストラップ情報は、受信機がそれぞれのサービスに対するSLS(Service Layer Signaling)を取得できるようにする。SLS、すなわち、サービスシグナリング情報がROUTEで伝達される場合、ブートストラップ情報は、SLSを運搬するLCTチャネル又はそのLCTチャネルを含むROUTEセッションのデスティネーションIPアドレス及びデスティネーションポート情報を含むことができる。SLSがMMTで伝達される場合、ブートストラップ情報は、SLSを運搬するMMTPセッションのデスティネーションIPアドレス及びデスティネーションポート情報を含むことができる。
図示された実施例で、SLTが記述するサービス#1のSLSはROUTEで伝達され、SLTは、当該SLSが伝達されるLCTチャネルを含むROUTEセッションに対するブートストラップ情報(sIP1,dIP1,dPort1)を含むことができる。SLTが記述するサービス#2のSLSはMMTで伝達され、SLTは、当該SLSが伝達されるMMTPパケットフローを含むMMTPセッションに対するブートストラップ情報(sIP2,dIP2,dPort2)を含むことができる。
SLSは、当該サービスに対する特性を記述するシグナリング情報であり、当該サービス及び当該サービスのサービスコンポーネントを取得するための情報を提供したり、当該サービスを有意に再生するための受信機キャパビリティ情報などを含むことができる。各サービスに対して別個のサービスシグナリングを有すると、受信機は、ブロードキャストストリーム内で伝達される全てのSLSをパースしないで、所望のサービスに対する適切なSLSを取得すればよい。
SLSをROUTEプロトコルによって伝達する場合、SLSを、SLTが示すROUTEセッションの特定(dedicated)のLCTチャネルを介して伝達することができる。実施例によって、このLCTチャネルはtsi=0と識別されるLCTチャネルであってもよい。この場合、SLSは、USBD/USD(User Service Bundle Description/User Service Description)、S−TSID(Service−based Transport Session Instance Description)及び/又はMPD(Media Presentation Description)を含むことができる。
ここで、USBD又はUSDは、SLSフラグメントの一つであり、サービスの具体的な技術的情報を記述するシグナリングハブの役割を担うことができる。USBDは、サービス識別情報、デバイスキャパビリティ情報などを含むことができる。USBDは、他のSLSフラグメント(S−TSID、MPDなど)へのリファレンス情報(URIリファレンス)を含むことができる。すなわち、USBD/USDは、S−TSIDとMPDをそれぞれリファレンシングすることができる。また、USBDは、受信機が伝送モード(放送網/ブロードバンド)を決定できるようにするメタデータ情報をさらに含むことができる。USBD/USDの具体的な内容については後述する。
S−TSIDは、SLSフラグメントの一つであり、当該サービスのサービスコンポーネントを運搬する伝送セッションに対する全体的なセッションデスクリプション情報を提供することができる。S−TSIDは、当該サービスのサービスコンポーネントが伝達されるROUTEセッション及び/又はそのROUTEセッションのLCTチャネルに対する伝送セッションデスクリプション情報を提供することができる。S−TSIDは、一つのサービスと関連したサービスコンポーネントのコンポーネント取得(acquisition)情報を提供することができる。S−TSIDは、MPDのDASHリプレゼンテーション(Representation)と当該サービスコンポーネントのtsi間のマッピングを提供することができる。S−TSIDのコンポーネント取得情報は、tsi、関連DASHリプレゼンテーションの識別子の形態で提供することができ、実施例によってPLP IDを含んでも含まなくてもよい。コンポーネント取得情報を用いて、受信機は一つのサービスのオーディオ/ビデオコンポーネントを収集し、DASHメディアセグメントのバッファリング、デコーディングなどを行うことができる。S−TSIDは、前述したように、USBDによってリファレンシングされてもよい。S−TSIDの具体的な内容については後述する。
MPDは、SLSフラグメントの一つであり、当該サービスのDASHメディアプレゼンテーションに関するデスクリプションを提供することができる。MPDは、メディアセグメントに対するリソース識別子(resource identifier)を提供し、識別されたリソースに対するメディアプレゼンテーション内におけるコンテクスト情報を提供することができる。MPDは、放送網を介して伝達されるDASHリプレゼンテーション(サービスコンポーネント)を記述し、またブロードバンドを介して伝達される追加的なDASHリプレゼンテーションを記述することができる(ハイブリッドデリバリ)。MPDは、前述したように、USBDによってリファレンシングされてもよい。
SLSをMMTプロトコルによって伝達する場合、SLSは、SLTが示すMMTPセッションの特定(dedicated)MMTPパケットフローで伝達することができる。実施例によって、SLSを伝達するMMTPパケットのpacket_idは00の値を有することができる。この場合、SLSは、USBD/USD及び/又はMMT Package(MP)テーブルを含むことができる。
ここで、USBDは、SLSフラグメントの一つであり、ROUTEにおけるそれと同様にサービスの具体的な技術的情報を記述することができる。ここでのUSBDも、他のSLSフラグメントへのリファレンス情報(URIリファレンス)を含むことができる。MMTのUSBDは、MMTシグナリングのMPテーブルをリファレンシングすることができる。実施例によって、MMTのUSBDは、S−TSID及び/又はMPDへのリファレンス情報も含むことができる。ここで、S−TSIDは、ROUTEプロトコルによって伝達されるNRTデータのためのものであってもよい。MMTプロトコルによってリニアサービスコンポーネントが伝達される場合にも、NRTデータはROUTEプロトコルによって伝達され得るからである。MPDは、ハイブリッドサービスデリバリにおいて、ブロードバンドで伝達されるサービスコンポーネントのためのものであってもよい。MMTのUSBDの具体的な内容については後述する。
MPテーブルは、MPUコンポーネントのためのMMTのシグナリングメッセージであり、当該サービスのサービスコンポーネントを運搬するMMTPセッションに対する全体的なセッションデスクリプション情報を提供することができる。また、MPテーブルは、このMMTPセッションを通じて伝達されるアセット(Asset)に対するデスクリプションを含むことができる。MPテーブルは、MPUコンポーネントのためのストリーミングシグナリング情報であり、一つのサービスに該当するアセットのリストとこれらのコンポーネントのロケーション情報(コンポーネント取得情報)を提供することができる。MPテーブルの具体的な内容は、MMTで定義された形態であってもよく、変形された形態であってもよい。ここでいうアセットは、マルチメディアデータエンティティであり、1つのユニークIDで連合し、1つのマルチメディアプレゼンテーションを生成するために用いられるデータエンティティを意味することができる。アセットは、一つのサービスを構成するサービスコンポーネントに該当してもよい。MPテーブルを用いて、所望のサービスに該当するストリーミングサービスコンポーネント(MPU)に接近することができる。MPテーブルは、前述したように、USBDによってリファレンシングされてもよい。
その他のMMTシグナリングメッセージを定義することもできる。このようなMMTシグナリングメッセージによってMMTPセッション又はサービスに関連した追加の情報を記述することができる。
ROUTEセッションはソースIPアドレス、デスティネーションIPアドレス、デスティネーションポートナンバーによって識別される。LCTセッションはペアレントROUTEセッションの範囲内で唯一のTSI(transport session identifier)によって識別される。MMTPセッションはデスティネーションIPアドレス及びデスティネーションポートナンバーによって識別される。MMTPパケットフローはペアレントMMTPセッションの範囲内で唯一のpacket_idによって識別される。
ROUTEの場合、S−TSID、USBD/USD、MPD又はこれらを伝達するLCTセッションをサービスシグナリングチャネルと呼ぶことができる。MMTPの場合、USBD/UD、MMTシグナリングメッセージ、又はこれらを伝達するパケットフローをサービスシグナリングチャネルと呼ぶことができる。
図示した実施例とは違い、1つのROUTE又はMMTPセッションは複数個のPLPで伝達されてもよい。すなわち、1つのサービスは1つ以上のPLPを介して伝達されてもよい。図示とは違い、実施例によって、1つのサービスを構成するコンポーネントが別個のROUTEセッションで伝達されてもよい。また、実施例によって、1つのサービスを構成するコンポーネントが別個のMMTPセッションで伝達されてもよい。実施例によって、1つのサービスを構成するコンポーネントがROUTEセッションとMMTPセッションとに分けて伝達されてもよい。図示してはいないが、1つのサービスを構成するコンポーネントがブロードバンドを介して伝達(ハイブリッドデリバリ)されてもよい。
図3は、本発明の一実施例に係るLLS(Low Level Signaling)テーブル及びSLT(Service List Table)を示す図である。
図示のLLSテーブルの一実施例(t3010)は、LLS_table_idフィールド、provider_idフィールド、LLS_table_versionフィールド及び/又はLLS_table_idフィールドによる情報を含むことができる。
LLS_table_idフィールドは、当該LLSテーブルのタイプを識別し、provider_idフィールドは、当該LLSテーブルによってシグナルされるサービスに関連したサービスプロバイダを識別することができる。ここで、サービスプロバイダは、当該ブロードキャストストリームの全部又は一部を用いるブロードキャスタであり、provider_idフィールドは、当該ブロードキャストストリームを用いている複数のブロードキャスタのうち1つを識別することができる。LLS_table_versionフィールドは、当該LLSテーブルのバージョン情報を提供することができる。
LLS_table_idフィールドの値によって、当該LLSテーブルは、前述したSLT、コンテンツアドバイザリレーティング(Content advisory rating)に関連した情報を含むRRT(Rating Region Table)、システムタイムに関連した情報を提供するSystemTime情報、緊急警報に関連した情報を提供するCAP(Common Alert Protocol)メッセージのうち1つを含むことができる。実施例によって、その他の情報がLLSテーブルに含まれてもよい。
図示のSLTの一実施例(t3020)は、@bsid属性、@sltCapabilities属性、sltInetUrlエレメント及び/又はServiceエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@bsid属性は、ブロードキャストストリームの識別子であってもよい。@sltCapabilities属性は、当該SLTが記述する全てのサービスをデコードして有意に再生するために必要なキャパビリティ情報を提供することができる。sltInetUrlエレメントは、当該SLTのサービスのためのESG又はサービスシグナリング情報をブロードバンドを介して得るために用いられるベースURL情報を提供することができる。sltInetUrlエレメントは、@urlType属性をさらに含むことができるが、これは、当該URLから得られるデータのタイプを示すことができる。
Serviceエレメントは、当該SLTが記述するサービスに関する情報を含むエレメントであり、それぞれのサービスに対してServiceエレメントが存在してもよい。Serviceエレメントは、@serviceId属性、@sltSvcSeqNum属性、@protected属性、@majorChannelNo属性、@minorChannelNo属性、@serviceCategory属性、@shortServiceName属性、@hidden属性、@broadbandAccessRequired属性、@svcCapabilities属性、BroadcastSvcSignalingエレメント及び/又はsvcInetUrlエレメントを含むことができる。
@serviceId属性は、当該サービスの識別子であり、@sltSvcSeqNum属性は、当該サービスに対するSLT情報のシーケンスナンバーを示すことができる。@protected属性は、当該サービスの有意な再生のために必要な少なくとも1つのサービスコンポーネントが保護(protected)されているか否かを示すことができる。@majorChannelNo属性と@minorChannelNo属性はそれぞれ、当該サービスのメジャーチャネルナンバーとマイナーチャネルナンバーを示すことができる。
@serviceCategory属性は、当該サービスのカテゴリーを示すことができる。サービスのカテゴリーとしては、リニアA/Vサービス、リニアオーディオサービス、アプリベースのサービス、ESGサービス、EASサービスなどを挙げることができる。@shortServiceName属性は、当該サービスの短い名(Short name)を提供することができる。@hidden属性は、当該サービスがテスティング又は独占的(proprietary)な使用のためのサービスであるか否かを示すことができる。@broadbandAccessRequired属性は、当該サービスの有意な再生のためにブロードバンドアクセスが必要であるか否かを示すことができる。@svcCapabilities属性は、当該サービスのデコーディング及び有意な再生のために必要なキャパビリティ情報を提供することができる。
BroadcastSvcSignalingエレメントは、当該サービスのブロードキャストシグナリングに関連した情報を提供することができる。このエレメントは、当該サービスの放送網を介したシグナリングに対して、ロケーション、プロトコル、アドレスなどの情報を提供することができる。詳細な事項は後述する。
svcInetUrlエレメントは、当該サービスのためのシグナリング情報をブロードバンドを介してアクセスするためのURL情報を提供することができる。sltInetUrlエレメントは、@urlType属性をさらに含むことができるが、これは、当該URLから得られるデータのタイプを示すことができる。
前述したBroadcastSvcSignalingエレメントは、@slsProtocol属性、@slsMajorProtocolVersion属性、@slsMinorProtocolVersion属性、@slsPlpId属性、@slsDestinationIpAddress属性、@slsDestinationUdpPort属性、及び/又は@slsSourceIpAddress属性を含むことができる。
@slsProtocol属性は、当該サービスのSLSを伝達するために用いられるプロトコルを示すことができる(ROUTE、MMTなど)。@slsMajorProtocolVersion属性及び@slsMinorProtocolVersion属性はそれぞれ、当該サービスのSLSを伝達するために用いられるプロトコルのメジャーバージョンナンバー及びマイナーバージョンナンバーを示すことができる。
@slsPlpId属性は、当該サービスのSLSを伝達するPLPを識別するPLP識別子を提供することができる。実施例によって、このフィールドは省略されてもよく、SLSが伝達されるPLP情報は、後述するLMT内の情報とSLTのブートストラップ情報とを組み合わせて確認してもよい。
@slsDestinationIpAddress属性、@slsDestinationUdpPort属性及び@slsSourceIpAddress属性はそれぞれ、当該サービスのSLSを伝達する伝送パケットのデスティネーションIPアドレス、デスティネーションUDPポート及びソースIPアドレスを示すことができる。これらは、SLSが伝達される伝送セッション(ROUTEセッション又はMMTPセッション)を識別することができる。これらはブートストラップ情報に含まれてもよい。
図4は、本発明の一実施例に係る、ROUTEで伝達されるUSBD及びS−TSIDを示す図である。
図示されたUSBDの一実施例(t4010)は、bundleDescriptionルートエレメントを有することができる。bundleDescriptionルートエレメントは、userServiceDescriptionエレメントを有することができる。userServiceDescriptionエレメントは、1つのサービスに対するインスタンスであってもよい。
userServiceDescriptionエレメントは、@globalServiceID属性、@serviceId属性、@serviceStatus属性、@fullMPDUri属性、@sTSIDUri属性、nameエレメント、serviceLanguageエレメント、capabilityCodeエレメント及び/又はdeliveryMethodエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@globalServiceID属性は、当該サービスのグローバルにユニークな(globally unique)識別子であり、ESGデータとリンクされる上で用いられてもよい(Service@globalServiceID)。@serviceId属性は、SLTの該当のサービスエントリーに対応するリファレンスであり、SLTのサービスID情報と同一であってもよい。@serviceStatus属性は、当該サービスの状態を示すことができる。このフィールドは、当該サービスがアクティブ状態かインアクティブ(inactive)状態かを示すことができる。
@fullMPDUri属性は、当該サービスのMPDフラグメントをリファレンシングすることができる。MPDは、前述したように、放送網又はブロードバンドを介して伝達されるサービスコンポーネントに対する再生デスクリプションを提供することができる。@sTSIDUri属性は、当該サービスのS−TSIDフラグメントをリファレンシングすることができる。S−TSIDは、前述したように、当該サービスを運搬する伝送セッションへのアクセスに関連したパラメータを提供することができる。
nameエレメントは、当該サービスの名を提供することができる。このエレメントは、@lang属性をさらに含むことができるが、このフィールドは、nameエレメントが提供する名の言語を示すことができる。serviceLanguageエレメントは、当該サービスの利用可能な(available)言語を示すことができる。すなわち、このエレメントは、当該サービスを提供できる言語を羅列することができる。
capabilityCodeエレメントは、当該サービスを有意に再生する上で必要な受信機側のキャパビリティ又はキャパビリティグループ情報を示すことができる。これらの情報は、サービスアナウンスメント(announccement)から提供されるキャパビリティ情報フォーマットと互換されてもよい。
deliveryMethodエレメントは、当該サービスの放送網又はブロードバンドを介してアクセスされるコンテンツに対して、伝送関連情報を提供することができる。deliveryMethodエレメントは、broadcastAppServiceエレメント及び/又はunicastAppServiceエレメントを含むことができる。このエレメントはそれぞれ、basePatternエレメントを下位エレメントとして有することができる。
broadcastAppServiceエレメントは放送網を介して伝達されるDASHリプレゼンテーションに対する伝送関連情報を含むことができる。このDASHリプレゼンテーションは、当該サービスメディアプレゼンテーションの全てのピリオド(Period)にわたるメディアコンポーネントを含むことができる。
このエレメントのbasePatternエレメントは、受信機がセグメントURLとマッチするために用いるキャラクタパターンを示すことができる。これは、DASHクライアントが該当のリプレゼンテーションのセグメントを要求するために用いることができる。マッチされるということは、該当のメディアセグメントが放送網を介して伝達されるということを暗示することができる。
unicastAppServiceエレメントは、ブロードバンドを介して伝達されるDASHリプレゼンテーションに対する伝送関連情報を含むことができる。このDASHリプレゼンテーションは、該当のサービスメディアプレゼンテーションの全ピリオド(Period)にわたるメディアコンポーネントを含むことができる。
このエレメントのbasePatternエレメントは、受信機がセグメントURLとマッチするために用いるキャラクタパターンを示すことができる。これは、DASHクライアントが該当のリプレゼンテーションのセグメントを要求するために用いることができる。マッチされるということは、当該メディアセグメントがブロードバンドを介して伝達されるということを暗示することができる。
図示のS−TSIDの一実施例(t4020)は、S−TSIDルートエレメントを有することができる。S−TSIDルートエレメントは、@serviceId属性及び/又はRSエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@serviceId属性は、当該サービスの識別子であり、USBD/USDの当該サービスをリファレンシングすることができる。RSエレメントは、当該サービスのサービスコンポーネントが伝達されるROUTEセッションに関する情報を記述することができる。このようなROUTEセッションの個数によって、このエレメントは複数個存在してもよい。RSエレメントは、@bsid属性、@sIpAddr属性、@dIpAddr属性、@dport属性、@PLPID属性及び/又はLSエレメントをさらに含むことができる。
@bsid属性は、当該サービスのサービスコンポーネントが伝達されるブロードキャストストリームの識別子であってもよい。このフィールドが省略された場合、デフォルトブロードキャストストリームは、当該サービスのSLSを伝達するPLPを含むブロードキャストストリームであってもよい。このフィールドの値は、SLTの@bsid属性と同じ値であってもよい。
@sIpAddr属性、@dIpAddr属性及び@dport属性はそれぞれ、該当のROUTEセッションのソースIPアドレス、デスティネーションIPアドレス及びデスティネーションUDPポートを示すことができる。このフィールドが省略される場合、デフォルト値は、該当のSLSを伝達する、すなわち、該当のS−TSIDを伝達している現在の、ROUTEセッションのソースIPアドレス、デスティネーションIPアドレス及びデスティネーションUDPポート値であってもよい。現在ROUTEセッションでない、当該のサービスのサービスコンポーネントを伝達する他のROUTEセッションに対しては、本フィールドが省略されなくてもよい。
@PLPID属性は、該当のROUTEセッションのPLP ID情報を示すことができる。このフィールドが省略される場合、デフォルト値は、該当のS−TSIDが伝達されている現在PLPのPLP ID値であってもよい。実施例によって、このフィールドは省略され、該当のROUTEセッションのPLP ID情報は、後述するLMT内の情報と、RSエレメントのIPアドレス/UDPポート情報とを組み合わせて確認してもよい。
LSエレメントは、当該サービスのサービスコンポーネントが伝達されるLCTチャネルに関する情報を記述することができる。このようなLCTチャネルの個数によって、このエレメントは複数個存在してもよい。LSエレメントは、@tsi属性、@PLPID属性、@bw属性、@startTime属性、@endTime属性、SrcFlowエレメント及び/又はRepairFlowエレメントを含むことができる。
@tsi属性は、該当のLCTチャネルのtsi情報を示すことができる。これによって、当該サービスのサービスコンポーネントが伝達されるLCTチャネルを識別することができる。@PLPID属性は、該当のLCTチャネルのPLP ID情報を示すことができる。実施例によって、このフィールドは省略されてもよい。@bw属性は、該当のLCTチャネルの最大の帯域幅を示すことができる。@startTime属性は、該当のLCTセッションのスタートタイムを示し、@endTime属性は、該当のLCTチャネルのエンドタイムを示すことができる。
SrcFlowエレメントは、ROUTEのソースフローについて記述することができる。ROUTEのソースプロトコルは、デリバリオブジェクトを伝送するために用いられ、1つのROUTEセッション内で少なくとも1つのソースフローを設定(establish)することができる。これらのソースフローは、関連したオブジェクトをオブジェクトフローとして伝達することができる。
RepairFlowエレメントは、ROUTEのリペアフローについて記述することができる。ソースプロトコルによって伝達されるデリバリオブジェクトは、FEC(Forward Error Correction)によって保護されてもよいが、リペアプロトコルは、このようなFECプロテクションを可能にするFECフレームワーク(framework)を定義することができる。
図5は、本発明の一実施例に係る、MMTで伝達されるUSBDを示す図である。
図示されたUSBDの一実施例は、bundleDescriptionルートエレメントを有することができる。bundleDescriptionルートエレメントは、userServiceDescriptionエレメントを有することができる。userServiceDescriptionエレメントは、1つのサービスに対するインスタンスであってもよい。
userServiceDescriptionエレメントは、@globalServiceID属性、@serviceId属性、Nameエレメント、serviceLanguageエレメント、contentAdvisoryRatingエレメント、Channelエレメント、mpuComponentエレメント、routeComponentエレメント、broadbandComponentエレメント及び/又はComponentInfoエレメントを含むことができる。各フィールドは、図示されたUseコラムの値によって省略されてもよく、複数個存在してもよい。
@globalServiceID属性、@serviceId属性、Nameエレメント及び/又はserviceLanguageエレメントは、前述したROUTEで伝達されるUSBDの該当のフィールドと同一であってもよい。contentAdvisoryRatingエレメントは、当該サービスのコンテンツアドバイザリ(advisory)レーティングを示すことができる。これらの情報は、サービスアナウンスメント(announccement)から提供されるコンテンツアドバイザリレーティング情報フォーマットと互換されてもよい。Channelエレメントは、当該サービスに関連した情報を含むことができる。このエレメントの詳細な内容については後述する。
mpuComponentエレメントは、当該サービスのMPUとして伝達されるサービスコンポーネントに関するデスクリプションを提供することができる。このエレメントは、@mmtPackageId属性及び/又は@nextMmtPackageId属性をさらに含むことができる。@mmtPackageId属性は、当該サービスのMPUとして伝達されるサービスコンポーネントのMMTパッケージ(Package)をリファレンシングすることができる。@nextMmtPackageId属性は、時間上、@mmtPackageId属性がリファレンシングするMMTパッケージの次に用いられるMMTパッケージをリファレンシングすることができる。このエレメントの情報を用いてMPテーブルをリファレンシングすることができる。
routeComponentエレメントは、ROUTEで伝達される当該サービスのサービスコンポーネントに関するデスクリプションを含むことができる。リニアサービスコンポーネントがMMTプロトコルで伝達される場合であっても、NRTデータは、前述したように、ROUTEプロトコルによって伝達されてもよい。このエレメントはこのようなNRTデータに関する情報を記述することができる。このエレメントの詳細な内容については後述する。
broadbandComponentエレメントは、ブロードバンドで伝達される当該サービスのサービスコンポーネントに関するデスクリプションを含むことができる。ハイブリッドサービスデリバリにおいて、一つのサービスの一部のサービスコンポーネント又はその他のファイルは、ブロードバンドを介して伝達されてもよい。このエレメントは、このようなデータに関する情報を記述することができる。このエレメントは、@fullMPDUri属性をさらに含むことができる。この属性は、ブロードバンドで伝達されるサービスコンポーネントについて記述するMPDをリファレンシングすることができる。ハイブリッドサービスデリバリの他にも、トンネル内の走行などによって放送信号が弱くなる場合において、放送網−ブロードバンド間のハンドオフ(handoff)を支援するためにこのエレメントが用いられてもよい。放送信号が弱くなる場合、ブロードバンドを介してサービスコンポーネントを取得するが、再び放送信号が強くなると、放送網を介してサービスコンポーネントを取得し、サービスの連続性を保障することができる。
ComponentInfoエレメントは、当該サービスのサービスコンポーネントに関する情報を含むことができる。サービスのサービスコンポーネントの個数によって、このエレメントは複数個存在してもよい。このエレメントは、各サービスコンポーネントのタイプ、ロール(role)、名、識別子、プロテクションの有無などの情報を記述することができる。このエレメントの詳細な情報については後述する。
前述したChannelエレメントは、@serviceGenre属性、@serviceIcon属性及び/又はServiceDescriptionエレメントをさらに含むことができる。@serviceGenre属性は、当該サービスのジャンルを示し、@serviceIcon属性は、当該サービスを代表するアイコン(icon)のURL情報を含むことができる。ServiceDescriptionエレメントは、当該サービスのサービスデスクリプションを提供するが、このエレメントは、@serviceDescrText属性及び/又は@serviceDescrLang属性をさらに含むことができる。これらの属性はそれぞれ、当該サービスデスクリプションのテキスト及びそのテキストに用いられる言語を示すことができる。
前述したrouteComponentエレメントは、@sTSIDUri属性、@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性、@sTSIDSourceIpAddress属性、@sTSIDMajorProtocolVersion属性、及び/又は@sTSIDMinorProtocolVersion属性をさらに含むことができる。
@sTSIDUri属性は、S−TSIDフラグメントをリファレンシングすることができる。このフィールドは、前述したROUTEで伝達されるUSBDの該当のフィールドと同一であってもよい。このS−TSIDは、ROUTEで伝達されるサービスコンポーネントに対するアクセス関連情報を提供することができる。このS−TSIDは、MMTプロトコルによってリニアサービスコンポーネントが伝達される状況で、ROUTEプロトコルによって伝達されるNRTデータのために存在してもよい。
@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性及び@sTSIDSourceIpAddress属性はそれぞれ、前述したS−TSIDを運搬する伝送パケットのデスティネーションIPアドレス、デスティネーションUDPポート、ソースIPアドレスを示すことができる。すなわち、これらのフィールドは、前述したS−TSIDを運搬する伝送セッション(MMTPセッション又はROUTEセッション)を識別することができる。
@sTSIDMajorProtocolVersion属性及び@sTSIDMinorProtocolVersion属性は、前述したS−TSIDを伝達するために用いられる伝送プロトコルのメジャーバージョンナンバー及びマイナーバージョンナンバーを示すことができる。
前述したComponentInfoエレメントは、@componentType属性、@componentRole属性、@componentProtectedFlag属性、@componentId属性及び/又は@componentName属性をさらに含むことができる。
@componentType属性は、当該コンポーネントのタイプを示すことができる。例えば、この属性は、当該コンポーネントがオーディオ、ビデオ、クローズドキャプションコンポーネントのいずれであるかを示すことができる。@componentRole属性は、当該コンポーネントのロール(役割)を示すことができる。例えば、この属性は、当該コンポーネントがオーディオコンポーネントである場合、メインオーディオ、ミュージック、コメンタリなどのいずれであるかを示すことができる。該当のコンポーネントがビデオコンポーネントである場合、プライマリビデオであるかなどを示すことができる。当該コンポーネントがクローズドキャプションコンポーネントである場合、ノーマルキャプションであるか又はイージーリーダー(easy reader)タイプであるかなどを示すことができる。
@componentProtectedFlag属性は、当該サービスコンポーネントが保護されたか、例えば暗号化されたかを示すことができる。@componentId属性は、当該サービスコンポーネントの識別子を示すことができる。この属性の値は、このサービスコンポーネントに該当するMPテーブルのasset_id(アセットID)と同じ値であってもよい。@componentName属性は、当該サービスコンポーネントの名を示すことができる。
図6は、本発明の一実施例に係るリンクレイヤ(Link Layer)動作を示す図である。
リンクレイヤは、フィジカルレイヤとネットワークレイヤとの間のレイヤであり得る。送信側では、ネットワークレイヤからフィジカルレイヤにデータを伝送し、受信側では、フィジカルレイヤからネットワークレイヤにデータを伝送することができる(t6010)。リンクレイヤの目的は、フィジカルレイヤによる処理のために全入力パケットタイプを1つのフォーマットに圧縮(abstracting)すること、及びまだ定義されていない入力パケットタイプに対する柔軟性(flexibility)及び将来の拡張可能性を保障することにあり得る。また、リンクレイヤは、入力パケットのヘッダーの不要な情報を圧縮するオプションを提供することによって、入力データが効率的に伝送されるようにすることができる。リンクレイヤのオーバーヘッドリダクション、エンカプセレーションなどの動作は、リンクレイヤプロトコルと呼ばれ、当該プロトコルによって生成されたパケットは、リンクレイヤパケットと呼ぶことができる。リンクレイヤは、パケットエンカプセレーション(packet encapsulation)、オーバーヘッドリダクション(Overhead Reduction)及び/又はシグナリング伝送(Signaling Transmission)などの機能を有することができる。
送信側基準で、リンクレイヤ(ALP)は、入力パケットに対してオーバーヘッドリダクション過程を行った後、それらをリンクレイヤパケットにエンカプセレーションすることができる。また、実施例によって、リンクレイヤは、オーバーヘッドリダクション過程を行わないで、リンクレイヤパケットにエンカプセレーションしてもよい。リンクレイヤプロトコルの使用によって、フィジカルレイヤ上でデータの伝送に対するオーバーヘッドを大きく減少させることができ、本発明に係るリンクレイヤプロトコルは、IPオーバーヘッドリダクション及び/又はMPEG−2TSオーバーヘッドリダクションを提供することができる。
図示の、IPパケットが入力パケットとして入力される場合において(t6010)、リンクレイヤは、IPヘッダー圧縮、アダプテーション及び/又はエンカプセレーション過程を順に行うことができる。実施例によって、一部の過程は省略されてもよい。まず、RoHCモジュールでIPパケットヘッダー圧縮を行って不要なオーバーヘッドを減らし、アダプテーション過程によってコンテクスト情報を抽出し、これを帯域外で伝送することができる。IPヘッダー圧縮及びアダプテーション過程を総称して、IPヘッダー圧縮ということもできる。その後、エンカプセレーション過程を経てIPパケットをリンクレイヤパケットにエンカプセレーションすることができる。
MPEG2TSパケットが入力パケットとして入力される場合において、リンクレイヤは、TSパケットに対するオーバーヘッドリダクション及び/又はエンカプセレーション過程を順に行うことができる。実施例によって、一部の過程は省略されてもよい。オーバーヘッドリダクションにおいて、リンクレイヤは、シンクバイトの除去、ヌルパケットの削除及び/又は共通(common)ヘッダー除去(圧縮)を提供することができる。シンクバイト除去によってTSパケット当たりに1バイトのオーバーヘッドリダクションを提供することができる。受信側で再挿入可能な方式でヌルパケットの削除を行ってもよい。また、連続したヘッダー間の共通した情報を、受信側で復旧可能な方式で削除(圧縮)してもよい。各オーバーヘッドリダクション過程の一部は省略されてもよい。その後、エンカプセレーション過程を経てTSパケットをリンクレイヤパケッにエンカプセレーションすることができる。TSパケットのエンカプセレーションに対するリンクレイヤパケット構造は、他のタイプのパケットとは異なってもよい。
まず、IPヘッダー圧縮(IP Header Compression)について説明する。
IPパケットは、固定されたヘッダーフォーマットを有するが、通信環境で必要な一部の情報がブロードキャスト環境では不要な場合がある。リンクレイヤプロトコルは、IPパケットのヘッダーを圧縮することによって、ブロードキャストオーバーヘッドを減らすメカニズムを提供することができる。
IPヘッダー圧縮は、ヘッダーコンプレッサ/デコンプレッサ及び/又はアダプテーションモジュールを含むことができる。IPヘッダーコンプレッサ(RoHCコンプレッサ)は、RoHC方式に基づいて各IPパケットヘッダーのサイズを減少させることができる。その後、アダプテーションモジュールは、コンテクスト情報を抽出し、各パケットストリームからシグナリング情報を生成することができる。受信機は、該当のパケットストリームに関連したシグナリング情報をパースし、コンテクスト情報をそのパケットストリームに付加(attach)することができる。RoHCデコンプレッサは、パケットヘッダーを復旧して元来のIPパケットを再構成することができる。以下、IPヘッダー圧縮とは、ヘッダーコンプレッサによるIPヘッダー圧縮のみを意味してもよく、IPヘッダー圧縮とアダプテーションモジュールによるアダプテーション過程とを合わせた概念を意味してもよい。デコンプレッシング(decompressing)に対しても同様である。
以下、アダプテーション(Adaptation)について説明する。
単方向リンク上の伝送において、受信機がコンテクストの情報を有していないと、デコンプレッサは完全なコンテクストを受信するまでは、受信したパケットヘッダーを復旧することができない。これは、チャネル変更遅延及びターンオンディレー(turn−on delay)を招きうる。そこで、アダプテーション機能を用いて、コンプレッサ/デコンプレッサ間のコンフィギュレーションパラメータとコンテクスト情報を帯域外で伝送することができる。アダプテーションファンクション(function)は、コンテクスト情報及び/又はコンフィギュレーションパラメータを用いてリンクレイヤシグナリングを生成(construction)することができる。アダプテーションファンクションは、以前(previous)のコンフィギュレーションパラメータ及び/又はコンテクスト情報を用いて、それぞれのフィジカルフレームを介して周期的にリンクレイヤシグナリングを伝送することができる。
圧縮されたIPパケットからコンテクスト情報を抽出するが、アダプテーションモードによって様々な方法を用いることができる。
モード#1は、圧縮されたパケットストリームに対していかなる動作も行わないモードであり、アダプテーションモジュールがバッファとして動作するモードであるといえる。
モード#2は、圧縮されたパケットストリームのうち、IRパケットを検出してコンテクスト情報(スタティックチェーン)を抽出するモードであってもよい。抽出の後、IRパケットはIR−DYNパケットに変換され、IR−DYNパケットを元来のIRパケットに代えてパケットストリーム内で同じ順序で伝送することができる。
モード#3(t6020)は、圧縮されたパケットストリームのうち、IR及びIR−DYNパケットを検出し、コンテクスト情報を抽出するモードであってもよい。IRパケットからスタティックチェーン及びダイナミックチェーンを、IR−DYNパケットからダイナミックチェーンを抽出することができる。抽出の後、IR及びIR−DYNパケットを一般圧縮パケットに変換することができる。変換されたパケットを、元来のIR及びIR−DYNパケットに代えてパケットストリーム内で同じ順序で伝送することができる。
各モードで、コンテクスト情報を抽出して残ったパケットは、圧縮されたIPパケットのためのリンクレイヤパケット構造によってエンカプセレーションして伝送することができる。コンテクスト情報は、リンクレイヤシグナリングであり、シグナリング情報のためのリンクレイヤパケット構造によってエンカプセレーションして伝送することができる。
抽出されたコンテクスト情報は、RDT(RoHC−U Description Table)に含めてRoHCパケットフローとは別に伝送することができる。コンテクスト情報は、他のシグナリング情報と共に特定(specific)フィジカルデータ経路で伝送することができる。特定フィジカルデータ経路とは、実施例によって、一般PLPのうちの一つを意味することもでき、LLS(Low Level Signaling)が伝達されるPLPを意味することもでき、指定された(dedicated)PLPであってもよく、L1シグナリングパス(path)を意味することもできる。ここで、RDTは、コンテクスト情報(スタティックチェーン及び/又はダイナミックチェーン)及び/又はヘッダーコンプレッションに関連した情報を含むシグナリング情報であってもよい。実施例によって、RDTは、コンテクスト情報が変わる度に伝送されてもよい。また、実施例によって、RDTは、毎フィジカルフレームで伝送されてもよい。毎フィジカルフレームでRDTを伝送するために、以前(previous)のRDTが再利用(re−use)され得る。
受信機はパケットストリームを取得する前に、最初のPLPを選択してSLT、RDT、LMTなどのシグナリング情報をまず取得することができる。受信機は、このシグナリング情報が取得されると、これらを組み合わせてサービス−IP情報−コンテクスト情報−PLP間のマッピングを取得することができる。すなわち、受信機は、どのようなサービスがどのIPストリームで伝送されるのか、どのようなPLPでどのようなIPストリームが伝達されるのか、などを知ることができ、また、PLPの当該コンテクスト情報を取得することができる。受信機は、特定のパケットストリームを運搬するPLPを選択してデコードすることができる。アダプテーションモジュールは、コンテクスト情報をパースし、これを圧縮されたパケットと組み合わせることができる。これによってパケットストリームを復旧することができ、これをRoHCデコンプレッサに伝達することができる。その後、デコンプレッションを始まることができる。このとき、受信機は、アダプテーションモードに応じて、IRパケットをディテクトして、最初に受信されたIRパケットからデコンプレッションを開始したり(モード1)、IR−DYNパケットをディテクトして、最初に受信されたIR−DYNパケットからデコンプレッションを開始したり(モード2)、どの一般の圧縮パケット(compressed packet)からデコンプレッションを開始してもよい(モード3)。
以下、パケットエンカプセレーションについて説明する。
リンクレイヤプロトコルは、IPパケット、TSパケットなどの全てのタイプのインプットパケットをリンクレイヤパケットにエンカプセレーションすることができる。これによって、フィジカルレイヤは、ネットワークレイヤのプロトコルタイプとは独立して1つのパケットフォーマットだけを処理すればいい(ここでは、ネットワークレイヤパケットの一種としてMPEG−2TSパケットを考慮)。各ネットワークレイヤパケット又は入力パケットは、ゼネリックリンクレイヤパケットのペイロードに変形される。
パケットエンカプセレーション過程では分割(segmentation)を活用することができる。ネットワークレイヤパケットが大きすぎてフィジカルレイヤで処理できない場合、ネットワークレイヤパケットを2つ以上のセグメントに分割することができる。リンクレイヤパケットヘッダーは、送信側で分割を実行し、受信側で再結合を実行するためのフィールドを含むことができる。各セグメントを、元来の位置と同じ順序でリンクレイヤパケットにエンカプセレーションすることができる。
パケットエンカプセレーション過程で連鎖(concatenation)を活用することもできる。リンクレイヤパケットのペイロードが複数のネットワークレイヤパケットを含む程度にネットワークレイヤパケットが十分に小さい場合、連鎖を行ってもよい。リンクレイヤパケットヘッダーは、連鎖を実行するためのフィールドを含むことができる。連鎖の場合、各入力パケットを、元来の入力順序と同じ順序でリンクレイヤパケットのペイロードにエンカプセレーションすることができる。
リンクレイヤパケットは、ヘッダー及びペイロードを含むことができ、ヘッダーは、ベースヘッダー、追加(additional)ヘッダー及び/又はオプショナルヘッダーを含むことができる。追加ヘッダーは、連鎖又は分割などの状況によってさらに追加することができるが、追加ヘッダーには状況に応じて、必要なフィールドを含めることができる。また、追加的な情報の伝達のためにオプショナルヘッダーをさらに追加することもできる。それぞれのヘッダー構造は既に定義されていてもよい。前述したように、入力パケットがTSパケットである場合には、他のパケットとは異なるリンクレイヤヘッダー構造を用いることができる。
以下、リンクレイヤシグナリングについて説明する。
リンクレイヤシグナリングは、IPレイヤよりも下位レベルで動作することができる。受信側では、LLS、SLT、SLSなどのIPレベルシグナリングよりもリンクレイヤシグナリングを先に取得することができる。このため、リンクレイヤシグナリングをセッション設定(establishment)の前に取得することができる。
リンクレイヤシグナリングには、インターナルリンクレイヤシグナリングとエクスターナルリンクレイヤシグナリングがあり得る。インターナルリンクレイヤシグナリングは、リンクレイヤで生成されたシグナリング情報を意味することができる。前述したRDT又は後述するLMTなどがこれに当たる。エクスターナルリンクレイヤシグナリングは、外部のモジュール又は外部のプロトコル、上位レイヤから伝達されたシグナリング情報であってもよい。リンクレイヤは、リンクレイヤシグナリングをリンクレイヤパケットにエンカプセレーションして伝達することができる。リンクレイヤシグナリングのためのリンクレイヤパケット構造(ヘッダー構造)を定義することができ、この構造によって、リンクレイヤシグナリング情報をエンカプセレーションすることができる。
図7は、本発明の一実施例に係るLMT(Link Mapping Table)を示す図である。
LMTは、PLPで運搬される上位レイヤセッションのリストを提供することができる。また、LMTは、上位レイヤセッションを伝達するリンクレイヤパケットをプロセシングするための追加的な情報を提供することができる。ここで、上位レイヤセッションは、マルチキャスト(multicast)と呼ぶこともできる。LMTから、特定のPLPを介していかなるIPストリーム、いかなる伝送セッションが伝送されているかに関する情報を取得することができる。逆に、特定の伝送セッションがどのPLPで伝達されるかに関する情報も取得することができる。
LMTは、LLSを運搬するものと識別されたいかなるPLPでも伝達可能である。ここで、LLSが伝達されるPLPは、フィジカルレイヤのL1ディテールシグナリング情報のLLSフラグによって識別され得る。LLSフラグは、それぞれのPLPに対して、当該PLPでLLSが伝達されるか否かを示すフラグフィールドであってもよい。ここで、L1ディテールシグナリング情報は、後述するPLS2データに該当してもよい。
すなわち、LMTは、LLSと共に、同じPLPで伝達され得る。それぞれのLMTは、前述したように、PLPとIPアドレス/ポートとの間のマッピングを記述することができる。前述したように、LLSはSLTを含むことができ、LMTが記述するこのIPアドレス/ポートは、当該LMTと同じPLPで伝達されるSLTが記述する、あらゆる(any)サービスと関連するあらゆる(any)IPアドレス/ポートであってもよい。
実施例によって、前述したSLT、SLS等におけるPLP識別子情報を用いて、SLT、SLSが示す特定伝送セッションがどのPLPで伝送されているかに関する情報を確認することができる。
他の実施例によって、前述したSLT、SLS等におけるPLP識別子情報は省略され、SLT、SLSが示す特定伝送セッションに対するPLP情報は、LMT内の情報を参照することによって確認することもできる。この場合、受信機は、LMTと他のIPレベルシグナリング情報とを組み合わせて、所望のPLPを識別することができる。この実施例においても、SLT、SLS等におけるPLP情報は省略されず、SLT、SLS等に残っていてもよい。
同図の実施例に係るLMTは、signaling_typeフィールド、PLP_IDフィールド、num_sessionフィールド及び/又はそれぞれのセッションに関する情報を含むことができる。同図の実施例のLMTは、1つのPLPに対して、そのPLPで伝送されるIPストリームを記述しているが、実施例によって、LMTにPLPループを追加し、複数個のPLPに関する情報を記述してもよい。この場合、LMTは、前述したように、共に伝達されるSLTが記述するあらゆるサービスと関連するあらゆるIPアドレス/ポートに対するPLPを、PLPループに記述することができる。
signaling_typeフィールドは、当該テーブルによって伝達されるシグナリング情報のタイプを示すことができる。LMTに対するsignaling_typeフィールドの値は、0x01に設定することができる。signaling_typeフィールドは省略されてもよい。PLP_IDフィールドは、記述しようとする対象PLPを識別することができる。PLPループが用いられる場合、それぞれのPLP_IDフィールドは、それぞれの対象PLPを識別することができる。PLP_IDフィールドからはPLPループ内に含まれてもよい。後述するPLP_IDフィールドは、PLPループにおける一つのPLPに対する識別子であり、以下で説明するフィールドは、その当該PLPに対するフィールドであってもよい。
num_sessionフィールドは、当該PLP_IDフィールドによって識別されるPLPで伝達される上位レイヤセッションの個数を示すことができる。num_sessionフィールドが示す個数によって、各セッションに関する情報が含まれてもよい。この情報は、src_IP_addフィールド、dst_IP_addフィールド、src_UDP_portフィールド、dst_UDP_portフィールド、SID_flagフィールド、compressed_flagフィールド、SIDフィールド及び/又はcontext_idフィールドを含むことができる。
src_IP_addフィールド、dst_IP_addフィールド、src_UDP_portフィールド及びdst_UDP_portフィールドは、当該PLP_IDフィールドによって識別されるPLPで伝達される上位レイヤセッションのうち、当該伝送セッションに対するソースIPアドレス、デスティネーションIPアドレス、ソースUDPポート、デスティネーションUDPポートを示すことができる。
SID_flagフィールドは、当該伝送セッションを伝達するリンクレイヤパケットがそのオプショナルヘッダーにSIDフィールドを有するか否かを示すことができる。上位レイヤセッションを伝達するリンクレイヤパケットは、そのオプショナルヘッダーにSIDフィールドを有することができ、そのSIDフィールドの値は後述するLMT内のSIDフィールドと同一であってもよい。
compressed_flagフィールドは、当該伝送セッションを伝達するリンクレイヤパケットのデータにヘッダーコンプレッションが適用されたか否かを示すことができる。また、本フィールドの値によって、後述するcontext_idフィールドの存否が決定されてもよい。ヘッダーコンプレッションが適用された場合(compressed_flag=1)、RDTが存在し得、そのRDTのPLP IDフィールドは、本compressed_flagフィールドに関連する当該PLP_IDフィールドと同じ値を有することができる。
SIDフィールドは、当該伝送セッションを伝達するリンクレイヤパケットに対するSID(sub stream ID)を示すことができる。このリンクレイヤパケットは、そのオプショナルヘッダーに本SIDフィールドと同一の値を有するSIDを含んでいてもよい。これを通じて、受信機は、リンクレイヤパケットを全部パーシングする必要がなく、LMTの情報及びリンクレイヤパケットヘッダーのSID情報を用いて、リンクレイヤパケットをフィルタリングすることができる。
context_idフィールドは、RDT内のCID(context id)に対するリファレンスを提供することができる。RDTのCID情報は、該当する圧縮IPパケットストリームに対するコンテクストIDを示すことができる。RDTは、該当する圧縮IPパケットストリームに対するコンテクスト情報を提供することができる。本フィールドによってRDTとLMTとが関連付けられてもよい。
前述した、本発明のシグナリング情報/テーブルの実施例において、それぞれのフィールド、エレメント、属性を省略したり他のフィールドに置き換えてもよく、実施例によって、更なるフィールド、エレメント、属性を追加してもよい。
本発明の一実施例で、一つのサービスのサービスコンポーネントを複数個のROUTEセッションで伝達することができる。この場合、SLTのブートストラップ情報を用いてSLSを取得することができる。このSLSのUSBDを用いてS−TSIDとMPDをリファレンシングすることができる。S−TSIDは、SLSを伝達しているROUTEセッションだけでなく、サービスコンポーネントを伝達している他のROUTEセッションに対する伝送セッションデスクリプション情報も記述することができる。これによって、複数個のROUTEセッションで伝達されるサービスコンポーネントを全て収集することができる。このような事項は、一つのサービスのサービスコンポーネントが複数個のMMTPセッションで伝達される場合にも同様に適用することができる。参考として、1つのサービスコンポーネントが複数個のサービスによって同時に用いられてもよい。
本発明の他の実施例で、ESGサービスに対するブートストラピングは放送網又はブロードバンドで行われてもよい。ブロードバンドを介してESGを取得し、SLTのURL情報を活用することができる。このURLにESG情報などを要求することができる。
本発明の他の実施例で、一つのサービスのいずれか一つのサービスコンポーネントは放送網で、いずれか他のサービスコンポーネントはブロードバンドで伝達することができる(ハイブリッド)。S−TSIDは、放送網で伝達されるコンポーネントについて記述して、ROUTEクライアントが所望のサービスコンポーネントを取得できるようにする。また、USBDは、ベースパターン情報を有しており、どのセグメントが(どのコンポーネントが)どの経路で伝達されるかを記述することができる。したがって、受信機は、これを用いて、ブロードバンドサーバーに要求すべきセグメント、及び放送ストリームから見つけるべきセグメントを識別することができる。
本発明の他の実施例で、サービスに対するスケーラブル(scalable)コーディングを行うこともできる。USBDは、当該サービスをレンダリングするために必要な全てのキャパビリティ情報を有することができる。例えば、一つのサービスがHD又はUHDで提供される場合、USBDのキャパビリティ情報は、“HD又はUHD”値を有することができる。受信機は、MPDから、UHD又はHDサービスをレンダリングするためにはどのコンポーネントを再生しなければならないかが分かる。
本発明の他の実施例で、SLSを伝達するLCTチャネルで伝達されるLCTパケットのTOIフィールドから、当該LCTパケットがどのSLSフラグメントを伝達しているか(USBD、S−TSID、MPDなど)を識別することができる。
本発明の他の実施例で、アプリベースのエンハンスメント/アプリベースのサービスに用いられるアプリコンポーネントを、NRTコンポーネントとして放送網で伝達されたり、又はブロードバンドで伝達してもよい。また、アプリベースのエンハンスメントに対するアプリシグナリングは、SLSと共に伝達されるAST(Application Signaling Table)によって行われてもよい。また、アプリが行う動作に対するシグナリングであるイベントは、SLSと共にEMT(Event Message Table)の形態で伝達されたり、MPD内にシグナルされたり、DASHリプレゼンテーション内にbox形態でインバンド(in−band)シグナルされてもよい。AST、EMTなどはブロードバンドを介して伝達されてもよい。収集されたアプリコンポーネントとこのようなシグナリング情報を用いてアプリベースのエンハンスメントなどを提供することができる。
本発明の他の実施例で、緊急警報のためにCAPメッセージを前述のLSテーブルに含めて提供することができる。緊急警報のためのリーチメディア(Rich Media)コンテンツも提供することができる。リーチメディアは、CAPメッセージによってシグナルすることができ、リーチメディアが存在する場合、これは、SLTによってシグナルされるEASサービスとして提供することができる。
本発明の他の実施例で、MMTプロトコルによってリニアサービスコンポーネントを放送網を介して伝達することができる。この場合、当該サービスに対するNRTデータ(例えば、アプリコンポーネント)をROUTEプロトコルによって放送網で伝達することができる。また、当該サービスに対するデータをブロードバンドで伝達することができる。受信機は、SLTのブートストラップ情報を用いてSLSを伝達するMMTPセッションに接近することができる。MMTによるSLSのUSBDは、MPテーブルをリファレンシングして、受信機がMMTプロトコルによって伝達されるMPUにフォーマットされたリニアサービスコンポーネントを取得できるようにする。また、USBDは、S−TSIDをさらにリファレンシングして、受信機がROUTEプロトコルによって伝達されるNRTデータを取得するようにしてもよい。また、USBDは、MPDをさらにリファレンシングして、ブロードバンドを介して伝達されるデータに対する再生デスクリプションを提供することができる。
本発明の他の実施例で、受信機はそのコンパニオンデバイスに、ストリーミングコンポーネント及び/又はファイルコンテンツアイテム(ファイルなど)を取得できるロケーションURL情報を、ウェブソケットなどの方法で伝達することができる。コンパニオンデバイスのアプリケーションはこのURLにHTTP GETなどを用いて要求して該当のコンポーネント、データなどを取得することができる。その他にも、受信機はシステムタイム情報、緊急警報情報などの情報をコンパニオンデバイス側に伝達することができる。
図8は、本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置の構造を示す。
本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置は、インプットフォーマットブロック(Input Format block)1000、BICM(bit interleaved coding & modulation)ブロック1010、フレームビルディングブロック(Frame building block)1020、OFDM(orthogonal frequency division multiplexing)生成ブロック(OFDM generation block)1030、及びシグナリング生成ブロック1040を含むことができる。放送信号送信装置の各ブロックの動作について説明する。
本発明の一実施例に係る入力データは、IPストリーム/パケット及びMPEG2−TSが主な入力フォーマットであり得、他のストリームタイプは一般ストリームとして扱われる。
インプットフォーマットブロック1000は、それぞれの入力ストリームを独立したコーディング及び変調が適用される1つ又は多数のデータパイプに逆多重化することができる。データパイプは、ロバスト性(robustness)の制御のための基本単位であり、これは、QoS(Quality of Service)に影響を及ぼす。1つ又は多数のサービス又はサービスコンポーネントが一つのデータパイプによって伝達されてもよい。データパイプは、1つ又は多数のサービス又はサービスコンポーネントを伝達できるサービスデータ又は関連メタデータを伝達する物理層(physical layer)での論理チャネルである。
QoSが、本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置によって提供されるサービスの特性に依存するため、それぞれのサービスに該当するデータは、互いに異なる方式を用いて処理されなければならない。
BICMブロック1010は、MIMOが適用されないプロファイル(又はシステム)に適用される処理ブロック、及び/又はMIMOが適用されるプロファイル(又はシステム)の処理ブロックを含むことができ、それぞれのデータパイプを処理するための複数の処理ブロックを含むことができる。
MIMOが適用されないBICMブロックの処理ブロックは、データFECエンコーダ、ビットインタリーバ、コンステレーションマッパー(mapper)、SSD(signal space diversity)エンコーディングブロック、及びタイムインタリーバを含むことができる。MIMOが適用されるBICMブロックの処理ブロックは、セルワードデマルチプレクサ及びMIMOエンコーディングブロックをさらに含むという点で、MIMOが適用されないBICMの処理ブロックと区別される。
データFECエンコーダは、外部コーディング(BCH)及び内部コーディング(LDPC)を用いてFECBLOCK手順を生成するために、入力BBFにFECエンコーディングを実行する。外部コーディング(BCH)は選択的なコーディング方法である。ビットインタリーバは、データFECエンコーダの出力をインタリーブして、LDPCコード及び変調方式の組み合わせにより最適化された性能を達成することができる。コンステレーションマッパーは、QPSK、QAM−16、不均一QAM(NUQ−64、NUQ−256、NUQ−1024)又は不均一コンステレーション(NUC−16、NUC−64、NUC−256、NUC−1024)を用いて、ビットインタリーバ又はセルワードデマルチプレクサからのセルワードを変調して、電力が正規化されたコンステレーションポイントを提供することができる。NUQが任意の形状を有する反面、QAM−16及びNUQは正方形の形状を有することが観察される。NUQ及びNUCはいずれも各コードレート(code rate)に対して特別に定義され、PLS2データのパラメータDP_MODによってシグナリングされる。タイムインタリーバは、データパイプレベルで動作することができる。タイムインタリービングのパラメータは、それぞれのデータパイプに対して異ならせて設定されてもよい。
本発明のタイムインタリーバは、BICMチェーン(BICM chain)ブロックとフレームビルダー(Frame Builder)との間に位置し得る。この場合、本発明のタイムインタリーバは、PLP(Physical Layer Pipe)モードに応じて、コンボリューションインタリーバ(Convolution Interleaver、CI)とブロックインタリーバ(Block Interleaver、BI)を選択的に使用してもよく、両方とも使用してもよい。本発明の一実施例に係るPLPは、上述したDPと同じ概念で使用されるフィジカルパス(physical path)であって、呼称は設計者の意図によって変更可能である。本発明の一実施例に係るPLPモードは、放送信号送信機又は放送信号送信装置で処理するPLPの個数に応じて、シングルPLP(single PLP)モード又はマルチプルPLP(multiple PLP)モードを含むことができる。本発明では、PLPモードに応じて互いに異なるタイムインタリービング方法を適用するタイムインタリービングを、ハイブリッドタイムインタリービング(Hybrid Time Interleaving)と呼ぶことができる。
ハイブリッドタイムインタリーバは、ブロックインタリーバ(BI)及びコンボリューションインタリーバ(CI)を含むことができる。PLP_NUM=1である場合、ブロックインタリーバは適用されず(ブロックインタリーバオフ(off))、コンボリューションインタリーバのみが適用される。PLP_NUM>1である場合、ブロックインタリーバ及びコンボリューションインタリーバが両方とも適用(ブロックインタリーバオン(on))されてもよい。PLP_NUM>1である場合に適用されるコンボリューションインタリーバの構造及び動作は、PLP_NUM=1である場合に適用されるコンボリューションインタリーバの構造及び動作と異なってもよい。ハイブリッドタイムデインターリーバは、上述したハイブリッドタイムインタリーバの逆動作に相応する動作を行うことができる。
セルワードデマルチプレクサは、MIMO処理のために、単一のセルワードストリームを二重セルワードストリームに分離するのに用いられる。MIMOエンコーディングブロックは、MIMOエンコーディング方式を用いてセルワードデマルチプレクサの出力を処理することができる。本発明のMIMOエンコーディング方式は、受信機側での比較的小さい複雑度の増加で容量増加を提供するためのFR−SM(full−rate spatial multiplexing)として定義できる。MIMO処理はデータパイプレベルで適用される。コンステレーションマッパー出力のペア(pair、対)であるNUQ(e1,i及びe2,i)は、MIMOエンコーダの入力として供給されると、MIMOエンコーダ出力ペア(pair、対)(g1,i及びg2,i)は、それぞれの送信アンテナの同じキャリアk及びOFDMシンボルlによって伝送される。
フレームビルディングブロック1020は、一つのフレーム内で入力データパイプのデータセルをOFDMシンボルにマッピングし、周波数領域ダイバーシチのために周波数インタリービングを行うことができる。
本発明の一実施例に係るフレームは、プリアンブル、1つ以上のFSS(frame signaling symbol)、ノーマルデータシンボルに分離される。プリアンブルは、信号の効率的な送信及び受信のための基本伝送パラメータの集合を提供する特別なシンボルである。プリアンブルは、フレームの基本伝送パラメータ及び伝送タイプをシグナリングすることができる。特に、プリアンブルは、EAS(emergency alert service)が現フレームに提供されるか否かを示すことができる。FSSの主な目的はPLSデータを伝達することである。高速同期化及びチャネル推定、PLSデータの高速デコーディングのために、FSSは、ノーマルデータシンボルよりも高密度のパイロットパターンを有する。
フレームビルディングブロックは、データパイプと該当するPLSデータとの間のタイミングを調節して、送信機側でデータパイプと該当するPLSデータとの間の同時性(co−time)を保障するためのディレイコンペンセーション(delay compensation、遅延補償)ブロック、PLS、データパイプ、補助ストリーム、及びダミーセルなどをフレーム内でOFDMシンボルのアクティブ(active)キャリアにマッピングするためのセルマッパー(cell mapper)、及び周波数インタリーバ(frequency interleaver)を含むことができる。
周波数インタリーバは、セルマッパーから受信されたデータセルをランダムにインタリーブして周波数ダイバーシチを提供することができる。また、周波数インタリーバは、単一のフレームで最大のインタリービング利得を得るために、異なるインタリービングシード(seed)順序を用いて、2つの順次的なOFDMシンボルで構成されたOFDMシンボルペア(pair、対)に対応するデータ又は一つのOFDMシンボルに対応するデータに対して動作することができる。
OFDM生成ブロック1030は、フレームビルディングブロックによって生成されたセルによってOFDMキャリアを変調し、パイロットを挿入し、伝送のための時間領域信号を生成する。また、当該ブロックは、順次にガードインターバルを挿入し、PAPR減少処理を適用して最終RF信号を生成する。
シグナリング生成ブロック1040は、各機能ブロックの動作に用いられる物理層(physical layer)シグナリング情報を生成することができる。本発明の一実施例に係るシグナリング情報はPLSデータを含むことができる。PLSは、受信機で物理層(physical layer)データパイプに接続できる手段を提供する。PLSデータはPLS1データ及びPLS2データで構成される。
PLS1データは、PLS2データをデコードするのに必要なパラメータだけでなく、システムに関する基本情報を伝達する固定されたサイズ、コーディング、変調を有するフレームにおいてFSSで伝達されるPLSデータの1番目の集合である。PLS1データは、PLS2データの受信及びデコーディングを可能にするのに要求されるパラメータを含む基本送信パラメータを提供する。PLS2データは、データパイプ及びシステムに関するさらに詳細なPLSデータを伝達し、FSSで伝送されるPLSデータの2番目の集合である。さらに、PLS2シグナリングは、PLS2スタティック(static、静的)データ(PLS2−STATデータ)、及びPLS2ダイナミック(dynamic、動的)データ(PLS2−DYNデータ)の2種類のパラメータで構成される。PLS2スタティック(static、静的)データは、フレームグループのデュレーションの間にスタティック(static、静的)なPLS2データであり、PLS2ダイナミック(dynamic、動的)データは、フレーム毎にダイナミック(dynamic、動的)に変化するPLS2データである。
PLS2データはFIC_FLAG情報を含むことができる。FIC(Fast Information Channel)は、速いサービス取得及びチャネルスキャン(fast service acquisition and channel scanning)を可能にするクロスレイヤ(cross−layer)情報を伝送するための専用チャネル(dedicated channel)である。FIC_FLAG情報は、1ビットのフィールドであって、FIC(fast information channel、高速情報チャネル)が現フレームグループで用いられるか否かを示す。当該フィールドの値が1に設定されると、FICは現フレームで提供される。当該フィールドの値が0に設定されると、FICは現フレームで伝達されない。BICMブロック1010は、PLSデータの保護のためのBICMブロックを含むことができる。PLSデータの保護のためのBICMブロックは、PLS FECエンコーダ、ビットインタリーバ、及びコンステレーションマッパーを含むことができる。
PLS FECエンコーダは、PLS1データ及びPLS2データをスクランブルするためのスクランブラ、PLS保護のためのショートニングされたBCHコードを用いてスクランブルされたPLS1,2データに外部エンコーディングを行い、BCHエンコーディング後にゼロビットを挿入するためのBCHエンコーディング/ゼロ挿入ブロック、LDPCコードを用いてエンコーディングを行うためのLDPCエンコーディングブロック、及びLDPCパリティパンクチャリング(puncturing)ブロックを含むことができる。PLS1データに対してのみ、ゼロ挿入の出力ビットがLDPCエンコーディングの前にパーミュテーション(permutation)され得る。ビットインタリーバは、それぞれのショートニング及びパンクチャリングされたPLS1データ及びPLS2データをインタリーブし、コンステレーションマッパーは、ビットインタリーブされたPLS1データ及びPLS2データをコンステレーションにマッピングすることができる。
本発明の一実施例に係る次世代放送サービスに対する放送信号受信装置は、図8を参照して説明した次世代放送サービスに対する放送信号送信装置の逆過程を行うことができる。
本発明の一実施例に係る次世代放送サービスに対する放送信号受信装置は、放送信号送信装置によって行われる手順の逆過程に該当する復調を行う同期及び復調モジュール(synchronization & demodulation module)、入力信号フレームをパーシングし、ユーザによって選択されたサービスが伝送されるデータを抽出するフレームパーシングモジュール(frame parsing module)、入力信号をビット領域データに変換した後、必要によってビット領域データをデインタリーブし、伝送効率のために適用されたマッピングに対するデマッピングを行い、デコーディングを介して伝送チャネルで発生した誤りを訂正するデマッピング及びデコーディングモジュール(demapping & decoding module)、放送信号送信装置によって適用される様々な圧縮/信号処理手順の逆過程を行う出力プロセッサ(output processor)、及び同期及び復調モジュールによって復調された信号からPLS情報を取得、処理するシグナリングデコーディングモジュール(signaling decoding module)を含むことができる。フレームパーシングモジュール、デマッピング及びデコーディングモジュール、及び出力プロセッサは、シグナリングデコーディングモジュールから出力されたPLSデータを用いてその機能を実行することができる。
以下、タイムインタリーバを説明する。本発明の一実施例に係るタイムインタリービンググループは、一つのフレームに直接マッピングされるか、またはPI個のフレームにわたって拡散される。また、それぞれのタイムインタリービンググループは、一つ以上(NTI個)のタイムインタリービングブロックに分離される。ここで、それぞれのタイムインタリービングブロックは、タイムインタリーバメモリの一つの使用に該当する。タイムインタリービンググループ内のタイムインタリービングブロックは、互いに異なる個数のXFECBLOCKを含むことができる。一般に、タイムインタリーバは、フレーム生成過程の前にデータパイプデータに対するバッファとしても機能することができる。
本発明の一実施例に係るタイムインタリーバは、ツイストされた行−列ブロックインタリーバである。本発明の一実施例に係るツイストされた行−列ブロックインタリーバは、1番目のXFECBLOCKをタイムインタリービングメモリの1番目の列に列方向に書き込み、2番目のXFECBLOCKは、次の列に書き込み、同じ方式でタイムインタリービングブロック内の残りのXFECBLOCKを書き込むことができる。そして、インタリービングアレイにおいて、セルは、1番目の行から(最も左側の列から始まって行に沿って右側に)最後の行まで対角線方向に読み取られ得る。この場合、タイムインタリービングブロック内のXFECBLOCKの個数に関係なく受信機側で単一のメモリデインタリービングを達成するために、ツイストされた行−列ブロックインタリーバ用インタリービングアレイは、仮想XFECBLOCKをタイムインタリービングメモリに挿入することができる。この場合、受信機側で単一のメモリデインタリービングを達成するために、仮想XFECBLOCKは、他のXFECBLOCKの最も前に挿入されなければならない。
図9は、本発明の一実施例に係るタイムインタリーバの書き込み(writing)動作を示す。
図中の左側に示されたブロックはTIメモリアドレスアレイ(memory address array)を示し、図中の右側に示されたブロックは、連続した2つのTIグループに対して、それぞれ仮想(virtual)FECブロックがTIグループの最も前にそれぞれ2個及び1個が挿入された場合の書き込み(writing)動作を示す。
本発明の一実施例に係る周波数インタリーバは、シンボルペアに対応するデータに適用するためのインタリービングアドレスを生成するためのインタリービングアドレス生成器を含むことができる。
図10は、本発明の一実施例に係る周波数インタリーバに含まれた各FFTモードによるメインPRBS生成器とサブPRBS生成器で構成されたインタリービングアドレス生成器のブロックダイヤグラムを示す図である。
(a)は、8K FFTモードに対するインタリービングアドレス生成器のブロックダイヤグラムを示し、(b)は、16K FFTモードに対するインタリービングアドレス生成器のブロックダイヤグラムを示し、(c)は、32K FFTモードに対するインタリービングアドレス生成器のブロックダイヤグラムを示す。
OFDMシンボルペアに対するインタリービング過程は、一つのインタリービングシーケンスを用い、次のように説明される。まず、一つのOFDMシンボルOm,lでインタリーブされる利用可能なデータセル(セルマッパーからの出力セル)は、l=0,…,Nsym−1に対してOm,l=[xm,l,0,…,xm,l,p,…,xm,l,Ndata−1]として定義される。このとき、xm,l,pは、m番目のフレームでl番目のOFDMシンボルのp番目のセルであり、Ndataは、データセルの個数である。フレームシグナリングシンボルに対してNdata=CFSSであり、ノーマルデータに対してNdata=Cdataであり、フレームエッジシンボルに対してNdata=CFESである。また、インタリーブされたデータセルは、l=0,…,Nsym−1に対してPm,l=[vm,l,0,…,vm,l,Ndata−1]として定義される。
OFDMシンボルペアに対して、インタリーブされたOFDMシンボルペアは、各ペアの1番目のOFDMシンボルに対してvm,l,Hi(p)=xm,l,p,p=0,…,Ndata−1として与えられ、各ペアの2番目のOFDMシンボルに対してvm,l,p=xm,l,Hi(p),p=0,…,Ndata−1として与えられる。このとき、Hl(p)は、PRBS生成器及びサブPRBS生成器の巡回シフト値(シンボルオフセット)に基づいて生成されたインタリービングアドレスである。
図11は、本発明の一実施例に係るハイブリッド放送受信装置を示す図である。
ハイブリッド放送システムは、地上波放送網及びインターネット網を連動して放送信号を送信することができる。ハイブリッド放送受信装置は、地上波放送網(ブロードキャスト)及びインターネット網(ブロードバンド)を介して放送信号を受信することができる。ハイブリッド放送受信装置は、フィジカルレイヤモジュール、フィジカルレイヤI/Fモジュール、サービス/コンテンツ取得コントローラ、インターネットアクセス制御モジュール、シグナリングデコーダ、サービスシグナリングマネジャー、サービスガイドマネジャー、アプリケーションシグナリングマネジャー、警報信号マネジャー、警報信号パーサー、ターゲッティング信号パーサー、ストリーミングメディアエンジン、非リアルタイムファイルプロセッサ、コンポーネントシンクロナイザ、ターゲッティングプロセッサ、アプリケーションプロセッサ、A/Vプロセッサ、デバイスマネジャー、データシェアリング及びコミュニケーションユニット、再分配モジュール、コンパニオンデバイス及び/又は外部モジュールを含むことができる。
フィジカルレイヤモジュール(Physical Layer Module(s))は、地上波放送チャネルを介して放送関連信号を受信及び処理し、これを適切な形態に変換してフィジカルレイヤI/Fモジュールに伝達することができる。
フィジカルレイヤI/Fモジュール(Physical Layer I/F Module(s))は、フィジカルレイヤモジュールから取得した情報からIPデータグラムを取得することができる。また、フィジカルレイヤI/Fモジュールは、取得されたIPデータグラムなどを特定のフレーム(例えば、RS Frame、GSEなど)に変換することができる。
サービス/コンテンツ取得コントローラ(Service/Content Acquisition Controller)は、ブロードキャスト(broadcast)及び/又はブロードバンド(broadband)チャネルを介したサービス、コンテンツ及びこれに関連するシグナリングデータの取得のための制御動作を行うことができる。
インターネットアクセス制御モジュール(Internet Access Control Module(s))は、ブロードバンドチャネルを介してサービス、コンテンツなどを取得するための受信機の動作を制御することができる。
シグナリングデコーダ(Signaling Decoder)は、ブロードキャストチャネルなどを介して取得したシグナリング情報をデコードすることができる。
サービスシグナリングマネジャー(Service Signaling Manager)は、IPデータグラムなどからサービススキャン及びサービス/コンテンツなどに関連するシグナリング情報を抽出、パーシング及び管理することができる。
サービスガイドマネジャー(Service Guide Manager)は、IPデータグラムなどからアナウンス(announcement)情報を抽出し、SG(Service Guide)データベース(database)を管理し、サービスガイドを提供することができる。
アプリケーションシグナリングマネジャー(App Signaling Manager)は、IPデータグラムなどからアプリケーション取得などに関連するシグナリング情報を抽出、パーシング及び管理することができる。
警報信号パーサー(Alert Signaling Parser)は、IPデータグラムなどから警報(alerting)に関連するシグナリング情報を抽出、パーシング及び管理することができる。
ターゲッティング信号パーサー(Targeting Signaling Parser)は、IPデータグラムなどからサービス/コンテンツの個人化あるいはターゲッティングに関連するシグナリング情報を抽出、パーシング及び管理することができる。また、ターゲッティング信号パーサーは、パーシングされたシグナリング情報をターゲッティングプロセッサに伝達することができる。
ストリーミングメディアエンジン(Streaming Media Engine)は、IPデータグラムなどからA/Vストリーミングのためのオーディオ/ビデオデータを抽出及びデコードすることができる。
非リアルタイムファイルプロセッサ(Non−real time File Processor)は、IPデータグラムなどからNRTデータ及びアプリケーション(application)などのファイル形態のデータを抽出、デコーディング、及び管理することができる。
コンポーネントシンクロナイザ(Component Synchronizer)は、ストリーミングオーディオ/ビデオデータ及びNRTデータなどのコンテンツ及びサービスを同期化することができる。
ターゲッティングプロセッサ(Targeting Processor)は、ターゲッティング信号パーサーから受信したターゲッティングシグナリングデータに基づいてサービス/コンテンツの個人化関連演算を処理することができる。
アプリケーションプロセッサ(App Processor)は、アプリケーション関連情報、ダウンロードされたアプリケーションの状態及びディスプレイパラメータを処理することができる。
A/Vプロセッサ(A/V Processor)は、デコードされたオーディオ及びビデオデータ、アプリケーションデータなどに基づいてオーディオ/ビデオレンダリング関連動作を行うことができる。
デバイスマネジャー(Device Manager)は、外部装置との接続及びデータ交換動作を行うことができる。また、デバイスマネジャーは、連動可能な外部装置の追加/削除/更新など、外部装置に対する管理動作を行うことができる。
データシェアリング及びコミュニケーションユニット(Data Sharing & Comm.)は、ハイブリッド放送受信機と外部装置との間のデータ伝送及び交換に関連する情報を処理することができる。ここで、伝送及び交換可能なデータはシグナリング、A/Vデータなどであり得る。
再分配モジュール(Redistribution Module(s))は、放送受信機が地上波放送信号を直接受信できない場合、次世代放送サービス及びコンテンツに対する関連情報を取得することができる。また、再分配モジュールは、放送受信機が地上波放送信号を直接受信できない場合、次世代放送システムによる放送サービス及びコンテンツ取得をサポートすることができる。
コンパニオンデバイス(Companion device(s))は、本発明の放送受信機に接続されて、オーディオ、ビデオ、またはシグナリングを含むデータを共有することができる。コンパニオンデバイスは、放送受信機と接続された外部装置を指すことができる。
外部モジュール(External Management)は、放送サービス/コンテンツの提供のためのモジュールを指すことができ、例えば、次世代放送サービス/コンテンツサーバーであってもよい。外部モジュールは、放送受信機と接続された外部装置を指すことができる。
図12は、本発明の一実施例に係るDASHベースの適応型(Adaptive)ストリーミングモデルの全般的な動作を示した図である。
本発明は、HDR(High Dynamic Range)をサポートできるコンテンツを提供する次世代メディアサービス提供方案を提案する。豊かな明るさの表現が可能なHDRコンテンツが提供される場合において、本発明は、これに関連するメタデータ及びその伝達方案を提案する。これを通じて、コンテンツの様々な場面別の特性に応じて適応的にコンテンツを調整することができ、コンテンツを改善された画質で提供することができる。
UHD放送などの場合、既存のコンテンツが表現できなかった明るさを表現できるため、高度の臨場感を提供することができる。HDRの導入でコンテンツ映像の明るさの表現範囲が増加して、コンテンツの場面別特性の差が以前よりも大きくなり得る。コンテンツの場面別特徴を効果的にディスプレイに示すために、メタデータが定義され、これらが受信機に伝達され得る。受信機では、伝達されたメタデータに基づいて、サービスプロバイダの意図に従ってコンテンツの映像を適切に提供することができる。
図示された実施例に係るDASHベースの適応型ストリーミングモデルは、HTTPサーバーとDASHクライアントとの間の動作を記述している。ここで、DASH(Dynamic Adaptive Streaming over HTTP)は、HTTPベースの適応型ストリーミングをサポートするためのプロトコルであって、ネットワークの状況に応じて動的にストリーミングをサポートすることができる。これによって、AVコンテンツの再生が途切れることなく提供され得る。
まず、DASHクライアントはMPDを取得することができる。MPDは、HTTPサーバーなどのサービスプロバイダから伝達され得る。MPDは、前述したデリバリの実施例に従って伝達されてもよい。DASHクライアントは、MPDに記述されたセグメントへの接近情報を用いてサーバーに当該セグメントを要求することができる。ここで、この要求は、ネットワークの状態を反映して行われ得る。
DASHクライアントは、当該セグメントを取得した後、これをメディアエンジンで処理して画面にディスプレイすることができる。DASHクライアントは、再生時間及び/又はネットワークの状況などをリアルタイムに反映して、必要なセグメントを要求、取得することができる(Adaptive Streaming)。これを通じて、コンテンツが途切れることなく再生され得る。
MPD(Media Presentation Description)は、DASHクライアントがセグメントを動的に取得できるようにするための詳細情報を含むファイルであって、XMLの形態で表現されてもよい。このMPDは、実施例によって、前述したMPDと同一であってもよい。
DASHクライアントコントローラ(DASH Client Controller)は、ネットワークの状況を反映して、MPD及び/又はセグメントを要求するコマンドを生成することができる。また、このコントローラは、取得された情報をメディアエンジンなどの内部ブロックで利用可能なように制御することができる。
MPDパーサー(Parser)は、取得したMPDをリアルタイムでパーシングすることができる。これを通じて、DASHクライアントコントローラは、必要なセグメントを取得できるコマンドを生成できるようになる。
セグメントパーサー(Parser)は、取得したセグメントをリアルタイムでパーシングすることができる。セグメントに含まれた情報によって、メディアエンジンなどの内部ブロックは特定の動作を行うことができる。
HTTPクライアントは、必要なMPD及び/又はセグメントなどをHTTPサーバーに要求することができる。また、HTTPクライアントは、サーバーから取得したMPD及び/又はセグメントをMPDパーサー又はセグメントパーサーに伝達することができる。
メディアエンジン(Media Engine)は、セグメントに含まれたメディアデータを用いてコンテンツを画面上に表示することができる。このとき、MPDの情報が活用され得る。
図13は、本発明の一実施例に係る受信機のブロックダイヤグラムを示した図である。
図示された実施例に係る受信機は、チューナー(Tuner)、フィジカルレイヤコントローラ(Physical Layer Controller)、フィジカルフレームパーサー(Physical Frame Parser)、リンクレイヤフレームプロセッサ(Link Layer Frame Processor)、IP/UDPデータグラムフィルター(IP/UDP Datagram Filter)、DTVコントロールエンジン(DTV Control Engine)、ROUTEクライアント(Route Client)、セグメントバッファコントロール(Segment Buffer Control)、MMTクライアント(MMT Client)、MPUリコンストラクション(MPU reconstruction)、メディアプロセッサ(Media Processor)、シグナリングパーサー(Signaling Parser)、DASHクライアント(DASH Client)、ISO BMFFパーサー(ISO BMFF Parser)、メディアデコーダ(Media Decoder)及び/又はHTTPアクセスクライアント(HTTP Access Client)を含むことができる。受信機の各細部ブロック(block)は、ハードウェアであるプロセッサであってもよい。
チューナーは、地上波放送チャネルを介して放送信号を受信及び処理し、これを適切な形態(Physical Frameなど)に変換することができる。フィジカルレイヤコントローラは、受信しようとする放送チャネルのRF情報などを用いて、チューナー、フィジカルフレームパーサーなどの動作を制御することができる。フィジカルフレームパーサーは、受信されたフィジカルフレームをパーシングし、これと関連するプロセッシングを通じてリンクレイヤフレームなどを取得することができる。
リンクレイヤフレームプロセッサは、リンクレイヤフレームからリンクレイヤシグナリングなどを取得するか、またはIP/UDPデータグラムを取得し、関連する演算を行うことができる。IP/UDPデータグラムフィルターは、受信されたIP/UDPデータグラムから特定のIP/UDPデータグラムをフィルタリングすることができる。DTVコントロールエンジンは、各構成間のインターフェースを担当し、パラメータなどの伝達を通じて各構成の動作を制御することができる。
ROUTEクライアントは、リアルタイムオブジェクト伝送をサポートするROUTE(Real−Time Object Delivery over Unidirectional Transport)パケットを処理し、多数のパケットを収集及び処理して一つ以上のISOBMFF(ISO Base Media File Format)オブジェクトを生成することができる。セグメントバッファコントロールは、ROUTEクライアントとDashクライアントとの間のセグメント(segment)伝送に関連するバッファを制御することができる。
MMTクライアントは、リアルタイムオブジェクト伝送をサポートするMMT(MPEG Media Transport)伝送プロトコルパケットを処理し、多数のパケットを収集及び処理することができる。MPUリコンストラクションは、MMTPパケットからMPU(Media Processing Unit)を再構成することができる。メディアプロセッサは、再構成されたMPUを収集し、処理することができる。
シグナリングパーサーは、DTV放送サービス関連シグナリング(Link Layer/ Service Layer Signaling)を取得及びパーシングし、これに基づいてチャネルマップなどを生成及び/又は管理することができる。この構成は、ローレベルシグナリング及びサービスレベルシグナリングを処理することができる。
DASHクライアントは、リアルタイムストリーミングあるいは適応的ストリーミング関連演算及び取得したDASHセグメントなどを処理することができる。ISO BMFFパーサーは、ISO BMFFオブジェクトからオーディオ/ビデオのデータ及び関連パラメータなどを抽出することができる。メディアデコーダは、受信されたオーディオ及びビデオデータをデコーディング及び/又はプレゼンテーション(presentation)処理することができる。HTTPアクセスクライアントは、HTTPサーバーから特定の情報を要求し、要求に対する応答を処理することができる。
本発明は、豊かな明るさの表現が可能なHDR(High Dynamic Range)コンテンツが提供されるとき、コンテンツ内に含まれた様々な場面の特性に対して適応的にコンテンツを調整できる要素を受信機に伝送することによって、改善された画質の映像にコンテンツを変換し、表現できる方法を提供することができる。UHD放送では、既存のコンテンツで表現できなかった明るさを表現することによって、既存の放送との差別性を提供し、高度の臨場感を提供することができる。HDR(high dynamic range)の導入を通じて、映像の明るさの表現範囲が増加することによって、コンテンツ内に含まれた場面間の特性の差が以前よりも大きくなり得る。これによって、放送送信装置は、各場面の特徴を効果的にディスプレイに示すための情報を追加的に提供し、受信装置は、伝送された情報に基づいて映像効果を提供することによって、制作者が意図した方向に適した方法で映像を表現することができる。
UHD放送は、様々な方法を通じて、既存のHD放送に比べて向上した画質及び没入感を視聴者に提供することができる。そのための方法の一つとして、UHD放送は、コンテンツで表現する明るさの表現及び色相の表現の範囲を実際に人間の視覚系で認知可能な明るさ及び色相の範囲に拡張する方法を提供することができる。すなわち、UHDコンテンツに対してHDR(high dynamic range)及びWCG(wide color gamut)を適用することができる。すなわち、コンテンツで向上した高コントラスト及び色感を提供することによって、UHDコンテンツを鑑賞するユーザは、さらに大きな没入感及び臨場感を経験するようになる。本発明では、コンテンツをディスプレイで再生するとき、効果的に制作者の意図などによって映像の明るさ及び色感を再生できる方法を提示することによって、ユーザがより向上した画質の映像を視聴できるようにする。
図14は、本発明の一実施例に係るメタデータベースのHDR放送サービスを制作、再生する装置を示した図である。HDRビデオ制作装置は、キャプチャー/フィルムスキャナー101、ポストプロダクションブロック(マスタリング部)102及び/又はエンコーダ/マルチプレクサ103のうちの少なくとも1つを含むことができる。HDRビデオ再生装置は、デマルチプレクサ104、デコーダ105、メタデータプロセッサ106、ポストプロセッサ107、シンクロナイザ108及び/又はディスプレイ109のうちの少なくとも1つを含むことができる。図面では、ビデオストリームに含まれて受信されるメタデータを示したが、本発明のメタデータは、放送信号だけでなく、他の経路(例えば、IPベースの放送/通信、有/無線通信、有/無線インターフェース、近距離無線通信など)でも送受信され得る。
HDRビデオ制作装置のキャプチャー/フィルムスキャナー101は、天然色で構成されたシーン(natural scene)をデジタルイメージに変換することができる。例えば、キャプチャー/フィルムスキャナーは、ビデオカメラ、カメラ、スキャナーなどの光学イメージをデジタルイメージに変換する装置であってもよい。キャプチャー/フィルムスキャナー101は、光学イメージをセンシングしてロー(Raw)HDR(High Dynamic Range)ビデオを出力することができる。
ポストプロダクションブロック(マスタリング部)102は、ロー(Raw)HDRビデオを受信して、マスタリングされたHDRビデオ及びHDRメタデータを出力することができる。ポストプロダクションブロックは、マスタリングディスプレイ情報、視聴環境(viewing condition)情報、カラーエンコーディング情報、色領域(Gamut)マッピング情報、及び/又はDR(dynamic range)情報などを受信してマスタリングを行うことができる。ここで、カラーエンコーディング情報は、例えば、EOTF(electro−optical transfer function)、BT.2020を例に挙げることができる。
エンコーダ/マルチプレクサ103は、少なくとも1つ以上のマスタリングされたHDRビデオ及びHDRメタデータをエンコードし、多重化することができる。
HDRビデオ再生装置のデマルチプレクサ104は、HDRストリームを受信して逆多重化することができる。一つのHDRストリームには複数のコンテンツが含まれ得、デマルチプレクサは、デコーディングの対象であるHDRストリームをデコーダに出力することができる。
デコーダ105は、HDRストリームを受信してデコーディングを行うことができる。この過程でデコーダは、デコードされたHDRビデオ及びHDRメタデータを出力することができる。デコードされたHDRビデオはポストプロセッサに出力され、HDRメタデータはメタデータプロセッサに出力され得る。
メタデータプロセッサ106は、HDRメタデータを受信して格納することができる。メタデータプロセッサは、HDRメタデータ内に含まれたセット(set)ナンバー又はバージョンナンバーを確認して、格納されたHDRメタデータに対する変更があるかを確認し、変更がある場合、既存のHDRメタデータをアップデートすることができる。メタデータプロセッサは、シンクロナイザから受信されるタイミング情報に従ってHDRメタデータをポストプロセッサに出力することができる。
ポストプロセッサ107は、メタデータプロセッサから受信したHDRメタデータを用いて、デコーダから受信したHDRビデオに対して後処理作業を行うことができる。この過程を通じて、HDRビデオは、HDRメタデータが反映された改善されたHDRビデオに変換され得る。
シンクロナイザ108は、メタデータプロセッサ及びポストプロセッサにタイミング情報を提供することによって、HDRビデオ全体、または各場面、各ビデオクリップ又は各フレーム別に正確な時点でメタデータが適用されるようにすることができる。ここで、メタデータは、マスタリングディスプレイ(mastering display)に関する情報を示してもよく、チャネル(channel)、プログラム(program)、コンテンツ(content)の単位で共通に適用される情報、または連続した場面、ビデオクリップ、フレームのそれぞれに適用される情報を意味してもよい。
HDRディスプレイ109は、改善されたHDRビデオをディスプレイしてユーザに提供することができる。
図15は、本発明の一実施例に係るHDRビデオに対する受信機の動作方法を示す。本発明では、受信機の動作を主に説明するが、関連シグナルを生成する場合にも同じ事項を考慮し得、プロダクション(production)間の伝達信号及びマスタリング(mastering)信号に対しても適用することができる。また、ソース(source)とシンク(sink)との間の情報伝送の場合にも、本発明で考慮する事項が伝達され得る。
ビデオストリームが受信されると、受信機は、ビデオデコーダ201を用いてHDRメタデータをHDRビデオ信号から分離して別途のメタデータプロセッサ202に格納することができる。メタデータプロセッサは、メタデータパーサー、メタデータバッファ及びメタデータアップデーターを含むことができる。HDRメタデータは、共通適用情報(common HDR metadata)及び部分適用情報(scene/frame HDR metadata)を含むことができる。共通適用情報は、コンテンツ全般に対して適用可能なメタデータであり、チャネル、プログラム、コンテンツの単位で共通に適用される情報を意味し得る。
部分適用情報は、コンテンツの一部分に限定して適用可能なメタデータを示すことができ、連続した場面、ビデオクリップまたはフレームのそれぞれに適用される情報を意味し得る。受信機は、再生可能なコンテンツ種類に対する性能を判断した後、受信された共通情報あるいは部分情報をコンテンツに適用してプロセッシングすることができる。HDRビデオを再生できる受信機は、受信されたメタデータを用いてコンテンツを変換することができる。受信機は、プロセッシング作業の後の変換されたコンテンツを最終映像としてディスプレイすることができる。具体的な受信機の動作方法は、次の通りである。
第一のステップとして、受信機は、ビデオストリームをデコードし、HDRメタデータを取得することができる。HDRメタデータは、HDRビデオ情報(以下、HDR_info())を意味し得る。受信機は、ビデオストリームから取得したメタデータをメタデータパーサー(metadata parser)202に伝達して分析し、メモリに格納することができる。メタデータは、共通適用情報(common HDR metadata)と部分適用情報(scene/frame HDR metadata)とに区分できる。本発明では、後述するタイプ情報(HDR_info_type)を用いて当該メタデータが適用される範囲を伝達することによって、マスタリングディスプレイに応じてメタデータを適用したり、チャネル、プログラム、コンテンツの単位で共通にメタデータを適用したり、連続した場面、ビデオクリップ、フレームのそれぞれにメタデータを適用したりすることができる。
これに加えて、メタデータは、当該メタデータが適用される区間、例えば、当該メタデータと適用される映像フレームをマッチングできる情報を同期化開始情報(sync_start)、同期化区間情報(sync_duration)の形式でさらに含むことができる。
実施例によって、共通適用情報は、例えば、最大最小明るさ又は高コントラストのようにコンテンツ/マスタリングディスプレイ/フレームのダイナミックレンジ(dynamic range)を示すことができる値、EOTFのような変換関数(transfer function)、コンテンツあるいはマスタリングディスプレイの色空間、コンテンツあるいはマスタリングディスプレイの色温度、明るさ範囲変換関数、色空間変換関数及び/又は視聴環境情報のうちの少なくとも1つの情報を含むことができる。
本明細書において、コンテンツ/マスタリングディスプレイ/フレームのダイナミックレンジを示すことができる値は、DR情報タイプ(dynamic_range_info_type)及びDRバリュー情報(dynamic_range_info_value[i])を通じて伝送されてもよい。また、EOTFのような変換関数は、変換関数タイプ(transfer_function_type)を通じて伝送されてもよい。コンテンツあるいはマスタリングディスプレイの色空間は、CG情報タイプ(color_gamut_type)を通じて伝送されてもよい。コンテンツあるいはマスタリングディスプレイの色温度は、色温度情報タイプ(color_temperature_type)を通じて伝送されてもよい。明るさ範囲変換関数は、DRマッピング情報タイプ(dynamic_range_mapping_info_type)を通じて伝送されてもよい。色空間変換関数は、CGマッピング情報タイプ(color_gamut_mapping_info_type)を通じて伝送されてもよい。視聴環境情報は、視聴環境情報タイプ(viewing_condition_info_type)を通じて伝送されてもよい。各情報のシンタックス及び含むフィールドについては後述する。
部分適用情報は、共通適用情報と同一又は類似の情報を含むことができ、その適用範囲に関する情報を共に含むことができる。部分適用情報は、その適用範囲がコンテンツの一定の部分に限定されているという点でさらに具体的な情報を伝達することができる。例えば、共通適用情報は、コンテンツ全体に適用される明るさ範囲をf−stopや高コントラストのような値として伝達することができる。これに比べて部分適用情報は、フレーム単位に対しては最大最小値を伝達して、さらに具体的な情報を伝達することができる。これを通じて、伝送される適用情報の種類によって、情報伝達範囲を各ステップ別に差等的に適用することができる。同様に、ダイナミックレンジマッピング(dynamic range mapping)の場合、共通適用情報として全般的なコンテンツ変換情報を伝達した後、部分適用情報を通じて場面毎の特徴を生かし得る複雑な変換関数を伝達することができる。
第二のステップとして、受信機は、自身が含むディスプレイがHDRディスプレイであるか否かを決定することができる。受信機は、共通情報を用いて取得したコンテンツに関する情報(又はマスタリングディスプレイに関する情報)に基づいて受信機の再生環境が適しているか否かを決定することができる。例えば、受信機は、上述した共通適用情報を用いることができ、もし、コンテンツ再生環境が適していない場合、SDRディスプレイ、あるいはSDRとHDRとの間の性能に該当するディスプレイを考慮することができる。
まず、受信機に含まれたディスプレイがSDRディスプレイ又はこれに準ずる性能を有するディスプレイである場合について説明する。受信機のディスプレイがデコードされたHDRコンテンツを完全に再生できないと決定される場合、受信機は、HDRコンテンツを再生しないか、またはコンテンツを再生するための変換を行うことができる。HDRビデオをSDRビデオに変換できる受信機は、受信されたHDRビデオをSDRビデオに変換して再生することができる。そのために、HDRメタデータは、HDRビデオをSDRビデオに変換する変換関数に関する情報を含むことができる。例えば、上述した変換関数に関する情報として、dynamic_range_mapping_info_type又はcolor_gamut_mapping_info_typeなどを使用することができ、HDRメタデータは、必要であれば、当該情報がHDRビデオをSDRビデオに変換する用途に使用されるということを追加的にシグナリングすることができる。
次に、受信機に含まれたディスプレイがHDRディスプレイである場合について説明する。これは、受信機のディスプレイがデコードされたコンテンツを完全に再生可能であると決定される場合に該当する。この場合、HDRメタデータに含まれた共通適用情報を用いてビデオに対する画質改善が可能であり、ダイナミックレンジマッピング(dynamic range mapping)、カラーガマットマッピング(color gamut mapping)、視聴環境マッピング(viewing condition mapping)などを用いて画質改善を行うことができる。実施例によって、共通適用情報を用いたコンテンツ全般に対する画質改善は、後述する第三のステップで部分適用情報の適用が可能な場合、省略されてもよい。また、共通適用情報を用いたビデオに対する画質改善作業は、別途のモジュールを通じて具現してもよく、図16で説明するポストプロセッシング(post processing)モジュールと連携して適用してもよい。
第三のステップとして、受信機は、HDRビデオの場面別に画質改善作業を行うことができる。メタデータ情報に基づいて受信機がHDRコンテンツを再生できると決定される場合、受信機は、追加的なHDRメタデータの処理が可能であるかを決定することができる。
図15では、場面別(scene−by−scene)(又はクリップ別(clip−by−clip)又はフレーム別(frame−by−frame))の処理を追加で行う場合を例に挙げており、この場合、各場面、クリップ、またはフレームの単位で提供されるメタデータを用いて各コンテンツの場面、ビデオクリップまたはフレーム別にディテールな動的変換を通じて、さらに向上した画質のHDRビデオをディスプレイすることができる。この場合、本発明の一実施例によって、放送送信装置は、HDR_info_typeを用いて、受信機が場面、ビデオクリップまたはフレーム単位の情報が伝送されることをSEI(supplemental enhancement information)メッセージ内で識別するようにすることができる。また、放送送信装置は、同期化情報タイプ(sync_info_type)、同期化開始情報(sync_start)、同期化区間情報(sync_duration)を用いて、受信機に、場面又はフレーム単位の情報を適用しなければならない時点に関する情報を提供することができる。受信機は、HDRビデオ情報タイプ(HDR_info_type)を介して場面、ビデオクリップまたはフレーム単位の情報が伝送されることを識別し、sync_info_type、sync_start、sync_durationを介して場面、ビデオクリップまたはフレーム単位の情報を適用する時点に関するタイミング情報を取得することができる。また、必要に応じて、受信機は、メタデータを介して提供されるタイミング情報を、映像とsyncを取るための情報に変換することもできる。
また、放送送信装置は、共通適用情報を提供するとき、後でどのような種類の場面、ビデオクリップまたはフレーム単位のメタデータが提供されるかを受信機に知らせることができる。放送送信装置は、HDR_video_enhancement_info_present_typeを介して前記情報を受信機に予め知らせることができる。すなわち、受信機は、共通適用情報から、部分適用情報の受信有無及びその種類に関する情報を予め取得することによって、関連モジュールの動作を準備することができる。実施例によって、放送送信装置は、共通適用情報を用いて、フレーム、ビデオクリップまたは場面の単位のメタデータが提供されるという事実自体を示したり、フレーム単位、ビデオクリップ単位または場面単位で具体的にどのような情報があるかを示すことができる。例えば、放送送信装置は、共通適用情報を用いて、フレーム単位又は場面単位でダイナミックレンジマッピング(dynamic range mapping)又は/及びカラーガマットマッピング(color gamut mapping)情報が提供されることを示すことができる。
実施例によって、受信機は、共通適用情報及び場面適用情報をHDRビデオに対して段階的に適用してもよく、一つの動作として適用してもよい。また、受信機は、ダイナミックレンジマッピング及びカラーガマットマッピング別に共通適用情報及び場面適用情報をHDRビデオに適用してもよく、一つの変換式で適用してもよい。
図16は、本発明の一実施例に係る後処理部を示す。本発明において、後処理部(post processor)は、DRマッピングブロック(Dynamic range mapping)301、CGマッピングブロック(Color Gamut mapping)302及び視聴環境調整ブロック(viewing condition adjustment)303を含むことができる。後処理部は、HDRビデオデータの入力を受けてダイナミックレンジマッピング(dynamic range mapping)、カラーガマットマッピング(color gamut mapping)、視聴環境マッピング(viewing condition mapping)などを用いて画質改善を行うことができる。DRマッピングブロック(Dynamic range mapping)301は、入力されたHDRビデオデータに対してダイナミックレンジ(dynamic range)情報、変換関数(transfer function)情報及びDRマッピング情報を適用して画質改善作業を行うことができる。CGマッピングブロック(Color Gamut mapping)302は、入力されたHDRビデオデータに対してカラーガマット(Color gamut)情報、色温度(color temperature)情報、及びCGマッピング情報を適用して画質改善作業を行うことができる。視聴環境調整ブロック(viewing condition adjustment)303は、視聴環境情報をHDRビデオデータに適用して画質改善作業を行うことができる。各情報に関する詳細な説明は、図17乃至図29で後述する。
図17乃至図20は、本発明の一実施例に係るSEIメッセージ及びHDR情報ディスクリプタ(HDR information descriptor)のシンタックスを示す。
SEIメッセージはHDR情報ディスクリプタを含むことができ、HDR情報ディスクリプタは、次のフィールドのうち少なくとも1つのフィールドを含むことができる。本発明において、HDR情報(HDR information)は、HDRビデオ情報(HDR video information)と同じ意味で使用することができる。
HDR情報タイプ(HDR_info_type)情報は、HDR情報ディスクリプタ内の情報が適用される単位を示すことができる。例えば、マスタリングディスプレイ(mastering display)に対する情報を示すか、またはチャネル(channel)、プログラム(program)、コンテンツ(content)の単位で共通に適用され得る。また、連続した場面、ビデオクリップ、フレームのそれぞれに適用される形態で区分することができ、他の方法(例えば、変換前と変換後、伝送フォーマット、変換後の目標対象フォーマット、static/dynamic metadataなど)で分類される場合を追加してもよい。
前記のような分類によって、現在のpayloadType内で定義されたHDR情報(HDR information)の種類を区分することができる。このとき、図17の実施例のように、payloadType内に1つのHDR_info_typeに該当する細部情報のみが記述されてもよく、2つ以上の情報が全て記述されてもよい。この場合、それぞれのHDR_info_typeによって分類された情報が連続して位置するようにシンタックス(syntax)を構成することができる。
また、情報が適用される単位をSEIメッセージ内で分類する方法だけでなく、互いに異なるpayloadTypeを割り当てて区分することもできる。例えば、payloadType=52(mastering display)、payloadType=53(channal)、payloadType=54(program)、payloadType=55(content)、payloadType=56(scene)、payloadType=57(clip)、payloadType=58(frame)のように区分することができる。
トランジションフラグ(transition_flag)情報は、現在記述しているSEIメッセージと関連するコンテンツの終了時点に対するシグナルである。例えば、HDRコンテンツが終了し、SDRコンテンツに切り替わる場合、最後のフレームに対してtransition_flagを1にセットする。このとき、適用分野に応じてHDR情報ディスクリプタ(HDR information descriptor)の伝送が終了するという意味として考慮することもでき、受信機では、本シグナルに基づいて、HDR情報ディスクリプタと関連するモジュールをoffさせるなどの動作につながり得る。もし、受信機がSTB(settop box)とdisplay deviceに区分されて有/無線インターフェースで接続された場合(例えば、HDMI、DisplayPort、MHLなど)、これと類似に、HDR関連情報の中断あるいはHDRコンテンツの終了のような情報をSTBからdisplay deviceに伝達することができる。transition_flagは終了時点を知らせるという意味でHDR情報ディスクリプタが終了するフレームで知らせることができる。予め約束された場合、終了フレームが含まれたRAPで知らせる方法も適用することができる。
セット(set_number)情報は、HDR情報ディスクリプタの固有の識別番号を示すことができる。すなわち、時間単位又はフレーム単位で複数のHDR情報ディスクリプタが放送送信装置から受信機に伝達される状況で、それぞれのHDR情報ディスクリプタを区分する役割を果たすことができる。必要であれば、上述したHDR_info_typeと連携してチャネル(channel)、プログラム(program)、コンテンツ(content)、フレーム(frame)、シーン(scene)、クリップ(clip)などのそれぞれに対して複数のディスクリプタを区分する役割を果たすことができる。例えば、様々な種類の輝度(luminance)を有するディスプレイのサポートを目的で互いに異なるDR mapping functionを伝達する場合、上述したHDR_info_typeと連携してチャネル、プログラム、コンテンツ、フレーム、シーン、クリップなどのそれぞれに対して複数のディスクリプタを区分する役割を果たすことができる。
バージョン(version_number)情報は、HDR情報ディスクリプタのバージョンを示すことができる。HDR_info_type及びset_numberのうちの少なくとも1つと連携して現在のディスクリプタにおいて情報の変更があることを示すことができる。例えば、同じHDR_info_type及び/又はset_numberを有するディスクリプタに対して同じバージョンナンバー(version number)を有する場合、メタデータプロセッサ(metadata processor)内の情報を映像にそのまま適用することができる。しかし、放送受信装置は、version_numberが変更された場合、メタデータバッファ(metadata buffer)内の情報をアップデートし、新しい情報を映像に適用することができる。
DRフラグ(dynamic_range_mapping_info_present_flag)情報は、ディスクリプタ内にダイナミックレンジマッピング(dynamic range mapping)関連情報が含まれていることを示すことができる。
CGフラグ(color_gamut_mapping_info_present_flag)情報は、ディスクリプタ内にガマットマッピング(gamut mapping)関連情報が含まれていることを示すことができる。
視聴環境フラグ(viewing_condition_info_present_flag)情報は、ディスクリプタ内に視聴環境(viewing condition)関連情報が含まれていることを示すことができる。
追加改善情報個数(number_of_HDR_video_enhancement_info)情報は、現在のSEIメッセージと関連する追加のSEIメッセージがある場合に対して関連する情報の数を示す。または、向上した情報を提供することもできる。例えば、HDR_info_type=0011(content)情報を伝達している場合、マスタリングディスプレイ(mastering display)、シーン(scene)に対する情報がこれと関連して伝達され得、この場合、3値を有するようになる。このとき、受信機では、トーンマッピング(tone mapping)、ガマットマッピング(gamut mapping)などの画質処理を行うとき、性能に応じてコンテンツ(content)内の情報のみを用いることができる。また、より詳細な情報を有していると判断される場合、例えば、HDR_info_type=0100(scene)の情報のみを用いたり、実施例によっては、全ての情報を総合して用いることができる。
追加改善情報種類(HDR_video_enhancement_info_present_type)情報は、現在のSEIメッセージと関連する追加情報の種類を示し、図18のHDR_info_typeと同じ値を用いて定義することができる。このとき、enh_dynamic_range_mapping_info_ present_flag、enh_color_gamut_mapping_info_present_flag、enh_viewing_condition_info_present_flagを通じてDRマッピング(DR mapping)、ガマットマッピング(gamut mapping)、視聴環境(viewing condition)関連情報が伝達されるか否かを知らせることができ、これに対する情報処理のための受信機の動作を予め準備したり、現在の情報に比べて向上した情報が使用されるか否かを判断するときに用いることができる。
改善DRフラグ(enh_dynamic_range_mapping_info_present_flag)は、その値が1である場合、関連するメタデータ情報に対してDRマッピング(DR mapping)情報が存在することを示すことができる。
改善CGフラグ(enh_color_gamut_mapping_info_present_flag)は、その値が1である場合、関連するメタデータ情報に対してガマットマッピング(gamut mapping)情報が存在することを示すことができる。
改善視聴環境フラグ(enh_viewing_condition_info_present_flag)は、その値が1である場合、関連するメタデータ情報に対して視聴環境(viewing condition)情報が存在することを示すことができる。
メタデータタイプ(metadata type)が、HDR情報(HDR info)ではなく、SEIメッセージのpayloadTypeの値で区分される場合、前記のようにHDR_info_type及びそれと関連するフラグ(flag)を用いる方法以外にも、当該SEIメッセージのpayloadTypeの値を直接伝達することができる。すなわち、前記の例に対して、payloadType=53(content)に対する追加(向上)情報として、payloadType=52(mastering display)、payloadType=56(scene)を伝達することができる。または、payloadTypeを追加してHDR_info_typeと共に情報を提供することもできる。
同期化情報タイプ(sync_info_type)情報は、HDR情報ディスクリプタ(HDR information descriptor)内の情報が適用されなければならないコンテンツ、シーン、クリップまたはフレームとの同期化のための情報の表現方法を示すことができる。例えば、デコーダ内で使用されるPOC(Picture order count)値を伝達してもよく、またはpic_order_count_lsb値を直接伝達してもよい。ストレージメディア(Storage media)である場合、メディアタイム(media time)情報を使用することができ、ビデオ開始に対するリファレンスタイム(reference time)を基準とした累積フレーム(frame)の数で定めることもできる。
同期化開始(sync_start)情報は、同期化の開始地点と関連する情報である。フレーム毎に関連情報を送る場合ではなく、RAPなどの特定の周期毎に当該情報を伝達する場合、当該情報が使用される区間の始まりと終わりをビデオフレームと連結させる必要がある。本発明では、sync_start情報を使用して当該情報が適用される区間又はフレームの開始情報をsync_info_typeと連携して時間、POC、フレームの数、PTSなどの情報として示す実施例を適用することができる。sync_info_typeは、時間、時間差、開始順序、POC(picture order count)、PTS、合算されたフレームの数として同期化情報のタイプを定義することができる。
例えば、2秒のRAP間隔を有する50fpsビデオストリームに対して2〜4秒のRAP区間内で3つのメタデータがそれぞれ2秒(開始時点)、2.5秒、3.5秒に適用される場合を考慮することができる。
Sync_info_type=0×00である場合、同期化情報のタイプは時間として設定され、各メタデータのsync_start情報を2000、2500、3500として伝達することができる。また、追加的に、sync_durationを500、1000、1000としてシグナリングすることができる。このとき、時間の判断のために時間に対する基準が必要な場合があり、TSヘッダーのアダプテーションフィールド(adaptation field)に時間を定義することのように別途にシグナリングすることができる。
Sync_info_type=0×01である場合、同期化情報のタイプは時間差として設定され得る。放送送信装置は、sync_start=0、500、1000としてそれぞれシグナリングすることによって、それぞれ直ちに適用、RAPから0.5秒後に適用、RAPから1.5秒後に適用であることを受信機に知らせることができる。
Sync_info_type=0×02である場合、同期化情報のタイプは開始順序として設定され、sync_start=0、1、2のように順序を知らせることができる。開始順序がシグナリングされると、受信機は、一定の時間間隔で順序に従って同期化情報を適用できる。一定の時間間隔は、固定された値であってもよく、順序に従って定められた値を有してもよい。例えば、0は、直ちに適用開始、1は、RAP+0.5秒に適用、2は、RAP+1.5秒に適用のように推定することができる。
Sync_info_type=0×03である場合、同期化情報のタイプはPOCとして設定され得る。この場合、メタデータの適用時点のビデオのPOC値を100、125、175のように伝達することができ、後述するdurationも、POCの単位に応じて25、50、50のように伝達することができる。また、ビデオコーデックシンタックス(video codec syntax)内のPOCと関連する値を直接伝達することもできる。
PTS(presentation time stamp)、フレームの数をシグナリングする場合にも、前記のPOCの例とほぼ同様に、PTS、フレームの数の情報を通じてメタデータの適用時点を示すことができる。
同期化区間(sync_duration)情報は、同期化開始(sync_start)から持続する区間に関する情報である。先の例のように、同期化終了地点はsync_start+sync_durationで計算することができ、必要であれば、sync_durationと共に、又はその代わりに同期化終了時点情報を直接伝達することもできる。Live放送の場合、終了時間を予め定めることができないため、FFFFのように予め約束された値に設定することができる。もし、sync_start情報のみでメタデータの適用時間に対する判断が可能な場合、sync_duration値が使用されなくてもよい。この場合、sync_durationは、当該メタデータの後に他のメタデータが伝送されるか否かのような追加情報を提供するフラグとして使用してもよい。
DR情報個数(number_of_dynamic_range_info)情報は、マスタリングディスプレイ(mastering display)、チャネル(channel)、プログラム(program)、コンテンツ(content)、シーン(scene)、クリップ(clip)またはフレーム(frame)に該当するダイナミックレンジ情報の表現方法の数を示すことができる。
DR情報タイプ(dynamic_range_info_type)情報は、マスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当するダイナミックレンジ情報の表現方法を示す。ダイナミックレンジを表現するための方法は、図19の下段の通りであり得る。ダイナミックレンジは、最大明るさ、最小明るさ、平均明るさ、一定の成分で構成された平均又はメディアン(median)値のうちの少なくとも1つを用いて示すことができる。また、whiteの場合にも、normal white、diffuse white、specular whiteのように、明るい部分を特性に応じて細部的に区分することができ、blackの場合にも、normal black、deep black、pitch darkのように、特性に応じて種類を区分して表示することができる。
下記の例示のように、放送送信装置は、HDR情報(HDR info)を介してspecular white及びpitch darkのような情報を提供することによって、コンテンツ内に明部及び暗部に対して明るさを細分化して表現することができ、このような情報は、受信機のディスプレイ環境に対する判断基準として用いたり、ディスプレイ環境によるマッピングのための情報として活用したりすることができる。
DR情報バリュー(dynamic_range_info_value)情報は、dynamic_range_info_typeに応じて該当する値を伝達することができる。すなわち、下記のようにdynamic_range_info_typeに応じてコンテンツ、マスタリングディスプレイ、シーンのDRのそれぞれを細かく表現することができる。または、コンテナビデオフォーマット(container video format)と実際のコンテンツ(content)の特性を区分して記述するために使用してもよい。
Ex)content:peak_luminance_level=2000(nit),minimum_luminance_level=0.1(nit)
mastering display:peak_luminance_level=4000(nit),minimum_luminance_level=0.01(nit)
scene:white_level_A=800(nit),white_level_B=1500(nit),black_level_A=1(nit),black_level_B=0.1(nit)
変換関数タイプ(transfer_function_type)情報は、HDRビデオのマスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに使用された変換関数(transfer function)の種類を示すことができる。例えば、SMPTE ST 2084、ITU BT.1886、BT.2020などのように予め定められたEOTFがシグナリングされてもよい。変換関数の種類によって絶対明るさ表現方法、相対明るさ表現方法などのように区分し、具体的な方法をシグナリングすることもできる。必要であれば、任意の変換関数の係数を伝達することもできる。
CGタイプ(color_gamut_type)情報は、HDRビデオのマスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当するカラーガマット(color gamut)の種類を示すことができる。例えば、BT.709、BT.2020、DCI−P3のような標準カラーガマットを示したり、必要によっては、RGB color primary(XYZ、RGBWなども可能)を通じて任意のカラーガマットを示すことができる。
色温度タイプ(color_temperature_type)情報は、マスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当する基準whiteに対する情報を示すことができる。例えば、D65、D50のような標準光源色温度であってもよく、必要によっては、whiteに対するRGB color primary(XYZ、RGBWなども可能)のように色温度に対する代表性を帯びる任意の値を示してもよい。
DRマッピングタイプ(dynamic_range_mapping_info_type)情報は、マスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当するダイナミックレンジマッピング情報の種類を示す。例えば、図20の上段に示したように、HEVCに含まれているKnee function information SEI message又はTone mapping information SEI messageを指称することによって、他のSEIメッセージの情報を参照することができる。また、予め約束されたHDR情報ディスクリプタ内に直接内容を記述することもできる。
CGマッピングタイプ(color_gamut_mapping_info_type)情報は、マスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当するカラーガマットマッピング(color gamut mapping)情報の種類を示す。例えば、図20の下段に示したように、HEVCに含まれているColour remapping information SEI messageに定義された情報を引用することができる。また、予め約束されたHDR情報ディスクリプタ内に直接内容を記述することもできる。
視聴環境タイプ(viewing_condition_info_type)情報は、マスタリングディスプレイ、チャネル、プログラム、コンテンツ、シーン、クリップまたはフレームに該当する視聴環境(viewing condition)情報の種類を示す。例えば、viewing_condition_info_type情報は、別途のSEIメッセージとして定義されたviewing_conditionに定義された情報を引用してもよく、予め約束されたHDR情報ディスクリプタ内に直接内容を記述してもよい。
上述したdynamic_range_mapping_info_type、color_gamut_mapping_info_type、viewing_condition_info_typeに対して外部のSEIメッセージを参考する場合、前記とは異なり、SEIメッセージのpayloadTypeを直接シグナリングする方法を用いることもできる。例えば、Knee function information SEI messageを参考する場合、dynamic_range_mapping_info_type=0、payloadType=141を通じてより具体的に知らせる方法を用いることもできる。
図21は、本発明の一実施例に係る時間の流れに基づいてメタデータ情報をシグナリングする方法を示す。
時間によるメタデータの伝送は、1)毎フレームごとに当該情報を全て伝送する方法、2)RAP内でメタデータが変更されて適用される区間の時点のフレーム内に伝送する方法、3)RAPなどの周期をもって周期内で適用されるメタデータを周期時点に一度に伝送する方法、4)適用時点と関連するRAPの前に伝送する方法のように様々な方法を考慮することができる。また、1)〜4)の方法を混合して用いてもよい。
図21は、RAPによってメタデータ情報をシグナリングする実施例を示す。ビデオ全体に適用される共通適用情報(common type)は、各RAP毎に伝送され得る。これは、図21でHDR_info_typeが0000に設定された場合である。共通適用情報は繰り返される情報であるが、放送送信装置は、RAP毎に共通適用情報を伝送することによって伝送誤りによる情報の損失を補完するようにすることができる。
場面によって異なって適用される情報を提供する必要がある場合、シーンメタデータ(Scene metadata)を用いて伝送することができる。これは、図21でHDR_info_typeが0100に設定された場合である。この場合、RAP時点に該当する情報、及びRAP内のシーンチェンジ(scene change)の後に適用される情報を共に伝送することができる。RAP時点に該当する情報及びRAP内のシーンチェンジの後に適用される情報は、それぞれを互いに異なる役割を果たすsetとして定義することができ、互いに異なるset_numberが付与されることによって区分することができる。また、実施例によって、同じ場面に適用される情報でも、互いに異なる役割を果たす情報を分離して別途に伝達する場合、これを区分するための目的としても互いに異なるset_numberを使用することができる。もし、同じ情報が2つ以上のRAPにわたって適用される場合には、同じset_numberを有し、細部情報のアップデートがない場合、同じversion_numberを設定することができる。ここで、細部情報の変更がある場合には異なるversion_numberを有するようにすることによって、メタデータプロセッサ(metadata processor)がどのsetに情報の変更があるかを確認し、アップデートするか否かを決定することができる。次のRAPが到来すると、scene開始時点が新しいRAPに変わるため、sync_startが新しいRAPに変わって適用され得る。この場合、シンク区間の終了地点(sync_start+sync_duration)が同一である場合、情報の変更がないと見なし、同じversion_numberを適用することができる。
プログラム内で使用されるメタデータの適用時点と関連するRAPが到来する前に適用情報を予め伝送する場合には、時間差、順序、フレームの数のように相対的な概念を通じて適用時点を知らせることができる。この場合、Sync_start=FFFFのように予め約束されたシグナリング或いはRAPよりも長い区間の長さでシグナリングする方法を用いて、当該RAPではなく後で適用されるメタデータであることを知らせることもできる。
図21の00:00:00:00〜00:00:02:00の区間で2番目のHDR_info_type=0100は、sync_start=0及びsync_duration=180に設定され、00:00:02:00〜00:00:04:00の区間で2番目のHDR_info_type=0100は、sync_start=0及びsync_duration=60に設定され得る。Start時点が00:00:00:00から00:00:02:00に変わることによって、同一の情報(set 1,ver 0)に対してdurationを変更してシグナリングすることができる。同一の情報であることが確認される場合、受信機ではメタデータアップデート(metadata update)を行わない。
以前の情報と同じ役割を果たす情報に対して細部内容の変更がある場合、放送送信装置は、共通適用情報のset_numberは維持したまま、version_numberを増加させることができる。受信機のメタデータプロセッサ(metadata processor)は、変更されたversion_numberに基づいて情報の変更を認知することができ、既存の情報を新しい情報にアップデートすることができる。
図21に示したように、00:00:04:00〜00:00:06:00の区間でメタデータ内の情報の変更がある場合、追加で開始時点などの情報を伝達することもできる。メタデータ内の情報の変更がある場合、例えば、図示のように、B情報がB’に変更されると、新しいバージョンナンバー(version number)を付与することができる。図面で00:00:02:00〜00:00:04:00の区間でset_number=2に対するバージョンナンバーが0であったが、00:00:04:00〜00:00:06:00の区間ではバージョンナンバーが1に増加したことが確認できる。終了時点が変わる場合などにも、バージョンナンバーを通じて、アップデートされなければならないことを知らせることができる。
図22は、本発明の他の実施例に係る時間の流れに基づいてメタデータ情報をシグナリングする方法を示す。図22は、メタデータ情報をシグナリングするにおいて、HDRとSDRとの間に切り替えがある場合を示す。図示のように、3番目のRAPでHDRビデオストリームはSDRビデオストリームに切り替わり、この場合、3番目のRAPの後にはHDR情報ディスクリプタ(HDR information descriptor)がこれ以上送受信されない。
HDR情報ディスクリプタの伝送が中断される場合、放送送信装置は、transition_flagを介して受信機に知らせることができる。コンテンツのDRがHDRからSDRに切り替わる場合、HDR/WCGコンテンツに対するビデオ特性を伝達していたSEIメッセージの伝達が中断され、コンテンツの切り替え時点の後にこれ以上の情報が伝達されなくなり得る。勿論、SDRコンテンツに対してもマスタリングディスプレイ(mastering display)情報、カラーガマットマッピング(color gamut mapping)、視聴環境(viewing condition)のようにHDR情報ディスクリプタを使用する場合も発生し得るが、本例示では、HDR情報ディスクリプタを使用しないlegacy SDR contentに対して考慮し得る。この場合、transition_flagをonする時点、すなわち、1にセットする時点が重要であり、前記の例示のように切り替えが起こる時点の直前のフレーム及びそのフレームを含むRAP(図面において2番目のRAP)でtransition_flagをonにセットすることができる。
図23は、本発明の一実施例に係るdynamic_range_mapping_infoを示した図である。図20の上段で説明したdynamic_range_mapping_info_typeが0×03に設定されると、dynamic_range_mapping_info()がHDR_info descriptor内で直接定義され得る。HDR_info_typeが、マスタリングディスプレイ(Mastering display)又はビデオ(video)と関連する共通適用情報としてチャネル、プログラムまたはコンテンツである場合、映像(チャネル、プログラムまたはコンテンツ)の全般にわたって図22で説明する情報を使用することができ、部分適用情報としてシーンタイプ(scene type)又はフレームタイプ(frame type)である場合、該当する区間に対して図22で説明する情報を使用することができる。以下では、dynamic_range_mapping_info()が含むフィールドについて説明する。
本発明の一実施例に係るdynamic_range_mapping_info()は、最大基準明るさ情報(luminance_max)、最小基準明るさ情報(luminance_min)、任意のEOTF情報(private_EOTF)、EOTF係数個数情報(number_of_coeff)、EOTF係数情報(transfer_curve_coeff[i])、クリッピングフラグ情報(clipping_flag)、線形マッピングフラグ情報(linear_mapping_flag)、クリッピング最大明るさ範囲情報(luma_clipping_upper_bound)、クリッピング最小明るさ範囲情報(luma_clipping_lower_bound)、最大明るさ情報(luminance_upper_bound)、最小明るさ情報(luminance_lower_bound)、最大明るさデジタル値(luma_upper_value)、最小明るさデジタル値(luma_lower_value)、核心領域変換曲線タイプ情報(mid_DR_transformation_curve_type)、核心領域変換曲線細部情報(mid_DR_transformation_curve())、核心明るさ範囲領域割合情報(mid_DR_percentage)、上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type)、上位領域変換曲線細部情報(upper_DR_transformation_curve())、上位明るさ範囲領域割合情報(upper_DR_percentage)、下位領域変換曲線タイプ情報(lower_DR_transformation_curve_type)、下位領域変換曲線細部情報(lower_DR_transformation_curve())、追加領域個数情報(number_luminance_upper_bound_diff)、追加領域差情報(luminance_upper_bound_diff[i])、追加領域差デジタル値(luma_upper_value_diff[i])、変更上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type[i])、変更上位領域変換曲線細部情報(upper_DR_transformation_curve())、変更上位明るさ範囲領域割合情報(upper_DR_percentage[i])及び/又は変更核心明るさ範囲領域割合情報(mid_DR_percentage[i])を含むことができる。
最大基準明るさ情報(luminance_max)は、超高画質放送コンテンツで表現された最大基準明るさを示す。すなわち、明るさ範囲(DR)の最大値を示す。例えば、参照モニタ(reference monitor)の場合、100cd/m2を最大基準明るさとして定めており、この場合、一般的な範囲を考慮して前記値を100(10進数)で割った値の商である1が伝送され得る。
最小基準明るさ情報(luminance_min)は、超高画質放送コンテンツで表現された最小基準明るさを示す。すなわち、明るさ範囲(DR)の最小値を示す。例えば、参照モニタ(reference monitor)の場合、0.05cd/m2を最小基準明るさとして定めており、この場合、一般的な範囲を考慮して前記値に100(10進数)を乗じた値である5が伝送され得る。
任意のEOTF情報(private_EOTF)は、任意のEOTF関数が使用されるか否かを示す。一般的にITU−R BT.1886、REC.709、BT.2020などのように広く使用されるEOTFが使用される場合には、VUI情報によって伝達され得る。しかし、まだ標準として定められていないEOTFが使用される場合、当該フィールド値を1に設定して示すことができる。例えば、標準として定められていないEOTF、すなわち、任意のEOTFとして知覚量子化(perceptual quantization)が使用されてもよい。
EOTF係数個数情報(number_of_coeff)は、任意のEOTFに使用された係数の個数を示す。
EOTF係数情報(transfer_curve_coeff[i])は、任意のEOTFに使用された係数を示す。
クリッピングフラグ情報(clipping_flag)は、クリッピングオプションが使用されるか否かを示す情報であって、クリッピングオプションの使用が許容される場合、1の値を有することができる。
線形マッピングフラグ情報(linear_mapping_flag)は、線形明るさ範囲変換(linear dynamic range transformation)方法が使用されるか否かを示す。線形明るさ範囲変換(linear dynamic range transformation)方法が使用される場合、1の値を有する。
クリッピング最大明るさ範囲情報(luma_clipping_upper_bound)は、クリッピングオプションが使用される場合にディスプレイされる明るさ範囲(DR)で上位臨界点に対するデジタル値(digtal value)を示す。
クリッピング最小明るさ範囲情報(luma_clipping_lower_bound)は、クリッピングオプションが使用される場合にディスプレイされる明るさ範囲(DR)で下位臨界点に対するデジタル値(digtal value)を示す。
最大明るさ情報(luminance_upper_bound)は、超高画質放送コンテンツで表現された明るさ範囲において必須に表現されなければならない明るさ範囲の最大値(nit単位)を示す。最大明るさ情報は、受信装置のディスプレイの種類を判断する基準となり得る。また、受信装置のディスプレイの種類を判断する別途の基準をシグナリングすることができる。
最小明るさ情報(luminance_lower_bound)は、超高画質放送コンテンツで表現された明るさ範囲において必須に表現されなければならない明るさ範囲の最小値(nit単位)を示す。最小明るさ情報は、受信装置のディスプレイの種類を判断する基準となり得る。また、受信装置のディスプレイの種類を判断する別途の基準をシグナリングすることができる。
最大明るさデジタル値(luma_upper_value)は、最大明るさ情報(luminance_upper_bound)に該当するデジタル値(digital value)を示す。
最小明るさデジタル値(luma_lower_value)は、最小明るさ情報(luminance_lower_bound)に該当するデジタル値(digital value)を示す。
核心領域変換曲線タイプ情報(mid_DR_transformation_curve_type)は、核心明るさ範囲領域で使用される明るさ範囲変換曲線を識別する。変換曲線は、線形曲線(linear curve)、指数曲線(exponential curve)、S曲線(s curve)、ログ曲線(logarithmic curve)、多数の曲線が組み合わされた曲線(combination curve)及びLUT(Look Up Table)のいずれか1つを使用することができる。
核心領域変換曲線細部情報(mid_DR_transformation_curve())は、核心領域変換曲線タイプ情報(mid_DR_transformation_curve_type)によって識別された変換曲線による追加情報を示す。例えば、線形曲線(linear curve)が使用される場合、勾配情報が伝送され得、指数曲線(exponential curve)やログ曲線(logarithmic curve)が使用される場合、底に関する情報が伝送され得、S曲線(s curve)が使用される場合、変曲点の座標及び各区間に対する底とy切片に関する情報が伝送され得、複数の曲線が組み合わされた曲線(combination curve)が使用される場合、各区間のx座標、各区間の曲線の種類及び当該グラフに関する情報が伝送され得る。
核心明るさ範囲領域割合情報(mid_DR_percentage)は、超高画質放送コンテンツの明るさ範囲における核心明るさ範囲領域が受信装置のディスプレイの全体明るさ範囲(DR)において占める割合を示す。
上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type)は、上位明るさ範囲領域で使用される明るさ範囲変換曲線を識別する。変換曲線は、線形曲線(linear curve)、指数曲線(exponential curve)、S曲線(s curve)、ログ曲線(logarithmic curve)、多数の曲線が組み合わされた曲線(combination curve)及びLUT(Look Up Table)のいずれか1つを使用することができる。
上位領域変換曲線細部情報(upper_DR_transformation_curve())は、上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type)によって識別された変換曲線による追加情報を示す。例えば、線形曲線(linear curve)が使用される場合、勾配情報が伝送され得、指数曲線(exponential curve)やログ曲線(logarithmic curve)が使用される場合、底に関する情報が伝送され得、S曲線(s curve)が使用される場合、変曲点の座標及び各区間に対する底とy切片に関する情報が伝送され得、多数の曲線が組み合わされた曲線(combination curve)が使用される場合、各区間のx座標、各区間の曲線の種類及び当該グラフに関する情報が伝送され得る。
上位明るさ範囲領域割合情報(upper_DR_percentage)は、超高画質放送コンテンツの明るさ範囲における上位明るさ範囲領域が受信装置のディスプレイの全体明るさ範囲(DR)において占める割合を示す。
下位領域変換曲線タイプ情報(lower_DR_transformation_curve_type)は、下位明るさ範囲領域で使用される明るさ範囲変換曲線を識別する。変換曲線は、線形曲線(linear curve)、指数曲線(exponential curve)、S曲線(s curve)、ログ曲線(logarithmic curve)、多数の曲線が組み合わされた曲線(combination curve)及びLUT(Look Up Table)のいずれか1つを使用することができる。
下位領域変換曲線細部情報(lower_DR_transformation_curve())は、下位領域変換曲線タイプ情報(lower_DR_transformation_curve_type)によって識別された変換曲線による追加情報を示す。例えば、線形曲線(linear curve)が使用される場合、勾配情報が伝送され得、指数曲線(exponential curve)やログ曲線(logarithmic curve)が使用される場合、底に関する情報が伝送され得、S曲線(s curve)が使用される場合、変曲点の座標及び各区間に対する底とy切片に関する情報が伝送され得、多数の曲線が組み合わされた曲線(combination curve)が使用される場合、各区間のx座標、各区間の曲線の種類及び当該グラフに関する情報が伝送され得る。
追加領域個数情報(number_luminance_upper_bound_diff)は、核心明るさ範囲領域を拡張するために使用される変数の個数を示す。
追加領域差情報(luminance_upper_bound_diff[i])は、超高画質放送コンテンツでi+1番目の明るさ値を構成するための差値を示す。既存の明るさ範囲より広い明るさ範囲を有するが、超高画質放送コンテンツで表現された明るさ範囲を全て受容できないディスプレイ(ケース2)で核心明るさ範囲領域を拡張する場合、最大明るさ情報(luminance_upper_bound)は、luminance_upper_bound+luminance_upper_bound_diff[0]+…+luminance_upper_bound_diff[i]が示す値に変更され得る。
追加領域差デジタル値(luma_upper_value_diff[i])は、超高画質放送コンテンツでi+1番目の明るさ値に対するデジタル値(digital value)を示す。既存の明るさ範囲より広い明るさ範囲を有するが、超高画質放送コンテンツで表現された明るさ範囲を全て受容できないディスプレイ(ケース2)で核心明るさ範囲領域を拡張する場合、最大明るさデジタル値(luma_upper_value)は、luma_upper_value+luma_upper_value_diff[0]+…+luma_upper_value_diff[i]が示す値に変更され得る。
変更上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type[i])は、i+1番目の明るさ範囲をサポートする場合、変更された上位明るさ範囲領域で使用される変換曲線を識別することができる。すなわち、変更上位領域変換曲線タイプ情報は、核心明るさ範囲領域が拡張される場合、これに従って変更された上位明るさ範囲領域で使用される変換曲線を識別することができる。
変更上位領域変換曲線細部情報(upper_DR_transformation_curve())は、変更上位領域変換曲線タイプ情報(upper_DR_transformation_curve_type[i])によって識別された変換曲線による追加情報を示す。すなわち、i+1番目の明るさ範囲をサポートする場合、変更された上位明るさ範囲領域で使用される変換曲線に対する細部事項を示す。
変更上位明るさ範囲領域割合情報(upper_DR_percentage[i])は、超高画質放送コンテンツの核心明るさ範囲領域が変更される場合、これに従って変更された上位明るさ範囲領域が受信装置のディスプレイの全体明るさ範囲(DR)において占める割合を示す。
変更核心明るさ範囲領域割合情報(mid_DR_percentage[i])は、超高画質放送コンテンツの核心明るさ範囲領域が変更される場合、変更された核心明るさ範囲領域が受信装置のディスプレイの全体明るさ範囲(DR)において占める割合を示す。
図24は、本発明の一実施例に係るHEVC内に定義されたSEIメッセージを参照する場合を示す。図20の下段で説明したcolor_gamut_mapping_info_typeが0×00に設定されると、gamut_mapping_info()がHDR_info descriptor内に直接定義されず、HEVCに定義されたSEIメッセージを参照することができる。ここで、SEIメッセージは、HEVCに定義されたcolour remapping information SEI message syntaxに従うことができる。
HDR_info_typeがマスタリングディスプレイ(Mastering display)又はビデオ(video)と関連する共通適用情報としてチャネル、プログラムまたはコンテンツである場合、映像(チャネル、プログラムまたはコンテンツ)の全般にわたって参照された情報を使用することができ、部分適用情報としてシーンタイプ(scene type)又はフレームタイプ(frame type)である場合、該当する区間にのみ参照された情報を適用することができる。
図25及び図26は、本発明の一実施例に係るHDR_info descriptorをPMTを介してシグナリングする実施例を示す。PMTは、プログラムマッピングテーブル(program mapping table)を意味し、テーブル識別子情報、セクションシンタックス指示子情報、セクション長情報、プログラム番号情報、バージョン番号情報、current_next指示子情報、セクション番号情報、PCR_PID情報、program info長情報、第1ディスクリプタ情報、ストリームタイプ情報、基本PID(elementary PID)情報、エレメンタリストリーム情報長(Es_info_length)情報、第2ディスクリプタ情報、CRC情報などを含むことができる。第1ディスクリプタ情報は、program info長情報に後続する1番目のループに含まれたディスクリプタ情報を示すことができ、第2ディスクリプタ情報は、エレメンタリストリーム情報長情報に後続する2番目のループに含まれたディスクリプタ情報を示すことができる。
本発明の一実施例に係るUHD_program_info_descriptorは、PMTに含まれた第1ディスクリプタ情報内に含まれてシグナリングされ得、前述したHDR_info descriptorは、PMTに含まれた第2ディスクリプタ情報内に含まれてシグナリングされ得る。
UHD_program_info_descriptorは、図26の上段に示したように、ディスクリプタタグ(descriptor_tag)情報、ディスクリプタ長(descriptor_length)情報及びサービスタイプ情報(UHD_service_type)のうちの少なくとも1つを含むことができる。ここで、サービスタイプ情報(UHD_service_type)は、図26の下段に示したように、UHDサービスの種類を示すことができる。例えば、サービスタイプ情報は、UHD1(4K)、UHD2(8K)、またはqualityによる区分など、ユーザが指定したUHDサービスの種類を示すことができる。これを通じて、受信機に様々なUHDサービスを提供することができる。本発明の場合、UHD_service_type=1100(UHD1 service with HDR information metadata、4Kの例)に指定して、ビデオ、シーン、クリップまたはフレームなどの互いに異なる段階又は単位に対するHDR情報(HDR info)が提供されることを示すことができる。
図27及び図28は、本発明の一実施例に係るHDR_info descriptorをEITを介してシグナリングする実施例を示す。ATSC及びDVBシステムは、シグナリングテーブルとしてEITを含むことができ、その中に含まれたシンタックスは、図27及び図28の通りである。
本発明の一実施例に係るATSC及びDVBシステムのEIT(Event Information Table)は、共通にtable_idフィールド、section_syntax_indicatorフィールド、section_lengthフィールド、source_id(service_id)フィールド、version_numberフィールド、current_next_indicatorフィールド、section_numberフィールド、last_section_numberフィールド、num_events_in_section(segment_last_section_number)フィールド、event_idフィールド、start_timeフィールド、length_in_seconds(duration)フィールド、descriptors_lengthフィールド、descriptor()フィールド及び/又はCRC_32フィールドを含むことができる。
table_idフィールドは、当該テーブルがEIT(Event Information Table)であることを識別する。section_syntax_indicatorフィールドは、MPEG−2 private_section tableのロング(long)形態を示すために1にセットされる1ビットフィールドである。section_lengthフィールドは、このフィールドの後にあるテーブルセクションの長さをバイト数で示す。source_idフィールドは、当該セクションで記述されるイベントを伝送する仮想チャネルのソースID(source id)を示す。version_numberフィールドは、テーブルのバージョン番号を示す5ビットフィールドである。current_next_indicatorフィールドは、1ビットフィールドであって、このテーブルが現在適用可能であるか、それとも次に適用可能であるかを示す。section_numberフィールドは、セクションの番号を示す。last_section_numberフィールドは、最後のセクションの番号を識別する。num_events_in_sectionフィールドは、当該テーブルセクションに含まれたイベントの個数を示す。event_idフィールドは、記述されたイベントを示す特定の数字を識別する。start_timeフィールドは、当該イベントの開始時間をGPSセカンドを基準として示す。仮想チャネルでイベントの開始時間を示す値は、放映中のイベントの終了時間を示す値よりも大きくなり得る。イベントの終了時間は、イベントの開始時間とイベントの長さを時間で表した値との和として定義できる。length_in_seconds(duration)フィールドは、イベントの持続時間を秒単位で示す。descriptors_lengthフィールドは、後続して記述されるイベントディスクリプタ(descriptor())の全長を示す。descriptor()は、テーブル内に位置するディスクリプタループ(descriptor loop)である。ディスクリプタループ(descriptor loop)は、追加的なディスクリプタを含むことができる。EIT内には、0個以上のディスクリプタが含まれてもよく、当該ディスクリプタは、各イベント毎に適用される情報を記述するイベントレベルディスクリプタ(event level descriptor)に該当し得る。本発明の一実施例によって、UHD_program_info_descriptor及びHDR_info descriptorは、イベントレベルディスクリプタに含まれて伝送されてもよい。UHD_program_info_descriptorは、UHDサービスの種類を区分するために使用することができ、HDR_info descriptorは、イベントレベル(event level)でHDR映像情報メタデータが含まれているか否かを確認することができ、受信機で受容可能であるか否かを判断するために使用することができる。ケーブル放送の場合、前記ディスクリプタの代わりに、AEITに同じ情報を提供することができる。
CRC_32フィールドは、データの無欠性をチェックできるCRC値を含む。CRC値は、EITセクション全体が処理された後、Annex A of ISO−13818−1 “MPEG−2 Systems”に定義されているデコーダ内のレジスタから0値が出力されることを保証することができる。
EITを介してシグナリングされるUHD_program_info_descriptorのUHD_service_typeが1100に設定されると、受信機は、適正視聴環境に対する情報がメタデータを介して伝達されることを確認できる。例えば、UHD_service_typeが1100である場合、受信機は、当該サービスがUHD1 service with HDR information metadata、4Kであることを確認できる。
EITを介してシグナリングされるUHD_program_info_descriptorのUHD_service_typeが0000に設定されると、受信機は、HDR_info_descriptor()が存在するか否かを確認し、ビデオ、シーンまたはフレームなどの互いに異なる段階又は単位に対するHDR情報(HDR info)が提供されることを知ることができる。ここで、UHD_service_typeが0000であると、UHD1サービスであることを示すことができる。
上述した場合に対して、HDR_info_descriptor()を用いて、コンテンツ供給者が望むマスタリングディスプレイ、コンテンツ、シーンまたはフレーム単位の情報を視聴者のディスプレイで活用できるかを判断することができる。これを用いて、現在又は未来の時点で再生されるコンテンツに対してコンテンツ、シーンまたはフレーム単位のメタデータが使用されるか否かを予め判断することができ、予約録画などの状況のためのセッティングを受信機で予め準備することができる効果がある。
図29は、本発明の他の実施例に係るHDR_info_descriptor()を示す。一つのイベント(event)に対して複数の情報が存在し得る。すなわち、コンテンツに情報が一貫して適用されるものではなく、時間によって、又は挿入されたコンテンツの有無などによって適用される情報が変換され得る。または、一つのコンテンツに対して制作者が意図する様々なモードをサポートすることもできる。このとき、受信機のディスプレイでこのようなモードを受容可能であるかを判断する必要があり、これに関する情報は、放送送信装置によってviewing_condition_metadataを介して提供され得る。viewing_condition_metadata内のシンタックスは、SEIメッセージの視聴環境ディスクリプタタ(viewing condition descriptor)の定義に従うことができる。
HDR_info_descriptorは、図29の上端に示したように、ディスクリプタタグ(descriptor_tag)情報、ディスクリプタ長(descriptor_length)情報、及び情報の個数(number_of_info)情報のうちの少なくとも1つを含むことができる。HDR_info_descriptorはループを含むことができ、number_of_infoが指示する個数だけのHDR_info_metadata()を含むことができる。HDR_info_metadata()のシンタックスは、図17のHDR情報ディスクリプタ(HDR information descriptor)構成の実施例のスクリプト又はその一部が伝達され得る。
図30は、本発明の一実施例に係る受信機のブロック図及び動作方法を示す。前述した方法を通じてHDR情報(HDR information)が伝送される場合、受信機でシグナルを分析し、これに基づいてHDR映像に情報を適用するプロセスは、次の通りである。
本発明の一実施例に係る受信機は、チューナー及びデモジュレータ1601を用いてRF(radio frequency)チャネルから放送信号を受信することができる。図示していないが、放送信号は、RFチャネルだけでなく、他の経路でも受信することができる。例えば、放送信号は、IPベースの放送/通信、有/無線通信、有/無線インターフェースを介して受信されてもよい。また、放送信号及び後述するメタデータは、互いに異なる経路で受信されてもよい。後述するメタデータは、放送信号だけでなく、他の経路(例えば、IPベースの放送/通信、有/無線通信、有/無線インターフェース、近距離無線通信など)でも送受信可能である。
受信機は、チャネルデコーダ1602を用いて、受信された放送信号をデコードすることができる。ここで、チャネルデコーダは、VSB又はQAM方式を用いてデコードすることができる。デコードされた放送信号は、デマルチプレクサ1603によって放送コンテンツデータ及びシグナリングデータに逆多重化することができる。放送コンテンツデータは、HDRビデオデータを含むことができ、ビデオデコーダ1605によってデコードすることができる。シグナリングデータは、放送コンテンツデータに関する情報を含むことができ、実施例によって、PMT、VCT、EIT、SDTなどのシグナリングテーブル又はシグナリング情報を含むことができる。受信機は、セクションデータプロセッサ1604を用いてシグナリング情報(例えば、PMT)からUHD_program_info_descriptorを抽出することができる。
受信機は、UHD_program_info_descriptorを用いて、原本UHDTV放送を構成するために追加で受信しなければならない別途のサービスやメディアがあるかを把握する。本発明の実施例では、受信機が、UHD_service_type=1100であることを受信する場合、SEIメッセージを通じて追加情報があることを把握できる。または、受信機は、UHD_service_type=0000(8Kは0001)を受信した後、EITを介して、SEIメッセージを通じたビデオ関連追加情報があることを把握できる。
追加情報が存在することを確認した受信機は、HDR information SEI message又はHDR_info_typeに基づいて、追加情報が適用される範囲がチャネル単位であるか、プログラム単位であるか、コンテンツ単位であるか、シーン、クリップ又はフレームであるかを区分することができる。また、各場合に対して追加情報が適用される範囲を同期化するために、HDR_info_descriptor()は、追加情報の開始時点及び終了時点に関する情報を含むことができる。本発明の一実施例では、ビデオフレーム(video frame)を基準として同期化するための情報であるsync_info_type、sync_start、及びsync_durationを例示として用いた。また、HDR_info_descriptor()は、HDRの終了時点を示すtransition_flag情報を含むことができる。
また、HDR_info_typeがコンテンツ(content)全般に対して適用される情報である場合、シグナリング情報は、HDR_video_enhancement_info_present_typeを介して、追加的にシーン、クリップ、フレームの単位の情報が提供されるか否かをシグナリングすることができる。これを通じて、受信機は、後でシーン、クリップまたはフレーム単位の情報が提供されることを予め知ることができ、シーン、クリップまたはフレーム単位のメタデータ処理及びHDR映像画質改善のためのセッティングを予め行うことができる。
受信機は、シグナリング情報を介してダイナミックレンジ(dynamic range)を表現できる情報として高コントラストに関する情報や明るさを示す情報の種類を、dynamic_range_info_typeを通じて把握することができる。例えば、dynamic_range_info_typeは、高コントラスト情報としてアスペクト比(aspect ratio)、f−stopを指示するか、または明るさ情報としてpeak luminance、minimum luminanceなどを指示することができる。各タイプによるバリューは、dynamic_range_info_value[i]を介して受信機に伝達することができる。特に、本発明の一実施例によれば、コンテンツ(content)、マスタリングディスプレイ(mastering display)、フレーム(frame)、シーン(scene)の特徴によるダイナミックレンジ情報をそれぞれ示すことができ、dynamic_range_info_typeを通じて明るさをさらに細分化して示すことができる。これと共に、受信機は、カラー符号化(color encoding)に使用されたEOTFの種類、カラーガマット(color gamut)の種類、及び色温度(color temperature)の種類を、それぞれtransfer_function_type、color_gamut_type、及びcolor_temperature_typeを通じて把握することができる。
HDR_info_descriptor()は、追加的な情報として、ダイナミックレンジマッピング(dynamic range mapping)、カラーガマットマッピング(color gamut mapping)、視聴環境情報(viewing condition information)などを受信機に提供することができる。追加的な情報を様々な方法で提供できる場合、それぞれに対してdynamic_range_mapping_info_type、color_gamut_mapping_info_type、viewing_condition_info_typeを通じてHEVC内に定義されたSEIメッセージ又は予め約束されたSEIメッセージを指定することができる。HDR_info descriptor内で追加情報を直接定義する場合、受信機は、dynamic_range_mapping_info()、color_gamut_mapping_info()、及びviewing_condition_info()を通じて細部情報を把握することができる。
上述したシグナリング情報は、受信機のメタデータプロセッサ1606に格納することができる。格納されたシグナリング情報は、前述したセット番号(set number)又はバージョン(version)が変更される場合にアップデートされ得る。受信機は、シンクロナイザ1607を用いて、メタデータプロセッサ1606に格納された画質改善情報が適用単位によってビデオデータに適用され得るように、画質改善情報(シグナリング情報)とビデオデータを同期化することができる。
受信機は、与えられた情報に基づいてコンテンツ、シーンまたはフレーム単位のダイナミックレンジ情報をHDRアルゴリズム又は既存の後処理部(post−processing module)1608のような画質改善部に伝達して画質を向上させることができる。また、受信機は、ダイナミックレンジマッピン(dynamic range mapping)、カラーガマットマッピング(color gamut mapping)、視聴環境情報(viewing condition information)と関連する細部情報がある場合、トーンマッピング(tone mapping)、カラーマッピング(color mapping)、色補正(color correction)、ホワイトバランス(white balance)などのように関連するモジュールを直接連結して画質を向上させることができる。もし、受信機の内部で映像処理がlinear luminance domainで行われる場合、transfer_function_typeを通じて把握したEOTFを適用することができる。
受信機は、後処理されたHDRビデオをディスプレイ部1609を介して表示し、ユーザに提供することができる。
図31は、本発明の一実施例に係るHDR情報ディスクリプタを示す。本発明で提示するHDR情報(information)をより正確に適用するためには、入力ビデオフォーマット(input video format)及び出力ビデオフォーマット(ouput video format)について詳述する必要がある。すなわち、放送信号送信装置は、ビデオデータに対するプロセッシングの前及びプロセッシング後に適用されるビデオフォーマットに関する情報を追加的にシグナリングすることによって、放送信号受信装置がより正確なカラーマッピングを行うことができる。図示された情報は、図17で説明したHDR情報ディスクリプタに含まれた情報と共に追加的に当該ディスクリプタに含まれ得る。図示された情報は、本実施例のように、SEIメッセージ内の全てのHDRビデオプロセッシング(video processing)に同一に適用することができる。また、それぞれのHDRビデオプロセッシング、例えば、色相表現マッピング(color gamut mapping)及びダイナミックレンジマッピング(dynamic range mapping)にそれぞれ定義されて、互いに異なる入力/出力(input/output)特性を定義することもできる。
入力色空間タイプ情報(Input_color_space_type)は、本発明で伝達するHDRビデオプロセッシングの対象となる映像に関する情報のうち、カラー表現の基準を示すことができる。カラー表現の基準としては、RGB、YCbCr、xvYCC、XYZなどを使用することができる。すなわち、入力色空間タイプ情報が0000に設定される場合、カラー表現の基準がRGBであることを示し、0001である場合にYCbCr、0010である場合にxvYCC、0011である場合にXYZであることを示すことができる。0100〜1111である場合は、将来の使用のためにリザーブド(reserved)され得る。また、入力色空間タイプ情報は、カラーガマットタイプ情報(color gamut type)と共に使用され得る。例えば、入力色空間タイプ情報(input_color_space_type)がRGBであり、カラーガマットタイプ情報(color_gamut_type)がBT.2020一定輝度(constant luminance)である場合、映像がBT.2020 CLベースのRGBで表現されたことを示すことができる。
入力色相精度情報(Input_color_precision)は、カラー表現の正確度を示し、必要であれば、入力色空間タイプ情報(Input_color_space_type)と連動して使用されてもよい。例えば、RGBの場合、同じ色に対しても10ビット/12ビット/14ビットのように異なる精度で表現することができる。または、浮動小数点(floating point)で示す必要がある場合、少数点以下の何桁まで精度を有するかについて示すこともできる。
出力色空間タイプ情報(Output_color_space_type)は、入力色空間タイプ情報(Input_color_space_type)と反対の概念であって、HDRビデオプロセッシングの後にターゲットとする最終カラー表現の基準を示す。カラー表現の基準としては、RGB、YCbCr、xvYCC、XYZなどを使用することができる。すなわち、出力色空間タイプ情報が0000に設定される場合、カラー表現の基準がRGBであることを示し、0001である場合にYCbCr、0010である場合にxvYCC、0011である場合にXYZであることを示すことができる。0100〜1111である場合は、将来の使用のためにリザーブド(reserved)され得る。出力色相精度情報(Output_color_precision)はカラー表現の正確度を示し、必要であれば、出力色空間タイプ情報(Output_color_space_type)と連動して使用されてもよい。出力色相精度情報に対する実施例は、入力色相精度情報(Input_color_precision)の実施例と同一に適用することができる。プロセッシング色空間タイプ情報(processing_color_space_type)は、HDRビデオプロセッシングが行われる色空間(Color space)を示す。一般的にXYZのような中立色空間を使用することができるが、特定の色空間(color space)を指定して使用してもよい。プロセッシング色空間としては、XYZ、YCbCr(BT.2020,non−CL)、YCbCr(BT.2020,CL)、CIE L*a*b*、及びYUVを使用することができる。すなわち、プロセッシング色空間タイプ情報の値が0000に設定された場合にXYZ、0001に設定された場合にYCbCr(BT.2020,non−CL)、0010に設定された場合にYCbCr(BT.2020,CL)、0011に設定された場合にCIE L*a*b*、及び0100に設定された場合にYUVが色空間タイプとして指定され得る。
プロセッシング色相精度情報(Processing_color_precision)はカラー表現の正確度を示し、必要であれば、プロセッシング色空間タイプ情報(processing_color_space_type)と連動して使用することができる。これに対する実施例は、入力色相精度情報(Input_color_precision)の実施例と同一に適用することができる。
HDR情報ディスクリプタは、ターゲット情報をさらに含むことができる。ダイナミックレンジ情報に対してターゲット情報は、HDR情報ディスクリプタを介して当該フレーム/場面の画質改善を追求するときに目標(target)となる結果に関する情報を示す。ここで、目標は、ビデオフォーマットまたは目標となるディスプレイなどであってもよい。
ターゲット情報は、次のような要素を含むことができる。ターゲットダイナミックレンジ情報タイプ個数(Number_of_target_dynamic_range_info_type)情報は、ターゲットダイナミックレンジ情報タイプの個数を示すことができる。ターゲットダイナミックレンジ情報タイプ(target_dynamic_range_info_type)情報は、HDRビデオプロセッシングがターゲットとするダイナミックレンジ情報の種類を定義することができる。これに対して、ターゲットダイナミックレンジ情報バリュー(target_dynamic_range_info_value)情報は、ターゲットダイナミックレンジ情報タイプ情報が定義した情報に対する具体的な値を示すことができる。ターゲット変換関数タイプ情報(target_transfer_function_type)、ターゲットカラーガマットタイプ情報(target_color_gamut_type)、及びターゲットカラー温度タイプ情報(target_color_temperature_type)は、それぞれターゲットとする変換関数の種類、カラーガマットの種類、カラー温度の種類に関する情報を示すことができる。これらの情報は、前述したNumber_of_dynamic_range_info_type、dynamic_range_info_type、dynamic_range_info_value、transfer_function_ type、color_gamut_type、及びcolor_temperature_typeに対応する意味を有することができる。ここで、既存に定義した値は、HDRビデオプロセッシングの対象となる映像のダイナミックレンジ(dynamic range)、カラーガマット(color gamut)、及び変換関数(transfer function)を示すものと意味を具体化して適用できる。
図32は、本発明の一実施例に係るHDR情報ディスクリプタを示す。図示された情報は、図17で説明したHDR情報ディスクリプタに含まれた情報と共に追加的に当該ディスクリプタに含まれ得る。HDR情報ディスクリプタは、追加で、HDRプログラムトランジションフラグ情報、トランジションセットナンバー情報、及びトランジションバージョンナンバー情報をさらに含むことができる。HDRトランジションフラグ情報(HDR_program_transition_flag)は、HDR情報ディスクリプタに主要な変化がある場合を示す。例えば、当該フラグが1である場合、現在のHDRプログラム/コンテンツの終了の意味を有することができる。また、当該フラグが1である場合、HDRコンテンツの変化、適用されるHDR情報の種類の変化などを意味し得る。放送送信装置は、上述した変化が発生した後、一定のフレーム/時間の間1にセットすることによって、HDR情報ディスクリプタに主要な変化、HDRコンテンツ/プログラムの変化があることを知らせてもよい。または、変化が起こる直前に一定のフレーム/時間の間1にセットすることによって、一定のフレーム/時間の後にHDR情報ディスクリプタに変化があること、すなわち、HDRコンテンツ/プログラムの変化がある予定であることを知らせることができる。本フラグがシグナリングされる場合、主要な変化事項を適用するために、当該SEIメッセージを必須に参考するように条件を与えることもできる。必要に応じて、このようなシグナリングは、ビデオレベルだけでなく、システムレベル又はサービスレベルでも行うことができる。トランジションセットナンバー情報(transition_set_number)及びトランジションバージョンナンバー情報(transition_version_number)は、変更されたHDRコンテンツ/プログラムの特徴を知らせるための追加情報として伝送され得る。例えば、トランジションセットナンバー(set_number)情報を介して、変更された又は変更されるHDRコンテンツ/プログラムで使用するHDRシステムをシグナリングするか、または多数のHDRターゲットに関する情報がある場合、現在のターゲットと連携されたセットナンバー情報(set_number)をシグナリングすることができる。セットナンバー(Set_number)情報だけでなくトランジションバージョンナンバー(version_number)情報も、次のHDRコンテンツ/プログラムに関する情報として提供することができる。必要に応じて、様々な種類の情報に対するリンクを提供することもできる。例えば、1000nit/500nit/100nitのターゲットディスプレイ(target display)に該当するそれぞれのセットナンバー情報(set_number)及びバージョンナンバー情報(version_number)を提供することができる。
HDRトランジションフラグ情報と関連して図17で説明したトランジションフラグ情報(transition_flag)は、次のように使用することができる。トランジションフラグ情報(Transition_flag)の意味を拡張して、HDR情報ディスクリプタ(HDR information descriptor)に主要な変化がある場合を示すように設定することができる。すなわち、トランジションフラグ情報(transition_flag)の値が1である場合、現在の又は現在のプログラムに該当するHDR情報ディスクリプタ(HDR information descriptor)の伝送が終了するという意味を付与することによって、SDRが開始されるという意味だけでなく、他のHDRプログラムが開始されるか、または他の種類のメタデータを適用するという意味などで使用することができる。具体的なシグナリングの意味及び方法は、HDR_program_transition_flagに従うようにすることができる。ここで、トランジションフラグ情報(transition_flag)が単独で使用されるか、またはHDRトランジションフラグ情報(HDR_program_transition_flag)と連携して2つの信号を全て使用することができる。例えば、トランジションフラグ情報(transition_flag)は、当該HDR情報ディスクリプタの終了時点(HDRコンテンツの終了時点)にシグナリングし、HDRトランジションフラグ情報(HDR_program_transition_flag)は、次のHDRコンテンツの開始時点にシグナリングすることができる。
HDRトランジションフラグ情報と関連して図17で説明したセットナンバー情報(set_number)は、その意味を拡張して使用することができる。セットナンバー情報(set_number)の意味を拡張して、HDR情報ディスクリプタに主要な変化がある場合を示すように設定することができる。すなわち、プログラム/コンテンツ/チャネルに応じてHDR情報ディスクリプタに互いに異なるセットナンバー(set_number)を指定することができ、この場合、HDR情報ディスクリプタの内容が変化したという意味を付与し、HDRコンテンツが終了し、新しいHDRコンテンツが開始されるなどの変化が起こったことを知らせることができる。また、セットナンバー情報(set_number)が特定のHDR情報ディスクリプタに対して固定値を有するように設定することもできる。例えば、HDRシステムに応じて互いに異なる種類のパラメータの伝達が可能な場合、それぞれのHDRシステムをセットナンバー情報(set_number)を用いて区分することができる。
HDRトランジションフラグ情報と関連して図17で説明したバージョンナンバー情報(version_number)は、その意味を拡張して使用することができる。バージョンナンバー情報(version_number)の意味を拡張して、HDR情報ディスクリプタに主要な変化がある場合を示すように設定することができる。すなわち、放送送信装置は、HDR情報ディスクリプタに変化があるとき、変更されたバージョンナンバー(version_number)を付与し、放送受信装置が、変更されたHDR情報ディスクリプタが適用されるフレームからは新しいHDR情報ディスクリプタを必須に参考するように設定することができる。この場合、プログラム内でフレーム/場面単位の変化だけでなく、チャネル内でプログラム/コンテンツ自体が変わる場合、すなわち、現在のHDRコンテンツが他の種類のHDRコンテンツに変更される場合にも使用することができる。このとき、放送送信装置は、特定のバージョンナンバー(version_number)を付与してシグナリングすることによって、プログラム/コンテンツ自体が変わる場合のように主要な切り替えが起こる場合を特徴的に知らせることもできる。
図33は、本発明の一実施例に係る特性セット(feature set)によってフレーム(frame)内の領域を分割する場合を示す。ここで、フレームは、画面を構成するピクチャ内の全てのピクセルを含む全領域範囲を意味し得、実施例によっては、ウィンドウと呼ぶこともできる。ダイナミックメタデータ(Dynamic metadata)は、時間によって変更されるフレーム又はシーン(frame/scene)の特性を反映する情報であり得る。これと関連して、一つのフレーム内でも一定の特性に応じて互いに異なるメタデータプロセッシング(metadata processing)を適用することができる。例えば、フレーム内に暗い領域と明るい領域が共に存在する場合、それぞれの領域に対して互いに異なるプロセッシングを適用することによって、HDR映像の効果を極大化することができる。この場合、送信端では、それぞれの特性(feature)を区分する特徴を伝達することができ、各領域に対する互いに異なる処理方法を伝達することができる。受信端では、受信された領域別の特性(feature)の特徴又は処理方法に基づいて領域適応的(area−adaptive)に処理するようにすることができる。ここで、領域とは、閉曲線内で定義される単一の領域を意味してもよく、または同一又は類似の特性を有する少なくとも1つ以上の領域の集合を意味してもよい。例えば、図示のように、一つのフレームを構成する3つの領域が存在し得る。3つの領域は、互いに異なる特性(feature)を有することができる。ここで、互いに異なる領域間に重なる(overlapped)部分が存在し得る。この場合には、各領域の優先順位(priority)を指定して処理するようにすることができる。各領域別の優先順位は、映像制作者が指定することができ、制作者の意図が反映され得る。例えば、図示のように、特性セット1(feature set 1)と特性セット2(feature set 2)が重なる場合があり得る。この場合、優先順位1(priority 1)を有する特性セット2がさらに高い優先順位を有するため、重なった領域に対しては特性セット2を適用することができる。また、領域を指定する場合、各領域の和集合がフレーム(frame)全体となるように指定して、全ての領域に対するプロセッシングが可能なようにすることができる。すなわち、フレーム全体において、領域の指定から除外されてプロセッシングされない部分が発生しないようにすることができる。勿論、意図的に処理しないようにすることができるが、一般的にこの場合にも、意図的に処理しないというシグナルを伝達することが必要である。前述したように領域を指定又は区分するための基準として、位置、色相特性、明るさ特性などを使用することができる。また、特定の物体(object)に対するトラッキング(tracking)をサポートする場合、当該物体を領域として指定することもできる。この場合、当該物体がフレーム内で移動する場合、指定された領域も共に移動することができる。
図34は、本発明の一実施例に係るHDR情報(HDR information)及び特性セット(feature set)をシグナリングする情報を示す。一つのフレームを多数の領域に対応する特性セットに区分し、各特性(feature)に応じてそれぞれに互いに異なるプロセッシングを適用できる。そのために、各領域別に特性セットの特徴を指定し、これに従ってそれぞれマッチングされる情報を並べることができる。図面では、一つのメタデータ内に情報が並列的に記述される場合を示した。すなわち、HDR情報タイプ(HDR information type)、transition_flag、セットナンバー(set number)、バージョンナンバー(version number)、sync情報、及び入力/出力/プロセッシング色空間タイプ(input/output/processing color space type)のようにフレーム全体に適用される情報を除いたダイナミックレンジマッピング情報(dynamic range mapping information)、カラーガマットマッピング情報(color gamut mapping information)、及び視聴環境情報(viewing condition information)のように特性セットによる処理過程を並列的に伝達するものである。特性セットを区分するための基準として、位置、カラー、明るさ、ヒストグラムなどを考慮することができ、これらの積集合でセット(set)を定義することができる。同一のフレームに対して複数の特性セットが適用される場合、HDR情報は、次のようなフィールドを含むことができる。
total_number_of_feature_sets_in_a_frameフィールドは、フレーム内で区分される特性セット(feature set)の個数を示すことができる。領域が区分されない場合は、当該フィールドを1に指定することができる。
feature_spatial_boundaryフィールドは、特性セットを指定する基準の一つとして、領域の位置を直接指定することができる。領域の位置は、一般的にx,y indexで示すことができる。例えば、領域の形状に応じて、四角形である場合、開始地点の座標(x,y)及び終了地点の座標(x+N,y+M)で示すことができる。または、開始地点及び各辺の長さN,Mで示すことができる。領域の形状が円形である場合、円の中心部及び直径で示すこともできる。特定の値を有する場合、使用しないことを示すこともできる。これについての詳細な実施例は、後述する図面で説明する。
feature_colorimetry_boundaryフィールドは、特性セットを指定する基準の一つとして、特定のカラーを有する領域を指定することができる。一般的にRGB colorimetryをCIE xy座標で示すことができる。または色空間(color space)内で中心座標及び円(又は球)の直径で示してもよく、または任意の範囲を指定するようにしてもよい。特定の値を有する場合、使用しないことを示すこともできる。
feature_luminance_boundaryフィールドは、特性セットを指定する基準の一つとして、特定の明るさを有する領域を指定することができる。明るさの最大最小値の範囲又は特定の明るさを中心に加減(+−)される明るさ範囲を知らせることもできる。特定の値を有する場合、使用しないことを示すこともできる。
feature_histogram_boundaryフィールドは、特性セットを指定する基準の一つとして、ヒストグラムの特性によって領域を区分する場合に使用することができる。例えば、映像ヒストグラムのlocal maximumを有する部分の中心明るさ(又はデジタル値)情報及びboundary情報を伝達することができる。このとき、ヒストグラムは、luminanceに対する明るさ分布、又はRGBのうち特定のチャネルあるいはそれぞれに関する情報を伝達して特性(feature)を指定することができる。特定の値を有する場合、使用しないことを示すこともできる。
feature_priorityフィールドは、特性セットとして指定された領域が重なる場合に適用される優先順位を示すことができる。前述した実施例のように、全ての特性セットに対して互いに異なる優先順位が適用されてもよく、複数の特性セットが同じ優先順位を有してもよい。また、当該フィールドが0である場合、重なる領域に対してブレンディング(blending)のような処理が行われるように指定することができる。前記に記述した部分以外にも、区分される領域間のバウンダリ(boundary)処理に関連する部分が追加されてもよい。
フレーム内で領域に応じて互いに異なるメタデータによる処理のためには、フレーム内の領域を区分するための特徴を伝達しなければならない。このとき、前述した図面で定義したように、spatial、colorimetry、luminance、color volume、histogramのような互いに異なるカテゴリーに対するシグナリングを考慮することができる。また、少なくとも2つ以上のカテゴリーの積集合として1つの領域を区分することができる。例えば、spatial boundaryフィールドで矩形領域を指定し、その矩形領域内でcolorimetry boundaryフィールドで特定のカラーを有する領域を指定することができる。すなわち、spatial boundaryフィールド及びcolorimetry boundaryフィールドがそれぞれ示す指定領域を同時に満足させる領域を特定の特性セット(feature set)に対応させることができる。各カテゴリーに対するシグナリングは1つ以上使用することができ、各カテゴリーについての具体的な実施例として、以下のようなシグナリングを考慮することができる。
図35は、本発明の一実施例に係る空間領域を指定するためのSpatial boundaryフィールドを示した図である。空間領域を指定するための方法として、フレーム内の一定の領域に対するシグナリングを考慮することができる。第一の方法として、矩形領域を空間領域として指定することができる(d35010)。Spatial boundaryフィールドは、矩形領域の頂点をシグナリングすることができ、より効率的なシグナリングとして、図示のように、左上端及び右下端の点をシグナリングすることができる。図面において、top_left_corner_x_axis及びtop_left_corner_y_axisは、それぞれ矩形の左上端に位置した頂点のx,y座標を示す。同様に、bottom_right_corner_x_axis及びbottom_right_corner_y_axisは、矩形の右下端に位置した頂点のx,y座標を示す。d35010に示された方法を用いて領域がシグナリングされる場合、対角線に位置した2つの頂点によって決定される矩形の内部を含む領域を空間領域として指定することができる。
第二の方法として、矩形ではなく円形状の領域を指定する場合、円の内部に属する領域を空間領域として指定することができる。この場合、Spatial boundaryフィールドは、円の中心座標(center_of_circle_x_axis,center_of_circle_y_axis)及び円の半径(radius_of_circle)に対する情報をシグナリングすることができる(d35020)。この方法を用いて領域がシグナリングされる場合、円の内部に属するピクセル(pixel)を全て含むものと考慮することができる。
第三の方法として、前述した矩形及び円以外にも、楕円などのよく知られた図形の形状を考慮できる。任意の多角形としてシグナリングする場合、d35030に示したように、多角形の頂点の数(number_of_points_minus_2)及び各頂点の位置(x_axis [i],y_axis [i])をシグナリングすることができる。このとき、多角形を作るために、頂点の個数は最小3個となり得る。number_of_points_minus_2フィールドは、多角形の実際の頂点の個数より2だけ少ない数をシグナリングすることもできる。例えば、number_of_points_minus_2フィールドが2である場合は、前述した矩形の形状をシグナリングすることができる。このように、任意の多角形としてシグナリングされる場合、当該多角形に含まれた点を全て使用して構成される多角形の内部の領域を指称するものと考慮することができる。
第四の方法は、任意の多角形に対する他のシグナリング方法として、予め定められた又は予め伝送された領域を使用することができる。このとき、d35040に示したように、マスク(mask)の種類(mask_type)、マスクの開始又は中心位置(location_x_axis,location_y_axis)、マスクのサイズ(ratio:基準サイズに対する比率)のような情報を通じて、一定の形状の領域を指定することができる。このとき、マスクの種類は、予め指定又は伝送された領域を使用することができる。マスクの種類による領域の形状のディテールは、静的メタデータ(static metadata)を介して予め伝送されてもよく、以前のフレーム情報を使用してもよく、マスクを直接ピクセルデータ(pixel data)として送ってもよい。
図36は、本発明の一実施例に係る空間領域を指定するためのColorimetry boundaryフィールドを示した図である。特性セット(feature set)に対応する領域を指定するために、HDR情報は、色度平面上での色相範囲を指定することもできる。一般的に映像において基本的に使用する色空間をベースとする色度平面を使用することができる。しかし、場合によって、制作者が意図する特定の色度平面上での色相範囲を考慮することができる。制作者が意図する特定の色度平面上での色相範囲をシグナリングするためには、当該色度平面に対するシグナリングが必要となり得る。この場合、d36010に示したように、特定の色空間タイプ(color_space_type)、及び必要に応じて変換式(coefficient [i])を提供することもできる。ここで、色空間タイプ(color space type)は、d36020に示したように、YCbCr、Lab、Yuvなどの色空間を使用することができる。また、luminance表現方法(linear,non−linear)、luminance変換式(EOTF a,EOTF b)、中心色温度(D65,D50など)のような基準によって区分されてもよい。実施例によって、既存に定義された色空間ではなく任意の色空間を使用してもよく、この場合、XYZのような中立(neutral)色空間から任意の色空間への変換式を用いて定義することができる。
色相範囲を指定するための色座標が指定された後、与えられた色空間内での一定の範囲内の色相の集合として色相範囲を考慮することができる。この場合、色座標上での任意の多角形、円、楕円などで色相範囲を指定することができる。多角形の場合、d36030に示したように、点の個数(number_of_points_minus_3)による頂点の座標値(x_axis[i],y_axis[i])を通じて指定された多角形の内部のカラー領域を限定することができる。具体的な領域の指定は、前の図面で説明した通りである。
また、d36040に示したように、特定のカラー座標(center_of_circle_x_axis,center_of_circle_y_axis)を中心に一定の半径(radius_of_circle)内のカラーの集合としてカラー領域をシグナリングすることができる。
これと同様に、d36050に示したように、特定のカラー座標(center_of_ellipsoid_x_axis,center_of_ellipsoid_y_axis)を中心にする一定の勾配(angle)を有する軸を中心に楕円の形状(coefficient_a,coefficient_b)でカラー領域を限定することもできる。
図37は、本発明の一実施例に係る空間領域を指定するためのLuminance boundaryフィールド及びLuminance distribution boundaryフィールドを示した図である。特性セット(feature set)に対応する領域を指定するために、HDR情報は、明るさの範囲を指定するか、または映像内の明るさ分布を指定することができる。Luminance boundaryフィールドは、d37010に示したように、明るさの範囲として領域を指定することができる。ピクセル(Pixel)の明るさがblack−whiteの両極端を結ぶ線分上に存在するという仮定下に、当該線分上の点で明るさ範囲を区分することができる。このとき、明るさに対する表現は、明るさの相対分布を示すデジタル値(digital_value)で表現されるか、または絶対明るさ値(luminance_value)で表現されてもよい。
Luminance distribution boundaryフィールドは、d37020に示したように、明るさ分布として領域を指定することができる。明るさ範囲による特性(feature)区分の他の方法の一つとして、映像内の明るさ分布を用いることができる。このとき、明るさ範囲を区分するために、明るさが主要に分布する地点の明るさ(local_maximum)を基準として高い明るさ限界(upper_bound)及び低い明るさ限界(lower_bound)を指定することができる。すなわち、基準明るさを基準として上限及び下限をシグナリングすることができる。ここで、各フィールド値は、明るさの相対分布を示すデジタル値(digital_value)又は絶対明るさ値(luminance_value)であってもよく、必要に応じて、図示のように2つを全て使用してもよい。本発明では、明るさ分布に対する代表例として、ヒストグラム(histogram)分布に基づいて範囲を指定する例を示したが、実施例によっては、明るさ累積分布のような他の種類の分布を用いることができる。
図38は、本発明の一実施例に係る空間領域を指定するためのColor volume boundaryフィールドを示した図である。特性セット(feature set)に対応する領域は、一つの色空間内で定義され得る。すなわち、前述した実施例とは異なり、カラー領域と明るさ領域を一つの色空間内で定義することができる。このとき、色相範囲(color volume)が定義された色空間(color space)に対する定義が別途に必要な場合、上述したfeature_color_spaceを用いることができる。
色空間内で色相範囲(color volume)を定義する方法としては、多面体の頂点を定義することができる。ここで、d38010に示したように、頂点の個数(number_of_points)及び各頂点の座標(color_volume_x_axis,color_volume_y_axis)を通じて多面体を定義することができる。すなわち、色空間内でこのように定義された多面体の内部に含まれる色相を色相範囲(color volume)の必要領域として指定することができる。
次に、色相範囲(color volume)内での範囲を指定する他の方法として、d38020に示したように、明るさの段階によるカラリメトリー(colorimetry)を定義する方法を考慮することができる。例えば、HSI(Hue Saturation Intensity)色空間(color space)のようにカラー(hue,saturation)と明るさ(intensity)が分離される場合、色相(hue)、彩度(saturation)及び明度(intensity)のそれぞれをxyz座標平面上の各軸に対応させることができる。この場合、明るさの段階(color_volume_z_axis)を一定の個数(number_of_luminance_levels)に対応するレベルに分け、各明るさの段階による多角形の色座標(color_volume_x_axis,color_volume_y_axis)を定義することができる。すなわち、明るさのレベルによるカラリメトリーを定義し、各層間は補間(interpolation)を通じて色相範囲(color volume)を定義することができる。言い換えれば、色空間(color space)内で定義しようとする色相範囲(color volume)を、色空間内で区分された少なくとも1つ以上の明るさ区間に対してそれぞれ定義された少なくとも1つ以上の色相範囲を通じて示すことができる。例えば、色空間内で第1明るさ区間に対しては第1色相範囲をシグナリングし、第2明るさ区間に対しては第2色相範囲をシグナリングして、各明るさ区間別に互いに異なって定義される色相範囲を示すことができる。このような色相範囲に対するシグナリングは、フレーム全体に対して定義することができ、また、実施例によって、一つのフレームを構成する複数の領域に対してそれぞれ定義されてもよい。ここで、フレームとは、画面を構成するピクチャ内の全てのピクセルを含む全領域範囲を意味し得、実施例によってはウィンドウと呼ぶこともできる。
明るさレベルの区分による色相範囲(color volume)のシグナリングに対する他の例として、d38030に示したように、カラリメトリー(colorimetry)を円の形態でシグナリングすることができる。すなわち、区分される明るさ値(color_volume_z_axis)で定義されるカラープレーン(color plane)に対して中心色相のカラー座標(center_of_circle_x_axis,center_of_circle_y_axis)と類似のカラーが含まれるものと予想される半径(radius_of_circle)をシグナリングし、カラープレーンの間は、補間(interpolation)を通じて全体色相範囲(color volume)に関する情報を提供することができる。
色相範囲(color volume)内で特定の明るさでの特定のカラーに対するバウンダリ(boundary)をシグナリングする方法として、d38040に示したように、対象カラー座標(center_of_circle_x_axis,center_of_circle_y_axis,center_of_circle_z_axis)及び対象カラーを中心にする類似のカラーに対する半径(radius_of_circle)に対してシグナリングする方法を用いて、色相範囲(color volume)情報を提供することもできる。この場合、当該カラー座標を中心にした類似のカラーに対する半径を有する球(sphere)の内部として色相範囲(color volume)が定義され得る。
上述した方法以外にも、カラープレーン(color plane)での楕円又は楕円をベースとした立体図形を色相範囲(color volume)として考慮することもできる。一般に、類似のカラー/明るさ群は、中心カラーから一定の範囲内に存在するようになり、このとき、方向性による互いに異なる加重値が必要な場合、楕円又は楕円形の立体のような形状を使用することができる。
図39は、本発明の一実施例に係る放送送信機を示したブロック図である。本発明に係る放送送信機d39010は、エンコーダd39020、多重化部d39030及び/又は送信部d39040を含むことができる。
放送送信機d39010に入力されるビデオデータの解像度はUHDであってもよい。また、放送送信機d39010に入力されるメタデータは、UHDビデオに対する画質改善メタデータを含むことができる。画質改善メタデータは、ビデオデータと共に伝送されるSEIメッセージに含まれて伝送されてもよい。図17乃至図38で前述したように、画質改善メタデータはHDR情報ディスクリプタ(HDR_info_descriptor)を含むことができ、これは、UHDビデオの画質改善に必要な情報を含むことができる。UHDビデオの画質改善に必要な情報は、コンテンツ全体(channel、program、content)、シーン(scene)、クリップ(clip)またはフレームの単位で適用され得、コンテンツ全体に適用される共通適用情報、及びシーン、クリップまたはフレーム単位で適用される部分適用情報を共に含むこともできる。また、HDR_info_descriptor()は、HDRの終了時点を示すtransition_flag情報を含むことができる。
また、HDR情報ディスクリプタは、前述したように、画質改善のためのプロセッシングステップに対するプロセッシング色空間タイプ情報及びプロセッシング色相精度情報を含むことができる。これに加えて、HDR情報ディスクリプタは、プロセッシングステップの前に対する入力色空間タイプ情報及び入力色相精度情報、及びプロセッシングステップの後に対する出力色空間タイプ情報及び出力色相精度情報をさらに含むことができる。また、HDR情報ディスクリプタは、画質改善プロセッシングがターゲットとするダイナミックレンジ、変換関数タイプ、カラーガマット、及び色温度タイプに関する情報も含むことができる。また、HDRコンテンツ又はHDR情報に対する変更が予定されていることを示すHDRプログラムトランジションフラグ情報、及びそのトランジションの対象となるセットナンバー情報及びバージョンナンバー情報を含むことができる。
また、HDR情報ディスクリプタは、フレーム内に含まれた複数の領域を区分することができ、各領域に対応する特性セット(feature set)情報を含むことができる。特性セット情報は、同じフレーム内でも領域別に互いに異なるメタデータプロセッシングを適用することができる。各特性セットは、領域位置によって区分されるか、または色空間で一定の範囲内の色相によって区分されてもよい。また、特性セットは、明るさ範囲や明るさ分布によって区分されてもよい。また、色空間内で定義された多面体によって区分される色相範囲(color volume)内で、前述した位置、色相、明るさ範囲、及び明るさ分布のうちの少なくとも1つによって区分されてもよい。HDR情報ディスクリプタは、前述した特性セットを区分する情報を含むことができ、例えば、Spatial boundary情報、Colorimetry boundary情報、Luminance boundary情報、Luminance distribution boundary情報、及びColor volume boundary情報のうちの少なくとも1つを含むことができる。各情報についての詳細な説明は、図35乃至図38で説明した通りである。
放送送信機d39010に入力されたビデオデータは、エンコーダd39020によってエンコードされ得る。送信端は、ビデオデータに対するエンコーディング方式としてHEVC(High Efficiency Video Coding)を用いることができる。送信端は、エンコードされたビデオデータと画質改善メタデータを同期化し、多重化部d39030を用いて多重化することができる。画質改善メタデータは同期化情報をさらに含むことができる。画質改善メタデータは、同期化方法に応じて、時間、時間差、開始順序、POC、PTS、累積されたフレームの個数などの同期化情報を含むことができる。
送信部d39040は、多重化部d39030から出力されたトランスポートストリームを放送信号として送信することができる。ここで、トランスポートストリームは、送信の前にチャネルコーディング及び変調された後、放送信号として送信され得る。本発明の他の実施例によれば、メタデータは、放送信号だけでなく、他の経路(例えば、IPベースの放送/通信、有/無線通信、有/無線インターフェース、近距離無線通信など)でも送信することができる。また、ビデオデータと別途の経路で送信されてもよい。
図40は、本発明の一実施例に係る放送受信機を示したブロック図である。本発明に係る放送受信機d40010は、受信部d40020、逆多重化部d40030及び/又はデコーダd40040を含むことができる。
受信部d40020によって受信された放送信号は、復調された後、チャネルデコードされ得る。チャネルデコードされた放送信号は、逆多重化部d40030に入力されてビデオストリーム及び画質改善メタデータに逆多重化され得る。メタデータは、放送信号だけでなく、他の経路(例えば、IPベースの放送/通信、有/無線通信、有/無線インターフェース、近距離無線通信など)でも受信することができる。逆多重化部の出力は、デコーダd40040に入力され得る。デコーダは、ビデオデコーダ及びメタデータプロセッサを含むことができる。すなわち、ビデオストリームはビデオデコーダによって、画質改善メタデータはメタデータプロセッサを介してデコードされ得る。それぞれデコードされたビデオストリーム及び画質改善メタデータは、図19で説明したように、後処理部によってUHDビデオの画質改善に使用することができる。受信機は、画質改善メタデータに基づいてデコードされたビデオデータを後処理することができ、HDR及びWCGのうちの少なくとも1つに対してビデオデータの画質を改善する効果を得ることができる。前記画質改善メタデータは、前述したように、HDR情報ディスクリプタを含むことができ、また、HDR情報ディスクリプタは、前述したように、画質改善のためのプロセッシングステップに対するプロセッシング色空間タイプ情報、及びプロセッシング色相精度情報を含むことができる。これに加えて、HDR情報ディスクリプタは、プロセッシングステップの前に対する入力色空間タイプ情報及び入力色相精度情報及びプロセッシングステップの後に対する出力色空間タイプ情報及び出力色相精度情報をさらに含むことができる。また、HDR情報ディスクリプタは、画質改善プロセッシングがターゲットとするダイナミックレンジ、変換関数タイプ、カラーガマット、及び色温度タイプに関する情報も含むことができる。また、HDRコンテンツ又はHDR情報に対する変更が予定されていることを示すHDRプログラムトランジションフラグ情報、及びそのトランジションの対象となるセットナンバー情報及びバージョンナンバー情報を含むことができる。
また、HDR情報ディスクリプタは、フレーム内に含まれた複数の領域を区分することができ、各領域に対応する特性セット(feature set)情報を含むことができる。特性セット情報は、同じフレーム内でも領域別に互いに異なるメタデータプロセッシングを適用することができる。各特性セットは、領域位置によって区分されるか、または色空間で一定の範囲内の色相によって区分されてもよい。また、特性セットは、明るさ範囲や明るさ分布によって区分されてもよい。また、色空間内で定義された多面体によって区分される色相範囲(color volume)内で、前述した位置、色相、明るさ範囲、及び明るさ分布のうちの少なくとも1つによって区分されてもよい。HDR情報ディスクリプタは、前述した特性セットを区分する情報を含むことができ、例えば、Spatial boundary情報、Colorimetry boundary情報、Luminance boundary情報、Luminance distribution boundary情報、及びColor volume boundary情報のうちの少なくとも1つを含むことができる。各情報についての詳細な説明は、図35乃至図38で説明した通りである。
図41は、本発明の一実施例に係る画質改善メタデータを含む放送信号を送信する方法を示した図である。画質改善メタデータを含む放送信号を送信する方法は、ビデオストリームをエンコードしてビデオデータを生成するステップ(ds41010)、生成されたビデオデータ及び画質改善メタデータを含む放送信号を生成するステップ(ds41020)、及び生成された放送信号を送信するステップ(ds41030)を含むことができる。
ビデオストリームをエンコードしてビデオデータを生成するステップ(ds41010)は、UHDの解像度を有するビデオストリームを受信し、ビデオストリームをエンコードしてビデオデータを生成することができる。ここで、ビデオストリームは、HEVC(High Efficiency Video Coding)によってエンコードされ得る。これと共に、ビデオデータを生成するステップ(ds41010)は画質改善メタデータを生成することができる。前述したように、放送送信装置は、ビデオデータを生成するステップ(ds41010)でビデオデータの全体コンテンツ(channel、program、content)、シーン(scene)、クリップ(clip)またはフレーム(frame)の単位で適用される画質改善メタデータを共に生成することができる。画質改善メタデータは、HDR及びWCGのうちの少なくとも1つに対するデータであってもよく、適用単位に応じて互いに異なる情報量を有することができる。画質改善メタデータは、前述したHDR_info_descriptor()に含まれて送信され得る。また、HDR_info_descriptor()は、HDRの終了時点を示すtransition_flag情報を含むことができる。また、HDR情報ディスクリプタは、前述したように、画質改善のためのプロセッシングステップに対するプロセッシング色空間タイプ情報及びプロセッシング色相精度情報を含むことができる。これに加えて、HDR情報ディスクリプタは、プロセッシングステップの前に対する入力色空間タイプ情報及び入力色相精度情報、及びプロセッシングステップの後に対する出力色空間タイプ情報及び出力色相精度情報をさらに含むことができる。また、HDR情報ディスクリプタは、画質改善プロセッシングがターゲットとするダイナミックレンジ、変換関数タイプ、カラーガマット、及び色温度タイプに関する情報も含むことができる。また、HDRコンテンツ又はHDR情報に対する変更が予定されていることを示すHDRプログラムトランジションフラグ情報、及びそのトランジションの対象となるセットナンバー情報及びバージョンナンバー情報を含むことができる。
また、HDR情報ディスクリプタは、フレーム内に含まれた複数の領域を区分することができ、各領域に対応する特性セット(feature set)情報を含むことができる。特性セット情報は、同じフレーム内でも領域別に互いに異なるメタデータプロセッシングを適用することができる。各特性セットは、領域位置によって区分されるか、または色空間で一定の範囲内の色相によって区分されてもよい。また、特性セットは、明るさ範囲や明るさ分布によって区分されてもよい。また、色空間内で定義された多面体によって区分される色相範囲(color volume)内で、前述した位置、色相、明るさ範囲、及び明るさ分布のうちの少なくとも1つによって区分されてもよい。HDR情報ディスクリプタは、前述した特性セットを区分する情報を含むことができ、例えば、Spatial boundary情報、Colorimetry boundary情報、Luminance boundary情報、Luminance distribution boundary情報、及びColor volume boundary情報のうちの少なくとも1つを含むことができる。各情報についての詳細な説明は、図35乃至図38で説明した通りである。
また、画質改善メタデータは、シグナリング情報内で直接定義されるか、または他のメッセージを参照する方式で生成されてもよい。このような画質改善メタデータは、受信機にとって、適用単位に応じてビデオデータの画質を改善する参照データとなり得る。結果的に、受信機は、ビデオデータと共に受信される画質改善メタデータを用いて、ビデオデータの画質を動的に改善することができる。
生成されたビデオデータ及び画質改善メタデータを含む放送信号を生成するステップ(ds41020)は、放送信号フレームをビルドし、変調過程を用いて放送信号を生成することができる。
生成された放送信号を送信するステップ(ds41030)は、トランスポートストリームを放送信号として送信することができる。
図42は、本発明の一実施例に係る画質改善メタデータを含む放送信号を受信する方法を示した図である。画質改善メタデータを含む放送信号を受信する方法は、放送信号を受信するステップ(ds42010)、受信された放送信号をビデオデータ及び画質改善メタデータに逆多重化するステップ(ds42020)、及びビデオデータ及び画質改善メタデータをデコードし、適用するステップ(ds42030)を含むことができる。
放送信号を受信するステップ(ds42010)は、受信部を用いて放送信号を受信し、受信された放送信号は、復調された後、チャネルデコードされ得る。放送信号は、UHD放送信号を含むことができ、UHD放送コンテンツ(content)に対する画質改善メタデータをさらに含むことができる。画質改善メタデータについての詳細な説明は、図17乃至図38で説明した通りである。
受信された放送信号をビデオデータ及び画質改善メタデータに逆多重化するステップ(ds42020)は、チャネルデコードされた放送信号を、逆多重化部を用いてビデオデータ及び画質改善メタデータに逆多重化することができる。ビデオデータはUHDビデオデータを含むことができ、画質改善メタデータは、UHDビデオデータに適用されるHDR又はWCG関連データを含むことができる。画質改善メタデータは、前述したHDR_info_descriptor()に含まれて受信されてもよい。また、HDR_info_descriptor()は、HDRの終了時点を示すtransition_flag情報を含むことができる。ここで、画質改善メタデータは、その適用範囲によって共通適用情報と部分適用情報に区分できる。画質改善メタデータは、共通適用情報及び部分適用情報のうちの少なくとも1つを含むことができる。共通適用情報は、チャネル全体、プログラム全体、または一つのコンテンツを形成するビデオデータ全体に対して適用される情報であり、部分適用情報は、ビデオデータの一部のシーン、クリップまたはフレームに部分的に適用可能なデータであり得る。画質改善メタデータは、放送信号のシグナリング情報内で直接定義されるか、または予め定義されたメッセージを参照する方式が用いられてもよい。
ビデオデータ及び画質改善メタデータをそれぞれデコードし、適用するステップ(ds42030)は、ビデオデコーダを用いてビデオデータをデコードし、ビデオデータを取得することができる。このステップで、画質改善メタデータに対しては、シグナリングデータパーサー又はメタデータデコーダを用いて画質改善メタデータを取得することができる。受信機は、画質改善メタデータに基づいて、デコードされたビデオデータの画質を改善することができる。画質改善メタデータは、ビデオデータに対するHDR又はWCG情報を含むことができ、各情報が適用される時点を示す同期化情報をさらに含むことができる。前記画質改善メタデータは、前述したようにHDR情報ディスクリプタを含むことができ、また、HDR情報ディスクリプタは、前述したように、画質改善のためのプロセッシングステップに対するプロセッシング色空間タイプ情報及びプロセッシング色相精度情報を含むことができる。これに加えて、HDR情報ディスクリプタは、プロセッシングステップの前に対する入力色空間タイプ情報及び入力色相精度情報、及びプロセッシングステップの後に対する出力色空間タイプ情報及び出力色相精度情報をさらに含むことができる。また、HDR情報ディスクリプタは、画質改善プロセッシングがターゲットとするダイナミックレンジ、変換関数タイプ、カラーガマット、及び色温度タイプに関する情報も含むことができる。また、HDRコンテンツ又はHDR情報に対する変更が予定されていることを示すHDRプログラムトランジションフラグ情報、及びそのトランジションの対象となるセットナンバー情報及びバージョンナンバー情報を含むことができる。
また、HDR情報ディスクリプタは、フレーム内に含まれた複数の領域を区分することができ、各領域に対応する特性セット(feature set)情報を含むことができる。特性セット情報は、同じフレーム内でも領域別に互いに異なるメタデータプロセッシングを適用することができる。各特性セットは、領域位置によって区分されるか、または色空間で一定の範囲内の色相によって区分されてもよい。また、特性セットは、明るさ範囲や明るさ分布によって区分されてもよい。また、色空間内で定義された多面体によって区分される色相範囲(color volume)内で、前述した位置、色相、明るさ範囲、及び明るさ分布のうちの少なくとも1つによって区分されてもよい。HDR情報ディスクリプタは、前述した特性セットを区分する情報を含むことができ、例えば、Spatial boundary情報、Colorimetry boundary情報、Luminance boundary情報、Luminance distribution boundary情報、及びColor volume boundary情報のうちの少なくとも1つを含むことができる。各情報についての詳細な説明は、図35乃至図38で説明した通りである。
画質改善メタデータは、同期化情報に基づいてビデオデータに適用され得る。これを通じて、ビデオデータは、全体的に又は区間別に画質改善が適用され得る。ユーザは、既存のUHDコンテンツに追加的に適用されたHDR又はWCG情報を通じて改善された画質のUHDコンテンツの提供を受けることができる。
モジュール又はユニットは、メモリ(又は格納ユニット)に格納された連続した過程を実行するプロセッサであってもよい。前述した実施例に記述された各ステップは、ハードウェア/プロセッサによって行われてもよい。前述した実施例に記述された各モジュール/ブロック/ユニットは、ハードウェア/プロセッサとして動作することができる。また、本発明が提示する方法はコードとして実行されてもよい。このコードは、プロセッサが読み取り可能な格納媒体に書き込まれてもよく、したがって、装置(apparatus)の提供するプロセッサによって読み取られてもよい。
説明の便宜のために各図に分けて説明したが、各図に開示した実施例を組み合わせて新しい実施例を具現するように設計することも可能である。そして、通常の技術者の必要によって、以前に説明された実施例を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体を設計することも、本発明の権利範囲に属する。
本発明に係る装置及び方法は、上述したように、説明された実施例の構成及び方法が限定的に適用されるものではなく、上述した実施例は、様々な変形が可能なように、各実施例の全部又は一部が選択的に組み合わされて構成されてもよい。
一方、本発明が提案する方法を、ネットワークデバイスに備えられた、プロセッサが読み取り可能な記録媒体に、プロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な記録媒体は、プロセッサで読み出し可能なデータが格納されるいかなる種類の記録装置をも含む。プロセッサが読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサが読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散されて、分散方式でプロセッサが読み取り可能なコードが格納され、実行されてもよい。
また、以上では、本発明の好適な実施例について図示し、説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有する者によって様々な変形実施が可能であることは勿論であり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。
そして、当該明細書では、物の発明及び方法の発明の両方が説明されており、必要に応じて、両発明の説明は補充的に適用されてもよい。
本発明の思想や範囲から逸脱することなく、本発明の様々な変更及び変形が可能であることは、当業者にとって明らかである。したがって、本発明は、添付の請求項及びその同等範囲内で提供される本発明の変更及び変形を含むものとして意図される。
本明細書では装置の発明及び方法の発明を両方とも言及しており、装置の発明及び方法の発明の説明を互いに補完して適用することもできる。
様々な実施例が、発明を実施するための最良の形態で説明された。