以下、本明細書では、添付の図面を参照して、本発明に係るイメージ処理方法及び装置の様々な実施例を詳細に記述する。
特に、本明細書では、本発明に係る3D(3−Dimensional)サービスの識別及び処理に関して様々なシグナリング情報(signaling information)を定義し、送/受信端でこれを処理できるように、イメージ処理方法及び装置を提供する。
本明細書では、このような本発明の理解を助け、説明の便宜のため、イメージディスプレイ装置は、3Dサービスを処理できる構成を含んだデジタル受信機(digital receiver)を例に挙げて説明する。このようなデジタル受信機は、デジタルテレビ受信機(digital television receiver)、3Dサービスを処理できる構成を含んだセットトップボックス(STB;Set−Top Box)と処理された3Dイメージを出力するディスプレイ機器(display unit)とを含んだ受信機セット(receiving set)、PDA(Personal Digital Assistant)、携帯電話(mobile phone)、スマートフォン(smart phone)など、3Dイメージデータを受信して処理又は/及び提供できる全ての機器を含むことができる。また、前記デジタル受信機は、3D専用受信機及び2D/3D兼用受信機のいずれか1つであってもよい。
これと関連して、3Dイメージを表現する方法には、2つの視点を考慮するステレオスコピックイメージディスプレイ方式(stereoscopic image display method)、及び3つ以上の視点を考慮する多視点イメージディスプレイ方式(multi−view image display method)がある。
ステレオスコピックイメージディスプレイ方式は、一定距離離隔している2つのカメラ、すなわち、左側カメラと右側カメラで同じ被写体を撮影して獲得した左右一対のイメージを使用する。また、多視点イメージディスプレイ方式は、一定の距離や角度を有する3つ以上のカメラで撮影して獲得した3つ以上のイメージを使用する。
また、ステレオスコピックイメージの伝送フォーマットとしては、シングルビデオストリームフォーマット(single video stream format)とマルチプルビデオストリームフォーマット(またはマルチ−ビデオストリーム)(multi video stream format)がある。
シングルビデオストリームフォーマットとしては、サイドバイサイド(side−by−side)、トップ/ダウン(top/down)、インターレースド(interlaced)、フレームシーケンシャル(frame sequential)、チェッカーボード(checker board)、アナグリフ(anaglyph)などがあり、マルチプルビデオストリームフォーマットとしては、フル左/右(Full left/right)、フル左/ハーフ右(Full left/Half right)、2Dビデオ/奥行き(2D video/depth)などがある。
前記において、ステレオイメージまたは多視点イメージは、MPEG(Moving Picture Experts Group)を含め、様々なイメージ圧縮符号化方式によって圧縮符号化されて伝送されてもよい。
例えば、前記サイドバイサイドフォーマット、トップ/ダウンフォーマット、インターレースドフォーマット、チェッカーボードなどのようなステレオ映像は、H.264/AVC(Advanced Video Coding)方式で圧縮符号化して伝送されてもよい。このとき、受信システムにおいて、H.264/AVCコーディング方式の逆に、前記ステレオ映像に対して復号(decoding)を行って3Dイメージを得ることができる。
また、フル左/ハーフ右のフォーマットの左イメージまたは多視点イメージのいずれか1つのイメージは、基本層(base layer)イメージに、残りのイメージは上位層(enhanced layer)イメージに割り当てた後、基本層のイメージは、モノスコピックイメージと同様の方式で符号化し、上位層のイメージは、基本層のイメージと上位層のイメージ間の相関情報に対してのみ符号化して伝送することができる。前記基本層のイメージに対する圧縮符号化方式の例としては、JPEG、MPEG−1、MPEG−2、MPEG−4、H.264/AVC方式などを用いることができる。そして、上位層のイメージに対する圧縮符号化方式は、H.264/MVC(Multi−view Video Coding)方式を用いることができる。このとき、ステレオイメージは、基本層のイメージと1つの上位層のイメージに割り当てられるが、多視点イメージは、1つの基本層のイメージと複数個の上位層のイメージに割り当てられる。前記多視点イメージを基本層のイメージと1つ以上の上位層のイメージとに区分する基準は、カメラの位置によって決定されてもよく、またはカメラの配列形態によって決定されてもよい。または、特別な基準なしに任意に決定されてもよい。
このような3Dイメージディスプレイは、ステレオスコピック(stereoscopic)方式と、体積表現(volumetric)方式と、ホログラフィック(holographic)方式とに大別される。例えば、ステレオスコピック技術を適用した3Dイメージディスプレイ装置は、2D映像に奥行き(depth)情報を付加し、この奥行き情報を用いて、観察者が立体の生動感(liveliness)と現実感を感じることができるようにする画像表示装置である。
そして、3Dイメージを視聴する方式は、メガネ(glasses)を着用する方式と、メガネを着用しない裸眼方式とに大別される。
メガネ方式は、パッシブ(passive)方式とアクティブ(active)方式とに区分される。パッシブ方式は、偏光フィルタ(polarized light filter)を使用して、左映像イメージと右映像イメージとを区分して見せる方式である。このようなパッシブ方式は、両眼にそれぞれ青色と赤色の色眼鏡をかけて見る方式を含む。これとは異なり、アクティブ方式は、液晶シャッター(liquid crystal shutter)を用いて左/右眼を区分する方式であって、時間的に左眼と右眼のレンズを順次開閉することによって、左映像イメージと右映像イメージを区分する方式である。このようなアクティブ方式は、時分割された画面を周期的に反復させ、該周期に同期させた電子シャッター(electronic shutter)が設置されたメガネをかけて見る方式であり、時分割方式(time split type)またはシャッターグラス(shuttered glass)方式とも呼ぶ。
裸眼方式の代表例としては、円筒形のレンズアレイ(lens array)を垂直に配列したレンティキュラー(lenticular)レンズ板を映像パネルの前方に設置するレンティキュラー方式、及び映像パネルの上部に周期的なスリット(slit)を有するバリア層(barrier layer)を備えるパララックスバリア(parallax barrier)方式がある。ただし、以下、本明細書では、説明の便宜のため、メガネ方式を例に挙げて説明する。
また、以下、本明細書では、3D信号、特に、ステレオスコピックビデオ信号を地上波DTV放送チャネルを介して送受信するために、SI(system information)を用いてステレオスコピックサービスをシグナリングするためにシグナリング方法について記述する。
本発明で使用される用語は、本発明における機能を考慮した上、できるだけ現在広く使用されている一般的な用語を選択したが、これは、当該分野に従事する技術者の意図、慣例又は新しい技術の出現などによって変更されてもよい。また、特定の場合、出願人が任意に選定した用語もあり、その場合には、該当する発明の説明の部分で詳細にその意味を記載する。したがって、本発明で使用される用語は、単純な用語の名称ではなく、その用語が持つ実際的な意味と本発明の全般にわたる内容に基づいて解釈されなければならないということは明らかである。
本明細書において‘シグナリング(signaling)’は、放送システム、インターネット放送システム、及び/又は放送/インターネット融合システムで提供されるサービス情報(Service Information;SI)を伝送/受信することを示す。サービス情報は、現在存在する各放送システムで提供される放送サービス情報(例えば、ATSC−SI及び/又はDVB−SI)を含む。
本明細書において‘放送信号’は、地上波放送、ケーブル放送、衛星放送、及び/又はモバイル放送以外にも、インターネット放送、ブロードバンド放送、通信放送、データ放送、及び/又はVOD(Video On Demand)などの両方向放送で提供される信号及び/又はデータを含む概念として定義する。
本明細書において‘PLP’は、物理的層に属するデータを伝送する一定のユニットを意味する。したがって、本明細書において‘PLP’と命名された内容は、‘データユニット’または‘データパイプ(data pipe)’に変えて命名されてもよい。
デジタル放送(DTV)サービスにおいて活用される有力なアプリケーション(application)の1つとして、放送網とインターネット網との連動を通じたハイブリッド放送サービスを挙げことができる。ハイブリッド放送サービスは、地上波放送網を介して伝送される放送A/V(Audio/Video)コンテンツと関連するエンハンスメントデータ(enhancement data)あるいは放送A/Vコンテンツの一部を、インターネットを介してリアルタイムで伝送することによって、ユーザが様々なコンテンツを経験できるようにする。
本発明は、次世代デジタル放送システムにおいて、IP packet、MPEG−2TS packet、及びその他の放送システムで使用可能なpacketをphysical layerに伝達できるようにencapsulationする方法を提示することを目的とする。また、同一のヘッダーフォーマットでlayer 2 signalingも共に伝送できるようにする方法も提案する。
本発明において、3D映像は、左目に見せる左映像及び右目に見せる右映像を含む。人間は、左目で見る左映像と右目で見る右映像にある事物の水平的距離差(disparity)によって立体感を感じる。
放送を介して3D映像または3Dサービスを提供する方法は、1つのフレームに左映像と右映像を共に伝送するframe compatible方式、及び左映像と右映像をそれぞれの伝送ストリーム、エレメンタリーストリーム、またはレイヤストリーム(layer stream)で伝送するservice compatible方式があり得る。Frame compatible方式では、1つのフレーム内に、左映像と右映像が上/下に位置したり(top−and−bottom)、または左/右に位置(side−by−side)してもよい。service compatibleの定義は、3Dサービスと2Dサービス間の互換が可能であることを意味することができる。すなわち、3Dサービスのために左映像と右映像を提供するシステム内で、2Dサービスに対する質(quality)を維持しながら、2Dサービスに当該左映像及び/又は右映像を使用できる方式を、service compatibleとして定義することができる。
図1は、本発明に係るイメージディスプレイ装置の一例を説明するために示すブロック図である。
図1を参照すると、本発明に係るイメージディスプレイ装置の一例は、大きく、コンテンツソース(contents source)110から入力されるソースを処理する処理部(processing part)130、及び処理部130で処理されたAVデータ(Audio/Video data)を出力する出力部140(outputting part)で構成される。ここで、前記ソースは、例えば、3Dイメージを含む。また、前記イメージディスプレイ装置は、前記コンテンツソース110以外に、外部機器(external device)120から入力されるソースの処理のためのインターフェース部(interfacing part)135をさらに含むことができる。その他に、前記イメージディスプレイ装置は、出力部140から提供されるソースの視聴のために必要な3Dメガネ150に、3Dイメージの視聴のための同期信号(synchronization signal)、例えば、シンク情報を出力するIRエミッタ145をさらに含むことができる。
図1においてイメージディスプレイ装置は、処理部130とディスプレイ部140がデジタル受信機として、1つのセット(set)であるか、または、前記処理部130は一種のセットトップボックスの形態であり、ディスプレイ部140は、前記セットトップボックスで処理された信号を出力するディスプレイ機器のような機能のみを行ってもよい。特に、後者の場合には、前記処理部130と出力部140との間に、データ交換のために前述したインターフェース部135が用いられてもよい。
前記において、インターフェース部135は、例えば、3Dサービスの支援が可能なHDMI(High−Definition Multimedia Interface)規格を支援するインターフェース(I/F)であってもよい。
また、3Dイメージは、例えば、地上波放送(terrestrial broadcasting)、ケーブル放送(cable broadcasting)、衛星放送(satellite broadcasting)、光ディスク(optical disc)、IPTV放送(internet protocol television broadcasting)などのコンテンツソース110から伝送される信号またはソースに含まれるか、またはUSB(universal serial bus)、ゲームコンソール(game console)などのような外部機器120から直接入力されてもよい。後者の場合には、特に、インターフェース部135において、外部機器120から提供された情報に基づいて、出力のためのシグナリング情報が定義されて提供されなければならない。
外部機器120を介する場合には、DivX、コンポーネント(component)、AV、Scart(Syndicat des Constructeurs d’Appareils Radiorecepteurs et Televiseurs、Radio and Television Receiver Manufacturers’ Association)などの様々なフォーマット(format)の3Dイメージが入力され得、イメージディスプレイ装置は、前記のフォーマットを処理するための構成を含むことができる。
3Dメガネ150は、3Dエミッタ145から出力される同期信号を受信する受信部(receiving part)(図示せず)を用いて、出力部140から提供される3Dイメージを適切に視聴することができる。ここで、前記3Dメガネ150は、2D/3D視聴モード切替のための手段をさらに備えることができ、前記視聴モード切替手段に従って個別的にシンク情報を生成する生成部(図示せず)をさらに備えることができる。また、前記で3Dメガネ150から生成されるシンク情報は、前記視聴モード切替手段から視聴モード切替要請をイメージディスプレイに伝送し、シンク情報を前記イメージディスプレイ装置から受信するか、またはイメージディスプレイ装置から既に受信されたシンク情報を参照して自体生成することができる。このとき、3Dメガネ150は、それ自体に、イメージディスプレイ装置から既に受信されたシンク情報を格納する格納部をさらに備えてもよい。
図2は、本発明に係る3Dイメージディスプレイ装置の他の例を説明するために示した図である。ここで、図2は、例えば、上述した図1の処理部130の詳細構成に対するブロック図(block diagram)であり得る。
図2を参照すると、本発明に係るイメージディスプレイ装置は、受信部(a receiving part)210、復調部(a demodulating part)220、逆多重化部(a demultiplexing part)230、シグナリング情報処理部(SI processing part)240、ビデオデコーダ(a video decoder)250、3Dイメージフォーマッタ260及び制御部(a controlling part)270を含む。
以下、各構成の基本動作について記述し、本発明と関連して、詳細は、後述する各実施例においてより詳細に説明する。
受信部210は、RF(radio frequency)チャネルを介して、コンテンツソース110から3Dイメージデータを含んだデジタル放送信号を受信する。
復調部220は、変調方式に対応する復調方式を用いて、受信部210で受信されたデジタル放送信号を復調する。
逆多重化部230は、復調されたデジタル放送信号から、オーディオデータ、ビデオデータ及びシグナリング情報を逆多重化(demultiplex)する。そのために、逆多重化部230は、PID(Packet IDentifier)を用いてフィルタリング(filtering)することによって、前記デジタル放送信号を逆多重化することができる。逆多重化部230は、前記逆多重化されたビデオ信号は後段のビデオデコーダ250に出力し、シグナリング情報はシグナリング情報プロセッサに出力する。ここで、前記シグナリング情報は、説明の便宜のため、PSI(Program Specific Information)、PSIP(Program and System Information Protocol)、DVB−SI(Digital Video Broadcasting−Service Information)のようなSI(System Information)情報を例に挙げて説明する。
シグナリング情報プロセッサ240は、逆多重化部230から入力されるシグナリング情報を処理して制御部270に出力する。ここで、シグナリング情報プロセッサ240は、処理されるシグナリング情報を一時格納するデータベース(DB:Database)を内部または外部に備えてもよい。このようなシグナリング情報については、後述する各実施例でより詳細に説明する。
シグナリング情報プロセッサ240は、コンテンツが2Dイメージであるか、3Dイメージであるかを知らせるシグナリング情報が存在するか否かを判断する。シグナリング情報プロセッサ240は、判断の結果、前記シグナリング情報が存在すると、これを読み出して制御部270に伝送する。
ビデオデコーダ250は、逆多重化されたビデオデータを受信してデコーディングする。ここで、前記デコーディングは、例えば、シグナリング情報プロセッサ240で処理されたシグナリング情報に基づいて行われてもよい。
3Dイメージフォーマッタ260は、ビデオデコーダ250でデコーディングされた3Dイメージデータを出力フォーマットに合わせてフォーマッティング(formatting)し、出力部140に出力する。ここで、3Dイメージフォーマッタ260は、例えば、デコーディングされたイメージデータが3Dイメージデータである場合にのみ活性化されてもよい。言い換えると、デコーディングされたイメージデータが2Dイメージデータである場合には非活性化、すなわち、3Dイメージフォーマッタ260は、入力されるイメージデータを別途に加工せずにそのまま出力、例えば、バイパス(bypass)することができる。
3Dイメージフォーマッタ260は、入力(デコーディングされた)ビデオフォーマットからネイティブ3Dディスプレイフォーマットに要求された変換を行う。アーチファクトリダクション(artifact reduction)、シャープネス(sharpness)、コントラストエンハンスメント(contrast enhancement)、デインタレーシング(de−interlacing)、フレームレートコンバージョン(frame rate conversion)、及びクオリティーエンハンスメントブロック(quality enhancement blocks)の他のタイプのようなビデオプロセシングは、ビデオデコーダ250と3Dイメージフォーマッタ260との間に存在してもよい。
前述したように、本発明は、3Dビデオ処理機能を支援するDTV受信装置において、DTV放送信号を介して伝送される3Dビデオ放送信号を処理し、3Dビデオデータを画面に出力するための機能を具現するためのものである。
そのために、ステレオスコピック3D放送信号の受信を支援するための、3Dサービス/イベントのための1つまたはそれ以上のデスクリプタを定義し、これを用いてステレオスコピック放送信号を受信し、ステレオスコピックディスプレイ出力を支援する方法を記述する。既存の地上波DTV受信標準は、2Dビデオコンテンツを基準としており、特に、3DTVがサービスされる場合、3Dコーデックに対するデスクリプタが定義されなければならない。また、受信機は、このような変更された信号を適切に処理して、3D放送サービス受信及び出力を支援するようにしなければならない。
既存のDVB伝送と関連するSI標準は、2Dビデオサービスに限定される。したがって、3DTV信号、特に、ステレオスコピックビデオ信号を地上波DTV放送チャネルを介して受信するためには、既存のSI標準でステレオスコピックサービスをシグナリングできなければならず、これを効果的に処理するためには、DTV受信機も、3D放送受信を支援するために新しい設計及び具現方法が適用されなければならない。
SDTのサービスデスクリプタ(service descriptor)などにおいて3Dサービスを示すためのサービスタイプ(service type)を定義する。3Dサービス及びイベント(プログラム)に対する詳細情報を知らせるための3Dサービスデスクリプタを定義する。EITを通じて3Dサービスを知らせるために、stream_contentとcomponent_typeを通じて3Dを示すための方法を定義する。受信機が新たに定義された3Dシグナリングを処理し、2D/3Dサービス切替を円滑に行う方法を定義する。
以下では、本発明に係る3Dシグナリングと関連して、各レベル(level)による様々なシグナリング方法について記述する。ここで、レベルは、例えば、サービス単位のサービスレベル、サービス内のコンテンツ、イベント単位であるコンテンツレベルなどを意味する。
ここで、本明細書では、本発明に係るシグナリング方法を記述するにおいて、主にデスクリプタ形式を用いる。ただし、これは例示に過ぎず、テーブルセクションの従来のフィールドの概念拡張や新しいフィールドの追加などでシグナリングしてもよい。
図3は、本発明に係るサービスリストデスクリプタ(service list descriptor)を含んだNIT(Network Information Table)セクションの一例に対するビットストリームシンタックスを示した図であり、図4は、本発明に係るサービスリストデスクリプタの一例に対するビットストリームシンタックスを示した図である。
NITは、与えられたネットワークを介して伝送されるマルチプレックス/TSのフィジカルオーガニゼイション(physical organization)、及び前記ネットワーク自体の特性に関する情報を伝送する。original_network_idとtransport_stream_idとの組み合わせは、本明細書のアプリケーションの領域を通じて唯一に識別されるように各TSを許容する。ネットワークは、ネットワークのための唯一の識別コードとして提供される個別network_id値を割り当てる。network_idとoriginal_network_idは同一の値を有してもよく、またはnetwork_idとoriginal_network_idのための割り当てられた制限に拘束されるように異なる値を有してもよい。
受信機は、チャネル(チャネルホッピング(channel hoping))間の切り替え時のアクセスタイムが最小化されるように、不揮発性メモリにNIT情報を格納することができる。それは、実際のネットワークに加えて、他のネットワークを介してNITを伝送できるようにする。実際のネットワークのためのNITと他のネットワークのためのNITとの間の差別化は、異なるtable_id値からなることができる。
NITの部分を形成するあるセクションは、0x0010のPID値を有するTSパケット内に伝送され得る。実際のネットワークを説明するNITのあるセクション(即ち、部分としてNITを含むTSのネットワーク)は、同じtable_id_extension(network_id)を有したtable_id 0x40を有することができる。network_idフィールドは、実際のネットワークに対して割り当てられた値を取る。
以下、図3を参照して、NITセクションの各フィールドに対して説明すると、次の通りである。
table_idフィールドは、予め定義された値によって、本テーブルセクションがNITセクションであることを示すことができる。section_syntax_indicatorフィールドは、“1”に設定されてもよい。section_lengthは、12−ビットフィールドであって、先頭の2ビットは00となる。それは直ちに始まり、次のsection_lengthフィールドとCRCを含め、セクションのバイトの数を説明し得る。section_lengthフィールドは1021を超えず、全セクションは、最大長さ1024バイトを有する。
network_idフィールドは、他のあるデリバリーシステム(delivery system)からNITインフォームに対するデリバリーシステムを識別するラベル(label)を与えることができる。version_numberは、sub_table内に伝送される情報の変更が発生すると、1ずつ増加し得る。その値が31に到達すると、0にラップアラウンド(wrap around)される。current_next_indicatorが1に設定される場合、その後、version_numberは現在のsub_tableに適用可能であることを示し、current_next_indicatorが0であれば、table_idとnetwork_idによって定義される次のsub_tableに適用可能である。
section_numberフィールドは、セクションのナンバーを与えることができる。sub_table内の最初のセクションのsection_numberは、0x00であってもよい。section_numberは、同一のtable_idとoriginal_network_idを有する各追加的なセクションと共に1ずつ増加するはずである。last_section_numberフィールドは、本セクションの部分であって、sub_tableの最後のセクション(即ち、最も高いsection_numberを有するセクション)のナンバーを説明する。network_descriptors_lengthフィールドは、次のネットワークデスクリプタのバイトで全長を与えることができる。transport_stream_loop_lengthフィールドは、最初のCRC−32バイトの以前に直ちにエンディングされる次のTSループのバイト単位の全長を説明し得る。transport_stream_idフィールドは、デリバリーシステム内の他のマルチプレックスからEITインフォームに対するTSの識別のためのラベルとして提供し得る。original_network_idフィールドは、オリジネイティングデリバリーシステムのnetwork_idを識別するラベルを与えることができる。transport_descriptors_lengthフィールドは、次のTSデスクリプタのバイトで全長を説明し得る。
CRCフィールドは、セクション全体をプロセシングした後に、デコーダでレジスタのゼロ出力を与えるCRC値を含むことができる。
図4を参照すると、サービスリストデスクリプタはNITのデスクリプタであって、これを用いることによって、全体的な3Dサービスの目録を把握することができる。
図4の本発明に係るサービスリストデスクリプタをより詳細に説明すると、次の通りである。
サービスリストデスクリプタは、service_idとservice_typeによってサービスをリスティング(listing)する手段を提供する。
descriptor_tagフィールドは、descriptor_tagの予め定義された値によって当該デスクリプタを識別することができる。descriptor_lengthフィールドは、本デスクリプタの全長に対する情報を提供する。
service_idフィールドは、TS内のサービスを唯一に識別する。前記service_idは、service_typeフィールドの値が0x04、0x18または0x1B(NVOD reference services)である場合を除いては、当該program_map_section内のprogram_numberと同一である。前記service_idは、当該program_numberを持たない。
service_typeフィールドは、サービスのタイプを説明することができる。サービスのためのservice_type値は、表1でより詳細に説明される。
上述したように、イメージディスプレイ装置は、図3のNITセクションをフィルタリングし、フィルタリングされたNITセクションに含まれた、本発明に係る図4のservice_list_descriptorをパージングした後、service_typeフィールドが“frame−compatible 3DTV”サービスであるservice_idを把握し、3Dサービス(プログラム)目録のみを別に整理して出力することができる。
図5は、本発明に係るサービスデスクリプタ(service_descriptor)を含んだSDT(Service Description Table)セクションの一例に対するビットストリームシンタックスを示した図であり、図6は、本発明に係るサービスデスクリプタの一例に対するビットストリームシンタックスを示した図である。
SDTの各sub_tableは、特定のTS内に含まれるサービスを説明する。前記サービスは、実際のTSまたは他のTSの部分であってもよい。これらは、table_idによって識別され得る。SDTの部分を形成するあるセクションは、0x0011のPID値を有するTSパケットによって伝送され得る。実際のTSを説明するSDTのあるセクションは、同一のtable_id_extension(transport_stream_id)及び同一のoriginal_network_idを有するtable_id 0x42の値を有する。実際のTSと異なるTSを参照するSDTの他のセクションは、table_id値として0x46を有することができる。
以下、図5を参照して、SDTセクションの各フィールドに対して詳細に説明すると、次の通りである。
table_idフィールドは、予め定義された値によって、本テーブルセクションがSDTセクションであることを示すことができる。section_syntax_indicatorフィールドは、“1”に設定されてもよい。section_lengthは、12−ビットのフィールドであって、先頭の2ビットは00となる。それは直ちに始まり、次のsection_lengthフィールドとCRCを含め、セクションのバイトの数を説明し得る。section_lengthフィールドは1021を超えず、全セクションは、最大長さ1024バイトを有する。
transport_stream_idフィールドは、デリバリーシステム内の他のマルチプレックスからSDTインフォームに対するTSの識別のためのラベルとして提供し得る。
version_numberは、sub_table内に伝送される情報の変更が発生すると、1ずつ増加し得る。その値が31に到達すると、0にラップアラウンド(wrap around)される。current_next_indicatorが1に設定されると、その後、version_numberは現在のsub_tableに適用可能であることを示し、current_next_indicatorが0であれば、table_idとnetwork_idによって定義される次のsub_tableに適用可能である。
section_numberフィールドは、セクションのナンバーを与えることができる。sub_table内の最初のセクションのsection_numberは、0x00であってもよい。section_numberは、同一のtable_id、transport_stream_id及びoriginal_network_idを有する各追加的なセクションと共に1ずつ増加するはずである。last_section_numberフィールドは、本セクションの部分であって、sub_tableの最後のセクション(即ち、最も高いsection_numberを有するセクション)のナンバーを説明する。original_network_idフィールドは、オリジネイティングデリバリーシステム(originating delivery system)のnetwork_idを識別するラベルを与えることができる。Service_idは、16−ビットのフィールドであって、TS内の他のサービスから本サービスを識別するためのラベルとして提供される。前記service_idは、当該program_map_section内のprogram_numberと同一であってもよい。
EIT_schedule_flagは、1−ビットのフィールドであって、1に設定される場合、サービスのためのEITスケジュール情報が現在のTS内に存在することを示し、フラグが0であれば、サービスのためのEITスケジュール情報が現在のTS内に存在しないことを示す。EIT_present_following_flagは、1−ビットのフィールドであって、1に設定される場合、現在のTS内にサービスのためのEIT_present_following情報が存在することを示し、EIT現在/次のsub_tableの発生間に最大タイムインターバルに関する情報のためのものである。前記フラグが0であれば、TS内にサービスのためのEIT現在/次のsub_tableが存在しない。
running_statusは、3−ビットのフィールドであって、サービスの状態を示すことができる。NVODレファレンスイベントのために、running_statusの値は0に設定されてもよい。free_CA_modeは、1−ビットのフィールドであって、0に設定されると、イベントの全てのコンポーネントストリームはスクランブルされない。1に設定される場合、1つまたはそれ以上のストリームはCAシステムによって制御される。descriptors_loop_lengthフィールドは、次のデスクリプタのバイトで全長を与えることができる。
CRCフィールドは、セクション全体をプロセシングした後に、デコーダでレジスタのゼロ出力を与えるCRC値を含むことができる。
図6を参照すると、サービスデスクリプタは、SDTのデスクリプタであって、SDTの特定のservice_idに対する、3Dであるか否かを判断するためには、サービスデスクリプタ内に含まれたservice_typeフィールドを用いる。また、サービスデスクリプタを用いることによって、当該3Dサービスのデコーディング及び出力可能であるか否かも判断することができる。
以下、図6の本発明に係るサービスデスクリプタをより詳細に説明すると、次の通りである。
サービスデスクリプタは、service_typeと共に、テキストフォームでサービスとサービスプロバイダーのネームを提供する。
descriptor_tagフィールドは、descriptor_tagの予め定義された値によって当該デスクリプタを識別することができる。descriptor_lengthフィールドは、本デスクリプタの全長に対する情報を提供する。
service_typeフィールドは、サービスのタイプを説明することができる。サービスのためのservice_typeの割当は、表1で説明される。
あるサービスのために、表1からservice_typeの割当は自明である。例えば、MPEG−2HDデジタルテレビサービスを挙げることができる。しかし、決定は常にストレートフォワードに行われるものではない。
また、service_typeの値が0x01である場合、デジタルテレビ受信機を示す。ジェネリックケース(generic case)において、このようなservice_typeは、エンコーディングされるサービスのコンポーネントのための方法に対する受信機で明示的なインディケーション(indication)を提供しない。もちろん、特定のプラットホームの場合には、特定のエンコーディングは、受信機に参照される本service_typeに暗示的にリンクされることはある。しかし、そのようなアレンジメント(arrangement)は、本明細書の範囲を逸脱する。本service_typeは、MPEG−2 SDデジタルテレビサービスのために用いられてもよい。しかし、それは、例えば、MPEG−2 HDデジタルテレビサービスのような、特定のエントリーを有するエンコーディングを含んだ他のエンコーディングを用いたサービスのために使用されてもよい。
DVBは、他の(non−MPEG−2 SD)エンコーディングのコンテクスト(context)内に既に存在し、利用中であるので、MPEG−2 SDデジタルテレビサービスにデジタルテレビサービスからservice_typeの定義を変えない。一例として、全ての受信機は、MPEG−2 SDエンコーディングされたマテリアル(material)をデコーディングし、出力し得る。全ての受信機は、それがMPEG−2 SDコーディングされたマテリアルであることに基づいて、ユーザの選択のためにservice_typeをあるサービスに割り当て、出力し得る。しかし、上述したように、これは、受信機が実際エンコーディングを利用することを支持するものでない。受信機の無能力は、それが達成しようとするユーザの経験に基づいてケア(care)されるように割り当てるサービス提供者が必要とするservice_type手段が、割り当てられたサービスをデコーディングし、出力できるか否かによって決定される。
例えば、MPEG−2 SDエンコーディングと異なるものに基づいた、あるサービスに関するプラットホームを考慮してみよう。それらの全てはMPEG−2 SD−onlyとMPEG−2 SD/HD受信機の混合されたポピュレーション(population)を伝達する。MPEG−2 SDエンコーディングに基づいたサービスのために、service_typeの0x01(デジタルテレビサービス)の割当は自明である。しかし、MPEG−2 HDエンコーディングに基づいたサービスのために、たとえ、それらが選択されると実際に見られなくても、service_typeの割当は、サービス提供者MPEG−2 SD−only受信機のユーザに提示したどのサービスリストに含まれたサービスを望むかによる。
もし、所望のユーザ経験があれば、サービスは、service_typeを0x01(デジタルテレビサービス)として割り当てる。しかし、所望のユーザ経験が、単にMPEG−2 SD−only受信機のユーザに割り当てられたサービスであれば、受信機は実際に見られ、サービスは、service_typeが0x11(MPEG−2 HDデジタルテレビサービス)として割り当てられる。このようなservice_typeは、サービスとして割り当てられ、前記サービスは、MPEG−2 SDエンコーディングと同一のマテリアルに対するMPEG−4 HDのような代替エンコーディングを両方とも含む。このような仮定は合理的であり、全ての受信機は、MPEG−2 SDエンコーディングされたマテリアルをデコーディングし、提示することができる。したがって、ユーザに、少なくともMPEG−2 SDコーディングされたフォームで提示され得る。しかし、使用時に受信機の能力に依存すれば、ユーザに代替、典型的なスーペリア(superior)、コーディングされたフォームで提示され得る。他のエンコーディングのために使用されるコンポーネントは、PSI内のstream_typeのために割り当てられた値によるデコーディングの観点、及び/又はSI内のコンポーネントデスクリプタの利用間に差別化され得る。
また、service_typeの値は、アドバンスドコーデック(advanced codec)を示すことができる。前記アドバンスドコーデックservice_typeは、サービスがMPEG−2ではなく、他のものを用いてエンコーディングされたことを示すことができる。より詳細には、このようなservice_typeのうちの1つの割当は、受信機は、前記サービスをデコーディングし、提示できるように、MPEG−2以外のコーデックを支援しなければならない。これに基づいて、MPEG−2 SD−only受信機は、ユーザの選択のためのservice_typeのうちの1つが割り当てられたサービスを出力できないことがある。このようなservice_typeのうちの1つの割当は、特別ではないアドバンスドコーデックの使用のためのジェネリックインディケーション(generic indication)を提供する。それは、受信機が、このようなservice_typeのうちの1つが割り当てられたサービスをデコーディングし、出力できるように決定するように許諾されない。もちろん、特定のプラットホームの場合に、特定のエンコーディングは、service_typeの1つと暗示的にリンクされ、受信機によって参照される。しかし、そのようなアレンジメントは、本明細書の範囲を逸脱する。サービスは、アドバンスドコーデックservice_typeのために割り当てられた場合、コンポーネントデスクリプタはSI内に用いられ、これは、使用された特定のアドバンスドコーデックを示すためである。これは、受信機に適切にハンドルすることができ、サービスをデコーディングし、出力するようにするか否かを混同なしに決定するように許諾する。
また、service_typeの値は、アドバンスドコーデックフレームコンパチブルステレオスコピックHDを示すことができる。前記フレームコンパチブルステレオスコピックHD値は、ブロードキャスタ(broadcaster)にサービスが(主に)ステレオスコピックサービスとして動作するようにシグナリングを許諾する。このような値の利用は、レガシー受信機ポピュレーション(legacy receiver populations)のための結果を注意深く考慮することが要求される。ここで、レガシー受信機ポピュレーションは、結果的にこのようなサービスを無視する。したがって、ブロードキャスタは、ノーマルHDサービスとしてフレームコンパチブルステレオスコピックサービスをシグナリングするように代わりに選択し、サービス(またはイベント)がフレームコンパチブルステレオスコピックフォーマット内であることを示すように代替シグナリングに用いられる。service_provider_name_lengthフィールドは、サービス提供者のネームのキャラクターを説明する次のservice_provider_name_lengthフィールドのバイトの数を説明する。Charは8−ビットである。Charフィールドのストリングは、サービス提供者またはサービスのネームを説明する。テキスト情報は、キャラクターセット及び方法を用いてコーディングされる。Service_name_lengthフィールドは、サービスのネイムのキャラクターを説明する次のservice_name_lengthフィールドのバイトの数を説明する。
図7及び図8は、本発明に係るサービスデスクリプタを含んだPMT(Program Map Table)セクション及びEIT(Event Information Table)セクションの一例に対するビットストリームシンタックスを示した図であり、図9は、本発明に係る3Dサービスデスクリプタの一例に対するビットストリームシンタックスを示した図である。
PMTは、プログラムナンバーと、それらを含むプログラムエレメント(program elements)との間でマッピング(mapping)を提供することができる。そのようなマッピングのシングルインスタンス(single instance)は、プログラムデフィニション(program definition)として参照され得る。PMTは、TSのための全てのプログラムデフィニションの完全なコレクション(collection)である。このようなテーブルはパケットで伝送され、PID値は、エンコーダによって選択される。セクションは、program_numberフィールドによって識別される。
以下、図7を参照して、PMTセクションの各フィールドに対して詳細に説明すると、次の通りである。
table_idフィールドは、予め定義された値によって、本テーブルセクションがNITセクションであることを示すことができる。section_syntax_indicatorフィールドは、“1”に設定されてもよい。section_lengthは、12−ビットのフィールドであって、先頭の2ビットは00であり、残りの10ビットは直ちに始まり、次のsection_lengthフィールドとCRCを含め、セクションのバイトの数を説明し得る。section_lengthフィールドは、1021(0x3FD)を超えない。
program_numberフィールドは、適用可能なprogram_map_PIDのプログラムを説明する。1つのプログラムデフィニション(program definition)は、単に1つのTS_program_map_section内に伝送される。これは、1つのプログラムデフィニションは、1016(0x3F8)よりも長くないという意味である。Program_numberは、例えば、放送チャネルのためのデジグネーション(designation)として用いられてもよい。プログラムに属する異なるプログラムエレメントを説明することによって、異なるソースから得たデータ(例えば、シーケンシャルイベント)は、program_numberを用いてストリームの連続的なセットを共に形成するようにconcatenatedされる。version_numberは、TS_program_map_sectionのバージョンナンバーであってもよい。このバージョンナンバーは、セクション内に伝送される情報の変更が発生する場合、1モジュールずつ32に増加する。バージョンナンバーは、シングルプログラムのデフィニションを参照し、したがって、シングルセクションに関するものである。current_next_indicatorが1に設定される場合、その後、version_numberは、現在のTS_program_map_sectionに適用可能であることを示し、current_next_indicatorが0である場合、table_idとnetwork_idによって定義される次のTS_program_map_sectionに適用可能である。
section_numberフィールドは、0x00であり得る。last_section_numberフィールドは0x00である。PCR_PIDフィールドは、program_numberによって説明されるプログラムのための有効なPCRフィールドを含むTSパケットのPIDを示す。プライベートストリーム(private streams)のためのプログラムデフィニションと関連するPCRがない場合、本フィールドは0x1FFFの値を有する。program_info_lengthは12−ビットのフィールドである。先頭の2ビットは00であり、残りの10ビットは直後のprogram_info_lengthフィールドのデスクリプタのバイトナンバーを説明する。
stream_typeは、8−ビットのフィールドであって、elementary_PIDによって説明される値のPIDを有するパケット内に伝送されるプログラムエレメントのタイプを説明する。補助ストリームは、オーディオ、ビデオ、そして、DSM−CCよりも、プログラムストリームディレクトリ及びプログラムストリームマップのような、本明細書によって定義されるデータタイプを利用可能である。Elementary_PIDは、13−ビットのフィールドであって、関連するプログラムエレメントを伝送するTSパケットのPIDを説明する。ES_info_lengthは、12−ビットのフィールドであって、先頭の2ビットは00であり、残りの10ビットは、直後のES_info_lengthフィールドと関連するプログラムエレメントのデスクリプタのバイトの数を説明する。
CRCフィールドは、TSプログラムマップセクション全体をプロセシングした後に、デコーダでレジスタのゼロ出力を与えるCRC値を含むことができる。
EITは、各サービス内に含まれるイベントに対するクロニクルオーダー内の情報を提供することができる。実際のTSのための全てのEIT sub−tableは、同一のtransport_stream_id及びoriginal_network_id値を有する。現在/次のテーブルは、2つのイベントディスクリプションよりもさらに有したNVODレファレンスサービスの場合を除いて、実際のTSまたは他のTS上の与えられたサービスによって伝送される現在イベント及び年代記的な次のイベントを持続する情報を含むことができる。実際のTSまたは他のTSのためのイベントスケジュールテーブルは、スケジュールフォーム内にイベントのリストを含むことができる。すなわち、前記スケジュールは、次のイベントなしに所定の時間に発生するイベントを含む。イベント情報は、年代記的にオーダーされ得る。EITの部分を形成するあるセクションは、0x0012のPID値を有するTSパケット内に伝送され得る。
以下、図8を参照して、EITセクションの各フィールドに対して詳細に説明すると、次の通りである。
table_idフィールドは、予め定義された値によって、本テーブルセクションがEITセクションであることを示すことができる。section_syntax_indicatorフィールドは、“1”に設定されてもよい。section_lengthフィールドは、直ちに始まり、次のsection_lengthフィールドとCRCを含め、セクションのバイトの数を説明し得る。section_lengthフィールドは4093を超えず、セクション全体は、最大長さ4096バイトを有する。
service_idフィールドは、TS内の他のサービスから本サービスを識別するようにラベルとして提供することができる。service_idは、当該program_map_section内のprogram_numberと同一であってもよい。version_numberフィールドは、sub_tableのバージョンナンバーである。前記version_numberは、sub_table内に伝送される情報の変更が発生する場合、1ずつ増加し得る。その値が31に到達すると、0にラップアラウンド(wrap around)される。current_next_indicatorが1に設定される場合、その後、version_numberは現在のsub_tableに適用可能であることを示し、current_next_indicatorが0である場合、次のsub_tableに適用可能である。
section_numberフィールドは、セクションのナンバーを与えることができる。sub_table内の最初のセクションのsection_numberは0x00であってもよい。section_numberは、同一のtable_id、service_id、transport_stream_id、そして、original_network_idを有する各追加的なセクションと共に1ずつ増加するはずである。この場合、前記sub_tableは、セグメントのナンバーとして構造化されてもよい。各セグメント内のsection_numberは、各追加的なセクションと共に1ずつ増加し、ナンバリングにおけるギャップは、セグメントの最後のセクションと、隣接するセグメントの最初のセクションとの間で許容される。last_section_numberフィールドは、本セクションの部分であって、sub_tableの最後のセクション(即ち、最も高いsection_numberを持つセクション)のナンバーを説明する。
transport_stream_idフィールドは、デリバリーシステム内の他のマルチプレックスからEITインフォームに対するTSの識別のためのラベルとして提供することができる。original_network_idフィールドは、オリジネイティングデリバリーシステムのnetwork_idを識別するラベルを与えることができる。segment_last_section_numberフィールドは、sub_tableの本セグメントの最も最後のセクションのナンバーを説明し得る。セグメント化されていないsub_tableのために、本フィールドは、last_section_numberフィールドと同じ値に設定されてもよい。last_table_idフィールドは、利用された最も最後のtable_idを識別することができる。event_idフィールドは、説明されたイベント(サービス定義内にユニークに割り当てられた)の識別ナンバーを含むことができる。
start_timeフィールドは、UTC(Universal Time、Co−ordinated)及びMJD(Modified Julian Date)内イベントの開始時刻を含むことができる。本フィールドは、4−ビットのBCD(Binary Coded Decimal)内6ディジットにコーディングされた24ビットによって、続くMJDの16 LSBを与える16ビットにコーディングされる。start_timeが定義されない場合(例えば、NVODレファレンスサービス内のイベントのために)、フィールドの全てのビットは1に設定されてもよい。例えば、93/10/13 12:45:00は、“0xC079124500”にコーディングされる。Durationフィールドは、時間、分、及び秒でイベントのデュレーションを含む。フォーマットは、6ディジット、4−ビットのBCD、すなわち、24ビットである。例えば、01:45:30は、“0x014530”にコーディングされる。
running_statusフィールドは、イベントの状態を示すことができる。NVODレファレンスイベントのために、running_statusの値は0に設定されてもよい。free_CA_modeは、1−ビットのフィールドであって、0に設定される場合、イベントの全てのコンポーネントストリームはスクランブルされない。1に設定される場合、1つまたはそれ以上のストリームはCAシステムによって制御される。descriptors_loop_lengthフィールドは、次のデスクリプタのバイトで全長を与えることができる。CRCフィールドは、プライベートセクション全体をプロセシングした後に、デコーダでレジスタのゼロ出力を与えるCRC値を含むことができる。
図9を参照すると、本発明に係る3Dサービスデスクリプタは、前述した図5のSDTや図7のPMTに含まれてもよい。イメージディスプレイ装置では、例えば、3Dサービスデスクリプタが、前記SDTまたはPMT内の特定のサービスまたはプログラムに含まれる場合、当該サービスまたはプログラムは3Dであることを知ることができる。なお、3Dサービスデスクリプタに含まれた情報を用いて、3Dビデオフォーマット情報などを把握することができる。また、EITに含まれた3Dサービスデスクリプタを用いて、予め特定のイベントに対する3Dであるか否かを知ることができる。
3Dサービスデスクリプタは、3Dサービス/プログラムに関する詳細情報を含み、PMTまたはSDTに位置する。(EITに位置してもよく、この場合には、アナウンスされるプログラム/イベントに対する3D情報を示す。)
3Dサービスデスクリプタは、service_typeが“frame−compatible 3DTV”である場合、またはイベントに対するstream_content及びcomponent_typeが“frame−compatible 3D”である場合に存在し、次のようなフィールドを含む。
descriptor_tagフィールドは、descriptor_tagの予め定義された値によって、当該デスクリプタを識別することができる。descriptor_lengthフィールドは、本デスクリプタの全長に対する情報を提供する。
3D_structureフィールドは、3Dプログラムのビデオフォーマットを示し、例えば、表2のように定義されてもよい。
表2を参照すると、例えば、3D_structureフィールド値が0000であれば、フルレゾリューション左&右(full resolution Left & Right)を意味し、3D_structureフィールド値が0001であれば、フィールドオルターナティブ(field alternative)を意味し、3D_structureフィールド値が0010であれば、ラインオルターナティブ(line alternative)を意味し、3D_structureフィールド値が0100であれば、左映像+デプス(L+depth)を意味し、3D_structureフィールド値が0110であれば、トップ−アンド−ボトム(TaB)を意味し、3D_structureフィールド値が0111であれば、フレームシーケンシャル(Frame sequential)を意味し、3D_structureフィールド値が1000であれば、サイド−バイ−サイド(SbS)を意味するものと定義することができる。ただし、前記表2に示したフィールド値及び意味は一例であって、前記の値及び意味に限定されるものではない。
3D_metadata_location_flagフィールドの値が‘01’である場合、3Dサービスデスクリプタ内に3D_metadata_type、3D_metadata_length、3D_metadataフィールドなどがさらに存在する。‘00’である場合には、当該データを伝送せず、‘10’である場合には、3D_metadata_type、3D_metadata_length、3D_metadataフィールドなどをビデオ領域で伝送する。
3D_samplingフィールドは、3Dプログラムのフレーム−コンパチブルフォーマットに対する情報を知らせ、例えば、表3のように定義することができる。
また、本フィールドの説明は、図10乃至図12を参照して説明する。ここで、図10(a)、図11(a)及び図12(a)は奇数ポジション(odd position)、図10(b)、図11(b)、及び図12(b)は偶数ポジション(even position)を意味する。
図10及び図11を参照すると、例えば、3D_samplingフィールド値が0000−0011である場合には、サブ−サンプリング(sub−sampling)を意味する。より詳細に説明すると、3D_samplingフィールド値が0000である場合には、サブ−サンプリング(sub−sampling)に関するもので、特に、奇数レフト(L)、そして奇数ライト(R)を意味し、0001である場合には、サブ−サンプリング(sub−sampling)に関するもので、特に、奇数レフト(L)、そして偶数ライト(R)を意味し、0010である場合には、サブ−サンプリングに関するもので、特に偶数レフト(L)、そして奇数ライト(R)を意味し、0011である場合には、サブ−サンプリング(sub−sampling)に関するもので、特に偶数レフト(L)、そして偶数ライト(R)を意味する。
また、図12を参照すると、3D_samplingフィールド値が0100−0111であるい場合には、クインカンクスマトリクス(quincunx matrix)を意味する。例えば、3D_samplingフィールド値が0100である場合には、クインカンクスマトリクスに関するもので、特に、奇数レフト(L)、そして奇数ライト(R)を意味し、0101である場合には、クインカンクスマトリクスに関するもので、特に、奇数レフト(L)、そして偶数ライト(R)を意味し、0110である場合には、クインカンクスマトリクスに関するもので、特に偶数レフト(L)、そして奇数ライト(R)を意味し、0111である場合には、クインカンクスマトリクスに関するもので、特に偶数レフト(L)、そして偶数ライト(R)を意味する。また、上記では、3DビデオフォーマットがSbSである場合を例示して説明するが、同様の方式でTaBとして定義してもよく、前記の例示に付加的に定義されてもよい。
3D_orientationフィールドは、3Dプログラム内のレフト及びライトビューイメージデータの画素配列の形態を知らせ、例えば、表4のように定義することができる。
表4を参照すると、3D_orientationフィールド値が00であれば、ビデオの3Dオリエンテーションは、レフトピクチャ及びライトピクチャの両方ともインバートされずに正常な(normal)場合を意味し、01であれば、ビデオの3Dオリエンテーションは、ライトピクチャのみがインバートされた場合を意味し、10であれば、ビデオの3Dオリエンテーションは、レフトピクチャのみがインバートされた場合を意味し、11であれば、ビデオの3Dオリエンテーションは、レフト及びライトの両方がインバートされた場合を意味することができる。
3D_metadata_typeフィールドは、3D_metadata_exist_flagが‘1’であるときに有効なフィールドであり、このフィールドを用いて、3D_metadata_length及び3D_metadataが表5のように定義され得る。
3D_metadata_typeフィールドの値が000である場合には、3D_metadata_lengthは4であり、3D_metadataは、4つの値のうちの少なくとも1つを有するか、または4つの全ての値を有してもよい。前記4つの値において、3D_metatdat[0]はparallax_zero、3D_metatdat[1]はparallax_scale、3D_metatdat[2」はDref、そして、3D_metatdat[3]はWrefを意味する。これとは異なり、3D_metadata_typeフィールドの値が001である場合には、3D_metadata_lengthも4であり、3D_metadataは、4つの値のうちの少なくとも1つを有するか、または4つの全ての値を有してもよい。前記4つの値において、3D_metatdat[0]はxB、3D_metatdat[1]はZref、3D_metatdat[2」はDref、そして、3D_metatdat[3]はWrefを意味する。
これと関連して、表5によるパラメータは、3Dコンテンツを製作する過程で意図された環境値であって、受信機において、これらを用いて、製作者が意図した立体感を再現するのに使用される。各パラメータは、デプスマップ(Depth map)のようにパララックスマップ(parallax map)を伝送する場合、各パララックス(parallax)を正確に解釈するためのデータである。言い換えると、パララックスマップを受信すると、各値に対してレファレンス(reference)値及び現在の視聴環境を考慮して変換されたパララックス値を適用し、新しい視点に対する映像を作る。
Drefパラメータは、3Dコンテンツの製作過程においてレファレンスとして定義した視聴者と画面との間の距離である(単位:cm)。Wrefパラメータは、3Dコンテンツの製作過程においてレファレンスとして定義した画面の横サイズである(単位:cm)。Zrefパラメータは、3Dコンテンツの製作過程においてレファレンスとして定義したデプス(depth)値である(単位:cm)。xBパラメータは、レファレンスとして定義した視聴者の両眼間の距離(基準値は、65mm)である。
レファレンスパララックスPrefを数式1を用いて計算する(パララックスマップの各値は、N−bitで表現されると仮定する)。
実際のスクリーン上でのFarrellレックスは、数式2のように計算される(数式の誘導は、ISO23002−3を参照)。
数式2において、DとWは、受信機と視聴者との距離及び画面の横サイズを意味する。3D_metadata_typeが000である場合には、xBパラメータが伝送されず、このときには、65mmという値として仮定し、計算する。
図13は、本発明に係るコンポーネントデスクリプタ(component descriptor)のビットストリームシンタックスの一例を示した図である。
ここで、図13のコンポーネントデスクリプタは、例えば、図5のSDTのデスクリプタとして定義されることによって、当該サービスが3Dであるか否かを判断することができ、図8のEITのデスクリプタとして定義されることによって、当該イベントが3Dであるか否かを判断することもできる。
コンポーネントデスクリプタは、コンポーネントストリームのタイプを識別し、エレメンタリーストリームのテキストディスクリプション(text description)を提供するのに使用することができる。
以下、図13を参照して、コンポーネントデスクリプタの各フィールドについてより詳細に説明すると、次の通りである。
descriptor_tagフィールドは、descriptor_tagの予め定義された値によって、当該デスクリプタを識別することができる。descriptor_lengthフィールドは、本デスクリプタの全長に関する情報を提供する。
stream_contentフィールドは、ストリームのタイプ(ビデオ、オーディオ、又はEBU−データ)を説明することができる。本フィールドのコーディングはテーブルに説明される。Component_typeフィールドは、ビデオ、オーディオ、またはEBU−dataコンポーネントのタイプを説明する。
component_tagフィールドは、コンポーネントストリームのためのストリーム識別子デスクリプタ(PSIプログラムマップセクション内に存在すれば)内のcomponent_tagフィールドと同一の値を有する。
ISO_639_language_codeフィールドは、コンポーネント(オーディオまたはEBU−データの場合)のランゲージ(language)を識別し、本デスクリプタ内に含まれるテキストディスクリプションを識別する。ISO_639_language_codeフィールドは、ISO−639−2に説明される3−キャラクターコードを含むことができる。各キャラクターは、8ビットにコーディングされ、24−ビットのフィールドに挿入される。例えば、フレンチは、3−キャラクターコードが“fre”、”011001100111001001100101”にコーディングされる。
Text_charフィールドは、コンポーネントストリームのテキストディスクリプションを説明するストリングを有することができる。テキスト情報は、キャラクターセット及び方法を用いてコーディングされる。
特に、図13のコンポーネントデスクリプタ内のstream_contentフィールド及びcomponent_typeフィールドを表6のように定義することによって、イメージディスプレイ装置は、本コンポーネントデスクリプタを通じて、当該サービスまたはイベントの3Dサービスまたは3Dイベントを識別することができる。
表6を参照すると、stream_contentが0x01である場合には、MPEG−2ビデオを示し、この場合、component_typeが0x11である場合には、25Hzのフレーム−コンパチブル3Dビデオであることを示し、component_typeが0x12である場合には、30Hzのフレーム−コンパチブル3Dビデオであることを示すことができる。
また、stream_contentが0x05である場合には、H.264/AVC SD(standard definition)ビデオを示し、この場合、component_typeが0x11である場合には、25Hzのフレーム−コンパチブル3Dビデオであることを示し、component_typeが0x12である場合には、30Hzのフレーム−コンパチブル3Dビデオであることを示すことができる。
また、stream_contentが0x03であり、component_typeが0x15である場合には、3Dモニタ上にディスプレイのためのDVBサブタイトルズ(normal)を示し、stream_contentが0x03であり、component_typeが0x25である場合には、3Dモニタ上にディスプレイのためのDVBサブタイトルズ(for the hard of hearing)を示すことができる。
ここで、トランスレーションサブタイトリング(Translation Subtitling)とハード−オブ−ヒアリング(Hard−of−hearing)とを比較すると、次の通りである。
トランスレーションサブタイトルズは、一般的にホワイトであり、画面の中央に位置する。ヒアリングオーディエンスは、単にサブタイトルズ内に必要なダイアローグのために、スピーカーとサウンドイフェクトを識別するのに用いられる。ハード−オブ−ヒアリングは、デフ/ハード−オブ−ヒアリングオーディエンスのエキストラニーズを認識するためのものである。結局、ノーマル(normal)は、ダイアローグ中心であり、ハードオブヒアリングは、耳がよく聞こえない人のために、誰が話しているかなどの全体的な状況情報も含むといえる。
したがって、イメージディスプレイ装置は、図13のコンポーネントデスクリプタをパージングして、stream_contentとcomponent_typeフィールド値を抽出し、当該サービスが3Dサービスであるか否かを識別することができ、当該サービスまたはイベントのデコーディング及び出力可否も知ることができる。
図14は、本発明に係るリンケージデスクリプタ(linkage descriptor)のビットストリームシンタックスの一例を示した図であり、図15は、本発明に係るリンケージデスクリプタを用いて、対応する3Dサービスをシグナリングする方法の一例を示した図である。
このようなリンケージデスクリプタは、例えば、SDTまたはEITに含まれ、これによって、イメージディスプレイ装置は、現在視聴している特定の2D service_idまたは今後放送される特定の2D event_idに対して対応する3Dサービスまたはイベントを把握することができる。
図14を参照すると、リンケージデスクリプタに含まれたlinkage_typeが0x05(service replacement service)であり、追加的にprivate_data_byte領域においてリプレースメントタイプを3Dとして指定することもできる。
更に他の方法は、EITにリンケージデスクリプタを伝送する場合、linkage_typeを0x0D(event linkage)として指定し、EITを通じてtarget_event_idに対する3Dサービスデスクリプタまたはコンポーネントデスクリプタを用いて、対応する3Dサービスの存在を把握することができる。
更に他の方法は、linkage_typeを0x0Eの新しい値を指定し、当該ディスクリプションは“3Dサービス”として指定する方法を使用することができる。
更に他の方法は、linkage_typeを0x05(service replacement service)を使用し、ターゲットサービスに対するservice_typeは、そのサービスに対するSDT、EITなどを直接パージングして3Dであるか否かを把握する方法を使用する。この方法は、3Dに対応する2Dサービスを探す方法として使用することができる。
リンケージデスクリプタは、SIシステムによって説明される特定の個体と関連する追加的な情報のためのユーザの要求がある場合に、サービスを識別するために提供される。シンタックス内のリンケージデスクリプタの位置は、追加的な情報が利用可能な個体を示す。例えば、NIT内に位置するリンケージデスクリプタは、ネットワーク上に追加的な情報を提供するサービスを示し、BAT内のリンケージデスクリプタは、ブーケ(bouquet)のようなものに対するサービス情報とのリンクを提供する。
CAリプレースメントサービスは、リンケージデスクリプタを用いて識別可能である。このようなサービスは、もし、CAが、SIシステムによって説明される前記特定の個体に対するアクセスを拒否する場合、IRDによって自動で選択されてもよい。サービスリプレースメントサービスは、リンケージデスクリプタを用いて識別可能である。このようなサービスリプレースメントサービスは、現在サービスのランニング状態がnot_runningに設定されるとき、IRDによって自動で選択されてもよい。
以下、図14を参照して、リンケージデスクリプタの各フィールドについてより詳細に説明すると、次の通りである。
transport_stream_idフィールドは、指示されたインフォメーションサービス(information service)を含むTSを識別する。
original_network_idフィールドは、指示されたインフォメーションサービスのオリジネイティングデリバリーシステムのnetwork_idを識別するラベルを与えることができる。
service_idフィールドは、TS内にインフォメーションサービスを唯一に識別する。Service_idは、当該program_map_section内のprogram_numberと同じ値を有する。もし、linkage_typeフィールドが0x04値を有すれば、service_idフィールドは関係なく、0x0000に設定される。
Linkage_typeフィールドは、情報としてリンケージのタイプを説明する。
ここで、前記linkage_typeが0x0Dまたは0x0Eを有する場合、前記デスクリプタがEIT内に伝送されるときにのみ有効である。
mobile_hand−over_info()フィールドは、予め定義された方式に従ってコーディングされる。event_linkage_info()フィールドも、予め定義された方式に従ってコーディングされる。extended_event_linkage_info()フィールドも、予め定義された方式に従ってコーディングされる。private_data_byteは8−ビットのフィールドであり、プライベートに定義された値を有する。
図15を参照すると、PATは、program_number値及び当該プログラムのPMT_PIDを定義する。イメージディスプレイ装置は、PATからPMTを抽出してパージングする。
ここで、PMTは、2Dサービスである場合には当該プログラムのstream_type及びprogram_numberを示す。例えば、stream_typeが0x02である場合には、当該ストリームはオーディオストリームであり、そのとき、オーディオESのPIDは0x111であることを示すことができる。また、program_numberが0xbcである場合には、当該ストリームはビデオストリームであり、そのとき、ビデオESのPIDは0x112であることを示すことができる。
ただし、PMTは、3Dサービスである場合には、前述したstream_type及びprogram_number以外に、1つのprogram_numberをさらに定義する。例えば、図15では、program_numberが0xbdである場合には3Dエキステンション(extension)であることを示すことができ、この場合、ビデオESのPIDは0x113であることを示すことができる。したがって、3Dサービスを支援可能なイメージディスプレイ装置では、PMTから1つのstream_type値及び2つのprogram_number値を抽出及びパージングして、3Dサービスを識別及び処理することができる。
このとき、SDTは、service_idを通じてPMTのprogram_numberとマッピングさせて、当該サービスをシグナリングすることができる。
この場合、SDTのservice_idが2である場合には、PMTのprogram_number 2と対応し、SDT内のサービスデスクリプタにおいてservice_typeを0x1B(H.264 HD)として定義して、2Dサービスであることをシグナリングすることができ、リンケージデスクリプタを通じて、service_id 3であり、linkage_typeが0x05である場合には、サービスリプレースメントサービス(service replacement service)であり、private_data()及びreplacement_type(0x02)を通じて3Dを指示して、前記service_id 2に対応する3Dサービスの存在及び処理をシグナリングすることができる。類似の方式で、service_id 3である場合にも、サービスデスクリプタにおいてservice_typeを0x1Cとして定義して、直ちに3Dサービスであることをシグナリングすることができる。
これに関連して、replacement_typeは、サービス間の関係を表8のように定義し、HDサイマルキャスト(simulcast)であるか、または3Dであるかを識別することができる。
図16は、本発明に係る3Dシグナリング情報を用いてステレオスコピックビデオ信号を出力する一例を説明するために示したフローチャートである。
逆多重化部230は、受信されるデジタル放送信号からSDTセクションをフィルタリングしてパージングする。ここで、前述したように、逆多重化部は、PIDフィルタリングを通じてSDTセクションをフィルタリングし、このとき、PIDは、例えば、0x0011に設定し、当該PIDを有するTSパケットをフィルタリングして、table_id=0x42であるセクションデータをパージングすることができる(S1602)。
シグナリング情報処理部240は、パージングされたSDT内のサービスループにおいてサービスデスクリプタから、レガシーサービスタイプを有するサービスに対する情報を獲得及び格納する。すなわち、シグナリング情報処理部は、2Dサービスに対するPMT情報を獲得及び格納する(S1604)。
シグナリング情報処理部240は、パージングされたSDT内のサービスループから、3Dサービスタイプを有するサービスに対する情報を獲得及び格納する。すなわち、シグナリング情報処理部は、3Dサービスに対するPMT情報を獲得及び格納する(S1606)。
シグナリング情報処理部240は、シグナリング情報からリンケージデスクリプタをパージングし、パージングされたリンケージデスクリプタの情報を用いて、接続されるレガシー3DサービスID(3D service id)情報を把握する(S1608)。
シグナリング情報処理部240は、3D PMT情報を用いて、エキステンディドビュー(Extended View)ストリームに対するPID情報を把握する(S1610)。
デジタル受信機は、視聴モードの設定を受信する(S1612)。
以下、視聴モードによって2つに分かれ、まず、3D視聴モード設定の場合について説明すると、次の通りである。
デジタル受信機は、3Dステレオスコピックビデオ(frame−compatible stereoscopic 3D)を提供するservice_idを選択する(S1614)。このとき、前記service_idのservice_typeは、例えば、フレーム−コンパチブル3DTVであってもよい。
デジタル受信機は、基本A/Vストリームに対するPIDフィルタリング及びビデオ/オーディオESデコーディングを行う(S1616)。
制御部270は、3Dサービスデスクリプタ情報を用いて3Dイメージフォーマッタでデコーディングした3Dステレオスコピックビデオが出力されるように制御する(S1618)。
3Dイメージフォーマッタを経た3Dビデオを、出力部を介して画面上に出力する(S1620)。
次に、2D視聴モード設定の場合について説明すると、次の通りである。
デジタル受信機は、2Dビデオ(base view video)を提供するservice_idを選択する(S1622)。前記service_idを有するチャネルは、例えば、レガシーチャネルである。
制御部270は、逆多重化及びデコーダを制御して、基本A/Vストリームに対するPIDフィルタリング及びビデオ/オーディオESデコーディング(Base View Video Decoder)を行う(S1624)。
制御部270は、デコーディングされた2Dビデオを出力部を介して出力する(1626)。
図17は、本発明によって構成したUIの一例を示した図である。
図17(a)、図17(b)、そして、図17(c)の場合には、ユーザが、EPGを介さずに、直接チャネルをアップ/ダウン制御し、チャネルサーチ過程でサーチされたチャネルが3Dサービスを提供している場合に、これを2Dサービスを提供するチャネルと区分するために構成したUIまたはOSD画面である。ただし、この場合にも、受信機は、当該チャネルが3Dサービスを提供するか否かを知ることができる。例えば、前述した図4のサービスリストデスクリプタ、図6のサービスデスクリプタ、図9の3Dサービスデスクリプタ、または図13のコンポーネントデスクリプタから、予め当該チャネルが3Dサービスを提供するか否かを判断することができる。
これは、視聴者が直接チャネルをサーチする過程において、前述した場合とは異なり、事前に当該チャネルに関する情報を得ることができないので、当該チャネルが現在3Dサービスを提供しているということを表示するためである。
図17(a)の場合には、チャネルサーチ過程で現れるチャネルバナー上に、本発明によって構成された3Dインジケーターを含めて構成したUIが示されている。
図17(b)の場合には、接近したチャネルが3Dサービスを提供していることを知らせるために構成したOSD画面の一例である。
図17(c)の場合には、接近したチャネルが3Dサービスを提供していることを知らせるために、当該サービスのタイトルと共に3Dインジケーターを表示して構成したOSD画面の他の例である。
図17(b)及び図17(c)の場合には、視聴者が事前情報なしにチャネルを直接サーチする場合に、接近した特定のチャネルが、現在、3Dサービスを提供する場合、適切な視聴モードで当該チャネルを視聴できるように、チャネル切替過程で予めOSD画面に3Dサービスであることを表示して提供する内容である。したがって、視聴者は、このようなOSD画面を通じて適切にチャネルをスキップしたり、または視聴モードを変更してチャネルで提供する3Dサービスを視聴できるようになる。
次は、EPG画面に関する。
図18、図19及び図20は、本発明に係るEPG画面の実施例を示すものである。また、他の実施例及び構成も全て本発明の範囲に属する。
図18乃至図20は、例えば、前述した各テーブルセクションまたは各デスクリプタに含まれた3Dサービス/イベント関連データを予めパージングし、抽出して、受信機で抽出された3Dサービス/イベント関連データを組み合わせて構成したものである。
図18のEPG画面1800は、現在のチャネルを表示する第1項目1805と、当該チャネルでの時間帯別コンテンツリストが示される第2項目1810と、第2項目1810の選択された特定のプログラムに対するプレビューイメージがディスプレイされる第3項目1820と、前記第3項目でディスプレイされるプレビューイメージと関連する付加情報が含まれる第4項目1830と、その他のメニュー事項がディスプレイされる第5項目1840とを含んで構成される。
図18では、本発明によって様々な方式で3Dインジケーターを含むEPG画面1800を例示している。
第2項目1810のコンテンツリスト上には3Dインジケーターを表示せずに、第3項目1820のプレビューイメージ上に3Dインジケーターを表示する方式である。図18を参照すると、第2項目1810のコンテンツリスト上に選択されたコンテンツ1811上には3Dインジケーターがなく、第3項目1820のプレビューイメージ上にのみ3Dインジケーター1825がある。
第3項目1820のプレビューイメージ上には3Dインジケーターを表示せずに、第2項目1810のコンテンツリスト上にのみ3Dインジケーターを表示する方式である。図18を参照すると、第2項目のコンテンツリストにおける2つのコンテンツ上に3Dインジケーター1813,1815が表示されている。
前記2つの方式を混用するものである。
前記において、3Dインジケーターは2Dまたは3Dで具現することができ、前記インジケーターと共に又は別個にEPG画面上で色や奥行き情報(depth information)を用いて当該コンテンツが3Dコンテンツであることを表示してもよい。
図19は、例えば、図18のEPG画面から選択された特定のコンテンツに関する詳細情報を示したガイド画面1900である。
図19のガイド画面1900は、現在のチャネル及び現在時刻情報を表示する第1項目1910と、コンテンツタイトル及び当該コンテンツに関する時間情報を含む第2項目1920と、プレビューイメージがディスプレイされる第3項目1930と、当該コンテンツに関する詳細情報がディスプレイされる第4項目1940とを含んで構成される。
当該コンテンツが3Dコンテンツである場合、映像信号処理装置は、図19に示したように、EPG画面の第2項目1920上に3Dインジケーター1925を表示したり、または第3項目1930上に3Dインジケーター1935を表示したり、または前記第2項目1920と第3項目1930の両方に3Dインジケーターを表示してもよい。この場合においても、3Dインジケーターは2Dまたは3Dフォーマットで構成されてもよい。
図20のEPG画面2000は、図18のEPG画面1800とは異なり、設定によって3Dコンテンツのみ表示されたEPG画面を例示したものである。
図18及び図20を参照すると、図20のEPG画面では、図18のEPG画面における3Dインジケーター1811,1813,1815が表示されたコンテンツのみ表示され、残りの2Dコンテンツは表示しなかった。
図20ではEPG画面上で構成したが、これとは異なり、3DコンテンツをEPG画面ではなく他の方式で表現してもよい。
図21及び図22は、本発明に係るEPG画面の更に他の例を示した図である。
イメージ処理装置は、例えば、前述した図14及び図15のリンケージデスクリプタを用いて、各サービスに対する対応する2D/3Dサービスが存在するか否かを把握することができる。したがって、イメージ処理装置は、互いに対応する2Dと3Dサービスが存在すれば、サービスペア(service pair)を把握し、このように把握されたサービスペアは、サービス目録を提供するとき、図21又は図22のように同一のEPG画面を提供することができる。
この場合、イメージ処理装置は、ユーザの設定に従うか、または自動で1つのサービスに対してサービスペアも共にダウンロードすることができる。もし、イメージ処理装置でサービスペアも共にダウンロードした場合には、ユーザが、格納されたサービスまたはコンテンツを再生する過程において2D/3D切替ボタンを押すと、対応するコンテンツにスイッチングして再生することによって、ユーザに利便性を提供することができる。
受信機は、ユーザの選択または自動でサービスまたはコンテンツペアをいずれも受信できるようにダウンロード(download)予約をすることができる。この場合、当該コンテンツが放送される時点では、予約録画されたコンテンツに対応するservice_idを見つけ、全て受信して格納する。受信機は、パージングされたEITから、各コンテンツに対するservice_id値を用いることができる。したがって、ユーザが、格納されたコンテンツを再生するとき、2D/3D切替ボタンを押すと、該当するコンテンツにスイッチング(switching)して再生することによって、ユーザに利便性を提供することができる。
図23は、本発明に係る3Dバージョンの存在有無を知らせるUIの一例を示した図であり、図24は、本発明に係るEPGの更に他の例を示した図であり、そして、図25は、図24の詳細UIの例示を示した図である。
図23を参照すると、受信機は、上述した受信機のシグナリング情報に基づいて、既存放送画面の視聴中にEITを通じて格納された2Dコンテンツに対する対応するコンテンツ、すなわち、3Dバージョンが存在すれば、例えば、図23に示したように、そのような情報を知らせるためにテキストバー(text bar)がスクロール(scroll)されるようにすることができる。ただし、必ずしも図23の図示に限定されるものではなく、別途のUIを構成し、OSD(On−Screen Display)画面で3Dバージョンの存在有無と関連する制御動作を選択及び設定できるようにすることができる。
図24は、SDTまたはEITのうちの少なくともいずれか1つをパージングして得たEPGの画面を示し、例えば、図23において、ユーザがREDのような特定のボタン(REDのような)を押した場合にも、同一のEPGが提供され得る。図24を参照すると、ユーザの要求によって提供されるEPGでは、各コンテンツに対して当該コンテンツが2Dであるか、または3Dであるかを識別できるインジケーターを提供する。特に、本発明と関連して、特定のコンテンツに対して対応するコンテンツ、例えば、12時にSBSで2Dバージョンの‘妻が帰ってきた22回’ NRTコンテンツを提供するという情報と共に、前記コンテンツに対応する3Dバージョンの‘妻が帰ってきた22回’がSBSで15:30分から提供されることを知ることができる。この場合、前記3Dバージョンのコンテンツは、必ずしも同一のエピソードのコンテンツに限定されず、例えば、他のエピソード(21回、23回、スペシャルなど)に対するコンテンツであってもよい。また、図24では、同じチャネルでのみ特定のコンテンツと対応するコンテンツに関する情報提供を例示したが、必ずしもこれに限定されるものではなく、他のチャネルに対する情報も提供できるだけでなく、互いに異なる媒体において対応するコンテンツに関する情報を提供することもできる。
図25は、図24で例示された太祖王建30回(3D)コンテンツをユーザが選択した場合に、それに関する詳細な情報及び関連処理を説明する。例えば、図25では、選択されたコンテンツは、既に録画された2Dの‘太祖王建30回’の3Dバージョンであることを知らせる内容と共に、録画予約機能、戻り機能などを提供する。この場合、受信機は、図示していないが、SDTまたはEITから得たシグナリング情報を用いて、当該コンテンツのより詳細な情報、例えば、あらすじ情報、関連エピソード情報、放送開始時刻情報、放送終了時刻情報、サムネイル情報(thumbnail information)などの様々な情報を一緒に提供してもよい。
ビデオフォーマットトランジションは、上述したコンテンツを参照するために以下で説明される。
フレームコンパチブルステレオスコピック3DTVサービスは、フレームコンパチブルステレオスコピックビデオフォーマットの2つの中でビデオフォーマットを切り替えることができる。または、フレームコンパチブルステレオスコピックビデオフォーマットのうちの一つから、またはHDTVビデオフォーマット(即ち、ノン−フレームコンパチブルステレオスコピック3DTVビデオフォーマット)から切り替わってもよい。サイド−バイ−サイドとトップ−アンド−ボトムフレームパッキングアレンジメントとの間でフォーマット切替はunlikelyに適用されてもよい。しかし、そのようなトランジション(transition)が禁止されるものではない。
ビデオフォーマット切替は、IDR(Instantaneous Decoding Refresh)ビデオフレームを有するRAP(Random Access Point)でのみ適用され得る。ビデオストリーム内のピクチャの発生とTS内のPMTの発生との間にタイトな同期化の不足のため、もし、ビデオフォーマットがランニングフレームコンパチブルステレオスコピック3DTVサービス中に切り替わると、短い期間不一致が起こることがある。HDTV(即ち、ノン−3DTV)ビデオフォーマットコンテンツの運送は、一般に、フレームパッキングアレンジメントSEI(Supplemental Enhancement Information)メッセージが適用されないことを意味する。しかし、そのようなフォーマット切替を出力するIRDは、PMTの以前発生において含まれた情報を持つ一時的な不一致のため、正確にトランジションをハンドルできない。これは、1080i 25Hzサイド−バイ−サイドフレームコンパチブルステレオスコピック3DTVビデオを1080i 25Hz HDTVビデオにビデオフォーマット切替することを例示し得る。
このような例示として、ビデオフォーマット切替後にフレームパッキングアレンジメントSEIメッセージによって伝達される情報と、ビデオフォーマット切替前にPMTの最後の発生時に伝送される情報との間に不一致がある。このような不一致は、IRDが不一致期間の間に不正確なビデオフォーマットを仮定するようになる原因となる。これは、上述したように、コーディングされたビデオピクチャとPMTとの間のタイトな同期化の不足のため、その不一致期間を正確に知ることができないからである。
フォーマットトランジションアシスタンスシグナリングは、IRD内にデコーディングプロセスのロバストネス(robustness)の確実をイネーブルするように定義される。このようなフォーマットトランジションアシスタンスシグナリングは、フレームコンパチブルステレオスコピック3DTVサービスがノン−3DTVビデオフォーマット内にコンテンツのピリオドを含むときに適用されることを推奨する。
フォーマットトランジションアシスタンスシグナリングは、HDTVフォーマットビデオコンテンツを含むビデオストリーム内にフレームパッキングアレンジメントSEIメッセージを含むことによって構成される。このとき、前記ビデオストリームは、frame_packing_arrangement_cancel_flagを1に設定して、確実にフレームコンパチブルステレオスコピック3DTVビデオフォーマットが現在伝送されていないことをシグナリングする。
IRD内のデコーディングプロセスのロバストネスを最大化するために、フレームコンパチブルステレオスコピック3DTVサービスに、少なくともHDTVビデオフォーマットとフレームコンパチブルステレオスコピック3DTVビデオフォーマットとの間にフォーマット切替前と後の約2秒の期間の間に、HDTVフォーマットが伝送される間にはフレームパッキングアレンジメントSEIメッセージが適用されることを推奨する。
HDTVビデオフォーマットから、またはビデオフォーマットトランジションが発生するとき、フレームコンパチブルステレオスコピック3DTVビデオフォーマットからHDTVビデオフォーマットに、または、HDTVビデオフォーマットからフレームコンパチブルステレオスコピック3DTVビデオフォーマットにフォーマット切替が発生した後、少なくとも2秒の期間には、フレームパケットアレンジメントSEIメッセージ内のframe_packing_arrangement_cancel_flagは、ノン−3DTVビデオフォーマットが伝送されていることを知らせるように1に設定されなければならない。
1に設定されたframe_packing_arrangement_cancel_flagを持つフレームパッキングアレンジメントSEIメッセージの運送は、サービス提供者の認識があるとき、HDTVビデオフォーマットコンテンツの間に維持されなければならない。
フレームコンパチブルステレオスコピック3DTVサービス内のビデオフォーマットトランジションのIRDによってハンドリングされるロバストネスの増加のために、IRDは、他のサービスからフレームコンパチブルステレオスコピック3DTVサービスにホップ(hop)する。同じ状況において、その運送を中断するより、同一のシグナリングを適用するように維持する方が遥かに便利であり得る。
ある場合に、フレームパッキングアレンジメントSEIメッセージのシグナリングは、伝送されるビデオフォーマットで一貫してもよく、ビデオフォーマットと関連する他のシグナリングを通じて予測されてもよい。上述したPMTによる一時的な不一致が発生する場合、上述したように、フォーマットトランジションアシスタンスシグナリングの適用によって軽減することができる。
前述したように、前記発明を実施するための最良の形態において、関連する事項を記述した。
以上、上述した本発明によれば、3DTVにおいて、ステレオスコピックビデオ放送サービスに対するシグナリング情報を処理するための方法及び具現に対する方案を提示する。特に、当該シグナリング情報を用いて放送サービスを受信する方法、及びステレオスコピックディスプレイの出力を制御するための3DTVの動作及び具現方法を提案する。
なお、本発明を利用して3DTV及び2Dレガシー、前述したように、本発明は、デジタル放送システムに全体的または部分的に適用することができる。レガシーTVサービスを別途の独立かつ分離されたロジカルチャネル(virtual channel)を介して区分して受信できるので、ユーザは、チャネル変更を通じて2Dサービスから3DTVサービスへの切り替えを行うことができるという効果がある。
すなわち、DTV放送環境において2Dと3Dサービスが混在する状況で、受信機は、明確に2つのサービスの対応関係を把握し、2D及び対応する3Dサービスの存在有無を知ることができ、ユーザがサービス切替を要求するときに対応可能である。
前述したように、本発明は、デジタル放送システムに全体的または部分的に適用できる。
以下、本発明の好ましい実施例を詳細に参照し、これらの例が添付の図面に図示される。可能な場合、図面全般にわたって同一の図面符号は同一又は類似の構成要素を示す。
たとえ、本発明で使用される用語は、一般的に知られており、使用されている用語から選択されるが、本発明の明細書に言及されるこれら用語の一部は、習慣又は新しい技術の出現によって、通常の知識を有する者によって変更されてもよい。また、ある場合において、本発明の詳細な説明に言及された用語の一部は出願人の裁量で選択されたものもあり、これらの場合、詳細な意味は本発明の詳細な説明の関連部分に記述され、これらは、ここで使用する用語の単純な名称ではなく、本発明の詳細な説明内で及び全体的な内容に基づいた各用語の実際の意味として理解されなければならない。
3D映像の表現方法は、2つのパースペクティブ(即ち、観点)を考慮する立体映像(stereoscopic image)方法、及び3つ以上のパースペクティブ(即ち、観点)を考慮するマルチ視覚映像方法を含むことができる。これとは反対に、関連技術の単一視覚映像は、モノ映像(monoscopic image)方法と呼ぶことができる。
立体映像方法は、所定の距離で互いに離隔している左側カメラ及び右側カメラで同一の対象を撮影することによって獲得された左/右映像のペアを使用する。マルチ視覚映像は、所定の距離で互いに離隔し、互いに異なる角度で配置された少なくとも3つの互いに異なるカメラで撮影することによって獲得された少なくとも3つの映像セットを使用する。以下で本発明の実施例に係る立体映像方法が説明されるが、本発明の思想はマルチ視覚映像方法にも適用可能である。また、以下で、立体(stereoscopic)は、短縮して立体(stereo)と呼んでもよい。
前記立体映像またはマルチ視覚映像は、MPEG(Moving Picture Experts Group)フォーマットでまたは様々な方法を用いて圧縮エンコーディングされ、それによって伝送される。
例えば、立体映像あるいはマルチ視覚映像がH.264/AVC(Advanced Video Coding)方法を用いて圧縮−エンコーディングされ、それによって伝送される。このとき、前記受信システムは、H.264/AVC方法とは反対のプロセスとして前記受信された映像に対してデコーディングプロセスを行い、それによって3D映像を獲得する。
さらに、立体映像の左側視覚映像または右側視覚映像のいずれか一つの映像、あるいはマルチ視覚映像の任意の1つの映像がベース層の映像として割り当てられ、残りの映像はエンハンスメント層の映像として割り当てられてもよい。その後、前記ベース層の映像は、モノ映像をエンコーディングするために利用されるものと同様の方法を用いてエンコーディングされてもよい。そして、前記エンハンスメント層の映像において、前記ベース層の映像と前記エンハンスメント層の映像間の関連情報のみがエンコーディングされる。その後、前記プロセシングされた映像が伝送される。
ベース層に対する圧縮−エンコーディング方法の例には、JPEG、MPEG−1、MPEG−2、MPEG−4、及びH.264/AVCが含まれる。そして、本発明のこの実施例では、H.264/AVC方法が採択された。さらに、本発明の実施例によれば、エンハンスメント層の映像の圧縮−エンコーディングプロセスのために、H.264/SVC(Scalable Video Coding)またはMVC(Multi−view Video Coding)方法が採択された。
地上波(即ち、地上)DTV伝送及び受信は2Dビデオコンテンツに基づく。したがって、3D TV放送コンテンツをサービスするためには、3D TV放送コンテンツのための伝送及び受信の標準が追加的に定義されなければならない。受信機が、前記追加された伝送及び受信の標準に従って放送信号を受信し、前記受信された信号を十分にプロセシングし、それによって、3D放送サービスを支援する。
本発明の詳細な説明において、本発明の実施例に係る従来のDTV伝送及び受信の標準を説明するためにATSC(Advanced Television Systems Committee)標準が使用される。
前記ATSCシステムの場合に、放送コンテンツをプロセシングするための情報が前記システム情報に含まれ、それによって伝送される。
システム情報は、例えば、サービス情報と呼ぶことができる。ここで、例えば、該システム情報は、チャネル情報、プログラム情報、イベント情報などを含むことができる。ATSC標準方法の場合に、該システム情報は、PSI/PSIP(Program Specific Information/Program and System Information Protocol)内に含まれることによって伝送及び受信されてもよい。しかし、本発明がこの例のみに限定されるものではない。そして、システム情報をテーブルフォーマット(table format)で伝送するプロトコルの場合、該プロトコルは、その用語(即ち、名称)に関係なく、本発明に適用されてもよい。
本発明の実施例によれば、PSIテーブルは、PAT(Program Association Table)、及びPMT(Program Map Table)を含むことができる。
PATは、PIDが‘0’であるデータパケットによって伝送される特殊情報に対応する。PATは、それぞれのプログラムに対して、対応するPMTのPID情報を伝送し得る。PMTは、伝送ストリーム(Transport Stream、TS)パケットのPID情報を伝送し(ここでは、プログラム識別番号、及びその対応するプログラムを構成するビデオとオーディオデータの個別ビットシーケンスが伝送される)、そして、また、PCRが伝送されるPID情報も伝送する。その後、PATから獲得されたPMTをパージング(parsing)することによって、その対応するプログラムを構成する要素間の相関情報も獲得できる。
本発明の実施例によれば、PSIPテーブルは、VCT(Virtual Channel Table)、STT(System Time Table)、RRT(Rating Region Table)、ETT(Extended Text Table)、DCCT(Direct Channel Change Table)、DDCSCT(Direct Channel Change Selection Code Table)、EIT(Event Information Table)、及びMGT(Master Guide Table)を含むことができる。
VCTは、仮想チャネルに関する情報(例えば、チャネルを選択するためのチャネル情報のようなもの)、及びオーディオ及び/又はビデオデータを受信するためのPID(Packet Identifier)のような情報を伝送することができる。より具体的には、VCTがパージングされるとき、チャネル名及びチャネル番号と共にチャネルを介して伝送される、放送プログラム(broadcast program)のオーディオ/ビデオデータのPIDが獲得され得る。STTは、現在のデータに関する情報及びタイミング情報(timing information)を伝送することができ、RRTは、地域(region)に関する情報及びプログラムの等級(ratings)のための協議機関(consultation organs)に関する情報を伝送することができる。ETTは、特定チャネル及び放送プログラムの追加的な説明を伝送することができ、そして、EITは、仮想チャネルイベントに関する情報を伝送することができる。DCCT/DCCSCTは、自動で(あるいは直接)チャネル変更と関連する情報を伝送することができ、そして、MGTは、PSIP内のそれぞれのテーブルのバージョン(version)及びPID情報を伝送することができる。
立体映像の伝送フォーマットは、単一のビデオストリームフォーマット及び多重−ビデオストリームフォーマット(multi−video stream format)を含む。単一のビデオストリームフォーマットは、2つのパースペクティブのビデオデータを単一のビデオストリームにマルチプレクシング(multiplexing)して、該単一のビデオストリームを伝送する方法に対応する。ここで、ビデオデータは、1つのビデオストリームで伝送されるので、単一のビデオストリームフォーマットは、3D放送サービスを提供するために追加的に要求される帯域幅が広くならないという点で利点がある。多重−ビデオストリームフォーマットは、多重ビデオデータを多重ビデオストリームで伝送する方法に対応する。ここで、たとえ帯域幅の使用が増加するが、高容量のデータを伝送できるので、多重−ビデオストリームフォーマットは、高画質のビデオデータ(high picture quality video data)をディスプレイできるという点で利点がある。
図26は、本発明の実施例に係る、様々な映像フォーマットの立体映像マルチプレクシングフォーマットを示す。
3D放送サービスの映像フォーマットは、(a)に示したサイド−バイ−サイドフォーマット(side−by−side format)、(b)に示したトップ−ボトムフォーマット(top−bottom format)、(c)に示したインターレースドフォーマット(interlaced format)、(d)に示したフレーム順次フォーマット(frame sequential format)、(e)に示したチェッカーボードフォーマット(checker board format)、及び(f)に示したアナグリフフォーマット(anaglyph format)を含む。
(a)に示したサイド−バイ−サイドフォーマットは、左側映像と右側映像が水平方向に1/2ダウン−サンプリング(down−sampling)されたフォーマットに対応する。ここで、サンプリングされた映像のうちの一方は左側に位置し、他方は右側に位置して単一の立体映像を生成する。(b)に示したトップ−ボトムフォーマットは、左側映像と右側映像が垂直方向に1/2ダウン−サンプリングされたフォーマットに対応する。ここで、サンプリングされた映像のうちの一方は上側に位置し、他方は下側に位置して単一の立体映像を生成する。(c)に示したインターレースドフォーマットは、左側映像と右側映像が水平方向に1/2ダウン−サンプリングされて、2つの映像が1ラインずつ交互に現れるようになり、これによって単一の立体映像を生成するフォーマットに対応するか、または、左側映像と右側映像が垂直方向に1/2ダウン−サンプリングされて、2つの映像が1ラインずつ交互に現れるようになり、これによって単一の立体映像を生成するフォーマットに対応する。(d)に示したフレーム順次フォーマットは、左側映像と右側映像が時間的に(temporally)交互に現れ、単一のビデオストリームで構成されるフォーマットに対応する。(e)に示したチェッカーボードフォーマットは、左側映像と右側映像が1/2ダウン−サンプリングされて、左側映像と右側映像が水平方向と垂直方向のそれぞれにおいて交互に現れるようになり、これによって2つの映像を単一の映像として構成するようになるフォーマットに対応する。(f)に示したアナグリフフォーマット(anaglyph format)は、補色対比(complementary color contrast)を用いることによって、映像が立体感を提供できるように構成するフォーマットに対応する。
現在のデジタル放送は、限定されたシステムリソース(limited system resource)を使用することによって放送サービスを提供する。デジタル放送環境のシステムリソースは、伝送帯域幅、プロセシング能力などを含む。特に、周波数の配分(即ち、割当)において使用可能な帯域幅は限定されている。このデジタル放送環境において、3D放送サービスが提供される場合に、対応する3D放送サービスもデジタル放送環境で使用される限定されたリソースを使用することになる。
本発明の実施例によれば、立体映像技法(stereoscopic image scheme)を使用する3D放送サービスの場合に、左側−視覚映像(left−view image)と右側−視覚映像(right−view image)が伝送されなければならない。したがって、従来のデジタル放送の帯域幅を使用して高解像度で2つの映像を伝送することは難しい。例えば、デジタル放送の帯域幅を使用してフル解像度のビデオデータを伝送する場合、同一の帯域幅を使用して2−セットのフル解像度のビデオデータを伝送することは難しい。したがって、2−セットのハーフ解像度のビデオデータを伝送する方法が提案されている。
それにもかかわらず、高画質に対するユーザの要求を充足させるために、フル解像度の3D放送サービスの提供が要求される。しかし、フル解像度の3D放送サービスが提供されている場合にも、フル解像度の3D放送サービスは、従来のハーフ解像度の3D放送サービスと互換可能でなければならない。
図27は、本発明の実施例に係る3D放送サービスの概念図を示す。図27の実施例によれば、フル解像度の映像を提供する3D放送サービス2010は、以下で、3Dサービス2.0あるいは3DサービスSpec−Bと呼ぶことにする。ハーフ解像度の映像を提供する3D放送サービス2020は、以下で、3Dサービス1.0あるいは3DサービスSpec−Aと呼ぶことにする。
3Dサービス1.0 2020は、ハーフ解像度の左側映像及びハーフ解像度の右側映像としてサービスされてもよい。フル解像度の映像を提供する3Dサービス2.0 2010は、フル解像度の映像を新たに伝送する代わりに、3Dサービス1.0 2020と互換可能でなければならないので、3Dサービス1.0 2020の映像伝送を維持し、そして、フル解像度の映像を伝送するための差動データ(differential data)あるいは追加データを提供する方法が使用されてもよい。より具体的には、図27に示したように、3Dサービス1.0 2020のハーフ解像度のビデオ要素に3Dサービス2.0の相補型ビデオ要素(complementary video element)2030を加えることによって、フル解像度の3D放送サービス2010が提供され得る。結局、3Dサービス1.0を支援し得る放送受信機は、3Dサービス1.0 2020のデータを受信及びプロセシングすることによって、ハーフ解像度の映像を提供することができ、3Dサービス2.0を支援し得る放送受信機は、3Dサービス1.0 2020のデータ及び3Dサービス2.0の相補型データを受信及びプロセシングすることによって、フル解像度の映像を提供することができる。
図28は、本発明の実施例に係るフル解像度の3D放送サービスを提供するための方法を示す概念的なブロック図を例示する。
本発明では、フル解像度の3D映像を提供し得るデジタル放送受信機3030と、そして、ハーフ解像度の3D映像を支援し得るデジタル放送受信機3040をそれぞれ提供することができる。
3D放送サービスを提供する放送システムは、ベース層3020を介してハーフ解像度の3Dビデオデータを伝送し、エンハンスメント層3010を介してフル解像度の3D映像を提供するための追加的なハーフ解像度の3Dビデオデータを伝送することができる。
ハーフ解像度の3D映像を支援し得るデジタル放送受信機3040は、ベース層3020のビデオデータを受信及びプロセシングすることによって、ハーフ解像度の3D映像を提供することができる。また、フル解像度の3D映像を提供し得るデジタル放送受信機3030は、ベース層3020のビデオデータとエンハンスメント層3010のビデオデータを受信及びプロセシングすることによって、フル解像度の3D映像を提供することができる。説明を簡潔にするために、以下で、ベース層のビデオデータあるいはビデオコンポーネントは、それぞれ、ベースビデオデータあるいはベースビデオコンポーネントと呼び、そして、エンハンスメント層のビデオデータあるいはビデオコンポーネントは、それぞれ、相補型ビデオデータあるいは相補型ビデオコンポーネントと呼ぶことができる。
図29は、本発明の実施例に係る3D放送サービスを提供するための方法を例示する。
図29を参照すると、3DサービスSpec−A 4010は、ベース層を介して伝送される3Dビデオデータを示し、図29の実施例によれば、3Dビデオデータは、ハーフ解像度のトップ−ボトム映像フォーマットで提供される。
3DサービスSpec−B 4020は、エンハンスメント層を介してそれぞれのパースペクティブの映像に対する相補型データを伝送する。受信システムは、前記伝送された相補型データを受信する。そして、前記受信された相補型データは、3DサービスSpec−A 4010から伝送された3Dビデオデータに追加的にプロセシングされ、受信システムがフル解像度の立体映像を提供できるようにする。
図30は、本発明の更に他の実施例に係る、3D放送サービスを提供するための方法を例示する。
本発明の実施例によれば、3DサービスSpec−A 5010は、トップ−ボトム映像フォーマットに対応し、そして、空間的ハーフ解像度の3Dビデオデータ及び時間的フル解像度の3Dビデオデータを含むことができる。本発明の他の実施例によれば、3DサービスSpec−A 5010のビデオデータは、空間的フル解像度及び時間的ハーフ解像度で提供されるように、受信システムにおいて補間(interpolate)されてもよい。3DサービスSpec−B 5020の受信システムは、空間的フル解像度の映像及び時間的フル解像度の映像の両方を提供するように、相補型情報を追加的にプロセシングすることができる。
時間的ハーフ解像度及び空間的フル解像度の鮮明度において、伝送され得るビデオデータ(あるいは伝送可能なビデオデータ)の大きさ又は量は、システムリソースの制限によって限定され得る。ビデオデータは、フレーム−単位の映像(frame−unit image)を含むことができる。ここで、伝送可能なビデオデータの大きさに応じて、(時間的に配置され得る)フレーム−単位の映像間の距離も、映像の解像度と共に、限定され得る。例えば、所定の帯域幅での制限によって、もし、伝送可能なビデオデータのセットが空間的にはハーフ解像度であり、時間的にはフル解像度であれば、そして、空間的フル解像度の映像が同一の帯域幅の制限内で伝送されている場合、単に、時間的ハーフ解像度(例えば、時間的フル解像度の場合にフレームの距離の2倍の距離)のビデオデータのみが伝送され得る。
受信システムでの解像度に応じてビデオデータをプロセシングする方法に関する様々な実施例が利用可能である。
3DサービスSpec−A 5010の受信システムは、フル解像度に近い映像(Lb’あるいはRb’)(図30の左側下部に図示)を提供するように、その受信された映像(LbあるいはRb)に対して補間を行うことができる。
3DサービスSpec−B 5020の受信システムは、ベース層で受信されたビデオデータ及びエンハンスメント層で受信されたビデオデータを使用することができる。受信システムは、ベース層の受信された映像(LbあるいはRb)及びエンハンスメント層の受信された映像(LeあるいはRe)の水平ラインをインターリーブ(interleave)及び結合(combine)することができ、それによって、フル解像度の映像(LfあるいはRf)を提供するようになる。また、受信システムは、ベース層の受信された映像(LbあるいはRb)に対してローパスフィルタリング(low−pass filtering)を行うことができ、エンハンスメント層の受信された映像(LeあるいはRe)に対してハイパスフィルタリング(high−pass filtering)を行うことができ、それによって、2つの映像を結合してフル解像度の映像(LfあるいはRf)を復元するようになる。また、受信システムは、ベース層の受信された映像(LbあるいはRb)に対して補間を行うことができ、補間された(フル解像度に近い)フル解像度の映像(Lb’あるいはRb’)を相補型情報映像(LeあるいはRe)で補充(supplement)することができ、それによって、フル解像度の映像(LfあるいはRf)(図30の右側下部に図示)を提供するようになる。
図31は、本発明の他の実施例に係る、3D放送サービスを提供するための方法を例示する。
本発明の実施例によれば、3DサービスSpec−A 6010は、サイド−バイ−サイド映像フォーマットに対応し、そして、空間的ハーフ解像度の3Dビデオデータ及び時間的フル解像度の3Dビデオデータを含むことができる。本発明の他の実施例によれば、3DサービスSpec−A 6010のビデオデータは、空間的フル解像度及び時間的ハーフ解像度で提供されるように、受信システムにおいて補間されてもよい。3DサービスSpec−B 6020の受信システムは、空間的フル解像度の映像及び時間的フル解像度の映像の両方を提供するように、相補型情報を追加的にプロセシングすることができる。
図31の場合において、映像フォーマットがサイド−バイ−サイド映像フォーマットに対応する点以外は、図31の残りの説明は図30の説明と同一である。したがって、説明を簡潔にするために、本発明の重複する説明は省略される。しかし、図31を参照すると、ベース層の受信された映像(LbあるいはRb)及びエンハンスメント層の受信された映像(LeあるいはRe)をインターリーブする場合に、3DサービスSpec−B 6020の受信システムは垂直ラインをインターリーブ及び結合することができ、それによって、フル解像度の映像を提供するようになる。
図32は、本発明の他の実施例に係る、3D放送サービスを提供するための方法を例示する。
本発明の実施例によれば、3DサービスSpec−A 7010は、フレーム順次映像フォーマットに対応し、そして、空間的フル解像度の3Dビデオデータ及び時間的ハーフ解像度の3Dビデオデータを含むことができる。本発明の他の実施例によれば、3DサービスSpec−A 7010のビデオデータは、空間的ハーフ解像度及び時間的フル解像度で提供されるように、受信システムにおいてフォーマット−変換されてもよい。3DサービスSpec−B 7020の受信システムは、空間的フル解像度の映像及び時間的フル解像度の映像の両方を提供するように、相補型情報を追加的にプロセシングすることができる。
本発明の実施例によれば、3DサービスSpec−A 7010の受信システムは、受信された映像(LbあるいはRb)に対してデシメーション(decimation)を行うことができ、それによって、トップ−ボトムフォーマットあるいはサイド−バイ−サイドフォーマットのハーフ解像度の映像(Lb’あるいはRb’)を生成(あるいは発生)させる。このとき、デシメーションを行う間、受信システムは、トップ−ボトムフォーマットあるいはサイド−バイ−サイドフォーマットでハーフ解像度の映像(Lb’あるいはRb’)を獲得する。このとき、デシメーションを行う間、受信システムは、フレームレート変換(frame rate conversion)を通じて時間的に拡張された(例えば、2倍になった)ハーフ解像度の映像のペアを獲得し、それによって、空間的フル解像度の映像及び時間的フル解像度の映像を提供できるようになる。
他の実施例によれば、3DサービスSpec−B 7020の受信システムは、エンハンスメント層を介して受信された映像(LeあるいはRe)を、ベース層を介して受信されたそれぞれの連続する映像(LbあるいはRb)の間にそれぞれ挿入し、それによって、空間的フル解像度の映像及び時間的フル解像度の映像を提供できるようになる。
上述したように、高解像度の3D放送サービスを提供するために、現在提供されている解像度の3D放送サービスのために相補型ビデオデータが提供されなければならず、そして、この相補型ビデオデータと共に、相補型ビデオデータに対するシグナリング情報(signaling information)も伝送/受信及びプロセシングされることが要求される。
以下では、相補型ビデオデータ及びこの補型ビデオデータに関する情報をシグナリングするための方法が詳細に説明される。本発明の実施例によれば、相補型ビデオデータは、レイヤード映像圧縮エンコーディング方法(layered image compression encoding method)として、H.264/SVC(Scalable Video Coding)あるいはMVC(Multi−view Video Coding)方法を用いることができる。そして、このとき、相補型ビデオデータは、エンハンスメント層を介して伝送されてもよい。
相補型ビデオデータに関する前記伝送されたシグナリング情報は、3D相補型ビデオ情報と呼ぶことができる。3D相補型ビデオ情報は、本発明の実施例に係るデスクリプタ(descriptor)あるいはテーブルフォーマットで提供されてもよく、ここで、3D相補型ビデオ情報は、3D相補型ビデオデスクリプタあるいは3D相補型ビデオテーブルと呼ぶことができる。
本発明の実施例によれば、3D相補型ビデオ情報は、PSIP(これは、ATSC放送システムから伝送される)に含まれてもよく、特に、PSIPのTVCT(あるいはVCT)に含まれてもよく、それによって伝送されるようになる。また、3D相補型ビデオ情報は、PSI(これは、ATSC放送システムから伝送される)に含まれてもよく、特に、PSIのPMTに含まれてもよい。さらに、3D相補型ビデオ情報は、相補型ビデオ情報に含まれてもよく、特に、相補型ビデオES(Elementary Stream)のヘッダー情報(header information)に含まれてもよく、それによって伝送されるようになる。
図33は、本発明に係るフルフォワード及びバックワード相互運用性(full forward and backward interoperability)を例示する。
本発明は、現世代あるいは次世代のソースデバイス、そして、まもなく登場するハーフ解像度の3DTV及び次世代フル解像度の3DTV間に、フルフォワード及びバックワード相互運用性を提供する。これらがどのように動作するかに関する例が提供される。現在のBDプレーヤー/STBでプレーされるSpec−Aコンテンツは、2種類のモード、すなわち、消費者が、まもなく登場する3DTV上でハーフ解像度の3D立体コンテンツを見るモード、及び次世代3DTV上でハーフ解像度の3D立体コンテンツを見るモードを有することができる。次世代BDプレーヤー/STBでプレーされるSpec−Aコンテンツに対して、消費者は、まもなく登場する3DTV上でハーフ解像度の3D立体コンテンツを見ることができ、そして、消費者は、次世代3DTV上でハーフ解像度の3D立体コンテンツを見ることができる。現在のBDプレーヤー/STBでプレーされるSpec−Bコンテンツに対して、消費者は、まもなく登場する3DTV上でハーフ解像度の3D立体コンテンツを見ることができ、そして、消費者は、次世代3DTV上でハーフ解像度の3D立体コンテンツを見ることができる。最後に、次世代BDプレーヤー/STBでプレーされるSpec−Bコンテンツに対して、消費者は、まもなく登場する3DTV上でハーフ解像度の3D立体コンテンツを見ることができ、そして、消費者は、次世代3DTV上でフル解像度の3D立体コンテンツを見ることができる。
本発明でのトップ−ボトム及びサイド−バイ−サイドのような空間ハーフ解像度方法は、既存のBD/DVDオーサリングシステム(authoring systems)においてよく支援されており、変更なしにあるいは若干の処理を通じて、次のような特徴、例えば、プレゼンテーショングラフィックモード(presentation graphic mode)を使用する3Dサブタイトル(subtitles)、フレームのトップ&ボトム部分でのシフトされたオブジェクトを配置する3Dグラフィック、(それぞれのフレームを編集する必要なしに)クリップ(clip)全体にわたるエフェクト(effect)の適用、そして、BDライブコンテンツオーサリング(BD Live content authoring)のようなものを容易にする。
図34は、第一世代3DTVと第二世代3DTV間の互換性を提供するサービスモデルを例示する。
上述したように、もし、左側及び右側映像がSpec−Aを介して立体3Dビデオを構成すれば、それぞれの半分はハーフ解像度であり、そして、将来の立体3DTVサービスは高解像度で提供され得る。ここで、従来のビデオ要素は、既にハーフ解像度を支援しているので、フル解像度を支援するために、差動信号(differential signal)が相補型ビデオ要素を介して伝送される。結果的に、Spec−Bを支援する結果、受信機は、相補型ビデオ要素をSpec−Aに加えることによって、フル解像度の3DTVサービスを提供することができる。そして、本発明は、Spec−Bに対する3DTVサービスを支援するために、相補型ビデオ要素を伝送する方法を提供する。
図35は、本発明の実施例に係る3D相補型ビデオ情報を含むTVCTのシンタックス構造(syntax structure)を例示する。
図35のTVCTに含まれたフィールド(field)の説明は、次の通りである。
‘table_id’フィールドは、テーブルセクション(table section)のタイプを表示する8−ビットの符号なし整数(unsigned integer number)フィールドである。
‘section_syntax_indicator’フィールドは、1−ビットのフィールドであって、このフィールドは、‘terrestrial_virtual_channel_table_section()’フィールドに対して‘1’に設定される。
‘private_indicator’フィールドは、‘1’に設定される1−ビットのフィールドである。
‘section_length’フィールドは、先頭の2ビットが‘00’に設定される12−ビットのフィールドであり、そして、‘section_length’フィールドの直後に始まる、そして、CRCを含むセクションのバイトの数を特定する。
‘transport_stream_id’フィールドは、16−ビットのMPEG−2伝送ストリーム(TS)IDを表示する。‘transport_stream_id’フィールドは、TVCT(Terrestrial Virtual Channel Table)を、互いに異なるPTCで放送され得る他のものと区分する。
5−ビットのフィールドとしてサービスを提供する‘version_number’フィールドは、VCT(Virtual Channel Table)のバージョン番号を表示する。
‘current_next_indicator’フィールドは、1−ビットの表示子(indicator)である。‘current_next_indicator’フィールドが‘1’に設定された場合、これは、伝送されたVCT(Virtual Channel Table)が現在適用可能であることを意味する。‘current_next_indicator’フィールドのビットが‘0’に設定された場合、これは、伝送されたテーブルがまだ適用不可能であり、次のテーブルが有効になることを意味する。
‘section_number’フィールドは、このセクションの数を提供する8−ビットのフィールドである。
8−ビットのフィールドとしてサービスを提供する‘last_section_number’フィールドは、完全なTVCT(Terrestrial Virtual Channel Table)の最後のセクション(即ち、最も高いsection_number値を有するセクション)の番号を特定する。
8−ビットの符号なし整数フィールドとしてサービスを提供する‘protocol_version’フィールドは、将来に、テーブルタイプが(現在のプロトコルで定義されたものとは異に構成され得る)パラメータを運搬できるようにするのに使用される。
8−ビットのフィールドとしてサービスを提供する‘num_channels_in_section’フィールドは、このVCTセクションにおいて仮想チャネルの番号を特定する。
‘short_name’フィールドは、仮想チャネルの名称を表示することができ、これは、ユニコードキャラクターデータ(unicode character data)に対するUTF−16標準に従って解釈される1〜7の16−ビットのコード値のシーケンスとして表現される。
‘major_channel_number’フィールドは、‘for’ループ(loop)の繰り返しで定義される仮想チャネルと関連する‘メジャー(major)’チャネル番号を表現する10−ビットの数を表示する。
‘minor_channel_number’フィールドは、‘マイナー(minor)’あるいは‘サブ(sub)’チャネル番号を示すように、‘0’〜‘999’の範囲の10−ビットの数を表示する。‘major_channel_number’フィールドと共に、この‘minor_channel_number’フィールドは2−部分のチャネル番号を表示することができ、ここで、minor_channel_numberは、番号の第2あるいは右側部分を示す。
8−ビットの符号なし整数を含む‘modulation_mode’フィールドは、仮想チャネルと関連する伝送されたキャリアに対する変調モードを表示することができる。
‘carrier_frequency’フィールドは、許容されたキャリア周波数を表示することができる。
‘channel_TSID’フィールドは、0x0000〜0xFFFFの範囲の16−ビットの符号なし整数フィールドである。‘channel_TSID’フィールドは、仮想チャネルによって参照されるMPEG−2プログラムを運搬する伝送ストリーム(TS)と関連するMPEG−2伝送ストリーム(TS)IDを示す。
‘program_number’フィールドは、ここで定義される仮想チャネルをMPEG−2プログラム関連及びTSプログラムマップテーブルと関連付ける16−ビットの符号なし整数を含む。
2−ビットのフィールドとしてサービスを提供する‘ETM_location’フィールドは、拡張されたテキストメッセージ(Extended Text Message、ETM)の存在及び位置を特定する。‘access_controlled’フィールドは、1−ビットのブールフラグ(Boolean flag)を表示する。‘access_controlled’フィールドのブールフラグが設定される場合、これは、仮想チャネルと関連するイベントにアクセスすることが制御され得ることを意味する。
‘hidden’フィールドは、1−ビットのブールフラグを表示する。‘hidden’フィールドのブールフラグが設定される場合、これは、仮想チャネルが仮想チャネル番号のダイレクトエントリー(direct entry)によってユーザによってアクセスされないことを意味する。
‘hide_guide’フィールドは、ブールフラグを表示する。‘hide_guide’フィールドのブールフラグがヒドンチャネル(hidden channel)に対してゼロ(‘0’)に設定される場合、これは、仮想チャネル及び仮想チャネルイベントがEPGディスプレイに現れ得ることを意味する。
‘service_type’フィールドは、仮想チャネルで運搬されるサービスのタイプを識別し得る6−ビットの列挙型フィールド(6−bit enumerated type field)である。
‘source_id’フィールドは、仮想チャネルと関連するプログラミングソースを識別し得る16−ビットの符号なし整数を含む。
‘descriptors_length’フィールドは、仮想チャネルに対するデスクリプタの全長(単位はバイト)を表示することができる。
‘descriptor()’フィールドは、‘descriptor()’フィールドに対して適切であると決定されたゼロ(0)あるいは1つ以上のデスクリプタをを含むことができる。
‘additional_descriptors_length’フィールドは、VCTデスクリプタリスト(descriptor list)の全長(単位はバイト)を表示することができる。
‘CRC_32’フィールドは、TVCT(Terrestrial Virtual Channel Table)セクション全体のプロセシングの後、ISO/IEC 13818 1 “MPEG−2 Systems” [8]のAnnex Aで定義されたデコーダ内のレジスタのゼロ(0)出力を保障するCRC値が含まれた32−ビットのフィールドである。
対応するチャネルから提供される放送サービスが3Dサービス2.0である場合、service_typeフィールド8010は、この情報を表示するフィールドに対応する。例えば、service_typeフィールド8010のフィールド値が0x13である場合、これは、3D放送プログラム(3D立体映像をディスプレイするためのオーディオ、ビデオ、及び相補型ビデオデータ)が、対応する仮想チャネルから提供されていることを表示する。デスクリプタフィールド8020は、3D相補型ビデオ情報を含み、これについては、添付の図面を参照して詳細に後述する。
図36は、本発明の実施例に係るTVCTに含まれた3D相補型ビデオデスクリプタのシンタックス構造を例示する。
図36の3D相補型ビデオデスクリプタに含まれたフィールドが、次のように説明される。
number_elementsフィールドは、それぞれの仮想チャネルを構成するビデオ要素の数を表示する。放送受信機は、3DTVサービス位置デスクリプタを受信することができ、これによって、回数としてnumber_elementsフィールドの下のフィールドに含まれた情報をパージングする(この数は、それぞれの仮想チャネルを構成するビデオ要素の数に対応する)。
complementary_typeフィールドは、相補型ビデオデータあるいは相補型ビデオストリームを構成する方法を表示する。フル解像度の映像が出力される場合、受信システムは、ベースビデオデータ及び相補型ビデオデータをフル解像度の映像で再構成(あるいは再建)するために、このフィールドの情報を用いる。
naive_subsampling_flagフィールドは、ベースビデオコンポーネント及び相補型ビデオコンポーネントが構成されている場合、サブサンプリング(subsampling)が行われているか否か、あるいは、ローパスフィルタリング及びハイパスフィルタリングが行われているか否かを表示する。例えば、naive_subsampling_flagフィールドのフィールド値が1と同一であれば、これは、サブサンプリングが行われていることを示す。そして、このフィールド値が0と同一であれば、これは、ローパスフィルタリング及びハイパスフィルタリングが行われていることを示す。
codec_typeフィールドは、相補型ビデオコンポーネントをエンコーディングあるいは圧縮するために使用されるビデオコーデックのタイプを表示する。例えば、codec_typeフィールドのフィールド値に応じて、MPEG−2、AVC/H.264、SVC拡張などのようなコーディング技法を示すことができる。
horizontal_sizeフィールド、vertical_sizeフィールド、及びframe_rateフィールドは、それぞれ、相補型ビデオコンポーネントの水平サイズ、垂直サイズ、及びフレームレートを表示する。ここで、水平サイズ及び垂直サイズは空間解像度を表示することができ、そして、フレームレートは時間解像度を表示することができる。例えば、complementary_typeフィールドのフィールド値が0x0004と同一である場合、相補型ビデオコンポーネントの空間/時間解像度は両方ともフル解像度となり得る。
interpolation_filter_available_flagフィールドは、ベースビデオコンポーネントに対して補間が行われる場合、追加のカスタマイズされたフィルター(extra customized filter)が使用されているか否かを表示する。このとき、本発明の実施例によれば、フィルターを具現するためのフィルター係数のような情報が、TVCTあるいはPMT内の相補型ビデオコンポーネントに対するデスクリプタループに含まれてもよく、デスクリプタのフォーマットで提供されてもよい。そして、本発明の他の実施例によれば、この情報は、ビデオ要素内のヘッダー情報あるいはメッセージ情報に含まれてもよく、それによって提供されるようになる。相補型ビデオ情報を構成する左側視覚に対するビデオデータ及び右側視覚に対するビデオデータのうち、left_image_first_flagフィールドは、2つのビデオデータのどちらが先に起こるか(あるいは発生するか)を表示する。本発明の実施例によれば、左側視覚に対応するビデオデータが先に受信される場合、left_image_first_flagフィールドのフィールド値は1に設定されてもよい。
complementary_first_flagフィールドは、フル解像度の映像を構成する手順の間、ベースビデオコンポーネントと相補型ビデオコンポーネントを結合する順序を表示する。本発明の実施例によれば、ベースビデオコンポーネントに対応するビデオデータが、相補型ビデオコンポーネントに対応するビデオデータよりも先行する場合、complementary_first_flagフィールドのフィールド値は1に設定されてもよい。
図37は、本発明の実施例に係る、3D相補型ビデオ情報に含まれたcomplementary_typeフィールドのフィールド値に応じて映像を構成する方法を例示する。
図36に含まれたcomplementary_typeフィールドは、相補型ビデオデータあるいは相補型ビデオストリームを構成する方法を表示する。そして、受信システムは、ベースビデオデータ及び相補型ビデオデータをフル解像度の映像で再構成(あるいは再建)するために、このフィールドの情報を用いる。ここで、本発明の実施例によれば、complementary_typeフィールドのフィールド値によるフル解像度の映像の再構成(あるいは再建)は、図37に示したように様々に行われてもよい。
1)complementary_typeフィールドのフィールド値が0と同一である場合、complementary_typeフィールドは、相補型ビデオデータがラインインターリーブ(lineinterleave)され、相補型ラインのためのビデオデータを運搬していることを示す。
相補型ビデオデータは、偶数ラインあるいは奇数ラインに対するビデオデータを含むことができ、これらは、フル解像度の映像を構成するためにベースビデオデータに加えられる。偶数ラインあるいは奇数ラインに対するビデオデータは、ベースビデオデータのマルチプレクシングフォーマットに従って水平または垂直にライン−インターリーブされてもよく、それによって発生(あるいは生成)するようになる。本発明の実施例によれば、ベースビデオデータがサイド−バイ−サイドフォーマットに対応する場合、垂直ライン−インターリーブが行われ、そして、ベースビデオデータがトップ−ボトムフォーマットに対応する場合、水平ライン−インターリーブが行われてもよい。
2)complementary_typeフィールドのフィールド値が1と同一である場合、complementary_typeフィールドは、相補型ビデオデータがピクセルインターリーブ(pixelinterleave)され、それぞれのラインに対して交互(あるいは変更)する映像のパースペクティブに関する順序情報を運搬していることを示す。ここで、順序情報は、フル解像度の映像を再構成するためのピクセルに関する情報に対応する。
相補型ビデオデータは、ピクセル単位でインターリーブされてもよく、それによってチェッカーボードのフォーマットで伝送され得る。この場合に、左側映像のピクセルと右側映像のピクセルが単一のライン内でピクセル単位で(あるいはピクセル別に)交互してもよい。また、フル解像度の映像を正常的に復元するために、受信システムは、交互の順序に関するこの情報を伝送するように要求される。この場合に、再構成(あるいは再建)されているフル解像度の映像の第1ピクセルに含まれたビデオデータに関して、complementary_first_flagフィールドは、第1ピクセルに含まれたビデオデータがどのパースペクティブあるいは層に対応するかを表示する。
3)complementary_typeフィールドのフィールド値が2と同一である場合、complementary_typeフィールドは、相補型ビデオデータがフレーム−インターリーブ(frame−interleave)され、フル解像度の映像を再構成(あるいは再建)するための相補型フレームを含むことを示す。
本発明の実施例によれば、フル解像度は時間解像度を意味する。この場合に、相補型ビデオデータは、フレーム単位で(あるいはフレーム別に)インターリーブされた映像データを含むことができ、そして、フレーム別に(あるいはフレーム順次に)ビデオデータを含むこともできる。complementary_first_flagフィールドは、相補型ビデオコンポーネントを介して受信されているビデオフレームが、ベースビデオコンポーネントを介して受信されているビデオフレームの前に位置するか、または後に位置するかを受信システムに知らせることができる。
4)complementary_typeフィールドのフィールド値が3と同一である場合、complementary_typeフィールドは、相補型ビデオデータがフィールドインターリーブ(fieldinterleave)され、フル解像度の映像を再構成(あるいは再建)するための相補型フレームを含むことを示す。
本発明の実施例によれば、フル解像度は時間解像度を意味する。この場合に、相補型ビデオデータは、フィールド単位で(あるいはフィールド別に)インターリーブされた映像データを含むことができ、そして、フィールド別にビデオデータを含むこともできる。complementary_first_flagフィールドは、相補型ビデオコンポーネントを介して受信されているビデオフィールドが、フル解像度の映像に対する偶数フィールドに対応するか、または奇数フィールドに対応するかを受信システムに知らせることができる。
5)complementary_typeフィールドのフィールド値が4と同一である場合、complementary_typeフィールドは、相補型ビデオデータがフル解像度の映像を再構成(あるいは再建)するための残留(residual)あるいは増分(incremental)データを含むことを示すことができる。
本発明の実施例によれば、ベースビデオコンポーネントの立体−マルチプレクシングフォーマットに関係なく、相補型ビデオコンポーネントは、フル解像度の映像を再構成(あるいは再建)するための残留あるいは増分データを含む。この場合に、相補型ビデオデータとベースビデオデータを結合させる前に、受信システムは、ベースビデオデータに対して補間あるいはダブリング(doubling)を行うことができる。
図38は、PMTでの3D相補型ビデオデスクリプタのシグナリングの実施例を例示する。言い換えると、PMT内の3D相補型ビデオデスクリプタは、フル解像度の3D立体プログラムを構成する相補型ビデオ要素を提供する。
3D_complementary_video_descriptor_PMTは、PMT内でES_info_lengthフィールドの後に位置し、エレメンタリーストリーム(elementary stream)に対応する情報を含む。それぞれのフィールドの意味は3D_complementary_video_descriptor_VCTと同一である。codec_typeが、PMT内でstream_typeフィールドで代替されてもよく、この場合、3D相補型ビデオデスクリプタは省略してもよい。
次いで、PMTを使用して3D相補型ビデオ情報をシグナリングするための方法が詳細に説明される。
図39は、本発明の実施例に係る3D相補型ビデオ情報を含むPMTのシンタックス構造を例示する。
図39のPMTに含まれたフィールドは、次のように説明される。‘table_id’フィールドは、‘TS_program_map_section’フィールドにおいて常に‘0x02’に設定される8−ビットのフィールドである。
‘section_syntax_indicator’フィールドは、‘1’に設定される1−ビットのフィールドである。
‘section_length’フィールドは、先頭の2ビットが‘00’に設定される12−ビットのフィールドであり、そして、‘section_length’フィールドの直後に始まり、そして、CRCを含むセクションのバイトの数を特定する。
‘program_number’フィールドは、16−ビットのフィールドであり、これは、‘program_map_PID’フィールドが適用可能なプログラムを特定する。
‘version_number’フィールドは、5−ビットのフィールドであり、これは、‘TS_program_map_section’フィールドのバージョン番号を表示する。
‘current_next_indicator’フィールドは、1−ビットのフィールドである。‘current_next_indicator’フィールドのビットが‘1’に設定される場合、これは、伝送された‘TS_program_map_section’フィールドが現在適用可能であることを意味する。‘current_next_indicator’フィールドのビットが‘0’に設定された場合、これは、伝送された‘TS_program_map_section’フィールドがまだ適用不可能であり、次の‘TS_program_map_section’フィールドが有効になるということを意味する。
‘section_number’フィールドは、‘0x00’となる8−ビットのフィールドの値を含む。
‘last_section_number’フィールドは、‘0x00’となる8−ビットのフィールドの値を含む。
‘PCR_PID’は、‘program_number’フィールドによって特定されたプログラムに対して有効なPCRフィールドを含む伝送ストリーム(TS)パケットのPIDを表示する13−ビットのフィールドである。この場合、いかなるPCRもプライベートストリーム(private stream)に対するプログラムの定義と関連しなければ、このフィールドは、‘0x1FFF’の値を取ることになる。
‘program_info_length’フィールドは、12−ビットのフィールドであり、その先頭の2ビットは‘00’である。‘program_info_length’フィールドは、‘program_info_length’フィールドの直後のデスクリプタのバイトの数を特定する。
‘stream_type’フィールドは、PID(その値は、‘elementary_PID’フィールドによって特定される)を有するパケット内で運搬されるエレメンタリーストリームあるいはペイロード(payload)のタイプを特定する8−ビットのフィールドである。追加的に、‘stream_type’フィールドは、対応するビデオ要素のコーディングタイプを表示することができる。例示的なコーディングタイプとして、JPEG、MPEG−2、MPEG−4、H.264/AVC、H.264/SVCあるいはH.264/MVC技法を用いることができる。
‘elementary_PID’フィールドは、関連するエレメンタリーストリームあるいはペイロードを運搬する伝送ストリーム(TS)パケットのPIDを特定する13−ビットのフィールドである。このPIDは、1次ビデオデータ(primary video data)あるいは2次ビデオデータ(secondary video data)として用いることができる。
‘ES_info_length’フィールドは、12−ビットのフィールドであり、その先頭の2ビットは‘00’となる。‘ES_info_length’フィールドは、‘ES_info_length’フィールドの直後の、関連するエレメンタリーストリームのデスクリプタのバイトの数を特定することができる。
‘CRC_32’フィールドは、伝送ストリームプログラムマップセクション全体のプロセシングの後、Annex Bにおいて定義されたデコーダ内のレジスタのゼロ(0)出力を提供するCRC値が含まれた32−ビットのフィールドである。
デスクリプタフィールド11010は3D相補型ビデオ情報を含み、これについては、添付の図面を参照して詳細に後述する。
次いで、相補型ビデオデータに含まれた相補型ビデオESを通じて3D相補型ビデオ情報をシグナリングするための方法について詳細に後述する。
図40は、本発明の実施例に係る、3D相補型ビデオ情報を含むビデオESのピクチャ拡張及びユーザデータ(Picture Extension and user Data)のシンタックス構造を例示する。
本発明の実施例によれば、ATSC遠隔通信システムは、PISP階の代わりに、ビデオESのヘッダー情報に3D相補型ビデオ情報を含むことができ、対応する情報をシグナリングすることができる。より具体的に、3D相補型ビデオ情報(complementary_video_info())13030は、相補型ビデオESに含まれてもよく、それによって伝送されるようになり、そして、ビデオデコーダ内の対応する情報をパージングすることによって、受信システムは、ディスプレイ出力を制御するために要求される情報を獲得することができる。
本発明の実施例によれば、相補型ビデオデータが、MPEG−2ビデオコーディング技法を用いてエンコーディングされるとき、3D相補型ビデオ情報は、ピクチャ拡張及びユーザデータのuser_data()13010内に含まれてもよく、それによって伝送されることになる。ピクチャ拡張及びユーザデータは、ピクチャヘッダー及びピクチャコーディング拡張の後に受信されてもよくて、それによってデコーディングされる。
図40の実施例において、user_data_start_codeフィールドのフィールド値は、0x0000 01B2に固定される。
user_data_identifier(あるいはATSC_identifier)フィールドのフィールド値は、0x4741 3934の値が与えられる32−ビットのコードに対応する。
user_data_type_codeフィールドは、ATSCユーザデータ13020のデータタイプを表示し、8ビットのフィールド値を有することができる。本発明の実施例によれば、0x10の値を用いることによって、このフィールドは、3D相補型ビデオ情報13030が含まれていることを示すことができる。
H.264あるいはAVCビデオの場合に、対応する情報は、図41に例示したようにSEI(Supplemental Enhancement Information)領域に伝送される。user_identifier及びuser_structureがuser_data_registered_itu_t_135()に含まれる。したがって、対応する情報が、user_data()の代わりにSEIペイロードで伝達される。
以下では、3DビデオサービスSpec−Bから受信された、ベースビデオデータ、相補型ビデオデータ、及び3D相補型ビデオデータを用いてフル解像度の映像を提供するための方法が詳細に説明される。
図42は、本発明の実施例に係る、3DビデオサービスSpec−Bから受信されたベースビデオデータ、相補型ビデオデータ、及び3D相補型ビデオ情報を用いてフル解像度の映像を提供するための方法を例示する。
図42の実施例において、ベースビデオデータの映像はトップ−ボトムフォーマットで受信され、ここで、左側映像は上側に位置し、右側映像は下側に位置する。3D相補型ビデオ情報の場合に、complementary_typeフィールドのフィールド値は‘0x0000’として表示され、naive_subsampling_flagフィールドのフィールド値は‘1’として表示され、left_image_first_flagフィールドのフィールド値は‘1’として表示され、そして、complementary_first_flagフィールドのフィールド値は‘0’として表示される。より具体的には、3D相補型ビデオ情報は、相補型ビデオデータがライン−インターリーブでプロセシングされることを表示し、ローパスフィルタリング及びハイパスフィルタリングはサブサンプリングの実行時に行われないことを表示し、左側視覚に対応するビデオデータが先に提示されることを表示し、そして、ベースビデオに対応するビデオデータが、相補型ビデオに対応するビデオデータよりも先行することを表示する。
3D相補型ビデオ情報に従って、受信システムは、トップ−ボトムフォーマットのベースビデオフレーム16010から左側映像部分Lb1〜Lb5を抽出し、相補型ビデオフレーム16020から左側映像部分Lc1〜Lc5を抽出し、そして、抽出されたビデオデータをライン別に再構成(あるいは再建)し、それによって、フル解像度の左側映像16030が獲得される。同様に、3D相補型ビデオ情報に従って、受信システムは、トップ−ボトムフォーマットのベースビデオフレーム16010から右側映像部分Rb1〜Rb5を抽出し、相補型ビデオフレーム16020から右側映像部分Rc1〜Rc5を抽出し、そして、抽出されたビデオデータをライン別に再構成(あるいは再建)し、それによって、フル解像度の右側映像16040が獲得される。
受信システムが、獲得されたフル解像度の左側映像16030及び右側映像16040をフレーム順次技法を用いてディスプレイすることができる。この場合、2つのフレーム16030,16040は、1つのフレーム16010からフレーム単位で発生したので、時間的フル解像度のディスプレイが利用可能となる。
図43は、本発明の更に他の実施例に係る、3DビデオサービスSpec−Bから受信されたベースビデオデータ、相補型ビデオデータ、及び3D相補型ビデオ情報を用いてフル解像度の映像を提供するための方法を例示する。
図43の実施例において、ベースビデオデータの映像はトップ−ボトムフォーマットで受信され、ここで、左側映像は上側に位置し、右側映像は下側に位置する。3D相補型ビデオ情報の場合に、complementary_typeフィールドのフィールド値は‘0x0000’として表示され、naive_subsampling_flagフィールドのフィールド値は‘0’として表示され、left_image_first_flagフィールドのフィールド値は‘1’として表示され、そして、complementary_first_flagフィールドのフィールド値は‘0’として表示される。より具体的には、3D相補型ビデオ情報は、相補型ビデオデータがライン−インターリーブでプロセシングされることを表示し、ローパスフィルタリング及びハイパスフィルタリングはサブサンプリングの実行時に行われなければならないことを表示し、左側視覚に対応するビデオデータが先に提示されることを表示し、そして、ベースビデオに対応するビデオデータが、相補型データに対応するビデオデータよりも先行することを表示する。
まず、3D相補型ビデオ情報に従って、受信システムは、ベースビデオフレームに対してローパスフィルタリングを行い、それによって、フィルタリングされたベースビデオフレームLb1’〜Lb5’及びRb1’〜Rb5’が獲得される。また、受信システムは、相補型ビデオフレームに対してハイパスフィルタリングを行い、それによって、フィルタリングされた相補型ビデオフレームLc1’〜Lc5’及びRc1’〜Rc5’が獲得される。
3D相補型ビデオ情報に従って、受信システムは、トップ−ボトムフォーマットのベースビデオフレームから、ローパスフィルタリングされた左側映像部分Lb1’〜Lb5’を抽出し、相補型ビデオフレームから、ローパスフィルタリングされた左側映像部分Lc1’〜Lc5’を抽出する。その後、受信システムは、抽出されたビデオデータをライン別に再構成(あるいは再建)し、それによってフル解像度の左側映像17030が獲得される。同様に、3D相補型ビデオ情報に従って、受信システムは、トップ−ボトムフォーマットのベースビデオフレームから、ローパスフィルタリングされた右側映像部分Rb1’〜Rb5’を抽出し、相補型ビデオフレームから、ローパスフィルタリングされた右側映像部分Rc1’〜Rc5’を抽出する。その後、受信システムは、抽出されたビデオデータをライン別に再構成(あるいは再建)し、それによってフル解像度の右側映像17040が獲得される。
受信システムが、獲得されたフル解像度の左側映像17030及び右側映像17040をフレーム順次技法を用いてディスプレイすることができる。この場合、2つのフレーム17030,17040は、1つのフレーム17010からフレーム単位で発生したので、時間的フル解像度のディスプレイが利用可能となる。
図44は、本発明の更に他の実施例に係る、3DビデオサービスSpec−Bから受信されたベースビデオデータ、相補型ビデオデータ、及び3D相補型ビデオ情報を用いてフル解像度の映像を提供するための方法を例示する。
図44の実施例において、ベースビデオデータの映像は、トップ−ボトムフォーマットで受信され、ここで、左側映像は上側に位置し、右側映像は下側に位置する。3D相補型ビデオ情報の場合に、complementary_typeフィールドのフィールド値は‘0x0004’として表示され、naive_subsampling_flagフィールドのフィールド値は‘1’として表示され、left_image_first_flagフィールドのフィールド値は‘1’として表示され、そして、complementary_first_flagフィールドのフィールド値は‘0’として表示される。より具体的には、3D相補型ビデオ情報は、相補型ビデオデータがベースビデオデータ(0x0004)に対する残留ビデオデータを含むことを表示し、ローパスフィルタリング及びハイパスフィルタリングはサブサンプリングの実行時に行われないことを表示し、左側視覚に対応するビデオデータが先に提示されることを表示し、そして、ベースビデオに対応するビデオデータが、相補型ビデオに対応するビデオデータよりも先行することを表示する。
受信システムは、先に受信されたベースフレーム18010に対してライン別補間を行い、それによって、空間的に2倍になったビデオフレーム18040が獲得される。その後、受信システムは、補間されたラインLi1,Li2,...,Ri5を相補型ビデオフレーム18020の残留データラインLc1〜Lc10及びRc1〜Rc10と結合させる。その後、該結合されたラインをライン別にベースビデオフレームのラインと共に位置させることによって、フル解像度の左側映像18050及び右側映像18060が獲得される。本発明の実施例によれば、左側映像の場合、補間されたベースビデオフレーム18040のラインLi1は、相補型ビデオフレーム18020のラインLc1及びLc2のデータと結合され、それによって、フル解像度の映像18050のライン映像Lc1が獲得される。次いで、該ライン映像Lc1をライン映像Lb1とLb2との間に位置させる方法を用いることによって、フル解像度の左側映像18050を獲得することができる。
受信システムは、獲得されたフル解像度の左側映像18050及び右側映像18060をフレーム順次技法を用いてディスプレイすることができる。この場合、2つのフレーム18050,18060は、1つのフレーム18010からフレーム単位で発生したので、時間的フル解像度のディスプレイが利用可能となる。
図45は、本発明の更に他の実施例に係る、3DビデオサービスSpec−Bから受信されたベースビデオデータ、相補型ビデオデータ、及び3D相補型ビデオ情報を用いてフル解像度の映像を提供するための方法を例示する。図45の実施例において、ベースビデオデータの映像は、チェッカーボードフォーマットで受信され、ここで、左側映像は、左側端部(left−end portion)の最上位ピクセル(uppermost pixel)に位置する。3D相補型ビデオ情報の場合に、complementary_typeフィールドのフィールド値は‘0x0001’として表示され、naive_subsampling_flagフィールドのフィールド値は‘1’として表示され、left_image_first_flagフィールドのフィールド値は‘1’として表示され、そして、complementary_first_flagフィールドのフィールド値は‘0’として表示される。より具体的には、3D相補型ビデオ情報は、相補型ビデオデータがベースビデオ映像(0x0001)に対する相補型ビデオ映像のライン−交互順序(line−alternating order)を含むことを表示し、ローパスフィルタリング及びハイパスフィルタリングはサブサンプリングの実行時に行われないことを表示し、左側視覚に対応するビデオデータが先に提示されることを表示し、そして、ベースビデオに対応するビデオデータが、相補型データに対応するビデオデータよりも先行することを表示する。
受信システムは、3D相補型ビデオ情報を用いることによって、それぞれの順序に従ってそれぞれのラインに対して、受信されたベースビデオフレーム19010に含まれた左側視覚のピクセルと右側視覚のピクセルを整列し、そして、受信された相補型ビデオフレーム19020に含まれた左側視覚のピクセルと右側視覚のピクセルを整列する。したがって、フル解像度の左側映像19030及び右側映像19040を獲得することができる。また、本発明の実施例によれば、受信システムは、受信されたベースビデオフレーム19010及び相補型ビデオフレーム19020をサイド−バイ−サイドフォーマットあるいはトップ−ボトム映像フォーマットで再構成(あるいは再建)する。その後、受信システムは、再構成されたビデオフレームを3D相補型ビデオ情報に従って整列し、それによって、フル解像度の左側映像19030及び右側映像19040が獲得される。
受信システムは、獲得されたフル解像度の左側映像19030及び右側映像19040をフレーム順次技法を用いてディスプレイすることができる。この場合、2つのフレーム19030,19040は、1つのフレーム19010からフレーム単位で発生したので、時間的フル解像度のディスプレイが利用可能となる。
ベースビデオコンポーネントと相補型ビデオコンポーネントとを結合させることによってフル解像度のビデオコンポーネントを獲得する受信システムの動作は、本発明の上述した実施例に係る様々な実施例によって行われてもよい。
本発明の実施例によれば、ベースビデオコンポーネントをBとし、そして、相補型ビデオコンポーネントをCとし、そして、フル解像度のビデオコンポーネントをFとする場合、次のような動作シナリオが利用可能である。
ケース1(case1):F=B+C
ケース2(case2):F=B’+C
ケース3(case3):F=B’+C”
ここで、B’及びC’は、補間/フィルタリングでプロセシングされたB及びCにそれぞれ対応する。
ケース1は、naive_subsampling_flagフィールドのフィールド値が‘1’と同じ例に対応する。したがって、このケースは、2つのサブサンプリングされたビデオコンポーネントがインターリーブされ、整列される実施例に対応する。
ケース2は、Bが補間/フィルタリングでプロセシングされ、その後にCと結合され、それによってFが獲得される例に対応する。ここで、Cは、残留/増分データフォーマットに対応し得る。(特に、SVCコーディング技法が用いられる場合に、この形態の結合が行われてもよい。)
ケース3は、naive_subsampling_flagフィールドのフィールド値が‘0’と同じ例に対応する。したがって、このケースは、BとCの両方とも補間/フィルタリングでプロセシングされ、B’がC”と結合され、それによってFが獲得される実施例に対応する。
図46は、SDTを用いて3DTVサービスをシグナリングすることを示す他の実施例である。
サービスデスクリプタは、(ビデオデータがSpec−Bの支援のために含まれるか否かをシグナリングする)3DTV 2.0サービスであることを表示するサービスタイプを含む。また、descriptor()は、Spec−Bに対応する3DTVサービスを構成する相補型ビデオコンポーネントに関する情報を含む。
図47は、本発明の実施例に係る、Spec−Bを支援するためのフル解像度の立体3DTVサービスのサービスタイプを例示する。サービスタイプの値は、DVBのサービスデスクリプタに含まれたSDTのデスクリプタループに含まれてもよい。従来のSpec−Aと比較して、本発明に係る改善点は次の通りである。
1)Spec−A及びSpec−Bサービスは個別的に定義されるが、それぞれのサービスを構成するストリームは共有される。Spec−Bの場合において、サービスタイプは、図47で説明したように定義される。サービスを構成するベース層ストリームが共有されてもよく、そして、さらに、Spec−Bサービスは、フル解像度の3DTVサービスを提供するためにエンハンスメント層ストリームを含む。
2)単にSpec−Aを構成してフル解像度のサービスを提供することも可能である。この場合、エンハンスメントストリームは個別値を持たず、これによって、従来のSpec−A受信機は、エンハンスメントストリームを無視することになり、単にベース層ストリームでハーフ解像度を提供することになる。Spec−B支援受信機において、エンハンスメントストリームが認識され、受信機は、フル解像度のサービスを提供するためにベース層と結合することになる。
図48は、SDTを用いて3DTVサービスをシグナリングするために付加されるService_typeを例示する。図49は、従来のコンポーネントデスクリプタのシンタックスを例示する。そして、図50は、DVB放送システムにおいてフル解像度の3D立体サービスを表示するためのstream_content及びcomponent_typeの定義及び説明を例示する。
DVBのために構成されたそれぞれのエレメンタリーストリームは、SDTのデスクリプタ内にコンポーネントデスクリプタを加えることによってシグナリングを行う。本発明において、stream_content及びcomponent_typeは、フル解像度の3D立体サービスを提供するために3D相補型ビデオを分離するように、図50に示したように定義される。MPEG−2ビデオに対して、ストリームのタイプを表示するストリームタイプは0x01として定義され、そして、H.264ビデオに対して、これは0x05であるものと定義される。
図51は、本発明の実施例に係る、SDTに含まれた3D相補型ビデオデスクリプタのシンタックス構造を例示する。
3D_complementary_video_descriptor_SDTは、SDTでのdescriptors_loop_lengthフィールドのデスクリプタ内に位置し、3D相補型エレメンタリーストリームに関する情報を含む。それぞれのフィールドの意味は、図36で例示したように、3D_complementary_video_descriptor_VCTと同一である。codec_typeが、SDTでのコンポーネントデスクリプタ内でstream_content及びcomponent_typeフィールドで代替されてもよく、この場合、これはまた3D相補型ビデオデスクリプタから省略されてもよい。
さらに、component_tagは、PMTのES_loopのESとコンポーネントデスクリプタとの関係を表示するために使用することができる。
3D相補型ビデオデスクリプタをTVCTを介して受信する受信機動作プロセスが説明される。
まず、TVCTのservice_typeを使用して、対応する仮想チャネルがフル解像度の立体3DTVサービスを提供するか否かが決定される。また、Spec−Bを支援する受信機は、フル解像度の立体3DTVサービスが提供されるか、あるいは、ハーフ解像度の立体3DTVサービスと同一のservice_typeを使用することによって、3D相補型ビデオデスクリプタの存在によってそうでないかを決定することができる。
次に、もし、フル解像度の立体3DTVサービスが提供されると、3D立体ベースビデオコンポーネントのelementary_PID情報(PID_B)が立体フォーマットデスクリプタを使用して受信される。
その後、相補型ビデオコンポーネントに関するエレメンタリーPID情報(PID_C)が3D相補型ビデオデスクリプタを使用して受信される。
PID_Bに対応するベースビデオがデコーディングされ、その後、PID_Cに対応する相補型ビデオ信号がデコーディングされる。
フル解像度の左側映像及び右側映像が、3D相補型ビデオデスクリプタに含まれたcomplementary_type、left_image_first_flag、及びcomplementary_first_flagを使用してベースビデオと相補型ビデオ信号とを結合することによって獲得される。その後、左側映像及び右側映像が、ユーザに3Dディスプレイを提供するためにフル解像度の立体ディスプレイに出力される。
図52は、本発明の実施例に係る、3D相補型ビデオデスクリプタがPMTを介してどのように受信されるかを例示する。
まず、PMTから、シグナリングされたエレメンタリーストリームにおいてSpec−Aに対応するストリームが識別される。次に、PMTから、シグナリングされたエレメンタリーストリームにおいて相補型ビデオストリームが識別される。TVCTを介して提供された情報及びprogram_numberフィールドを用いて、マッピング(mapping)が行われる。その後、ベースビデオが相補型ビデオ信号のデコーディングと共にデコーディングされる。
その後、左側映像及び右側映像を有するフル解像度が獲得される。最後に、フル解像度の立体ディスプレイが、ユーザに3Dとしてディスプレイされる。
図53は、3D信号をパージングすることによって立体ビデオ信号を出力するためのフロープロセスを例示する。このプロセスは、以下で説明される。
まず、SDTが獲得され、TSパケットがフィルタリングされる。その後、対応するサービスに関するPMT情報が獲得される。SDT内でのサービスループを調べることによって、Spec−B 3Dサービスタイプ情報が獲得され、格納される。サービスに対応するPMT情報が獲得され、格納される。リンケージデスクリプタ(linkage descriptor)を通じて、Spec−A及びSpec−B情報が決定される。Spec−Bに対するPMT情報が、相補型ビデオストリームに対するPID情報を決定するために用いられる。
もし、受信機がSpec−Bを受信できれば、Spec−B 3Dビデオを提供するservice_idが選択され、相補型ビデオストリームのPIDフィルター及び従来のA/Vストリームと共に、ビデオ/オーディオに関するESデコーディングが行われる。その後、フル解像度の3Dビデオが再構成制御によって出力され、3Dビデオ出力の変換が、相補型ビデオデスクリプタ情報を用いて行われる。
もし、受信機がSpec−Aを受信できれば、Spec−Aに含まれたフレーム−互換可能ビデオによって提供されるservice_idが選択される。その後、ビデオ/オーディオESデコーディング及びPIDフィルターがA/Vストリームに関して行われる。最後に、ハーフ解像度の3Dビデオが出力される。
図54は、Spec−AイベントとSpec−Bイベントとを連結させるイベント連結を拡張させるプロセスを詳細に例示する。従来のSDイベント及びHDイベントにおいて、ターゲットイベントサービスタイプに関する個別情報は提供されなかった。target_event typeを拡張させることによって、2D HD、ハーフ解像度の3D、フル解像度の3Dが区分可能である。そして、これに基づいて、ハーフ解像度の3Dイベントとフル解像度の3Dイベント間の連結が存在する。
図55は、3D_complementary_video_descriptorの位置が、ATSC PSIP EITに対するフル解像度の3D TVサービスガイドを提供するためにevent_information_table_section()内にあることを例示する。
descriptor()は、フル解像度の3D TVサービスがそれぞれのプログラム及びイベントに対して利用可能であるか否かを表示するために、forループ内にある。
図56は、DVB SI EITのevent_information_section()のforループ内に、コンポーネントデスクリプタあるいは3D_complementary_video_descriptorの位置を表示する。
上記で言及したように、ATSC伝送において、3D_Complementary_video_descriptor_TVCTがEITに含まれてフル解像度の3DTVにシグナリングし、DVBに対して、ATSCに対する同一の方法に追加して、コンポーネントデスクリプタも使用される。
図57は、ATSC PSIP EITに対する3D相補型ビデオデスクリプタをパージング及びレンダリングするプロセスを例示し、図58は、DVB SI EITに対するプロセスを例示する。
ATSC PSIP EITにおいて、0x1FFBのPID値を有するTSパケットに対してフィルタリングが行われる。次いで、0xC7及び0xC8と同一のテーブルidを有するセクションデータがパージングされる。次いで、MGTから、EITを有するストリームのPIDに関する情報が獲得される。次いで、獲得されたEIT PIDからTSパケットがフィルタリングされる。EIT内のそれぞれのイベントの3D相補型ビデオデスクリプタを使用して、それぞれのVCイベントの3D相補型ビデオに関する情報が獲得される。
その後、放送ガイド情報に関するフル解像度3Dサービスの利用可能度が、3D放送イベントに関するフル解像度モードを見るために表示される。次いで、TVCT内のSLDを使用する基本的なA/VストリームのPIDの情報が獲得される。EITから、3D相補型ビデオデスクリプタを通じて3D相補型ビデオの情報の獲得が行われる。次いで、基本的なA/VストリームのPIDのフィルタリングが行われ、ビデオ/オーディオESデコーディングが行われる。
最後に、フル解像度の3Dビデオの出力が、相補型ビデオデスクリプタ情報を用いて、出力フォーマッタ(output formatter)からの変換及びフル解像度3Dビデオの再構成制御によって行われる。
図58は、DVB SI EITに対する3D相補型ビデオデスクリプタをパージング及びレンダリングするプロセスを示す。
まず、TSパケットがPID値(0x0011)に対してフィルタリングされる。次いで、table_id=0x42を有するセクションデータがパージングされる。PID(0x0012)を有するTSパケットがフィルタリングされ、table_id=0x4Eを有するセクションデータがパージングされる。ATSCとDVBとの差異は、DVBにおいて、3D相補型ビデオデスクリプタあるいはコンポーネントデスクリプタが3D相補型ビデオストリームの存在を決定するために使用され得るという点である。
最後に、図59は、3Dビデオデコーダを備えた放送受信機のブロック図を例示する。
2つの層でのビデオストリームは、新しい世代の放送受信機を経ることになり、ベース層ビデオストリームは、1次ビデオデコーダでデコーディングされる。
エンハンスメント層ビデオストリームは、2次ビデオデコーダでデコーディングされる。さらに、PSI/PSIP/SIプロセッサは、新しい世代のATSCスペック(spec)及びDVBスペックから3D立体情報をパージングし、ここで、PMT/TVCT/SDTは、3Dサービスを支援するために新たなシグナリングシンタックスを含む。そして、次世代受信機は、フル解像度3Dビデオフォーマットを、様々な種類の3DTVあるいは3Dディスプレイに応じて、特定の立体フォーマットに変換することができる。
図60は、本発明の一実施例に係る、3Dサービス2.0(Spec−B)の概念図を例示する。
同図は、本発明の実施例に係る3Dサービスの概念図を示す。同図の実施例によれば、フル解像度の映像を提供する3DサービスC10000は、3Dサービス2.0(Spec−B)及び/又は3Dサービス2Bと呼ぶことにする。ハーフ解像度の映像を提供する3Dサービス1.0 C10010は、以下で、Frame Compatible 3Dサービス(FC−3Dサービス)、3Dサービス1.0(Spec−A)、及び/又は3Dサービス1Aと呼ぶことにする。
3Dサービス1.0(Spec−A) C10010は、ハーフ解像度の左側映像及びハーフ解像度の右側映像としてサービスされてもよい。フル解像度の映像を提供する3Dサービス2.0(Spec−B) C10020は、フル解像度の映像を新たに伝送する代わりに、3Dサービス1.0(Spec−A) C10010と互換可能でなければならないので、3Dサービス1.0(Spec−A) C10010の映像伝送を維持し、そして、フル解像度の映像を伝送するための差動データ(differential data)あるいは追加データを提供する方法が用いられてもよい。より具体的に、3Dサービス1.0(Spec−A) C10010のハーフ解像度のビデオ要素に3Dサービス2.0(Spec−B)の相補型ビデオ要素(complementary video element) C10020を加えることによって、フル解像度の3DサービスC10000が提供され得る。結局、3Dサービス1.0(Spec−A)を支援し得る放送受信機は、3Dサービス1.0(Spec−A) C10010のデータを受信及びプロセシングすることによって、ハーフ解像度の映像を提供することができ、3Dサービス2.0(Spec−B)を支援し得る放送受信機は、3Dサービス1.0(Spec−A) C10010のデータ及び3Dサービス2.0(Spec−B)の相補型データを受信及びプロセシングすることによって、フル解像度の映像を提供することができる。
図61は、本発明の一実施例に係る、3Dサービス2.0(Spec−B)をシグナリングする方法を示す図である。
3Dサービス2.0(Spec−B)をシグナリングするシグナリング情報は、システムレベル及び/又はビデオレベルで定義されてもよい。
システムレベルで定義される場合、シグナリング情報は、PSI、ATSC−PSIP、及び/又はDVB−SIなどに含まれてもよい。本発明の実施例によれば、PSIテーブルは、PAT、及び/又はPMTを含むことができる。また、DVB SIテーブルは、NIT、SDT、及び/又はEITを含むことができる。また、ATSC PSIPテーブルは、VCT、STT、RRT、ETT、DCCT、DDCSCT、EIT、及び/又はMGTを含むことができる。PSIテーブル、DVB SIテーブル、及び/又はATSC PSIPテーブルに関する具体的な内容は、前述した内容と同一であるので、前述した内容で代替する。以下では、シグナリング情報がPSIテーブル及び/又はDVB SIテーブルで定義される場合を中心に説明する。
ビデオレベルで定義される場合、シグナリング情報は、ビデオESのヘッダーに含まれてもよい。ビデオデータがMPEG−2またはMPEG−4ビデオコーディング技法を用いてエンコーディングされる場合、シグナリング情報は、ピクチャ拡張及びユーザデータのuser_data()13010内に含まれてもよい。ビデオデータがH.264/AVCまたはH.265/HEVCビデオコーディング技法を用いてエンコーディングされる場合、シグナリング情報はSEI(Supplemental Enhancement Information)メッセージに含まれてもよい。シグナリング情報がビデオレベルで定義されることは、ATSC伝送過程だけでなく、DVB伝送過程でも同一に適用され得る。以下では、シグナリング情報が、ビデオデータがH.264/AVCビデオコーディング技法を用いてエンコーディングされる場合を中心に説明する。
シグナリング情報は、サービスデスクリプタ、ベースレイヤのコンポーネントデスクリプタ、及び/又はエンハンスメントレイヤのコンポーネントデスクリプタを含むことができる。サービスデスクリプタ、ベースレイヤのコンポーネントデスクリプタ、及び/又はエンハンスメントレイヤのコンポーネントデスクリプタについての具体的な内容は後述する。
以下では、MPEG及び/又はDVB標準において3Dサービス2.0(Spec−B)をシグナリングする方法を中心に説明する。
図面を参照すると、3Dサービス2.0(Spec−B)のシグナリングのためのシグナリング情報は、PMT、ビデオES、サブタイトル、SDT、及び/又はEITのうちの少なくとも1つに含まれるデスクリプタ及び/又はフィールドであってもよい。
PMTは、AVC_video_descriptor及び/又はサブタイトリングデスクリプタを含むことができる。また、各ビデオESはSEIメッセージを含むことができ、サブタイトルはディスパリティー情報及び/又はDisparity Signalling Segment(DSS)を含むことができる。また、SDTは、service descriptor及び/又はcomponent descriptorを含むことができる。EITは、extended event linkage、component descriptor、content descriptor、及び/又はvideo depth range descriptorを含むことができる。シグナリング情報に関する具体的な内容は、以下で説明する。
3Dサービス1.0(Spec−A)を支援できる受信機は、シグナリング情報に基づいてベース層のベースビデオデータ及び/又は3Dビデオ情報を受信及びプロセシングすることによって、ハーフ解像度の3D映像を提供することができる。また、3Dサービス2.0(Spec−B)を支援できる受信機は、シグナリング情報に基づいて、ベース層のベースビデオデータ及び/又は3Dビデオ情報だけでなく、エンハンスメント層の相補型ビデオデータ及び/又は3D相補型ビデオ情報を受信及びプロセシングすることによって、フル解像度の3D映像を提供することができる。
本発明の実施例に係るベースビデオデータ、3Dビデオ情報、相補型ビデオデータ、3D相補型ビデオ情報、及び/又は3DTVサービスを提供する具体的な方法は、前述した内容と同一であるので、前述した内容で代替する。
以下では、シグナリング情報について具体的に説明する。
まず、シグナリング情報はAVC_video_descriptorを含むことができる。
AVC_video_descriptorは、AVCビデオストリームのSequence Parameter Set(SPS)に含まれたプロファイル(profile)及び/又はレベルパラメータ(level parameters)のような、関連するAVCビデオストリームのコーディングパラメータを識別する基本情報を含むことができる。AVC_video_descriptorは、3Dサービスを伝送するトランスポートストリーム(Transport Stream)のPMTにおいてそれぞれのエレメンタリーストリームエントリー(elementary stream entry)に対してデスクリプタループ(Descriptor loop)に含まれてもよい。SPSは、プロファイル及び/又はレベルなどのシーケンス全体の符号化にわたっている情報が含まれているヘッダー情報である。
AVC_video_descriptorは、descriptor_tag field、descriptor_length field、profile_idc field、constraint_set0_flag field、constraint_set1_flag field、constraint_set2_flag field、AVC_compatible_flags field、level_idc field、AVC_still_present field、AVC_24_hour_picture_flag field、及び/又はReserved fieldを含むことができる。
descriptor_tag fieldは、AVC_video_descriptorを識別する情報を含むことができる。
descriptor_length fieldは、AVC_video_descriptorの大きさを示す情報を含むことができる。
profile_idc fieldは、ビットストリームが基にしているプロファイルを示すことができる。例えば、プロファイルは、Baseline profile、Main profile、及び/又はExtended profileを含むことができる。
constraint_set0_flag fieldは、Baseline profileにデコーディング可能であるか否かを示すことができる。
constraint_set1_flag fieldは、Main profileにデコーディング可能であるか否かを示すことができる。
constraint_set2_flag fieldは、Extended profileにデコーディング可能であるか否かを示すことができる。
AVC_compatible_flags fieldは、‘0’の値を有する5ビットのデータであってもよい。デコーダは、この5ビットを無視し得る。
level_idc fieldは、ビットストリームのレベルを示すことができる。各プロファイルでは、映像の大きさに応じてレベルが定められる。レベルは、対応する映像の大きさに応じてパラメータの制限を規定する。level_idc fieldは、5つのレベル及びその中間レベルを含むことができる。
AVC_still_present fieldは、AVCビデオストリームがAVC still picturesを含んでいるか否かを示すことができる。AVC still picturesは、IDR pictureを含むAVC Access Unitを含むことができる。IDR pictureは、IDR pictrueを正確にデコーディングするための十分な情報を伝送するSPS(Sequence Parameter Set)NAL unit及び/又はPPS(Picture Parameter Set)NAL unitなどに後続してもよい。
AVC_24_hour_picture_flag fieldは、関連するAVCビデオストリームがAVC 24−hour picturesを含んでいるか否かを示すことができる。AVC 24−hour pictureは、24時間以上の未来のプレゼンテーションタイムを含むAVC Access Unitを意味する。
AVC_video_descriptorは、Frame_Packing_SEI_not_present_flag fieldをさらに含むことができる。
Frame_Packing_SEI_not_present_flag fieldは、コーディングされたビデオシーケンス(または、ビデオES)にframe packing arrangement SEI messageが存在するか否かを示すことができる。Frame_Packing_SEI_not_present_flag fieldは、ビデオシーケンスが3DTVビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを示すことができる。
例えば、3Dビデオフォーマットの伝送の間、Frame_Packing_SEI_not_present_flag fieldは、コーディングされたビデオシーケンスにframe packing arrangement SEI messageが存在することをシグナルするために‘0’にセットされてもよい。また、HDTVビデオフォーマットの伝送の間、Frame_Packing_SEI_not_present_flag fieldは、コーディングされたビデオシーケンスにframe packing arrangement SEI messageが存在することをシグナルするために、‘0’にセットされてもよい。
また、HDTVビデオフォーマットのみが使用されるか、または3Dビデオフォーマットにフォーマット切替(transition)が発生する予定がないか、及び/又は3Dビデオフォーマットにフォーマット切替(transition)が発生したことのない場合に、Frame_Packing_SEI_not_present_flag fieldは、コーディングされたビデオシーケンスにframe packing arrangement SEI messageが存在しないことをシグナルするために、‘1’にセットされてもよい。
ベースレイヤストリームにおいて、受信機は、シグナリング情報に基づいてベースビデオデータをプロセシングすることができる。
エンハンスメントレイヤストリームにおいて、PMTのstream_type fieldの値が“0x20”であれば、エンハンスメントレイヤのビデオストリームは、“MVC video sub−bitstream of an AVC video stream”を示すことができる。受信機は、AVC_video_descriptorのFrame_Packing_SEI_not_present_flag fieldに基づいて、ビットストリームにframe packing arrangement SEI messageが存在するか否かを識別することができる。
また、シグナリング情報は、サービスデスクリプタ(service descriptor)を含むことができる。
サービスデスクリプタ(service descriptor)は、サービスの類型、サービス提供者、及び/又はサービスのネームを説明するデスクリプタである。サービスデスクリプタ(service descriptor)は、PMT、SDT、及び/又はEITに含まれてもよい。
サービスデスクリプタは、descriptor_tag field、descriptor_length field、service_type field、service_provider_name_length field、サービス提供者のネームを示すchar field、service_name_length field、及び/又はサービスのネームを示すchar fieldを含むことができる。サービスデスクリプタについての具体的な内容は、前述した内容で代替する。
service_type fieldは、サービスのタイプを示すことができる。サービスのためのservice_typeの割当は、前述した内容で代替する。
追加的に、service_type fieldの値が“0x0B”であれば、“advanced codec mosaic service”及び/又は“H.264/AVC mosaic service”を示すことができる。service_type fieldの値が“0x16”であれば、“advanced codec SD digital television service”及び/又は“H.264/AVC SD digital television service”を示すことができる。service_type fieldの値が“0x17”であれば、“advanced codec SD NVOD time−shifted service”及び/又は“H.264/AVC SD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x18”であれば、“advanced codec SD NVOD reference service”及び/又は“H.264/AVC SD NVOD reference service”を示すことができる。service_type fieldの値が“0x19”であれば、“advanced codec HD digital television service”及び/又は“H.264/AVC HD digital television service”を示すことができる。service_type fieldの値が“0x1A”であれば、“advanced codec HD NVOD time−shifted service”及び/又は“H.264/AVC HD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x1B”であれば、“advanced codec HD NVOD reference service”及び/又は“H.264/AVC HD NVOD reference service”を示すことができる。
また、service_type fieldの値が“0x1C”であれば、“advanced codec frame compatible plano−stereoscopic HD digital television service”及び/又は“H.264/AVC frame compatible plano−stereoscopic HD digital television service”を示すことができる。service_type fieldの値が“0x1D”であれば、“advanced codec frame compatible plano−stereoscopic HD NVOD time−shifted service”及び/又は“H.264/AVC frame compatible plano−stereoscopic HD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x1E”であれば、“advanced codec frame compatible plano−stereoscopic HD NVOD reference service”及び/又は“H.264/AVC frame compatible plano−stereoscopic HD NVOD reference service”を示すことができる。
service_type fieldの値が“0x1C”、“0x1D”、及び/又は“0x1E”のいずれか1つであれば、“H.264/AVC frame compatible HD”サービスを示すことができる。受信機は、ベースビデオデータ及び/又はエンハンスメントビデオデータのservice_type fieldの値が“0x1C”、“0x1D”、及び/又は“0x1E”のいずれか1つであれば、当該ビデオサービスは、“H.264/AVC frame compatible HD”であると判断することができる。
また、シグナリング情報は、コンテンツデスクリプタ(content_descriptor)を含むことができる。
コンテンツデスクリプタは、イベントの分類情報を提供することができる。コンテンツデスクリプタは、EIT及び/又はSITに含まれてもよい。コンテンツデスクリプタについての具体的な内容は後述する。
また、シグナリング情報は、Frame Packing Arrangement SEI messageを含むことができる。
3Dサービス2.0(Spec−B)は、2Dイベントと3Dイベントとの間で動的な切り替えのためのシグナリングを提供することができる。エンコーディングされたビデオストリームは、3Dサービス2.0(Spec−B)をシグナリングするためにFrame Packing Arrangement(FPA)Supplemental Enhancement Information(SEI)メッセージを含むことができる。3DTVビデオフォーマットとHDTVビデオフォーマット(例えば、non−3DTVフォーマット)をスイッチングし得る3Dサービスは、3DTVビデオフォーマットのビデオストリームの伝送時間の間だけでなく、HDTVビデオフォーマットのビデオストリームの伝送時間の間にもFrame Packing Arrangement SEIメッセージを含むことができる。
Frame Packing Arrangement SEIメッセージは、3Dサービス2.0(Spec−B)をシグナリングする情報を含むことができる。例えば、Frame Packing Arrangement SEIメッセージは、Frame_packing_arrangement_cancel_flag field、3Dサービス2.0(Spec−B)ビデオストリームのフォーマットのような他の特性情報を含むことができる。
Frame_packing_arrangement_cancel_flag fieldは、ビデオストリームが3Dビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを示すことができる。
例えば、Frame_packing_arrangement_cancel_flag fieldの値が‘0’であれば、3Dビデオフォーマットが使用されることを示すことができ、当該デスクリプタの他のフィールドは、3Dビデオストリームのフォーマット及び/又は他の特性をシグナルすることができる。
Frame_packing_arrangement_cancel_flag fieldの値が‘1’であれば、HDTVビデオフォーマット(即ち、non−3Dビデオフォーマット)が使用されると示すことができる。例えば、Frame_packing_arrangement_cancel_flag fieldの値が‘1’であれば、HDTVビデオフォーマットが使用されることを示すことができる。
受信機は、Frame Packing Arrangement SEI messageに基づいてサンプルを再配列することができ、構成フレーム(左映像及び/又は右映像)のサンプルをディスプレイするのに適するように処理することができる。
Frame Packing Arrangement SEI messageは、エンハンスメントレイヤストリームには存在せず、ベースレイヤストリームにのみ存在してもよい。
ただし、Frame Packing Arrangement SEI messageは、前述した3Dサービスデスクリプタに含まれたフィールド、及び/又は前述した3D相補型ビデオ情報に含まれたフィールドを含むことができる。3Dサービスデスクリプタは、ベースビデオデータに対するシグナリング情報を含むことができる。3D相補型ビデオ情報は、エンハンスメントビデオデータに対するシグナリング情報を含むことができる。3Dサービスデスクリプタ及び/又は3D相補型ビデオ情報は前述した内容と同一であるので、前述した内容で代替する。
以下では、サブタイトルと関連するシグナリング情報を説明する。
受信機は、サブタイトル及び/又はグラフィックなどのような付加的なコンテンツを、3Dイメージに遮られないようにディスプレイすることができる。サブタイトルは、SDTV及び/又はHDTVだけでなく、3Dサービスの重要な要素である。オンスクリーン(on−screen)グラフィックと共に、サブタイトルが、3Dビデオコンテンツ上に、奥行きとタイミング条件下で、正確に位置することは非常に重要である。
第一に、シグナリング情報は、Disparity Signalling Segment(DSS)を含むことができる。
DSSは、領域内でサブ領域の定義を含むことができる。Disparity Signalling Segment(DSS)はサブタイトルに含まれてもよい。
第二に、シグナリング情報は、DVBサブタイトルに関する情報を含むことができる。コンポーネントデスクリプタにおいてstream_content fieldの値が“0x03”である場合、シグナリング情報は、component_type fieldの値に従ってDVBサブタイトルに関する情報を含むことができる。
第三に、シグナリング情報は、サブタイトリングデスクリプタ(subtitling descriptor)を含むことができる。
サブタイトリングデスクリプタは、DVBサブタイトルに関する情報を含むことができる。サブタイトリングデスクリプタはPMTに含まれてもよい。
第四に、シグナリング情報は、ディスパリティー情報を含むことができる。ディスパリティー情報は、物体がスクリーンの前方からどれくらい近い所にあるのか、またはスクリーンの後方からどれくらい遠い所にあるのかを示す情報である。ディスパリティー情報はサブタイトルに含まれてもよい。
第五に、シグナリング情報は、ビデオデプスレンジデスクリプタ(Video depth range descriptor)を含むことができる。3Dビデオの上端にディスプレイされるグラフィック(例えば、テキスト及び/又はアイコン)の配置を最適化するために、ビデオデプスレンジデスクリプタは、3Dビデオの意図されたデプスレンジ(depth range)を示すことができる。
第六に、シグナリング情報は、マルチリージョンディスパリティー(Multi−region disparity)を含むことができる。マルチリージョンディスパリティーは、ビデオレベルでのディスパリティー情報を提供する。
Disparity Signalling Segment(DSS)、DVBサブタイトルに関する情報、サブタイトリングデスクリプタ(subtitling descriptor)、ディスパリティー情報、ビデオデプスレンジデスクリプタ(Video depth range descriptor)、及び/又はマルチリージョンディスパリティー(Multi−region disparity)に関する具体的な内容は後述する。
図62は、本発明の一実施例に係る、コンポーネントデスクリプタのstream_content field及び/又はcomponent_type fieldを示す図である。
また、シグナリング情報はコンポーネントデスクリプタ(component descriptor)を含むことができる。
コンポーネントデスクリプタは、コンポーネントストリームのタイプを識別し、エレメンタリーストリームのテキストディスクリプション(text description)を提供するのに用いることができる。コンポーネントデスクリプタ(component descriptor)はSDT及び/又はEITに含まれてもよい。すなわち、コンポーネントデスクリプタは、SDTのデスクリプタとして定義されることによって、当該サービスが3DTVサービスであるか否かを判断することができ、EITのデスクリプタとして定義されることによって、当該イベントが3DTVであるか否かも判断することができる。
コンポーネントデスクリプタは、descriptor_tag field、descriptor_length field、reserved_future_use field、stream_content field、component_type field、component_tag field、ISO_639_language_code field、及び/又はtext_char fieldを含むことができる。コンポーネントデスクリプタについての具体的な内容は、前述した内容で代替する。
コンポーネントストリームの類型は、少なくとも1つのパラメータを含むことができる。例えば、パラメータは、ビットストリーム情報、ビデオストリームのコーデック情報、プロファイル(profile)情報、レゾリューション情報、画面比率情報、フレームレート情報、映像フォーマット情報、及び/又はBitdepth情報を含むことができる。
stream_content fieldが‘0x01’である場合にはMPEG−2ビデオを示し、この場合、component_type fieldが‘0x11’である場合には25Hzのフレーム−コンパチブル3Dビデオであることを示し、component_type fieldが‘0x12’である場合には30Hzのフレーム−コンパチブル3Dビデオであることを示すことができる。
また、stream_content fieldが‘0x05’である場合にはH.264/AVC SD(standard definition)ビデオを示し、この場合、component_type fieldが‘0x11’である場合には25Hzのフレーム−コンパチブル3Dビデオであることを示し、component_type fieldが‘0x12’である場合には30Hzのフレーム−コンパチブル3Dビデオであることを示すことができる。
また、stream_content fieldが‘0x03’であり、component_type fieldが‘0x14’である場合には、3Dモニタ上にディスプレイのためのDVBサブタイトルズ(normal)を示し、stream_content fieldが‘0x03’であり、component_type fieldが‘0x24’である場合には、3Dモニタ上にディスプレイのためのDVBサブタイトルズ(for the hard of hearing)を示すことができる。
図面を参照すると、本発明の一実施例に係るコンポーネントデスクリプタは、3Dサービス2.0(Spec−B)に適用可能な新たなstream_content field及び/又はcomponent_type fieldを含むことができる。
ベースレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x80’である場合、ベースビデオデータは、H.264/AVC planostereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、及び/又はSide−by−Sideを示すことができる。
ベースレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x81’である場合、ベースビデオデータは、H.264/AVC planostereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Top−and−Bottomを示すことができる。
ベースレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x82’である場合、ベースビデオデータは、H.264/AVC planostereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Side−by−Sideを示すことができる。
ベースレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x83’である場合、ベースビデオデータは、H.264/AVC stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Top−and−Bottomを示すことができる。
本発明の一実施例によれば、stream_content fieldが‘0x05’である場合、エンハンスメントレイヤのために新たなcomponent_type fieldを含むことができる。この場合、3Dシステムの類型に関係なく、ベースレイヤに対応するエンハンスメントレイヤのstream_content field及び/又はcomponent_type fieldは、それぞれ1つの同一の値を有することができる。ただし、実施例によって、それぞれ異なる値を有してもよい。
例えば、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合、エンハンスメントビデオデータは、H.264/MVC dependent view、plano−stereoscopic service compatible videoを示すことができる。component_type fieldの値は固定された値ではなく、実施例によって変更可能である。例えば、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x84’である場合にもH.264/MVC dependent view、plano−stereoscopic service compatible videoを示すことができる。
具体的には、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合には、H.264/MVC dependent view、plano−stereoscopic service compatible video、25Hz、Side−by−Sideを示すことができる。また、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合には、H.264/MVC dependent view、plano−stereoscopic service compatible video、25Hz、Top−and−Bottomを示すことができる。また、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合には、H.264/MVC dependent view、plano−stereoscopic service compatible video、30Hz、Side−by−Sideを示すことができる。また、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合には、H.264/MVC dependent view、plano−stereoscopic service compatible video、30Hz、Top−and−Bottomを示すことができる。
受信機は、コンポーネントデスクリプタのstream_content field及び/又はcomponent_type fieldに基づいてビデオストリームの類型を識別することができる。例えば、ベースレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x80’である場合、ベースビデオデータのフォーマットがフレーム−コンパチブルビデオフォーマットであることを示すことができる。また、エンハンスメントレイヤのstream_content fieldが‘0x05’であり、component_type fieldが‘0x85’である場合、エンハンスメントビデオデータのフォーマットがフレーム−コンパチブルビデオフォーマットであることを示すことができる。このとき、ベースビデオデータ及び/又はエンハンスメントビデオデータのフォーマットは、サイド−バイ−サイド及び/又はトップ−ボトムのいずれか1つであってもよい。
ベースビデオデータ及び/又はエンハンスメントビデオデータのフォーマットがそれぞれフレーム−コンパチブルビデオフォーマットであれば、3Dサービス2.0(Spec−B)を示すことができる。
図63は、本発明の一実施例に係る、リンケージデスクリプタのlinkage_type field及び/又はlink_type fieldを示す図である。
また、シグナリング情報はリンケージデスクリプタ(linkage descriptor)を含むことができる。
リンケージデスクリプタは、SIシステム内の特定のentityに関連する付加情報が要求されるときに存在し得るサービスを示すことができる。リンケージデスクリプタは、付加情報を提供するサービスが要求される当該テーブル内に存在してもよい。Service replacement serviceのような場合、リンケージデスクリプタを用いて指定することができ、現在行われているサービスのrunning statusが‘non running’状態のとき、受信機で当該replacement serviceを自動的に選択することができる。
例えば、リンケージデスクリプタは、SDT及び/又はEITに含まれてもよく、受信機は、リンケージデスクリプタに基づいて、現在視聴している特定の2D service_idまたは今後放送される特定の2D event_idに対応する3Dサービスまたはイベントを把握することができる。
リンケージデスクリプタは、descriptor_tag field、descriptor_length field、transport_stream_id field、original_network_id field、service_id field、linkage_type field、mobile_hand−over_info()field、event_linkage_info()field、extended_event_linkage_info()field、及び/又はprivate_data_byte fieldを含むことができる。リンケージデスクリプタに関する具体的な内容は、前述した内容で代替する。
mobile_hand−over_info()fieldは、モバイル受信機がハンドオーバ(hand−over)するサービスを識別することができる。このサービスは、service_idでこれ以上実際のサービスを受信できないとき、受信機によって自動的に選択されてもよい。
event_linkage_info()fieldは、2つのイベントを同一にシグナリングするときに用いることができる。リンクされたイベントは、サイマルキャスト(simulcast)またはタイムオフセット(time offset)であってもよい。ターゲットイベントがさらに高い品質を有する場合には、event_simulcast filedがセットされてもよい。
event_linkage_info()fieldは、target_event_id field、target_listed field、event_simulcast field、及び/又はreserved fieldを含むことができる。
target_event_id fieldは、ソースイベントに対応するターゲットイベントを識別するイベント識別(event_id)情報を含むことができる。ソースイベントは、当該linkage_descriptorが属するイベントであり、当該linkage_descriptorの位置によって識別されるイベントである。ターゲットイベントは、当該linkage_descriptorによって指定されたイベントであり、original_network_id、transport_stream_id及び/又はservice_idによって定義されるサービスで伝送されるイベントである。
target_listed fieldは、original_network_id field、transport_stream_id field及び/又はservice_id fieldによって定義されたサービスが、当該TSで伝送されるSDTに含まれるか否かを示すことができる。
event_simulcast fieldは、ターゲットイベント及びソースイベントがサイマルキャスト(simulcast)されるか否かを示すことができる。
extended_event_linkage_info()fieldは、少なくとも1つのイベントを同一にシグナリングするときに用いることができる。リンクされたイベントは、サイマルキャスト(simulcast)またはタイムオフセット(time offset)であってもよい。
extended_event_linkage_info()fieldは、loop_length及び/又は少なくとも1つのループ(loop)を含むことができる。それぞれのループは、リンクされたイベントを示すことができる。それぞれのループは、target_event_id field、target_listed field、event_simulcast field、link_type field、target_id_type field、original_network_id_flag field、service_id_flag field、user_defined_id field、target_transport_stream_id field、target_original_network_id field、及び/又はtarget_service_id fieldを含むことができる。
loop_length fieldは、次のループ(loop)のバイト単位の大きさを示すことができる。
target_event_idは、ソースイベントに対応するターゲットイベントを識別するイベント識別(event_id)情報を含むことができる。
target_listed fieldは、original_network_id field、transport_stream_id field及び/又はservice_id fieldによって定義されたサービスが、当該TSで伝送されるSDTに含まれるか否かを示すことができる。
event_simulcast fieldは、ターゲットイベント及びソースイベントがサイマルキャスト(simulcast)されるか否かを示すことができる。
link_type fieldは、ターゲットサービスのタイプを示すことができる。
図面を参照すると、linkage_type fieldが“0x0E”であり、link_typeが“0”であれば、リンケージタイプは“extended event linkage”であり、ターゲットサービスのタイプはStandard Definition Video(SD)を示すことができる。また、linkage_type fieldが“0x0E”であり、link_typeが“1”であれば、リンケージタイプは“extended event linkage”であり、ターゲットサービスのタイプはHigh Definition Video(HD)を示すことができる。また、linkage_type fieldが“0x0E”であり、link_typeが“2”であれば、リンケージタイプは“extended event linkage”であり、ターゲットサービスのタイプはframe compatible plano−stereoscopic H.264/AVCであることを示すことができる。また、linkage_type fieldが“0x0E”であり、link_typeが“3”であれば、リンケージタイプは“extended event linkage”であり、ターゲットサービスのタイプはservice compatible plano−stereoscopic MVCであることを示すことができる。
target_id_type fieldは、original_network_id_flag field及び/又はservice_id_flag fieldと共に、ターゲットサービスを識別することができる。
target_id_type fieldが“0”であれば、シングルターゲットサービスを識別するためにtransport_stream_id fieldが使用され得ることを示す。target_id_type fieldが“1”であれば、シングルターゲットサービスを識別するために、transport_stream_id fieldの代わりにtarget_transport_stream_id fieldが使用され得ることを示す。target_id_type fieldが“2”であれば、ターゲットサービスは少なくとも1つのトランスポートストリーム(wildcarded TSid)に含まれることを示す。target_id_type fieldが“3”であれば、ターゲットサービスはuser defined identifierによってマッチングされてもよい。
original_network_id_flag fieldは、ターゲットサービスを決定するために、original_network_id fieldの代わりにtarget_original_network_id fieldが使用されるか否かを示すことができる。
service_id_flag fieldは、ターゲットサービスを決定するために、service_idの代わりにtarget_service_idが使用されるか否かを示すことができる。
user_defined_id fieldが使用される場合、リンケージデスクリプタはprivate data specifier descriptorの範囲に含まれてもよい。したがって、受信機は、user_defined_id fieldの意味を決定することができる。
target_transport_stream_id fieldは、target_id_type field、original_network_id_flag field、及び/又はservice_id_flag fieldの統制下に指示される情報サービスを含む代案の(alternate)TSを識別することができる。
target_original_network_idは、target_id_type field、original_network_id_flag field、及び/又はservice_id_flag fieldの統制下に指示される情報サービスを含む代案の(alternate)オリジネイティングデリバリーシステム(originating delivery system)のネットワーク識別(network_id)情報を含むことができる。
target_service_idは、target_id_type field、original_network_id_flag field、及び/又はservice_id_flag fieldの統制下に指示される代案の(alternate)情報サービスを識別することができる。
本発明の一実施例に係るリンケージデスクリプタを用いて3Dサービス2.0(Spec−B)をシグナリングする方法を説明する。
第一に、linkage_type fieldが‘0x05’であれば、リンケージタイプは“service replacement service”を示すことができる。また、private_data_byte領域においてリプレースメントタイプを3Dサービス2.0(Spec−B)として指定してもよい。
第二に、EITでリンケージデスクリプタを伝送する場合、linkage_typeが‘0x0D’であれば、リンケージタイプは“event linkage”を示すことができる。受信機は、EITを介して、target_event_idに対する3Dサービスデスクリプタまたはコンポーネントデスクリプタを用いて、対応する3Dサービス2.0(Spec−B)をシグナリングすることができる。
第三に、EITでリンケージデスクリプタを伝送する場合、linkage_typeが‘0x0E’であれば、リンケージタイプは“extended event linkage”を示すことができる。また、link_typeが‘2’であれば、ターゲットサービスのタイプはframe compatible plano−stereoscopic H.264/AVCを示すことができる。linkage_type fieldが‘0x0E’であり、link_type fieldが‘2’であれば、3Dサービス2.0(Spec−B)を示すことができる。したがって、受信機は、linkage_type field及び/又はlink_type fieldに基づいて、3Dサービス2.0(Spec−B)をシグナリングすることができる。また、受信機は、EITを介して、target_event_idに対する3Dサービスデスクリプタまたはコンポーネントデスクリプタを用いて、対応する3Dサービス2.0(Spec−B)をシグナリングすることができる。
第四に、linkage_type fieldに‘0x0F’の新たな値を指定し、当該ディスクリプションは“3Dサービス2.0(Spec−B)”として指定することができる。
第五に、linkage_type fieldが‘0x05’であれば、リンケージタイプは“service replacement service”を示すことができる。受信機は、ターゲットサービスに対するservice_typeは、そのサービスに対するSDT、EITなどを直接パージングして3Dサービス2.0(Spec−B)をシグナリングすることができる。この方法に基づいて、受信機は、3Dに対応する2Dサービスを探してもよい。
図64は、本発明の一実施例に係る受信機のブロック図を示す図である。
本発明の一実施例に係る受信機は、前述した3Dイメージディスプレイ装置及び/又は放送受信機の機能を含むことができる。
図面を参照すると、本発明の一実施例に係る受信機は、受信部C10210、復調部C10220、逆多重化部C10230、シグナリング情報処理部C10240、3DビデオデコーダC10250、及び/又は出力フォーマッタC10260を含む。
受信部C10210は、RF(radio frequency)チャネルを介して放送信号を受信する。
復調部C10220は、受信した放送信号を復調する。
逆多重化部C10230は、復調された放送信号から、オーディオデータ、ビデオデータ及び/又はシグナリング情報を逆多重化(demultiplex)する。そのために、逆多重化部C10230は、PID(Packet IDentifier)を用いてフィルタリング(filtering)することによって、放送信号を逆多重化することができる。逆多重化部C10230は、逆多重化されたビデオ信号を後段の3DビデオデコーダC10250に出力し、シグナリング情報をシグナリング情報処理部C10240に出力する。ここで、シグナリング情報は、前述したPSI、ATSC−PSIP、及び/又はDVB−SIのようなシステム情報を含むことができる。
シグナリング情報処理部C10240は、逆多重化部C10230から伝達されたシグナリング情報を処理することができる。ここで、シグナリング情報処理部C10240は、処理されるシグナリング情報を一時格納するデータベース(DB:Database)を内部または外部に備えてもよい。
シグナリング情報処理部C10240は、前述した3Dサービス2.0(Spec−B)をシグナリングするシグナリング情報を処理することができる。例えば、シグナリング情報は、3Dサービスであるか否かを識別する情報、ベースビデオデータに関する具体的な情報を提供する3Dサービス情報(3Dサービスデスクリプタ)、及び/又はエンハンスメントビデオデータに関する具体的な情報を提供する3D相補型ビデオ情報を含むことができる。3Dサービスであるか否かを識別する情報は、コンテンツが2Dであるか、または3Dであるかを識別する情報、コンテンツが3Dサービス1.0(Spec−A)であるか、または3Dサービス2.0(Spec−B)であるかを識別する情報を含むことができる。
ビデオデコーダC10250は、逆多重化されたビデオデータを受信してデコーディングする。例えば、ビデオデコーダC10250は、シグナリング情報に基づいてビデオデータをデコーディングすることができる。ビデオデコーダC10250は、ベースビデオデータをデコーディングするベースビデオデコーダ(C10252)、及び/又はエンハンスメントビデオデータをデコーディングするエンハンスメントビデオデコーダ(C10254)を含むことができる。
出力フォーマッタC10260は、3DビデオデコーダC10250でデコーディングされた3Dビデオデータを、出力フォーマットに合わせてフォーマッティング(formatting)して出力部(図示せず)に出力する。ここで、出力フォーマッタC10260は、デコーディングされたビデオデータが3Dビデオデータである場合には、3D出力のための出力フォーマットに合わせてフォーマッティングすることができる。出力フォーマッタC10260は、デコーディングされたビデオデータが2Dビデオデータである場合には、2D出力のための出力フォーマットに合わせてビデオデータを別途に加工せずに、そのまま出力することができる。
以下では、本発明の一実施例に係る受信機が放送信号を処理する方法を説明する。
逆多重化部C10230は、受信される放送信号からSDT及び/又はEITセクションをフィルタリングしてパージングする。ここで、前述したように、逆多重化部は、PIDフィルタリングを介してSDT及び/又はEITセクションをフィルタリングすることができる。
シグナリング情報処理部C10240は、パージングされたSDT及び/又はEIT内のサービスループにおいて、3Dサービス1.0(Spec−A)タイプを有するサービスに対する情報を獲得及び格納する。その後、シグナリング情報処理部は、3Dサービス1.0(Spec−A)に対するPMT情報を獲得及び格納する。
また、シグナリング情報処理部C10240は、パージングされたSDT及び/又はEIT内のサービスループにおいて、3Dサービス2.0(Spec−B)タイプを有するサービスに対する情報を獲得及び格納する。すなわち、シグナリング情報処理部は、3Dサービス2.0(Spec−B)に対するPMT情報を獲得及び格納する。
シグナリング情報処理部C10240は、3Dサービス1.0(Spec−A)に対するPMT情報及び/又は3Dサービス2.0(Spec−B)に対するPMT情報を用いて、ベースビデオストリームに対するPID情報及び/又はエンハンスメントビデオストリームに対するPID情報を獲得することができる。
受信機の動作は、サービスの種類に応じて3つに分かれる。
まず、2Dサービスについて説明すると、次の通りである。
受信機は、2Dビデオ(base view video)を提供するservice_idを選択する。service_idを有するチャネルは、例えば、レガシーチャネルである。
3DビデオデコーダC10250は、2Dデータに該当するビデオストリームに対するPIDフィルタリング及びビデオESデコーディングを行う。その後、受信機は、デコーディングされた2Dビデオを出力部を介して出力する。
次いで、3Dサービス1.0(Spec−A)について説明すると、次の通りである。
受信機は、3Dサービス1.0(Spec−A)を提供するservice_idを選択する。このとき、前記service_idのservice_typeは、例えば、ハーフ−レゾリューション3Dサービスであってもよい。
3DビデオデコーダC10250は、ベースレイヤのベースビデオストリームに対するPIDフィルタリング及びビデオESをデコーディングする。
出力フォーマッタC10260は、シグナリング情報及び/又は3Dサービスデスクリプタに基づいて、3Dビデオデータを出力フォーマットに合わせてフォーマッティング(formatting)し、出力部(図示せず)に出力する。
受信機は、出力部を介してハーフ解像度の3Dビデオを画面上に出力する。
最後に、3Dサービス2.0(Spec−B)について説明すると、次の通りである。
受信機は、3Dサービス2.0(Spec−B)を提供するservice_idを選択する。このとき、前記service_idのservice_typeは、例えば、フル−レゾリューション3Dサービスであってもよい。
3DビデオデコーダC10250は、ベースレイヤのベースビデオストリームに対するPIDフィルタリング及びビデオESをデコーディングする。また、3DビデオデコーダC10250は、エンハンスメントレイヤのエンハンスメントビデオストリームに対するPIDフィルタリング及びビデオESをデコーディングする。
出力フォーマッタC10260は、シグナリング情報、3Dサービス情報、及び/又は3D相補型ビデオ情報に基づいて、3Dビデオデータを出力フォーマットに合わせてフォーマッティング(formatting)し、出力部(図示せず)に出力する。
受信機は、出力部を介してフル解像度の3Dビデオを画面上に出力する。
一方、シグナリング情報処理部C10240は、シグナリング情報からリンケージデスクリプタをパージングし、パージングされたリンケージデスクリプタの情報を用いて、2Dサービス、3Dサービス1.0(Spec−A)、及び/又は3Dサービス2.0(Spec−B)間の連結情報を把握することができる。
図65は、本発明の一実施例に係る、3Dサービス3.0の概念図を例示する。
同図は、本発明の一実施例に係る3Dサービス3.0 C20000の概念図を示す。
本発明の一実施例に係る3Dサービス3.0 C20000は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたビデオストリームの放送信号を伝送及び/又は受信するための機能を具現するためのものである。
3Dサービス3.0 C20000は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたサービス(例えば、ビデオストリーム、ビデオデータなど)に対するサービス−フレーム−コンパチブル3Dサービス(Service frame compatible Plano−stereoscopic 3DTV for HEVC coded services、SFC 3DTVサービス)を示す。
SFC−3Dサービスは、ビデオビットストリームにシグナリング情報を選択的に伝送するフレーム−コンパチブルサービス(FC−3Dサービス)である。シグナリング情報は、FC−3Dサービスのビデオストリームに含まれた2つの映像(例えば、左映像及び右映像)からいずれか1つの映像(例えば、左映像)を抽出するための制御情報を含むことができる。また、シグナリング情報は、HDTVサービスの受信をシミュレート(simulate)するために抽出した映像をアップスケーリング(up−scale)する制御情報を含むことができる。HDTV受信機は、シグナリング情報に基づいて、FC−3Dサービスのビデオストリームに含まれた2つの映像(例えば、左映像及び右映像)からいずれか1つの映像(例えば、左映像)を抽出し、HDTVサービスの受信をシミュレート(simulate)するために抽出した映像をアップスケーリング(up−scale)することができる。
SFC−3Dサービスは、3Dサービスのビデオコンポーネントがフレームコンパチブルビデオフォーマットビットストリームである点でHDTVサービスと異なる。
SFC−3Dサービスのビデオビットストリームは、ビデオレイヤのシグナリング情報を除いては、HDTVサービスのビデオフォーマットの要求条件に従う。
3DTVサービス(または3Dサービス)は、3DTVイベントを伝送し得るDVBサービスを示す。SFC−3Dサービスは、“HEVCデジタルテレビサービス”を示すservice_type field(後述する)によってシグナリングされてもよい。SFC−3Dイベント(またはSFC−3DTVイベント)は、SFC−3Dフォーマットのビデオストリームを含むDVBサービスイベントである。
シグナリング情報は、SFC−3DサービスのためのHDビデオエンコーディングパラメータ(例えば、コーデック/プロファイル、レゾリューション、及び/又はフレームレートなど)を含むことができる。シグナリング情報は、3DTVモードとHDTVモードとの間でスイッチングする3Dサービス(または3DTVサービス)のために、ビデオフォーマットトランジション(video format transition)をシグナリングする情報を含むことができる。
既存のイベントリンケージサービス情報は、他のサービスタイプの増加した番号と共に、より多くの便利なイベントリンケージシグナリングシナリオを許容するために拡張され得る。
以下では、サービス−フレーム−コンパチブル3DTVサービスは、SFC−3DTVサービス及び/又はSFC−3Dサービスで表すことができる。SFC−3Dサービスは、サービス−コンパチブル3Dサービス及びフレーム−コンパチブル3Dサービスを含むことができる。
フレーム−コンパチブル3Dサービス(FC−3Dサービス)は、ビデオコンテンツを構成する左映像C20010及び右映像C20020を、空間的に多重化して配列して伝送するサービスである。したがって、フレーム−コンパチブル3Dサービスを支援する3D受信機は、受信した左映像C20010及び右映像C20020に基づいて3D映像をディスプレイすることができる。ただし、フレーム−コンパチブル3Dサービスを支援しない既存の2D受信機は、受信した左映像C20010及び右映像C20020をまるで一般的な2Dイメージ(HDTVイメージ)のように1つの画面に全て出力するようになる。
サービス−コンパチブル3Dサービス(SC−3Dサービス)は、既存の2D受信機(例えば、HDTV)がフレーム−コンパチブル3Dサービスからビデオコンテンツの2Dバージョンを抽出できるように左映像C20010及び右映像C20020を配列して伝送するサービスである。
SFC−3Dサービス及び既存のHDTVサービスは、1つのMPEG−2 Transport Streamにマルチプレクシングされて受信機に伝達されてもよい。SFC−3Dサービスのための伝送システムは、DVBサービスを伝送するためにDVB MPEG−2 Transport Streamを用いるいかなるブロードキャスト及び/又はデリバリーチャネルにも適用可能である。
本発明の一実施例に係るSFC−3Dサービスによれば、サービス提供者は、3D映像をディスプレイできるビデオストリームを、既存の2D受信機(例えば、HDTV infrastructure)にも提供することができる。既存の2D受信機は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたビデオストリームを受信し、受信したビデオストリームに含まれた左映像C20010及び右映像C20020のうちの1つを抽出することができる。その後、既存の2D受信機は、抽出された1つの映像(例えば、左映像C20010)をアップスケーリングし、2D映像(例えば、HDTV)をディスプレイすることができる。
また、3D受信機は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたビデオストリームを受信し、受信したビデオストリームを2D映像として出力するか、または3D映像として出力するかを決定することができる。もし、2D映像として出力する場合、前述したように、受信したビデオストリームに含まれた左映像C20010及び右映像C20020のうちの1つを抽出することができる。その後、3D受信機は、抽出された1つの映像をアップスケーリングし、2D映像(例えば、HDTV)をディスプレイすることができる。もし、3D映像として出力する場合、受信したビデオストリームに含まれた左映像C20010及び右映像C20010をフォーマッティングして3D映像をディスプレイすることができる。
また、3D受信機は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされた2Dビデオストリーム及び3Dビデオストリームを受信し、各ビデオストリームの関係情報(例えば、関係情報は、シグナリング情報に含まれてもよい)に基づいて、ビデオコンテンツに対する2D映像及び3D映像を選択的にスイッチングして出力することができる。
前述したようなSFC−3Dサービスの提供のために、本発明の一実施例に係るSFC−3Dサービスはシグナリング情報を提供することができる。以下では、SFC−3Dサービスをシグナリングするためのシグナリング情報について具体的に説明する。
図66は、本発明の一実施例に係る、SFC−3DTVサービスをシグナリングする方法を示す図である。
図面を参照すると、DVB伝送システムにおいてSFC−3Dサービスの伝送のための様々なシグナリング情報が示されている。
SFC−3Dサービスをシグナリングするシグナリング情報は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたビデオストリームを伝送、受信、及び/又は処理するための全ての制御情報を示すことができる。シグナリング情報は、H.265/HEVC(High efficiency video coding)コーディング技法を用いてエンコーディングされたビデオストリームを伝送、受信、及び/又は処理するための全ての制御情報を示すことができる。
例えば、シグナリング情報は、Frame Packing Arrangement SEI message、Default Display Window(DDW)情報、AFD/bar data、HEVC_video_descriptor、コンテンツデスクリプタ(content_descriptor)、Disparity Signalling Segment(DSS)、DVBサブタイトルに関する情報、サブタイトリングデスクリプタ(subtitling descriptor)、ディスパリティー情報、ビデオデプスレンジデスクリプタ(Video depth range descriptor)、マルチリージョンディスパリティー(Multi−region disparity)、サービスデスクリプタ(service descriptor)、コンポーネントデスクリプタ、及び/又はリンケージデスクリプタのうちの少なくとも1つを含むことができる。
SFC−3Dサービス(3Dサービス3.0)をシグナリングするシグナリング情報は、ビデオストリーム、伝送レイヤ、及び/又はサブタイトルのうちの少なくとも1つに含まれてもよい。
シグナリング情報がビデオストリームに含まれる場合、シグナリング情報はビデオESに含まれてもよい。ビデオデータがMPEG−2またはMPEG−4ビデオコーディング技法を用いてエンコーディングされる場合、シグナリング情報は、ピクチャ拡張及びユーザデータのuser_data()13010内に含まれてもよい。ビデオデータがH.264/AVCまたはH.265/HEVCビデオコーディング技法を用いてエンコーディングされる場合、シグナリング情報はSEI(Supplemental Enhancement Information)メッセージに含まれてもよい。以下では、ビデオデータがH.265/HEVCビデオコーディング技法を用いてエンコーディングされる場合を中心に説明する。
シグナリング情報が伝送レイヤに含まれる場合、シグナリング情報は、PSI、ATSC−PSIP、及び/又はDVB−SIなどに含まれてもよい。PSI、ATSC−PSIP、及び/又はDVB−SIについての具体的な内容は、前述した内容と同一であるので、前述した内容で代替する。以下では、シグナリングデータがPSI及び/又はDVB−SIに含まれる場合を中心に説明する。
シグナリング情報がサブタイトルに含まれる場合、シグナリング情報はディスパリティー情報を含むことができ、PSI及び/又はDVB−SIに含まれる他の情報と共にサブタイトルをシグナリングすることができる。
まず、シグナリング情報はFrame Packing Arrangement SEI messageを含むことができる。
SFC−3Dサービスのコーディングされたビデオストリームは、FC−3DサービスのビデオコンポーネントのフォーマットをシグナリングするためにFrame Packing Arrangement SEI messageを含むことができる。もし、ビデオがSFC−3Dサービスのフォーマットであれば、SFC−3Dサービスのコーディングされたビデオストリームは、全てのビデオフレームに対してFrame Packing Arrangement SEI messageを含むことができる。
Frame Packing Arrangement SEI messageは、フレームコンパチブル(Frame compatible)なビデオフォーマットが使用されるか否かを識別するFrame_packing_arrangement_cancel_flag fieldを含むことができる。また、Frame Packing Arrangement SEI messageは、3Dビデオストリームのフォーマット及び/又は他の特性をシグナルする情報を含むことができる。
例えば、Frame Packing Arrangement SEI messageは、前述した3Dサービスデスクリプタに含まれたフィールドを含むことができる。3Dサービスデスクリプタは、ビデオデータに対するシグナリング情報を含むデスクリプタである。3Dサービスデスクリプタは、前述した内容と同一であるので、前述した内容で代替する。
Frame_packing_arrangement_cancel_flag fieldは、ビデオストリームが3Dビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを示すことができる。
例えば、Frame_packing_arrangement_cancel_flag fieldの値が‘0’であれば、フレームコンパチブル(Frame compatible)なビデオフォーマットが使用されることを示すことができる。また、Frame Packing Arrangement SEI messageの他のフィールドは、3Dビデオストリームのフォーマット及び/又は他の特性をシグナルすることができる。
Frame_packing_arrangement_cancel_flag fieldの値が‘1’であれば、non−3Dビデオフォーマットが使用されることを示すことができる。例えば、Frame_packing_arrangement_cancel_flag fieldの値が‘1’であれば、HDTVビデオフォーマットが使用されることを示すことができる。
3DTV及びnon−3DTV(例えば、HDTV)をスイッチングできるSFC−3Dサービスは、HDTVフォーマットのビデオストリームの伝送中にもFrame Packing Arrangement SEI messageを伝送することができる。
したがって、受信機は、Frame Packing Arrangement SEIメッセージのFrame_packing_arrangement_cancel_flag fieldに基づいてSFC−3Dサービスをシグナリングすることができる。また、受信機は、Frame Packing Arrangement SEI messageに基づいてサンプルを再配列することができ、構成フレーム(左映像及び/又は右映像)のサンプルをディスプレイするのに適するように処理することができる。
以下では、Frame Packing Arrangement SEI messageの具体的な内容を説明する。
一実施例として、Frame Packing Arrangement SEI messageは、frame_packing_arrangement_id field、frame_packing_arrangement_cancel_flag field、frame_packing_arrangement_type field、quincunx_sampling_flag field、content_interpretation_type field、spatial_flipping_flag field、frame0_flipped_flag field、field_views_flag field、current_frame_is_frame0_flag field、frame0_self_contained_flag field、frame1_self_contained_flag field、frame0_grid_position_x field、frame0_grid_position_y field、frame1_grid_position_x field、frame1_grid_position_y field、frame_packing_arrangement_reserved_byte field、frame_packing_arrangement_repetition_period field、及び/又はframe_packing_arrangement_extension_flag fieldを含むことができる。
frame_packing_arrangement_id fieldは、frame packing arrangement SEI messageを識別する情報を含むことができる。
frame_packing_arrangement_cancel_flag fieldは、frame packing arrangement SEI messageが出力順序において以前のframe packing arrangement SEI messageの持続(persistence)を取り消すか否かを示すことができる。例えば、frame_packing_arrangement_cancel_flag fieldの値が“0”であれば、frame packing arrangement情報は、以前のframe packing arrangement情報に従うことができる。
frame_packing_arrangement_type fieldは、パッキングアレンジメント(packing arrangement)の類型を示すことができる。例えば、パッキングアレンジメント(packing arrangement)の類型は、チェッカーボードフォーマット(frame_packing_arrangement_type=0)、コラム(column)インターレースドフォーマット(frame_packing_arrangement_type=1)、ロー(row)インターレースドフォーマット(frame_packing_arrangement_type=2)、サイド−バイ−サイドフォーマット(frame_packing_arrangement_type=3)、トップ−ボトムフォーマット(frame_packing_arrangement_type=4)、フレーム順次フォーマット(frame_packing_arrangement_type=5)、2Dフォーマット(frame_packing_arrangement_type=6)を含むことができる。
quincunx_sampling_flag fieldは、それぞれの構成フレーム(左映像及び/又は右映像)のカラーコンポーネントプレーン(color component plane)がクインカンクスサンプリングされたか(quincunx sampled)否かを示すことができる。
content_interpretation_type fieldは、構成フレーム(左映像及び/又は右映像)に対して意図された解釈を示すことができる。例えば、content_interpretation_type fieldの値が“0”であれば、構成フレーム間に何ら関連性がないことを示すことができる。content_interpretation_type fieldの値が“1”であれば、2つの構成フレームは、それぞれ、ステレオビュー場面の左映像と右映像を示すことができ、“フレーム0”は左映像を示し、“フレーム1”は右映像を示すことができる。content_interpretation_type fieldの値が“2”であれば、2つの構成フレームは、それぞれ、ステレオビュー場面の左映像と右映像を示すことができ、“フレーム0”は右映像を示し、“フレーム1”は左映像を示すことができる。
spatial_flipping_flag fieldは、左映像及び右映像のいずれかの映像が、本来意図した方向と比較して空間的にフリッピングされるか否かを示すことができる。例えば、サイド−バイ−サイドフォーマットの場合、spatial_flipping_flag fieldの値が“1”であれば、左映像及び右映像のいずれかの映像が水平的にフリッピングされることを示すことができる。トップ−ボトムフォーマットの場合、spatial_flipping_flag fieldの値が“1”であれば、左映像及び右映像のうちの一方の映像が垂直的にフリッピングされることを示すことができる。
frame0_flipped_flag fieldは、spatial_flipping_flag fieldの値が“1”であれば、2つの構成フレーム(左映像及び右映像)のいずれがフリッピングされるかを示すことができる。
field_views_flag fieldは、現在コーディングされたビデオシーケンス内にある全てのピクチャがコンプリメンタリフィールドペア(complementary field pairs)としてコーディングされるか否かを示すことができる。
current_frame_is_frame0_flag fieldは、フレーム順次フォーマット(frame_packing_arrangement_type=5)の場合、現在デコーディングされるフレームが左映像であるか、または右映像であるかを示すことができる。例えば、current_frame_is_frame0_flag fieldの値が“1”である場合、現在デコーディングされるフレームは左映像であり、次にデコーディングされるフレームは右映像であることを示すことができる。
frame0_self_contained_flag fieldは、コーディングされたビデオシーケンスの第1構成フレーム(例えば、左映像)のサンプルに対するデコーディングプロセスにおいて第2構成フレーム(例えば、右映像)のサンプルを参照する、インタープレディクション動作(inter prediction operations)を行うか否かを示すことができる。
frame1_self_contained_flag fieldは、コーディングされたビデオシーケンスの第2構成フレーム(例えば、右映像)のサンプルに対するデコーディングプロセスにおいて第1構成フレーム(例えば、右映像)のサンプルを参照する、インタープレディクション動作(inter prediction operations)を行うか否かを示すことができる。
frame0_grid_position_x fieldは、第1構成フレーム(例えば、左映像)に対する(x,y)座標対のxコンポーネントを示す。
frame0_grid_position_y fieldは、第1構成フレーム(例えば、左映像)に対する(x,y)座標対のyコンポーネントを示す。
frame1_grid_position_x fieldは、第2構成フレーム(例えば、右映像)に対する(x,y)座標対のxコンポーネントを示す。
frame1_grid_position_y fieldは、第2構成フレーム(例えば、右映像)に対する(x,y)座標対のyコンポーネントを示す。
frame_packing_arrangement_reserved_byte fieldは、未来に使用可能な予約されたバイトであってもよい。
frame_packing_arrangement_repetition_period fieldは、frame packing arrangement SEI messageの持続(persistence)を示すことができる。また、frame_packing_arrangement_repetition_period fieldは、フレームオーダーカウントインターバル(frame order count interval)を示すことができる。frame order count interval内で同一のframe_packing_arrangement_id値を有する異なるframe packing arrangement SEI messageまたはコーディングされたビデオシーケンスの最後の部分がビットストリームに現れてもよい。
frame_packing_arrangement_extension_flag fieldは、frame packing arrangement SEI message内に追加的なデータがあるか否かを示すことができる。
また、シグナリング情報は、Default Display Window(DDW)情報を含むことができる。
DDW情報は、3D映像から2D映像を抽出するための情報を含むことができる。例えば、DDW情報は、3D映像から左映像及び右映像のいずれか1つの映像を抽出するための情報を含むことができる。また、DDWは、3D映像において左映像または右映像に該当する座標範囲を含むことができる。DDWは、SPSのVideo Usability Informaton(VUI)の内部に含まれてもよい。
また、シグナリング情報はAFD/bar dataを含むことができる。
AFD/bar dataは、エンコーディングされたビデオ領域全体において有効領域を抽出する情報を含むことができる。例えば、送信機で第1画面比率(例えば、21:9)のビデオコンテンツを伝送し、受信機で第2画面比率(例えば、16:9)のビデオコンテンツを処理できる場合、AFD/bar dataは、第2画面比率を抽出するための情報を含むことができる。AFD/bar dataはビデオESに含まれてもよい。
また、シグナリング情報は、HEVC_video_descriptorを含むことができる。
HEVC_video_descriptorは、HEVCビデオストリームに関連するコーディングパラメータを識別する情報を含むことができる。
HEVC_video_descriptorは、descriptor_tag field、descriptor_length field、profile_idc field、reserved_zero_8bits field、level_idc field、temporal_layer_subset_flag field、HEVC_still_present_flag field、HEVC_24hr_picture_present_flag field 、temporal_id_min field、及び/又はtemporal_id_max fieldを含むことができる。
descriptor_tag fieldは、HEVC_video_descriptorを識別する情報を含むことができる。
descriptor_length fieldは、HEVC_video_descriptorの大きさを示す情報を含むことができる。
profile_idc fieldは、ビットストリームが基にしているプロファイルを示すことができる。例えば、プロファイルは、HEVCスペックに定義されたMain profile、Main 10 profile、及び/又はMain Still Picture profileを含むことができる。
reserved_zero_8bits fieldは、HEVCスペックに従ってsequence_parameter_setにあるprofile_idc fieldの直後の8ビットの情報を含むことができる。
level_idc fieldは、HEVCスペックに定義されたビットストリームのレベルを示すことができる。各プロファイルでは、映像の大きさに応じてレベルが定められる。レベルは、対応する映像の大きさに応じてパラメータの制限を規定する。level_idc fieldは、六つのレベルとその中間レベルを含むことができる。
temporal_layer_subset_flag fieldは、HEVC_video_descriptorにtemporal layerのサブセット(subset)を記述するシンタックスエレメントが存在するか否かを示すことができる。
HEVC_still_present_flag fieldは、HEVCビデオストリームがAVC still picturesを含んでいるか否かを示すことができる。AVC still picturesは、IDR pictureを含むAVC Access Unitを含むことができる。IDR pictureは、IDR pictrueを正確にデコーディングするための十分な情報を伝送するSPS(Sequence Parameter Set) NAL unit及び/又はPPS(Picture Parameter Set) NAL unitなどに後続してもよい。
HEVC_24hr_picture_present_flag fieldは、関連するHEVCビデオストリームがHEVC 24−hour picturesを含んでいるか否かを示すことができる。HEVC 24−hour pictureは、24時間以上の未来のプレゼンテーションタイムを含むHEVC Access Unitを意味する。
temporal_id_min fieldは、関連するビデオESに対するNAL unitヘッダーにあるtemporal_id fieldの最小値を示す。
temporal_id_max fieldは、関連するビデオESに対するNAL unitヘッダーにあるtemporal_id fieldの最大値を示す。
HEVC_video_descriptorは、non_packed_constraint_flag fieldをさらに含むことができる。
non_packed_constraint_flag fieldは、ビデオストリームにFrame Packing Arrangement SEI messageが存在するか否かをシグナルすることができる。non_packed_constraint_flag fieldは、ビデオストリームが3DTVビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを示すことができる。
例えば、3Dビデオフォーマットの伝送の間、non_packed_constraint_flag fieldは、コーディングされたビデオシーケンスにFrame Packing Arrangement SEI messageが存在することをシグナルするために‘0’にセットされてもよい。また、HDTVビデオフォーマットの伝送の間、non_packed_constraint_flag fieldは、コーディングされたビデオシーケンスにFrame Packing Arrangement SEI messageが存在することをシグナルするために‘0’にセットされてもよい。
また、HDTVビデオフォーマットのみが使用されるか、または3Dビデオフォーマットにフォーマット切替(transition)が発生する予定がないか、及び/又は3Dビデオフォーマットにフォーマット切替(transition)が発生したことのない場合に、non_packed_constraint_flag fieldは、コーディングされたビデオシーケンスにFrame Packing Arrangement SEI messageが存在しないことをシグナルするために‘1’にセットされてもよい。
受信機は、non_packed_constraint_flag fieldに基づいて、ビットストリーム内にframe packing arrangement SEI messageが存在するか否かを識別することができる。
また、シグナリング情報はコンテンツデスクリプタ(content_descriptor)を含むことができる。
コンテンツデスクリプタは、イベントの分類情報を提供することができる。コンテンツデスクリプタはEIT及び/又はSITに含まれてもよい。
コンテンツデスクリプタは、descriptor_tag field、descriptor_length field、及び/又は少なくとも1つのforループ(loop)を含むことができる。それぞれのforループは、イベントの分類情報を含むことができる。それぞれのforループは、content_nibble_level_1 field、content_nibble_level_2 field、及び/又はuser_byte fieldを含むことができる。
descriptor_tag fieldは、コンテンツデスクリプタを識別する情報を含むことができる。
descriptor_length fieldは、次のforループ(loop)のバイト単位の大きさを示すことができる。
content_nibble_level_1 fieldは、4ビットであってもよく、第1レベルのコンテンツ識別子を示す。
content_nibble_level_2 fieldは、4ビットであってもよく、第2レベルのコンテンツ識別子を示す。第2レベルは、第1レベルの細部分野であってもよい。
user_byte fieldは、8ビットであってもよく、送信機によって定義されてもよい。
content_nibble_level_1 fieldは、“0x0”乃至“0xF”の値を有することができる。content_nibble_level_1 fieldが“0x0”であれば、第1レベルのコンテンツ分類情報は“undefined content”を示すことができる。また、content_nibble_level_1 fieldが“0x1”であれば、第1レベルのコンテンツ分類情報は“Movie/Drama”を示すことができる。また、content_nibble_level_1 fieldが“0x2”であれば、第1レベルのコンテンツ分類情報は“News/Current affairs”を示すことができる。また、content_nibble_level_1 fieldが“0x3”であれば、第1レベルのコンテンツ分類情報は“Show/Game show”を示すことができる。また、content_nibble_level_1 fieldが“0x4”であれば、第1レベルのコンテンツ分類情報は“Sports”を示すことができる。また、content_nibble_level_1 fieldが“0x5”であれば、第1レベルのコンテンツ分類情報は“Children’s/Youth programmes”を示すことができる。また、content_nibble_level_1 fieldが“0x6”であれば、第1レベルのコンテンツ分類情報は“Music/Ballet/Dance”を示すことができる。また、content_nibble_level_1 fieldが“0x7”であれば、第1レベルのコンテンツ分類情報は“Arts/Culture(without music)”を示すことができる。また、content_nibble_level_1 fieldが“0x8”であれば、第1レベルのコンテンツ分類情報は“Social/Political issues/Economics”を示すことができる。また、content_nibble_level_1 fieldが“0x9”であれば、第1レベルのコンテンツ分類情報は“Education/Science/Factual topics”を示すことができる。また、content_nibble_level_1 fieldが“0xA”であれば、第1レベルのコンテンツ分類情報は“Leisure hobbies”を示すことができる。また、content_nibble_level_1 fieldが“0xB”であれば、第1レベルのコンテンツ分類情報は“Special characteristics”を示すことができる。また、content_nibble_level_1 fieldが“0xC”乃至“0xE”であれば、第1レベルのコンテンツ分類情報は“Reserved for future use”を示すことができる。また、content_nibble_level_1 fieldが“0xF”であれば、第1レベルのコンテンツ分類情報は“User defined”を示すことができる。
content_nibble_level_2 fieldは、“0x0”〜“0xF”の値を有することができる。content_nibble_level_2 fieldは、それぞれのcontent_nibble_level_1 fieldに対して特定の値を有することができ、第1レベルのコンテンツ分類情報に対してより細分化された分類情報を示すことができる。
例えば、content_nibble_level_1 fieldが“0xB”であれば、第1レベルのコンテンツ分類情報は“Special characteristics”であり、content_nibble_level_2 fieldが“0x4”であれば、第2レベルのコンテンツ分類情報は“plano−stereoscopic 3DTV format”を示すことができる。
したがって、コンポーネントデスクリプタの受信機は、content_nibble_level_1 field及び/又はcontent_nibble_level_2 fieldに基づいてビデオストリームの分類情報を識別することができる。また、受信機は、コンポーネントデスクリプタに基づいて、EPGにおいて3Dサービスを支援するイベントをハイライトすることができる。
以下では、サブタイトルと関連するシグナリング情報を説明する。
受信機は、サブタイトル及び/又はグラフィックのような付加的なコンテンツを、3Dイメージに遮られないようにディスプレイすることができる。サブタイトルは、SDTV及び/又はHDTVだけでなく、3Dサービスの重要な要素である。オンスクリーン(on−screen)グラフィックと共に、サブタイトルが、3Dビデオコンテンツ上に、奥行きとタイミング条件下で、正確に位置することは非常に重要である。
第一に、シグナリング情報は、Disparity Signalling Segment(DSS)を含むことができる。
DSSは、領域内でサブ領域の定義を含むことができる。Disparity Signalling Segment(DSS)はサブタイトルに含まれてもよい。
ページ及び/又は領域内の変化する奥行きにおいてサブタイトルの配置を可能にする異なるディスパリティー値が、それぞれのサブ領域に対して伝送されてもよい。ディスパリティー情報は、サブ−ピクセルアキュラシ(sub−pixel accuracy)情報と共に伝送されてもよい。サブ−ピクセルアキュラシ情報は、3D場面内でサブタイトルを最適に配置できる情報を含むことができる。
DSSは、領域またはサブ領域に対するディスパリティー値に基づいて、3Dコンテンツのサブタイトリングを支援することができる。
第二に、シグナリング情報は、DVBサブタイトルに関する情報を含むことができる。
コンポーネントデスクリプタにおいてstream_content fieldの値が“0x03”である場合、シグナリング情報は、component_type fieldの値に応じてDVBサブタイトルに関する情報を含むことができる。
例えば、stream_content fieldの値が“0x03”であり、component_type fieldの値が“0x14”であれば、“DVB subtitles (normal) for display on a high definition monitor”を示してもよい。また、stream_content fieldの値が“0x03”であり、component_type fieldの値が“0x15”であれば、“DVB subtitles (normal) with plano−stereoscopic disparity for display on a high definition monitor”を示してもよい。
第三に、シグナリング情報は、サブタイトリングデスクリプタ(subtitling descriptor)を含むことができる。
サブタイトリングデスクリプタは、DVBサブタイトルに関する情報を含むことができる。サブタイトリングデスクリプタはPMTに含まれてもよい。サブタイトリングデスクリプタは、PMTテーブルにおいてDVBサブタイトルを伝送するパケットのstream_type=0x06として指定される。
サブタイトリングデスクリプタは、ISO_639_language_code field、subtitling_type field、composition_page_id field、及び/又はancillary_page_id fieldを含むことができる。
ISO_639_language_code fieldは、3字のテキストで表現される言語コードを示すことができる。
subtitling_type fieldは、サブタイトルのコンテンツ、及び適用するディスプレイに関する情報を含むことができる。subtitling_type fieldは、component_descriptorにおいてstream_content fieldの値が“0x03”である場合のcomponent_type field別に定義されたコードを示すことができる。
composition_page_id fieldは、composition pageを識別する情報を含むことができる。
ancillary_page_id fieldは、ancillary pageを識別する情報を含むことができる。
第四に、シグナリング情報はディスパリティー情報を含むことができる。
サブタイトルはディスパリティー情報を含むことができる。ディスパリティー情報は、物体がスクリーンの前方からどれくらい近い所にあるのか、またはスクリーンの後方からどれくらい遠い所にあるのかを示す情報である。。ディスパリティー情報は、ビデオデプスレンジデスクリプタ及び/又はマルチリージョンデスクリプタに含まれてもよい。
第五に、シグナリング情報は、ビデオデプスレンジデスクリプタ(Video depth range descriptor)を含むことができる。
3Dビデオの上端にディスプレイされるグラフィック(例えば、テキスト及び/又はアイコン)の配置を最適化するために、ビデオデプスレンジデスクリプタは、3Dビデオの意図されたデプスレンジ(depth range)を示すことができる。ビデオデプスレンジデスクリプタは、サービス及び/又はイベントレベルでのディスパリティー情報を提供する。ディスパリティー情報は、当該サービス及び/又は当該イベントの期間の間、静的な(static)値を有することができる。
ビデオデプスレンジデスクリプタは、range_type field、range_length field、production_disparity_hint_info() field、及び/又はrange_selector_byte fieldを含むことができる。
range_type fieldは、デプスレンジ(depth range)の類型を示す。range_type fieldの値が‘0x00’であれば、デプスレンジの類型は“production disparity hint”であり、range_type fieldの値が‘0x01’であれば、デプスレンジの類型は“multi−region disparity SEI present”を示すことができる。もし、range_type fieldの値が‘0x01’であれば、ビデオESにmulti−region disparity SEIデータが存在することを示すことができる。この場合、range_length fieldの値は‘0’であってもよい。
第六に、シグナリング情報は、マルチリージョンディスパリティー(Multi−region disparity)を含むことができる。
マルチリージョンディスパリティーは、ビデオレベルでのディスパリティー情報を提供する。マルチリージョンディスパリティーは、3Dビデオの全てのフレーム及び/又は各フレームの異なる空間領域に対する動的な(dynamic)値を有することができる。
受信機は、マルチリージョンディスパリティーに基づいて付加的な情報(グラフィック、メニューなど)をオーバーレイ(overlay)するために、ディスパリティー値の形態の奥行き情報を伝送することができる。その結果、受信機は、3D video(plano−stereoscopic video)とグラフィックとの間にデプスバイオレーション(depth violation)を避けることができる。
それぞれのフレームにおいて、1つの最大ディスパリティー値が伝送されてもよい。領域(region)は、予め定義されたイメージパーティショニングパターン(image partitioning pattern)の集合によって定義されてもよい。それぞれのフレームのそれぞれの領域に対して、正確に1つの最小ディスパリティー値が伝送されてもよい。
マルチリージョンディスパリティーは、multi_region_disparity_length field、max_disparity_in_picture field、及び/又はmin_disparity_in_region_i fieldを含むことができる。
multi_region_disparity_length fieldは、8ビットであってもよく、multi_region_disparity()においてmulti_region_disparity_length fieldの値として定義されるバイトの直後のバイトの数を規定することができる。
また、multi_region_disparity_length fieldは、領域パターンの類型をシグナルすることができる。multi_region_disparity_length fieldは、予め定義されたイメージパーティショニングパターン(image partitioning pattern)に該当する値の制限された集合を含むことができる。それぞれのイメージパーティショニングパターンは、イメージのいくつかの領域を定義することができる。
例えば、multi_region_disparity_length fieldの値が‘0’であれば、“no disparity information is to be delivered”を示すことができる。multi_region_disparity_length fieldの値が‘2’であれば、“one minimum_disparity_in_region is coded as representing the minimum value in overall picture”を示すことができる。multi_region_disparity_length fieldの値が‘3’であれば、“two vertical minimum_disparity_in_regions are coded”を示すことができる。multi_region_disparity_length fieldの値が‘4’であれば、“three vertical minimum_disparity_in_regions are coded”を示すことができる。multi_region_disparity_length fieldの値が‘5’であれば、“four minimum_disparity_in_regions are coded”を示すことができる。multi_region_disparity_length fieldの値が‘10’であれば、“nine minimum_disparity_in_regions are coded”を示すことができる。multi_region_disparity_length fieldの値が‘17’であれば、“sixteen minimum_disparity_in_regions are coded”を示すことができる。
max_disparity_in_picture fieldは、ピクチャ内で最大ディスパリティー値を規定することができる。
min_disparity_in_region_i fieldは、第i番目の領域において最小ディスパリティー値を規定することができる。
図67は、本発明の一実施例に係る、service descriptorのservice_type fieldを示す図である。
シグナリング情報は、サービスデスクリプタ(service descriptor)を含むことができる。
サービスデスクリプタは、サービスの類型、サービス提供者、及び/又はサービスのネームを説明するデスクリプタである。サービスデスクリプタ(service descriptor)は、SDT及び/又はSIT(Selection Information Table)に含まれてもよい。
サービスデスクリプタは、descriptor_tag field、descriptor_length field、service_type field、service_provider_name_length field、サービス提供者のネームを示すchar field、service_name_length field、及び/又はサービスのネームを示すchar fieldを含むことができる。サービスデスクリプタについての具体的な内容は、前述した内容で代替する。
service_type fieldは、サービスのタイプを説明することができる。サービスのためのservice_typeの割当は、前述した内容で代替する。
service_type fieldの値が“0x1F”であれば、サービスタイプ(または、サービスタイプ情報)は、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic HD digital television service”を示すことができる。service_type fieldの値が“0x20”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic HD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x21”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic HD NVOD reference service”を示すことができる。
service_type fieldは、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、service_type fieldの値が“0x1F”、“0x20”、及び/又は“0x21”のいずれか1つであれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”を示すことができる。
ここで、サービスデスクリプタは、既存の2Dサービス(2D HEVC)で使用されるservice_type fieldの値(service_type fieldの値が“0x1F”)を含むことができる。
既存の2D受信機は、既存の2Dサービスで使用されるservice_type fieldの値に基づいてビデオデータを処理して、2D映像をディスプレイすることができる。
本発明の一実施例に係るSFC−3Dサービスを支援する受信機は、新たに定義されたservice_type fieldの値に基づいてビデオデータを処理して、2D映像及び/又は3D映像をディスプレイすることができる。
受信機は、service_type fieldに基づいて、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、受信機は、ビデオストリームのservice_type fieldの値が“0x1F”であれば、サービスタイプは“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”であると判断することができる。
また、受信機は、ビデオストリームのservice_type fieldの値が“0x20”及び/又は“0x21”のいずれか1つであれば、当該ビデオサービスは、HEVCビデオサービスであると判断することができる。例えば、受信機は、service_type fieldの値が“0x20”及び/又は“0x21”のいずれか1つであれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”であると判断することができる。
図68は、本発明の一実施例に係る、service descriptorのservice_type fieldを示す図である。
シグナリング情報は、サービスデスクリプタ(service descriptor)を含むことができる。サービスデスクリプタについての具体的な内容は、前述した内容と同一であるので、前述した内容で代替する。
図面を参照すると、サービスタイプは、bitdepthの値によってより細分化することができる。Bitdepthは、カラー(または灰色の影)を再現できるカラー(またはグレースケールイメージの場合、明るさの程度)数の単位を示すことができる。例えば、Bitdepthは、8−bit Bitdepth及び/又は10−bit Bitdepthを含むことができる。
service_type fieldの値が“0x1F”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic 8 bit bitdepth HD digital television service”を示すことができる。service_type fieldの値が“0x20”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic 8 bit bitdepth HD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x21”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic 8 bit bitdepth HD NVOD reference service”を示すことができる。
また、service_type fieldの値が“0x22”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic 10 bit bitdepth HD digital television service”を示すことができる。service_type fieldの値が“0x23”であれば、サービスタイプは、“HEVC digital television service”及び/又はH.265/HEVC frame compatible plano−stereoscopic 10 bit bitdepth HD NVOD time−shifted service”を示すことができる。service_type fieldの値が“0x24”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible plano−stereoscopic 10 bit bitdepth HD NVOD reference service”を示すことができる。
service_type fieldは、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、service_type fieldの値が“0x1F”、“0x20”、“0x21”、“0x22”、“0x23”、及び/又は“0x24”のいずれか1つであれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”を示すことができる。
受信機は、service_type fieldに基づいて、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、受信機は、ビデオストリームのservice_type fieldの値が“0x1F”であれば、サービスタイプは“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”であると判断することができる。
また、受信機は、service_type fieldに基づいて、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、受信機は、ビデオストリームのservice_type fieldの値が“0x20”、“0x21”、“0x22”、“0x23”、及び/又は“0x24”のいずれか1つであれば、当該ビデオサービスは“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”であると判断することができる。
図69は、本発明の一実施例に係る、コンポーネントデスクリプタのstream_content field及び/又はcomponent_type fieldを示す図である。
シグナリング情報は、コンポーネントデスクリプタを含むことができる。
コンポーネントデスクリプタは、コンポーネントストリームのタイプを識別し、エレメンタリーストリームのテキストディスクリプション(text description)を提供するのに使用することができる。コンポーネントデスクリプタ(component descriptor)はSDT及び/又はEITに含まれてもよい。
コンポーネントデスクリプタは、descriptor_tag field、descriptor_length field、reserved_future_use field、stream_content field(または、第1ストリームコンテンツ情報)、component_type field(または、コンポーネントタイプ情報)、component_tag field、ISO_639_language_code field、及び/又はtext_char fieldを含むことができる。コンポーネントデスクリプタについての具体的な内容は、前述した内容で代替する。
コンポーネントデスクリプタは、既存の2Dサービス(2D HEVC)で使用されるstream_content fieldの値及び/又はcomponent_type fieldの値を含むことができる。また、コンポーネントデスクリプタは、SFC−3Dサービスに適用可能な新たなstream_content fieldの値及び/又はcomponent_type fieldの値を含むことができる。
図面を参照すると、本発明の一実施例に係るSFC−3Dサービスは、1つのコンポーネントデスクリプタに基づいてコンポーネントタイプ情報(例えば、ビットストリーム、コンポーネントストリーム、及び/又はビデオストリームの類型)を識別することができる。コンポーネントタイプ情報は、少なくとも1つのパラメータを含むことができる。
例えば、パラメータは、ビットストリーム情報、ビデオストリームのコーデック情報(エンコーディングタイプ情報)、プロファイル(profile)情報、レゾリューション情報、画面比率情報、フレームレート情報、映像フォーマット情報、及び/又はBitdepth情報を含むことができる。
ビットストリーム情報は、ビットストリームのタイプに関する情報である。例えば、ビットストリーム情報は、ビデオストリーム、オーディオストリーム、及び/又はサブタイトルストリームを含むことができる。コーデック情報は、ビットストリームをエンコーディングしたコーデックに関する情報である。例えば、コーデック情報は、H.265/HEVCを含むことができる。レゾリューション情報は、ビットストリームに関する解像度情報である。例えば、レゾリューション情報は、High Definition及び/又はStandard Definitionを含むことができる。画面比率情報は、ビデオデータをディスプレイする場合、フレームに対する横サイズと縦サイズとの比率情報である。例えば、画面比率情報は、16:9 aspect ratioを含むことができる。フレームレート情報は、1秒にビデオフレームが何回出力されるかに関する情報である。例えば、フレームレート情報は、25Hz及び/又は30Hzを含むことができる。映像フォーマット情報は、ビデオストリームに含まれた左映像及び右映像の配列に関する情報である。例えば、映像フォーマット情報は、サイド−バイ−サイド及び/又はトップ−アンド−ボトムを含むことができる。Bitdepth情報は、カラー(または灰色の影)を再現できるカラー(またはグレースケールイメージの場合、明るさの程度)数の単位を示す情報である。例えば、Bitdepthは、8−bit Bitdepth及び/又は10−bit Bitdepthを含むことができる。
stream_content fieldの値が‘0x09’であり、component_typeの値が‘0x80’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Side−by−Side”を示すことができる。
ここで、stream_content fieldの値が‘0x09’である場合には、H.265/HEVCビデオを示すことができる。また、stream_content fieldの値である‘0x09’及び/又はcomponent_type fieldの値である‘0x80’は固定された値ではないので、変更可能である。
また、“H.265/HEVC plano−stereoscopic frame compatible high definition video”は、ビットストリームはビデオストリームであり、ビデオストリームはH.265/HEVCビデオコーディング技法を用いてエンコーディングされ、ビデオストリームは、フレーム−コンパチブル3Dサービスを支援するHigh Definitionビデオを示すことができる。
また、“16:9 aspect ratio”は、ビデオストリームの画面比率情報を示し、“25Hz”は、ビデオストリームのフレームレート情報を示し、“Side−by−Side”は、ビデオストリームに含まれた左映像及び/又は右映像の映像フォーマット情報を示すことができる。以下では、同一の表現方式は同一の意味を示すので、簡単に説明する。
stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x81’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Top−and−Bottom”を示すことができる。
また、stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x82’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Side−by−Side”を示すことができる。
また、stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x83’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Top−and−Bottom”を示すことができる。
既存の2D受信機は、既存の2Dサービスで使用されるstream_content fieldの値及び/又はcomponent_type fieldの値に基づいてビデオデータを処理して、2D映像をディスプレイすることができる。
本発明の一実施例に係るSFC−3Dサービスを支援する受信機は、新たに定義されたstream_content fieldの値及び/又はcomponent_type fieldの値に基づいてビデオデータを処理して、2D映像及び/又は3D映像をディスプレイすることができる。
図70は、本発明の一実施例に係る、コンポーネントデスクリプタのstream_content field及び/又はcomponent_type fieldを示す図である。
シグナリング情報は、コンポーネントデスクリプタを含むことができる。コンポーネントデスクリプタは、コンポーネントストリームのタイプを識別することができる。コンポーネントデスクリプタについての具体的な内容は、前述した内容と同一であるので、前述した内容で代替する。
図面を参照すると、コンポーネントタイプは、bitdepthの値によってより細分化することができる。Bitdepthは、カラー(または灰色の影)を再現できるカラー(またはグレースケールイメージの場合、明るさの程度)数の単位を示すことができる。例えば、Bitdepthは、8−bit Bitdepth及び/又は10−bit Bitdepthを含むことができる。
stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x80’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Side−by−Side、8 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x81’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Top−and−Bottom、8 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x82’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Side−by−Side、8 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x83’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Top−and−Bottom、8 bit bitdepth”を示すことができる。
また、stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x84’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Side−by−Side、10 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x85’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、25Hz、Top−and−Bottom、10 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x86’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Side−by−Side、10 bit bitdepth”を示すことができる。stream_content fieldの値が‘0x09’であり、component_type fieldの値が‘0x87’である場合、ビデオデータは、“H.265/HEVC plano−stereoscopic frame compatible high definition video、16:9 aspect ratio、30Hz、Top−and−Bottom、10 bit bitdepth”を示すことができる。
受信機は、コンポーネントデスクリプタに基づいて、コンポーネントストリーム(例えば、ビデオストリーム)のタイプを識別することができる。例えば、受信機は、コンポーネントデスクリプタに基づいて、ビデオストリームがH.265/HEVCビデオコーディング技法を用いてエンコーディングされたhigh definition videoであることを識別することができる。また、受信機は、コンポーネントデスクリプタに基づいて、ビデオストリームに含まれた左映像及び右映像の映像フォーマット情報は“top and bottom”であることを識別することができる。
図71は、本発明の一実施例に係る、コンポーネントデスクリプタのstream_content field及び/又はcomponent_type fieldを示す図である。
シグナリング情報は、複数のコンポーネントデスクリプタを含むことができる。
コンポーネントデスクリプタは、コンポーネントストリーム(例えば、ビデオストリーム)のタイプを識別し、エレメンタリーストリームのテキストディスクリプション(text description)を提供するのに使用することができる。コンポーネントデスクリプタ(component descriptor)はSDT及び/又はEITに含まれてもよい。
コンポーネントデスクリプタは、descriptor_tag field、descriptor_length field、stream_content_ext field、reserved_future_use field、stream_content field(第1ストリームコンテンツ情報)、component_type field(コンポーネントタイプ情報)、component_tag field、ISO_639_language_code field、及び/又はtext_char fieldを含むことができる。
stream_content_ext field(第2ストリームコンテンツ情報)は、stream_content fieldと組み合わされてストリームのタイプを識別することができる。コンポーネントデスクリプタは、stream_content_ext fieldをさらに含み、stream_contentが定義され得る空間を拡張することができる。
component_tagフィールドは、コンポーネントストリームを識別する情報を含むことができる。すなわち、component_tagフィールドは、コンポーネントデスクリプタがどのようなビデオストリームに関するものかを識別することができる。例えば、component_tagフィールドは、コンポーネントストリームのためのストリーム識別子デスクリプタ(PSIプログラムマップセクション内に存在する場合)内のcomponent_tagフィールドと同一の値を有する。
同一のcomponent_tag fieldの値に対して複数のコンポーネントデスクリプタが存在してもよい。例えば、SDT及び/又はEITは、それぞれ複数のコンポーネントデスクリプタを含むことができる。また、SDTは、1つのコンポーネントデスクリプタを含み、EITは、複数のコンポーネントデスクリプタを含んでもよい。
また、コンポーネントストリーム(例えば、ビデオストリーム)のタイプ(例えば、16:9 aspect ratio、side−by−side、及び/又はtop and bottom)を識別するために、1つのコンポーネントストリームに対して複数のコンポーネントデスクリプタが存在してもよい。
その他のコンポーネントデスクリプタについての具体的な内容は、前述した内容で代替する。
図面を参照すると、本発明の一実施例に係る追加的なコンポーネントデスクリプタは、ビデオストリームに含まれた左映像及び右映像の映像フォーマット情報を含むことができる。
stream_content fieldの値が‘0xA’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x00’である場合、映像フォーマット情報は“Top−and−Bottom”を示すことができる。また、stream_content fieldの値が‘0xA’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x01’である場合、映像フォーマット情報は“Side−by−Side”を示すことができる。stream_content fieldの値、stream_content_ext fieldの値、及び/又はcomponent_type fieldの値は固定された値ではなく、変更可能である。
シグナリング情報は、複数のコンポーネントデスクリプタを含むことができる。このとき、少なくとも1つのコンポーネントデスクリプタは、同一のビットストリームを識別することができる。また、少なくとも1つのコンポーネントデスクリプタの一部は、同一のビットストリームを識別する同一の内容のコンポーネントデスクリプタであってもよい。また、少なくとも1つのコンポーネントデスクリプタの残りの一部は、同一のビットストリームを識別する異なる内容のコンポーネントデスクリプタであってもよい。
stream_content field及びcomponent_type fieldの組み合わせによって、ビットストリーム(例えば、ビデオストリーム及び/又はオーディオストリームのエンコーディングタイプ情報(圧縮情報)、3Dサービスを提供するビデオストリームに含まれた左映像及び右映像の映像フォーマット情報、ビデオデータのプロファイル情報(例えば、HEVCのプロファイル情報)、画面比率情報、フレームレート情報、及び/又はその他のビットストリーム(ビデオデータ、サブタイトル、及び/又はオーディオデータを含む)の類型を識別できる情報のうちの少なくとも1つが識別されてもよい。
したがって、それぞれのコンポーネントデスクリプタは、ビットストリーム(例えば、ビデオストリーム及び/又はオーディオストリーム)のエンコーディングタイプ情報(圧縮情報)、3Dサービスを提供するビデオストリームに含まれた左映像及び右映像の映像フォーマット情報、ビデオデータのプロファイル情報(例えば、HEVCのプロファイル情報)、画面比率情報、フレームレート情報、及び/又はその他のビットストリームの類型(ビデオデータ、サブタイトル、及び/又はオーディオデータを含む)を識別できる情報のうちの少なくとも1つを含むことができる。
受信機は、少なくとも1つのコンポーネントデスクリプタを組み合わせて、ビットストリームのエンコーディングタイプ情報、3Dサービスを提供するビデオストリームに含まれた左映像及び右映像の映像フォーマット情報、及び/又はビットストリームに関する追加情報を獲得することができる。例えば、受信機は、少なくとも1つのコンポーネントデスクリプタを組み合わせて、ビットストリームがH.265/HEVCビデオコーディング技法を用いてエンコーディングされたという情報、及び/又は映像フォーマットの形態はサイド−バイ−サイドフォーマットであるという情報を獲得することができる。また、受信機は、少なくとも1つのコンポーネントデスクリプタを組み合わせて、ビットストリームがSFC−3Dサービスを提供するという情報を獲得することができる。
コンポーネントデスクリプタは、既存の2Dサービス(2D HEVC)で使用されるstream_content fieldの値、stream_content_ext fieldの値、及び/又はcomponent_type fieldの値を含むことができる。例えば、コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x00’である場合、ビデオデータは、“HEVC Main Profile high definition video、50Hz”を示すことができる。また、コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x01’である場合、ビデオデータは、“HEVC Main 10 Profile high definition video、50Hz”を示すことができる。また、コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x02’である場合、ビデオデータは、“HEVC Main Profile high definition video、60Hz”を示すことができる。また、コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x03’である場合、ビデオデータは、“HEVC Main 10 Profile high definition video、60Hz”を示すことができる。また、コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x04’である場合、ビデオデータは、“HEVC ultra high definition video”を示すことができる。
また、コンポーネントデスクリプタは、SFC−3Dサービスに適用可能な新たなstream_content fieldの値、stream_content_ext fieldの値、及び/又はcomponent_type fieldの値を含むことができる。
したがって、既存の2D受信機は、既存の2Dサービスで使用されるstream_content fieldの値、stream_content_ext fieldの値、及び/又はcomponent_type fieldの値に基づいてビデオデータを処理して、2D映像をディスプレイすることができる。また、SFC−3Dサービスを支援する受信機は、新たに定義されたstream_content fieldの値、stream_content_ext fieldの値、及び/又はcomponent_type fieldの値に基づいてビデオデータを処理して、2D映像及び/又は3D映像をディスプレイすることができる。
また、本発明の一実施例に係るSFC−3Dサービスは、複数の(multiple)コンポーネントデスクリプタに基づいて、同一の1つのビットストリーム(例えば、ビデオストリーム)の類型を識別することができる。
例えば、シグナリング情報は、第1コンポーネントデスクリプタ、第2コンポーネントデスクリプタ、第3コンポーネントデスクリプタ、及び/又は第4コンポーネントデスクリプタを含むことができる。第1コンポーネントデスクリプタ、第2コンポーネントデスクリプタ、第3コンポーネントデスクリプタ、及び/又は第4コンポーネントデスクリプタは、同一のcomponent_tag fieldの値を用いて、同一のビットストリームを識別することができる。
第1コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x00’である場合、ビデオデータは、“HEVC Main Profile high definition video、50Hz”を示すことができる。
第2コンポーネントデスクリプタのstream_content fieldの値が‘0x0B’、stream_content_ext fieldの値が‘0xF’、及びcomponent_type fieldの値が‘0x03’である場合、ビデオデータは、“plano−stereoscopic top and bottom(TaB) frame−packing”を示すことができる。
第3コンポーネントデスクリプタのstream_content fieldの値が‘0x0B’、stream_content_ext fieldの値が‘0xF’、及びcomponent_type fieldの値が‘0x01’である場合、ビデオデータは、“16:9 aspect ratio”を示すことができる。
第4コンポーネントデスクリプタのstream_content fieldの値が‘0x0B’、stream_content_ext fieldの値が‘0xF’、及びcomponent_type fieldの値が‘0x03’である場合、ビデオデータは、“plano−stereoscopic top and bottom(TaB) frame−packing”を示すことができる。ここで、第2コンポーネントデスクリプタと第4コンポーネントデスクリプタは、同一のストリームを識別する、同一の内容のコンポーネントデスクリプタである。
したがって、シグナリング情報は、第1コンポーネントデスクリプタ、第2コンポーネントデスクリプタ、第3コンポーネントデスクリプタ、及び/又は第4コンポーネントデスクリプタのうちの少なくとも1つを組み合わせて、同一の1つのビデオストリームを識別することができる。
受信機は、少なくとも1つのコンポーネントデスクリプタに基づいて、受信したビットストリームのタイプを識別することができる。受信機は、複数のコンポーネントデスクリプタの一部のコンポーネントデスクリプタを認識できなくても、サービスを受信することができる。すなわち、複数のコンポーネントデスクリプタ間の関係を“or”演算で処理して、一部のコンポーネントデスクリプタのみに基づいてサービスを受信することができる。
例えば、受信機が第1コンポーネントデスクリプタのみを受信すれば、受信機は、受信したビデオストリームがH.265/HEVCビデオコーディング技法を用いてエンコーディングされたhigh definition videoであることを識別することができる。
また、受信機が第1コンポーネントデスクリプタ及び第2コンポーネントデスクリプタを受信すれば、受信機は、第1コンポーネントデスクリプタと第2コンポーネントデスクリプタとを組み合わせて、受信したビデオストリームが、H.265/HEVCビデオコーディング技法を用いてエンコーディングされたHigh Definition videoであり、ビデオストリームに含まれた左映像及び右映像の映像フォーマット情報が、“plano−stereoscopic top and bottom(TaB) frame−packing”であることを識別することができる。
また、受信機は、シグナリング情報の受信中に複数のコンポーネントデスクリプタのうちの少なくとも1つのコンポーネントデスクリプタを受できなくても、残りのコンポーネントデスクリプタを受信することによって、同一の1つのビデオストリームを識別することができる。例えば、受信機が第4コンポーネントデスクリプタを受信できなくても、受信機は、第2コンポーネントデスクリプタを受信し、ビデオストリームに含まれた左映像及び右映像の映像フォーマット情報を“plano−stereoscopic top and bottom(TaB) frame−packing”として識別することができる。
図72は、本発明の一実施例に係る、リンケージデスクリプタのlinkage_type field及び/又はlink_type fieldを示す図である。
シグナリング情報はリンケージデスクリプタを含むことができる。
リンケージデスクリプタは、SIシステム内の特定のentityに関連する付加情報が要求されるときに存在し得るサービスを示すことができる。リンケージデスクリプタは、付加情報を提供するサービスが要求される当該テーブル内に存在してもよい。Service replacement serviceのような場合、リンケージデスクリプタを使用して指定することができ、現在行われているサービスのrunning statusが‘non running’状態のとき、受信機で当該replacement serviceを自動的に選択することができる。
例えば、リンケージデスクリプタは、SDT及び/又はEITに含まれてもよい。ただし、linkage_type fieldの値が‘0x0D’乃至‘0x1F’の範囲である場合、リンケージデスクリプタはEITにのみ含まれてもよい。受信機は、リンケージデスクリプタに基づいて、現在視聴している特定の2D service_idまたは今後放送される特定の2D event_idに対して対応する3Dサービスまたはイベントを把握することができる。
リンケージデスクリプタは、descriptor_tag field、descriptor_length field、transport_stream_id field、original_network_id field、service_id field、linkage_type field、mobile_hand−over_info() field、event_linkage_info() field、extended_event_linkage_info() field、及び/又はprivate_data_byte fieldを含むことができる。リンケージデスクリプタについての具体的な内容は、前述した内容で代替する。
図73は、本発明の一実施例に係る、受信機のブロック図を示す図である。
図面を参照すると、本発明の一実施例に係る受信機は、受信部C20210、復調部C20220、逆多重化部C20230、シグナリング情報処理部C20240、デコーディング部C20250、及び/又は出力部C20260を含む。前述した内容は放送信号送信装置に適用できる。
受信部C20210は、RF(radio frequency)チャネルを介して放送信号を受信する。
受信部C20210は、ビデオコンポーネントに対するビデオストリームと、ビデオストリームをシグナリングするシグナリング情報とを含む放送信号を受信することができる。ビデオストリームは、フレームコンパチブル(Frame compatible)な3−Dimensional Television(3DTV)サービス及びHigh Definition Television(HDTV)サービスのうちの1つを提供することができる。
例えば、シグナリング情報は、ビデオストリームがフレームコンパチブルな3DTVビデオフォーマットであるか、またはHigh Definition Television(HDTV)ビデオフォーマットであるかを示す第1情報、ビデオストリームのサービスタイプがHigh Efficiency Video Coding(HEVC) serviceであることを示すサービスタイプ情報、及びビデオストリームに対してHEVCサービスのタイプを示す複数のコンポーネントデスクリプタを含むことができる。
また、シグナリング情報は、Frame Packing Arrangement SEI message、Default Display Window(DDW)情報、AFD/bar data、HEVC_video_descriptor、コンテンツデスクリプタ(content_descriptor)、Disparity Signalling Segment(DSS)、DVBサブタイトルに関する情報、サブタイトリングデスクリプタ(subtitling descriptor)、ディスパリティー情報、ビデオデプスレンジデスクリプタ(Video depth range descriptor)、マルチリージョンディスパリティー(Multi−region disparity)、サービスデスクリプタ(service descriptor)、コンポーネントデスクリプタ、及び/又はリンケージデスクリプタのうちの少なくとも1つを含むことができる。
復調部C20220は、受信した放送信号を復調する。
逆多重化部C20230は、復調された放送信号から、オーディオデータ、ビデオデータ及び/又はシグナリング情報を逆多重化(demultiplex)する。そのために、逆多重化部C20230は、PID(Packet IDentifier)を用いてフィルタリング(filtering)することによって、放送信号を逆多重化することができる。逆多重化部C20230は、逆多重化されたビデオ信号を後段のデコーディング部C20250に出力し、シグナリング情報をシグナリング情報処理部C20240に出力する。
シグナリング情報処理部C20240は、逆多重化部C20230から伝達されたシグナリング情報を処理することができる。また、シグナリング情報処理部C20240は、シグナリング情報に基づいてビデオストリームの類型を識別することができる。ここで、シグナリング情報処理部C10240は、処理されるシグナリング情報を一時格納するデータベース(DB:Database)を内部または外部に備えてもよい。
シグナリング情報処理部C20240は、シグナリング情報に基づいて、3DTVビデオフォーマットとHDTVビデオフォーマットとの間でスイッチングを指示することができる。一方、受信機は、ユーザから、ビデオストリームを2D映像モードで出力することを指示するスイッチング情報が入力され得る。この場合、シグナリング情報はスイッチング情報を含むことができる。
デコーディング部C20250は、逆多重化されたビデオデータを受信してデコーディングする。例えば、デコーディング部C20250は、シグナリング情報に基づいてビデオデータをデコーディングすることができる。デコーディング部C20250は、3DTVビデオフォーマット及び/又はHDTVビデオフォーマットのビデオストリームをデコーディングすることができる。
出力部C20260は、デコーディングされたビデオデータを出力フォーマットに合わせてフォーマッティング(formatting)して出力することができる。出力部C20260は、ビデオストリームを3DTVビデオフォーマット及びHDTVビデオフォーマットのいずれか1つのフォーマットで出力することができる。
ここで、出力部は、デコーディングされたビデオデータが3DTVビデオデータである場合には、3D出力のための出力フォーマットに合わせてフォーマッティングすることができる。出力部C20260は、デコーディングされたビデオデータが2Dビデオデータである場合には、2D出力のための出力フォーマットに合わせてビデオデータを別途に加工せずに、そのまま出力することができる。
以下では、本発明の一実施例に係る放送信号の受信方法を説明する。
シグナリング情報処理部C20240は、PMTに含まれたシグナリング情報を処理する。シグナリング情報処理部C20240は、シグナリング情報に基づいて受信したチャネル情報を獲得し、チャネルマップを生成することができる。
シグナリング情報処理部C20240は、受信したビデオストリームが3DTVビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを識別することができる。
例えば、シグナリング情報処理部C20240は、PMT内に含まれたHEVC video descriptorのnon_packed_constraint_flagを確認する。non_packed_constraint_flag fieldは、ビデオストリームが3DTVビデオフォーマットであるか、またはHDTVビデオフォーマットであるかを示すことができる。また、non_packed_constraint_flag fieldは、ビデオストリームにFrame Packing Arrangement SEI messageが存在するか否かをシグナルすることができる。
例えば、non_packed_constraint_flag fieldが、ビデオストリームが3DTVビデオフォーマットであることを示す場合、Frame Packing Arrangement SEI messageが存在してもよい。また、non_packed_constraint_flag fieldが、ビデオストリームがHDTVビデオフォーマットであることを示す場合、Frame Packing Arrangement SEI messageが存在しなくてもよい。
もし、ビデオストリームがHDTVビデオフォーマットであれば、デコーディング部C20250は、HDTVビデオフォーマットのビデオストリームをデコーディングすることができる。また、出力部C20260は、デコーディングされたビデオストリームを2D映像として出力することができる。
もし、ビデオストリームが3DTVビデオフォーマットであれば、シグナリング情報処理部C20240は、ビデオストリームのサービスのタイプ及びコンポーネントストリームのタイプを識別することができる。
まず、シグナリング情報処理部C20240は、サービスデスクリプタのサービスタイプ情報(service_type field)に基づいてサービスのタイプを識別することができる。
service_type fieldは、放送信号(例えば、MPEG−TS)にHEVCビデオサービスが存在するか否かをシグナルすることができる。例えば、service_type fieldの値が“0x1F”であれば、サービスタイプは、“HEVC digital television service”及び/又は“H.265/HEVC frame compatible HDサービス”を示すことができる。
その後、シグナリング情報処理部C20240は、コンポーネントデスクリプタの第1ストリームコンテンツ情報(stream_content field)、第2ストリームコンテンツ情報、及びコンポーネントタイプ情報(component_type field)に基づいて、コンポーネントストリームのタイプを識別することができる。
例えば、それぞれのコンポーネントデスクリプタは、ビデオストリームのタイプを示す第1ストリームコンテンツ情報、第1ストリームコンテンツ情報と組み合わせてビデオストリームのタイプを示す第2ストリームコンテンツ情報、及びビデオコンポーネントのタイプを示すコンポーネントタイプ情報を含むことができる。コンポーネントデスクリプタは、第1ストリームコンテンツ情報、第2ストリームコンテンツ情報、及びコンポーネントタイプ情報に基づいて、前記HEVCサービスのタイプを示すことができる。.
同一のcomponent_tag fieldの値に対して、複数のコンポーネントデスクリプタが存在してもよい。例えば、SDT及び/又はEITは、それぞれ複数のコンポーネントデスクリプタを含むことができる。また、SDTは1つのコンポーネントデスクリプタを含み、EITは複数のコンポーネントデスクリプタを含んでもよい。また、コンポーネントストリーム(例えば、ビデオストリーム)のタイプ(例えば、16:9aspect ratio、side−by−side、及び/又はtop and bottom)を識別するために、1つのコンポーネントストリームに対して複数のコンポーネントデスクリプタが存在してもよい。
例えば、第1コンポーネントデスクリプタのstream_content fieldの値が‘0x09’、stream_content_ext fieldの値が‘0x0’、及びcomponent_type fieldの値が‘0x00’である場合、ビデオデータは、“HEVC Main Profile high definition video、50Hz”を示すことができる。
第2コンポーネントデスクリプタのstream_content fieldの値が‘0x0B’、stream_content_ext fieldの値が‘0xF’、及びcomponent_type fieldの値が‘0x03’である場合、ビデオデータは、“plano−stereoscopic top and bottom(TaB) frame−packing”を示すことができる。
本発明の一実施例によれば、サービスタイプ情報及び第1コンポーネントデスクリプタはSDTに含まれ、第2コンポーネントデスクリプタはEITに含まれてもよい。
また、本発明の一実施例によれば、SDT及び/又はEITは、複数のコンポーネントデスクリプタを含むことができる。例えば、SDT及び/又はEITは、少なくとも1つの第1コンポーネントデスクリプタ、及び/又は少なくとも1つの第2コンポーネントデスクリプタを含むことができる。
シグナリング情報処理部C20240は、第1コンポーネントデスクリプタ及び第2コンポーネントデスクリプタを組み合わせて、受信したビデオストリームが、H.265/HEVCビデオコーディング技法を用いてエンコーディングされたHigh Definition videoであり、ビデオストリームに含まれた左映像及び右映像の映像フォーマット情報が、“plano−stereoscopic top and bottom(TaB) frame−packing”であることを識別することができる。
シグナリング情報処理部C20240は、ビデオストリームに含まれたFrame Packing Arrangement SEI messageを獲得することができる。シグナリング情報処理部C20240は、Frame Packing Arrangement SEI messageに基づいて、ビデオストリームに関する具体的な情報を獲得することができる。例えば、Frame Packing Arrangement SEI messageは、frame_packing_arrangement_id field、frame_packing_arrangement_cancel_flag field、frame_packing_arrangement_type field、quincunx_sampling_flag field、content_interpretation_type field、spatial_flipping_flag field、frame0_flipped_flag field、field_views_flag field、current_frame_is_frame0_flag field、frame0_self_contained_flag field、frame1_self_contained_flag field、frame0_grid_position_x field、frame0_grid_position_y field、frame1_grid_position_x field、frame1_grid_position_y field、frame_packing_arrangement_reserved_byte field、frame_packing_arrangement_repetition_period field、及び/又はframe_packing_arrangement_extension_flag fieldを含むことができる。
出力部C20260は、Frame Packing Arrangement SEI messageに基づいて、ビデオストリームを3D映像として出力することができる。
出力部C20260は、Frame Packing Arrangement SEI messageに基づいて、3D映像を左映像と右映像とに分離することができる。また、出力部C20260は、左映像及び右映像をフォーマッティングして、3D映像として出力することができる。そのために、出力部C20260は、左映像及び右映像を3D出力フォーマットに合わせてフォーマッティング(formatting)するフォーマッタ(図示せず)をさらに含むことができる。
また、出力部C20260は、AFD/bar dataに基づいて、受信機のaspect ratioに合せて映像の画面比を効率的に変更して3D映像を出力することができる。
一方、受信機は、ユーザから、ビデオストリームを2D映像モードで出力することを示すスイッチング情報が入力されてもよい。この場合、シグナリング情報は、スイッチング情報を含むことができる。
もし、シグナリング情報が2D映像モードで出力することを示す場合、シグナリング情報処理部C20240は、ビデオストリームから、左映像または右映像のいずれか1つの映像を抽出することができる。また、出力部C20260は、抽出された1つの映像を2D映像として出力することができる。
例えば、シグナリング情報処理部C20240は、Default Display Window(DDW)情報及び/又はAFD/bar dataを獲得することができる。すなわち、Frame packing arrangement SEI messageが含まれたstreamである場合、DDW情報は、3D映像から2D映像を抽出するための情報を含むことができ、AFD/bar dataは、エンコーディングされたビデオ領域全体において有効領域を抽出する情報を含むことができる。
出力部C20260は、Default Display Window(DDW)情報に基づいて3D映像から2D映像を抽出し、AFD/bar dataに基づいて有効領域を分離することができる。
また、出力部C20260は、抽出された1つの映像をアップスケーリングすることができる。
本発明の一実施例に係る放送信号送信装置は、第1エンコーダ(図示せず)、第2エンコーダ(図示せず)、及び/又は送信部(図示せず)を含むことができる。
第1エンコーダは、ビデオコンポーネントにビデオストリームを生成することができる。ビデオストリームは、フレームコンパチブル(Frame compatible)な3−Dimensional Television(3DTV)サービス及びHigh Definition Television(HDTV)サービスのいずれか1つを提供することができる。
シグナリング情報は、ビデオストリームがフレームコンパチブルな3DTVビデオフォーマットであるか、またはHigh Definition Television(HDTV)ビデオフォーマットであるかを示す第1情報、ビデオストリームのサービスタイプがHigh Efficiency Video Coding(HEVC)serviceであることを示すサービスタイプ情報、及びビデオストリームに対して前記HEVCサービスのタイプを示す複数のコンポーネントデスクリプタを含むことができる。送信部は、ビデオストリーム及びシグナリング情報を含む放送信号を伝送することができる。
また、本発明の一実施例に係る放送信号送信方法は、前述した放送信号送信装置を用いて行われてもよく、放送信号受信方法の逆の過程で行われてもよい。前述した内容は、放送信号送信装置及び/又は放送信号送信方法に適用できる。
図74は、本発明の一実施例に係る、active_format情報によるActive Format Description(AFD)を示す図である。
AFDは、coded video frameにおいて関心のある特定の領域を説明する情報である。放送送信機は、関心のある特定の領域をシグナリングするために、active_format情報を伝送し、受信機は、関心のある特定の領域を識別するために、active_format情報を用いることができる。
AFDは、後述するbar dataと共に、関心のある特定の領域を識別するのに用いることができる。bar dataは、画面の上端又は下端に表示される上端または下端バー(letter box)、または画面の左側又は右側に表示される側面バー(pillar box)のサイズ情報を含む。
AFDは、プログラムのソースフォーマット、プログラムの伝送のためのフォーマット及び当該プログラムを消費する対象受信機のフォーマット間の互換性の問題を解決するための用途に用いることができる。例えば、ワイドスクリーン用に製作された14:9コンテンツ(またはプログラム)は、4:3の画面を有する受信機のユーザのために、4:3でコーディングされたフレーム内でletter boxを含む形態で伝送されてもよい。しかし、この場合、ワイドスクリーン受信機を有するユーザは、望まないletter boxをディスプレイしたり、または画面の比率が合わない状態で14:9のコンテンツを消費しなければならないという問題が発生することがある。したがって、受信機の画面比率に合せて、受信機が、当該コンテンツにおいて関心のある領域を識別し、当該領域をディスプレイできるように、シグナリング情報を提供することができ、これが、AFD及び/又はbar dataに該当することができる。ここで、‘関心のある領域’は、コンテンツの内容が含まれる画面の領域として定義することができる。
Active_format情報は、受信機において、source aspect ratioと共に用いられてもよい。source aspect ratioは、伝送されるsourceコンテンツのaspect ratioを示す。source aspect ratioは、伝送される放送データのコーディング方式に応じて、シグナリング情報として提供されるか、または提供されるシグナリング情報を用いて受信機で計算してもよい。
例えば、source aspect ratioが16:9を示し、active_formatが16:9 centerを示す場合、受信機は、伝送されるフレームの全領域が‘関心のある領域’となる。source aspect ratioが4:3を示し、active_formatが16:9 centerを示す場合、受信機は、伝送されるフレームにletter boxが存在することを知ることができる。source aspect ratioが16:9を示し、active_formatが4:3 centerを示す場合、受信機は、伝送されるフレームにpillar boxが存在することを知ることができる。
他の例において、例えば、source aspect ratioが16:9を示し、active_formatが16:9 centerを示す場合、受信機は、伝送されるフレームの全領域が‘関心のある領域’となる。source aspect ratioが16:9を示し、active_formatが21:9 centerを示す場合、受信機は、伝送されるフレームにletter boxが存在することを知ることができる。source aspect ratioが21:9を示し、active_formatが16:9 centerを示す場合、受信機は、伝送されるフレームにpillar boxが存在することを知ることができる。
Active_format情報は、放送ストリーム内に含まれて伝達されてもよい。
Active_format情報の値が0000である場合、‘関心のある領域’が定義されていないか、または活用不可能なことを示す。
Active_format情報の値が0010である場合、‘関心がある領域’は、16:9の比率を有し、画面上側に位置することを示す。すなわち、画面比率の異なる受信機では、下側にbarがディスプレイされ得る。
Active_format情報の値が0011である場合、‘関心のある領域’は、14:9の比率を有し、画面上側に位置することを示す。すなわち、画面比率の異なる受信機では、下側にbarがディスプレイされ得る。
Active_format情報の値が0100である場合、‘関心のある領域’は、aspect ratioが16:9よりも大きい領域に該当し、画面の中央に‘関心のある領域’がディスプレイされることを示す。この場合、後述するbar dataを用いて映像の大きさ(横または縦の長さ)を計算しなければならない。
Active_format情報の値が1000である場合、‘関心のある領域’のaspect ratioが、コーディングされたフレームのaspect ratioと同一であることを示す。
Active_format情報の値が1001である場合、‘関心のある領域’は、4:3の比率を有し、画面の中央に位置することを示す。
Active_format情報の値が1010である場合、‘関心のある領域’は、16:9の比率を有し、画面の中央に位置することを示す。
Active_format情報の値が1011である場合、‘関心のある領域’は、14:9の比率を有し、画面の中央に位置することを示す。
Active_format情報の値が1101である場合、‘関心のある領域’は、4:3の比率を有し、フレームは、14:9の比率を基準としてprotectされたことを示す。
Active_format情報の値が1110である場合、‘関心のある領域’は、16:9の比率を有し、フレームは、14:9の比率を基準としてprotectされたことを示す。
Active_format情報の値が1111である場合、‘関心のある領域’は、16:9の比率を有し、フレームは、4:3の比率を基準としてprotectされたことを示す。
図75は、本発明の一実施例に係る、active_format及び伝送されるフレームのaspect ratioによる受信機のディスプレイの例を示す図である。
active_formatの値が0010を有する場合、4:3でコーディングされたフレームは、フレームの下側にバー(bar)を含むようになり、16:9でコーディングされたフレームは、別途のバーが存在しない。
active_formatの値が0011を有する場合、4:3でコーディングされたフレームは、フレームの下側にバー(bar)を含むようになり、16:9でコーディングされたフレームは、側面にバーを含むようになる。
active_formatの値が0100を有する場合、4:3でコーディングされたフレームは、フレームの下側にバー(bar)を含むようになり、16:9でコーディングされたフレームは、フレームの下側にバーを含むようになる。
active_formatの値が1000を有する場合、4:3でコーディングされたフレーム及び16:9でコーディングされたフレームは両方とも別途のバーを含まない。
active_formatの値が1001を有する場合、4:3でコーディングされたフレームは、別途のバーを含まず、16:9でコーディングされたフレームは、側面にバーを含むようになる。
上述したような例示は、16:9でコーディングされたフレームが伝送され、active_formatが示す内容が、関心のある領域が16:9、21:9、または21:9以上のwide領域であることを示す場合にも、同様に適用可能である。
図76は、本発明の他の実施例に係る、active_format及び伝送されるフレームのaspect ratioによる受信機のディスプレイの例を示す図である。
active_formatの値が1010を有する場合、4:3でコーディングされたフレームは、フレームの上側及び下側の領域にバーを含み、16:9でコーディングされたフレームは、別途のバーが存在しない。
active_formatの値が1011を有する場合、4:3でコーディングされたフレームは、フレームの上側及び下側の領域にバーを含み、16:9でコーディングされたフレームは、フレームの左/右側面にバーを含む。
active_formatの値が1101を有する場合、4:3でコーディングされたフレームは、別途のバーを含まず、16:9でコーディングされたフレームは、フレームの左/右側面にバーを含む。
active_formatの値が1110を有する場合、4:3でコーディングされたフレームは、フレームの上側及び下側の領域にバーを含み、16:9でコーディングされたフレームは、別途のバーが存在しない。
active_formatの値が1111を有する場合、4:3でコーディングされたフレームは、フレームの上側及び下側の領域にバーを含み、16:9でコーディングされたフレームは、別途のバーが存在しない。
上述したような例示は、16:9でコーディングされたフレームが伝送され、active_formatが示す内容が、関心のある領域が16:9、21:9、または21:9以上のwide領域であることを示す場合にも、同様に適用可能である。
図77は、本発明の一実施例に係るbar dataを示す図である。
bar dataは、ビデオuser dataに含まれてもよい。bar dataは、ビデオストリームに含まれてもよい。またはbar dataは、別途のシグナリング信号を介して伝送されてもよい。
本発明の一実施例に係るbar dataは、top_bar_flag情報、bottom_bar_flag情報、left_bar_flag情報、right_bar_flag情報、marker_bits情報、line_number_end_of_top_bar情報、line_number_start_of_bottom_bar情報、pixel_number_end_of_left_bar情報、及び/又はpixel_number_start_of_right_bar情報を含む。
top_bar_flag情報は、top barが存在するか否かを識別する。この情報の値が1である場合、top barが存在することを示す。
bottom_bar_flag情報は、bottom barが存在するか否かを識別する。この情報の値が1である場合、bottom barが存在することを示す。
left_bar_flag情報は、left barが存在するか否かを識別する。この情報の値が1である場合、left barが存在することを示す。
right_bar_flag情報は、right barが存在するか否かを識別する。この情報の値が1である場合、right barが存在することを示す。
line_number_end_of_top_bar情報は、フレームの上端に位置する、水平のletter boxバーの領域の最後のlineを識別する。
line_number_start_of_bottom_bar情報は、フレームの下端に位置する、水平のletter boxバーの領域の最初のlineを識別する。
pixel_number_end_of_left_bar情報は、フレームの左側面に位置する、垂直のpillar boxバーの最後のhorizontal luminance sampleを識別する。
pixel_number_start_of_right_bar情報は、フレームの右側面に位置する、垂直のpillar boxバーの最初のhorizontal luminance sampleを識別する。
bar dataは、フレームに含まれるbarの位置を識別するシグナリング情報に該当する。
図78は、本発明の一実施例に係る受信機を示す図である。
前述したframe compatible方式及びservice compatible方式の3Dサービス以外に、service frame compatible方式の3Dサービスが追加的に定義されてもよい。service frame compatible方式は、frame compatibleのように、1つのフレームにおいて左映像及び右映像を伝送/受信し、当該フレームから左映像または右映像を抽出して、これをup−scaleし、full resolutionの2Dサービスを提供できる方式である。
service frame compatible方式によれば、1つのフレームから2D映像として使用するイメージ領域を抽出するために、DDW情報が必要であり、送信端で伝送するコンテンツのaspect ratioと受信機のaspect ratioとの差を補償するためのAFD情報及び/又はBar dataが共に必要である。すなわち、frame compatible方式は、1つのフレーム内で、左映像及び右映像のそれぞれが正確にフレームの半分を占めているが、service frame compatible方式は、1つのフレーム内において左映像及び右映像がそれぞれ占める領域の比率が変わり得る。したがって、DDW情報を通じて、左映像及び/又は右映像の領域を抽出することができる。また、例えば、この過程で21:9のservice frame compatibleな3D映像を、16:9の受信機が受信する場合には、前述したAFD情報及び/又はBar dataを用いた、画面比率に対するレンダリングが必要である。したがって、この例では、DDW情報及びAFD情報/Bar dataの全てを送/受信し、これら情報によって、service frame compatible方式の映像を処理できる受信機が必要である。
本発明の一実施例に係る受信機は、放送受信部(図示せず)、デマルチプレクサー(demultiplexer)、デコーダ(decoder)、2D/3Dスイッチ(2D/3D switch)、2D抽出部(2D extracting)、第1比率変換部(aspect ratio converter)、L/R分離部(L/R splitter)、フォーマッタ(formatter)、及び/又は第2比率変換部(aspect ratio converter)を含むことができる。
ビデオストリームのSEI(Supplemental enhancement information)メッセージは、Video Usability Information(VUI)を含むことができる。VUIは、Default Display Window(DDW)に関する情報を含むことができる。DDW情報は、default_display_window_flag情報、def_disp_win_left_offset情報、def_disp_win_right_offset情報、def_disp_win_top_offset情報、及び/又はdef_disp_win_bottom_offset情報を含むことができる。
default_display_window_flag情報は、DDWに関する情報が存在するか否かを識別する。または、default_display_window_flag情報は、DDWが存在するか否かを識別する。
def_disp_win_left_offset情報は、DDWの左側縁部の位置を識別する。def_disp_win_left_offset情報は、DDWの左側縁部が位置する地点のluminance sampleを識別する。
def_disp_win_right_offset情報は、DDWの右側縁部の位置を識別する。def_disp_win_right_offset情報は、DDWの右側縁部が位置する地点のluminance sampleを識別する。
def_disp_win_top_offset情報は、DDWの上端縁部の位置を識別する。def_disp_win_top_offset情報は、DDWの上端縁部が位置する地点のluminance sampleを識別する。
def_disp_win_bottom_offset情報は、DDWの下端縁部の位置を識別する。def_disp_win_bottom_offset情報は、DDWの下端縁部が位置する地点のluminance sampleを識別する。
Default Display Window(DDW)は、1つのフレーム内で、基準となるイメージの領域を示す。DDWは、1つのフレームに含まれる2つ以上のイメージのうち、基準イメージとなるイメージの領域を識別する。Frame compatibleの3Dサービスにおいて、DDWは、フレーム内のtop−and−bottomまたはside−by−sideで区分された左映像と右映像のうち、2Dサービスに使用される基準映像の領域を示す四角の領域表示に該当することができる。受信機は、DDWの情報が示す領域のイメージを、Frame compatibleの3Dサービスのフレームにおいて2Dサービスのための映像として抽出する。
放送受信部(図示せず)は放送信号を受信する。放送受信部は、放送信号インターフェースまたはチューナーに該当することができる。
デマルチプレクサー(demultiplexer)は、放送信号を逆多重化して、シグナリング情報(PSI/SI)、ビデオデータ、オーディオデータを抽出する。放送信号は、PSI/SI情報、シグナリング情報、DDWと関連する情報、AFD情報、bar data及び/又はFrame Packing Arrangement Supplemental enhancement information(FPA SEI)を含むことができる。
デコーダ(decoder)は、ビデオデータ及び/又はオーディオデータをデコーディングする。デコーダ(decoder)は、デコーディング過程で受信したシグナリング情報を用いることができる、シグナリング情報は、シグナリングデコーダ(図示せず)によってデコーディングされてもよい。
2D/3Dスイッチ(2D/3D switch)は、2D視聴モードまたは3D視聴モードに関する制御情報を受信することができ、これによって、ビデオデータの2Dまたは3Dへの処理を制御する。2D/3Dスイッチ(2D/3D switch)は、2D視聴モードが選択された場合、受信したビデオデータを2Dにレンダリングできる装置に伝達する。2D/3Dスイッチ(2D/3D switch)は、3D視聴モードが選択された場合、受信したビデオデータを3Dにレンダリングできる装置に伝達する。
2D抽出部(2D extracting)は、左映像及び右映像が含まれたフレームをビデオデータとして受信した場合、左映像または右映像を分離する。一実施例において、2D抽出部(2D extracting)は、左映像を抽出して2D映像として使用することができる。2D抽出部(2D extracting)は、左映像または右映像を抽出する過程において、前述したDDW情報を用いて、DDWが示す領域の映像を抽出する。
第1比率変換部(aspect ratio converter)は、前述したAFD情報及び/又はbar data情報を用いて、フレーム内のバーを挿入又は除去したり、またはフレームのaspect ratioを調整する。第1比率変換部(aspect ratio converter)は、2D抽出部(2D extracting)に含まれてもよい。
L/R分離部(L/R splitter)は、ビデオデータから、左映像を伝送するビデオデータ(ストリーム)、及び右映像を伝送するビデオデータ(ストリーム)を分離する。
フォーマッタ(formatter)は、左映像及び右映像を配置して、3D映像をフォーマッティングする。
第2比率変換部(aspect ratio converter)は、前述したAFD情報及び/又はbar data情報を用いて、フレーム内のバーを挿入又は除去したり、またはフレームのaspect ratioを調整する。
以下では、説明の便宜のため、2D compatibleな21:9 top−and−bottom formatの3D映像を受信した場合、16:9受信機の動作を説明する。映像は21:9の画面比、受信機は16:9の画面比を有する場合を例に挙げて説明するが、入力映像の画面比と受信機の画面比とが異なる場合にも、以下の説明は適用可能である。
比率変換部(aspect ratio converter、第1比率変換部及び/又は第2比率変換部を含む)は、左映像と右映像が分離されていない状態でその動作を行ってもよい。すなわち、L/R分離部(L/R splitter)の前に比率変換部(aspect ratio converter)が位置してもよい。
受信機は、PMT内にelementary stream level descriptorに含まれているHEVC video descriptorのnon_packed_constraint_flagを確認する。non_packed_constraint_flagは、frame packing arrangement(FPA) SEIメッセージがビデオシーケンスに含まれているか否かを識別する。non_packed_constraint_flag値が0であれば、ビデオシーケンスにFPA SEIメッセージが含まれていることを示す。non_packed_constraint_flag値が0であれば、受信機は、それぞれのAU(Access Unit)毎に伝達されるFPA SEI messageを介して、3Dサービス/コンテンツがどのような3D format(Service compatible、Top and bottom、Side−by−Side及び/又はservice frame compatible)でencodingされたかに関する情報を把握する。
受信機は、視聴モードが2D modeである場合、DDW情報、AFD情報、bar data、及び/又はFPA SEI messageがbitstream内に含まれていれば、VUI(Video Usability Information)の内部のDDWを用いて、leftまたはrightである2D映像を分離(default_display_window_flag、def_disp_win_left_offset,def_disp_win_right_offset、def_disp_win_top_offset and def_disp_win_bottom_offsetを用いる)する。
受信機は、video elementary streamのauxiliary dataに含まれるAFD情報、及び/又はbar data signalingを用いて、受信機のaspect ratioに合せて映像の画面比を効率的に変更し、2Dとして出力する。
受信機は、3D modeである場合、DDW情報、AFD情報、bar data、及び/又はFPA SEI messageがbitstream内に含まれていれば、VUI(Video Usability Information)の内部のDDW情報は無視し、FPA SEI messageを用いて3D映像をL/Rに分離し、video elementary streamのauxiliary dataに含まれるAFD情報、及び/又はbar data signalingを用いて、受信機のaspect ratioに合せて映像の画面比を効率的に変更し、3Dとしてdisplayする。
従来は、default display window(DDW)とAFD/bar dataを同時に含むことができなかった。したがって、従来は、3Dから2D映像を抽出する過程において、伝送されるコーディングされたフレームのaspect ratioと受信機の画面のaspect ratioとが合わない場合、映像処理に問題があった。そこで、本発明によれば、受信機は、受信される映像が3Dであることを把握すると、active areaと2D領域の両方ともextractionできるようにDDWとAFD/bar dataを共に使用することで、適切な2D映像を抽出することができる。
送信機では、frame compatibleフォーマットの3D映像と2D映像との互換性獲得するために、default_display_window_flag情報を“1”にセットし、def_disp_win_left_offset情報、def_disp_win_right_offset情報、def_disp_win_top_offset情報、及び/又はdef_disp_win_bottom_offset情報の値を設定して、2D映像のために使用される領域を知らせるシグナリング情報を生成し、これを受信機に伝送する。この場合、それぞれのAUにFPA SEIメッセージを含ませる。
受信機は、frame compatibleフォーマットの3D映像から2D映像を抽出するために、DDW、AFD情報及びBar dataがいずれもFPA SEIメッセージに存在するか否かを先に判断する。受信機は、FPA SEIメッセージにDDW、AFD情報及びBar dataがいずれも存在すれば、DDW情報を用いて、3D映像から、2D映像のために使用されるイメージを分離/抽出する。受信機は、分離/抽出されたイメージを、AFD情報及びBar dataを用いて、受信機の画面比率に合せてレンダリングする。
説明の便宜のため、各図を分けて説明したが、各図に述べられている実施例を併合して新しい実施例を具現するように設計することも可能である。そして、当業者の必要に応じて、以前に説明された実施例を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体を設計することも本発明の権利範囲に属する。
本発明に係る装置及び方法は、上述したように説明された実施例の構成及び方法が限定されて適用されるものではなく、上述した実施例は、様々な変形が可能なように、各実施例の全部または一部が選択的に組み合わされて構成されてもよい。
一方、本発明のデータ処理方法は、ネットワークデバイスに備えられたプロセッサが読み取り可能な記録媒体に、プロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な記録媒体は、プロセッサが読み取り可能なデータが格納されるいかなる種類の記録装置をも含む。プロセッサが読み取り可能な記録媒体の例としては、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ格納装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサが読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散されて、分散方式でプロセッサが読み取り可能なコードが格納され、実行されてもよい。
また、以上では、本発明の好ましい実施例について図示し、説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明の属する技術分野における通常の知識を有する者によって、様々な変形実施が可能であることはもちろんであり、このような変形実施は、本発明の技術的思想や展望から個別的に理解されてはならない。
そして、当該明細書では、物の発明及び方法の発明が全て説明されており、必要に応じて、両発明の説明は補充的に適用されてもよい。
発明の実施のための形態は、前述したように、発明を実施するための最良の形態で詳述された。