本発明の好適な実施例について具体的に説明し、その例を添付の図面に図示する。添付の図面を参照している下記の詳細な説明は、本発明の実施例によって具現可能な実施例を限定するものではなく、本発明の好適な実施例を説明するためのものである。下記の詳細な説明は、本発明に関する徹底した理解を提供するために細部事項を含む。ただし、当業者にとってこのような細部事項無しにも本発明を実行できるということは明らかである。
本発明では、当該分野で広く使われている一般的な用語を選択するが、一部の用語は出願人によって任意に選択されてもよく、その意味は必要時に、該当する部分で詳しく説明するものとする。したがって、本発明は、用語の単純な名称又は意味ではなく、意図する用語の意味に基づいて理解されなければならない。
本発明は、次世代放送サービスに対する放送信号送信及び受信装置並びに方法を提供する。本発明の一実施例に係る次世代放送サービスは、地上波放送サービス、モバイル放送サービス、UHDTVサービスなどを含む。本発明は、一実施例によって、非−MIMO(non−Multiple Input Multiple Output)又はMIMO方式を用いて次世代放送サービスに対する放送信号を処理することができる。本発明の一実施例に係る非−MIMO方式は、MISO(Multiple Input Single Output)方式、SISO(Single Input Single Output)方式などを含むことができる。
以下では、説明の便宜のために、MISO又はMIMO方式が2つのアンテナを用いるとするが、本発明は、2つ以上のアンテナを用いるシステムに適用されてもよい。本発明は、特定の用途に要求される性能を達成しながら、受信機の複雑度を最小化するために、最適化された3つのフィジカルプロファイル(PHY profile)(ベース(base)、ハンドヘルド(handheld)、アドバンスド(advanced)プロファイル)を定義することができる。フィジカルプロファイルは、該当する受信機が具現しなければならない全ての構造のサブセットである。
3つのフィジカルプロファイルは、大部分の機能ブロックを共有するが、特定ブロック及び/又はパラメータではやや異なる。後でフィジカルプロファイルがさらに定義されてもよい。システムの発展のために、ヒューチャプロファイルは、FEF(future extension frame)を通じて単一RF(radio frequency)チャネルに存在するプロファイルとマルチプレクスされてもよい。各フィジカルプロファイルに関する詳細な内容は後述する。
1.ベースプロファイル
ベースプロファイルは主にループトップ(roof−top)アンテナと連結される固定された受信装置の主な用途を示す。ベースプロファイルはある場所に移動してもよいが、比較的停止した受信範ちゅうに属する携帯用装置も含むことができる。ベースプロファイルの用途は、若干の改善された実行によってハンドヘルド装置又は車両用に拡張されてもよいが、このような使用用途はベースプロファイル受信機動作では期待されない。
受信のターゲット信号対雑音比の範囲は略10乃至20dBであるが、これは、既存放送システム(例えば、ATSC A/53)の15dB信号対雑音比の受信能力を含む。受信機の複雑度及び消費電力は、ハンドヘルドプロファイルを使用する、バッテリーで駆動するハンドヘルド装置におけるよりは重要でない。ベースプロファイルに対する重要システムパラメータが、下記の表1に記載されている。
2.ハンドヘルドプロファイル
ハンドヘルドプロファイルは、バッテリー電源で駆動されるハンドヘルド及び車両用装置における使用のために設計される。当該装置は歩行者又は車両の速度で移動することができる。受信機複雑度も消費電力も、共にハンドヘルドプロファイルの装置の具現のために非常に重要である。ハンドヘルドプロファイルのターゲット信号対雑音比の範囲は、略0乃至10dBであるが、より低い室内受信のために意図された場合、0dB未満となるように設定されてもよい。
低い信号対雑音比能力だけでなく、受信機移動性によって現れたドップラー効果に対する復原力は、ハンドヘルドプロファイルの最も重要な性能属性である。ハンドヘルドプロファイルに対する重要システムパラメータが下記の表2に記載されている。
3.アドバンスドプロファイル
アドバンスドプロファイルは、より大きい実行複雑度に対する代価としてより高いチャネル能力を提供する。当該プロファイルはMIMO送信及び受信を用いることを要求し、UHDTVサービスはターゲット用途であり、そのために、当該プロファイルが特別に設計される。向上した能力は、与えられた帯域幅でサービス数の増加、例えば、複数のSDTV又はHDTVサービスを許容するために用いることができる。
アドバンスドプロファイルのターゲット信号対雑音比の範囲は、略20乃至30dBである。MIMO伝送は、初期には既存の楕円分極伝送装備を使用し、将来には全出力交差分極伝送へと拡張されてもよい。アドバンスドプロファイルに対する重要システムパラメータが下記の表3に記載されている。
この場合、ベースプロファイルは、地上波放送サービス及びモバイル放送サービスの両方に対するプロファイルとして用いられてもよい。すなわち、ベースプロファイルを、モバイルプロファイルを含むプロファイルの概念を定義するために用いることができる。また、アドバンスドプロファイルは、MIMOを有するベースプロファイルに対するアドバンスドプロファイルとMIMOを有するハンドヘルドプロファイルに対するアドバンスドプロファイルとに区別することができる。そして、該当の3つのプロファイルは設計者の意図によって変更されてもよい。
次の用語及び定義を本発明に適用することができる。次の用語及び定義は、設計によって変更されてもよい。
補助ストリーム:ヒューチャエクステンション(future extension、将来拡張)又は放送会社やネットワーク運営者によって要求されることによって用いられ得る、まだ定義されていない変調及びコーディングのデータを伝達するセルのシーケンス
ベースデータパイプ(base data pipe):サービスシグナリングデータを伝達するデータパイプ
ベースバンドフレーム(又は、BBFRAME):一つのFECエンコーディング過程(BCH及びLDPCエンコーディング)に対する入力を形成するKbchビットの集合
セル(cell):OFDM伝送の一つのキャリアによって伝達される変調値
コーディングブロック(coded block):PLS1データのLDPCエンコードされたブロック又はPLS2データのLDPCエンコードされたブロックの一つ
データパイプ(data pipe):1つ又は複数のサービス又はサービスコンポーネントを伝達し得るサービスデータ又は関連したメタデータを伝達する物理層(physical layer)におけるロジカルチャネル
データパイプユニット(DPU,data pipe unit):データセルをフレームにおけるデータパイプに割り当て得る基本ユニット
データシンボル(data symbol):プリアンブルシンボル以外のフレームにおけるOFDMシンボル(フレームシグナリングシンボル及びフレームエッジ(edge)シンボルはデータシンボルに含まれる。)
DP_ID:当該8ビットフィールドは、SYSTEM_IDによって識別されたシステム内でデータパイプを唯一に識別する。
ダミーセル(dummy cell):PLS(physical layer signalling)シグナリング、データパイプ、又は補助ストリームのために用いられないで残っている容量を満たすために用いられる擬似ランダム値を伝達するセル
FAC(emergency alert channel、非常警報チャネル):EAS情報データを伝達するフレームの一部
フレーム(frame):プリアンブルによって始まってフレームエッジシンボルによって終了される物理層(physical layer)タイムスロット
フレームレピティションユニット(frame repetition unit;フレーム反復単位):スーパーフレーム(super−frame)で8回反復されるFEFを含む同一又は別個のフィジカルプロファイルに属するフレームの集合
FIC(fast information channel;高速情報チャネル):サービスと該当のベースデータパイプとのマッピング情報を伝達するフレームにおいてロジカルチャネル
FECBLOCK:データパイプデータのLDPCエンコードされたビットの集合
FFTサイズ:基本周期Tのサイクルで表現されたアクティブシンボル周期Tsと同一である特定モードに用いられる名目上のFFTサイズ
フレームシグナリングシンボル(frame signaling symbol):PLSデータの一部を伝達する、FFTサイズ、ガードインターバル(guard interval)、及びスキャッタ(scattered)パイロットパターンの特定組合せにおいてフレームの開始で用いられるより高いパイロット密度を有するOFDMシンボル
フレームエッジシンボル(frame edge symbol):FFTサイズ、ガードインターバル、及びスキャッタパイロットパターンの特定組合せにおいてフレームの終わりで用いられるより高いパイロット密度を有するOFDMシンボル
フレームグループ(frame−group):スーパーフレームで同じフィジカルプロファイルタイプを有する全フレームの集合
ヒューチャエクステンションフレーム(future extention frame;将来拡張フレーム):プリアンブルによって始まる、将来拡張に用いられ得るスーパーフレームにおける物理層(physical layer)タイムスロット
ヒューチャキャスト(futurecast)UTBシステム:入力が一つ以上のMPEG2−TS、IP(Internet protocol)、又は一般ストリームであり、出力がRFシグナルである、提案された物理層(physical layer)放送システム
インプットストリーム(input stream;入力ストリーム):システムによって最終ユーザに伝達されるサービスの調和(ensemble)のためのデータのストリーム
ノーマル(normal)データシンボル:フレームシグナリングシンボル及びフレームエッジシンボル以外のデータシンボル
フィジカルプロファイル(PHY profile):該当する受信機が具現すべき全ての構造のサブセット
PLS:PLS1及びPLS2で構成された物理層シグナリングデータ
PLS1:PLS2をデコードするために必要なパラメータだけでなく、システムに関する基本情報を伝達する固定されたサイズ、コーディング、変調を有するFSS(frame signalling symbol)で伝達されるPLSデータの一番目の集合
NOTE:PLS1データがフレームグループのデューレーション(duration)において一定である。
PLS2:データパイプ及びシステムに関するより詳細なPLSデータを伝達するFSSで伝送されるPLSデータの二番目の集合
PLS2ダイナミック(dynamic;動的)データ:フレームごとにダイナミック(動的)に変化するPLS2データ
PLS2スタティック(static;静的)データ:フレームグループのデューレーションでスタティック(静的)であるPLS2データ
プリアンブルシグナリングデータ(preamble signaling data):プリアンブルシンボルによって伝達され、システムの基本モードを確認するために用いられるシグナリングデータ
プリアンブルシンボル(preamble symbol):基本PLSデータを伝達し、フレームの先頭に位置する固定された長さのパイロットシンボル
NOTE:プリアンブルシンボルがシステム信号、そのタイミング、周波数オフセット、及びFFTサイズを検出するために高速初期バンドスキャンに主に用いられる。
将来使用(future use)のためにリザーブド(reserved):現在文書で定義されないが、将来に定義されてもよい。
スーパーフレーム(superframe):8個のフレーム反復単位の集合
タイムインターリービングブロック(time interleaving block;TI block):タイムインターリーバメモリの一つの用途に該当する、タイムインターリービングが実行されるセルの集合
タイムインターリービンググループ(time interleaving group;TI group):整数、ダイナミック(動的)に変化するXFECBLOCKの数からなる、特定データパイプに対するダイナミック(動的)容量割り当てが実行される単位
NOTE:タイムインターリービンググループが一つのフレームに直接マップされたり、複数のフレームにマップされてもよい。タイムインターリービンググループは一つ以上のタイムインターリービングブロックを含むことができる。
タイプ1データパイプ(Type1DP):全データパイプがフレームにTDM(time division multiplexing)方式でマップされるフレームのデータパイプ
タイプ2データパイプ(Type2DP):全データパイプがフレームにFDM方式でマップされるフレームのデータパイプ
XFECBLOCK:一つのLDPC FECBLOCKの全ビットを伝達するNcellsセルの集合
図1は、本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置の構造を示す。
本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置は、インプットフォーマットブロック(Input Format block)1000、BICM(bit interleaved coding & modulation)ブロック1010、フレームビルディングブロック(Frame building block)1020、OFDM(orthogonal frequency division multiplexing)ジェネレーションブロック(OFDM generation block)1030、及びシグナリング生成ブロック1040を含むことができる。放送信号送信装置の各ブロックの動作について説明する。
IPストリーム/パケット及びMPEG2−TSは、主要入力フォーマットであり、他のストリームタイプは一般ストリームとして扱われる。それらのデータ入力に加えて、管理情報が入力され、各入力ストリームに対する該当の帯域幅のスケジューリング及び割り当てを制御する。1つ又は複数のTSストリーム、IPストリーム及び/又は一般ストリーム入力が同時に許容される。
インプットフォーマットブロック1000は、それぞれの入力ストリームを、独立したコーディング及び変調が適用される1つ又は複数のデータパイプにデマルチプレクスすることができる。データパイプは、堅固性(robustness)制御のための基本単位であり、これはQoS(Quality of Service)に影響を及ぼす。1つ又は複数のサービス又はサービスコンポーネントが一つのデータパイプによって伝達されてもよい。インプットフォーマットブロック1000の詳細な動作は後述する。
データパイプは、1つ又は複数のサービス又はサービスコンポーネントを伝達できるサービスデータ又は関連メタデータを伝達する物理層におけるロジカルチャネルである。
また、データパイプユニットは、一つのフレームでデータセルをデータパイプに割り当てるための基本ユニットである。
インプットフォーマットブロック1000で、パリティ(parity)データは誤り訂正のために追加され、エンコードされたビットストリームは複素数値コンステレーションシンボルにマップされる。当該シンボルは該当のデータパイプに用いられる特定インターリービング深さにわたってインターリーブされる。アドバンスドプロファイルにおいて、BICMブロック1010でMIMOエンコーディングが実行され、追加データ経路がMIMO伝送のために出力に追加される。BICMブロック1010の詳細な動作は後述する。
フレームビルディングブロック1020は、一つのフレーム内で入力データパイプのデータセルをOFDMシンボルにマップすることができる。マッピング後、周波数領域ダイバーシチのために、特に、周波数選択的フェージングチャネルを防止するために周波数インターリービングが用いられる。フレームビルディングブロック1020の詳細な動作は後述する。
プリアンブルを各フレームの先頭に挿入した後、OFDMジェネレーションブロック1030は、サイクリックプレフィクス(cyclic prefix)をガードインターバルとして有する既存のOFDM変調を適用することができる。アンテナスペースダイバーシチのために、分散された(distributed)MISO方式が送信機にわたって適用される。また、PAPR(peak−to−average power ratio)方式が時間領域で実行される。柔軟なネットワーク方式のために、当該提案は様々なFFTサイズ、ガードインターバルの長さ、該当のパイロットパターンの集合を提供する。OFDMジェネレーションブロック1030の詳細な動作は後述する。
シグナリング生成ブロック1040は、各機能ブロックの動作に用いられる物理層シグナリング情報を生成することができる。当該シグナリング情報はまた、関心のあるサービスが受信機側で適切に復旧されるように送信される。シグナリング生成ブロック1040の詳細な動作は後述する。
図2、図3、図4は、本発明の実施例に係るインプットフォーマットブロック1000を示す。各図について説明する。
図2は、本発明の一実施例に係るインプットフォーマットブロックを示す。図2は、入力信号が単一入力ストリーム(single input stream)であるときのインプットフォーマットブロックを示す。
図2に示すインプットフォーマットブロックは、図1を参照して説明したインプットフォーマットブロック1000の一実施例に該当する。
物理層への入力は、1つ又は複数のデータストリームで構成される。それぞれのデータストリームは一つのデータパイプによって伝達される。モードアダプテーション(mode adaptaion;モード適応)モジュールは、入力されるデータストリームをBBF(baseband frame)のデータフィールドにスライスする。当該システムは3種類の入力データストリーム、すなわち、MPEG2−TS、IP、GS(generic stream)を支援する。MPEG2−TSは、最初のバイトが同期バイト(0x47)である固定された長さ(188バイト)のパケットを特徴とする。IPストリームは、IPパケットヘッダー内でシグナルされる可変長IPデータグラムパケットで構成される。当該システムは、IPストリームに対してIPv4、IPv6の両方を支援する。GSは、カプセル化パケットヘッダー内でシグナルされる可変長のパケット又は一定の長さのパケットで構成されてもよい。
(a)は、信号データパイプに対するモードアダプテーション(モード適応)ブロック2000、及びストリームアダプテーション(stream adaptation;ストリーム適応)2010を示し、(b)は、PLSデータを生成及び処理するためのPLS生成ブロック2020、及びPLSスクランブラ2030を示す。各ブロックの動作について説明する。
入力ストリームスプリッタは、入力されたTS、IP、GSストリームを複数のサービス又はサービスコンポーネント(オーディオ、ビデオなど)ストリームに分割する。モードアダプテーション(モード適応)モジュール2010は、CRCエンコーダ、BB(baseband)フレームスライサ、及びBBフレームヘッダー挿入ブロックで構成される。
CRCエンコーダは、ユーザパケット(user packet;UP)レベルでの誤り検出のための3種類のCRCエンコーディング、すなわち、CRC−8、CRC−16、CRC−32を提供する。算出されたCRCバイトは、UP後に付加される。CRC−8はTSストリームに用いられ、CRC−32はIPストリームに用いられる。GSストリームがCRCエンコーディングを提供しない場合には、提案されたCRCエンコーディングが適用されなければならない。
BBフレームスライサは、入力を内部ロジカルビットフォーマットにマップする。最初の受信ビットはMSBと定義する。BBフレームスライサは、可用データフィールド容量と同数の入力ビットを割り当てる。BBFペイロードと同数の入力ビットを割り当てるために、UPストリームがBBFのデータフィールドに見合うようにスライスされる。
BBフレームヘッダー挿入ブロックは、2バイトの固定された長さのBBFヘッダーを、BBフレームの前に挿入することができる。BBFヘッダーは、STUFFI(1ビット)、SYNCD(13ビット)、及びRFU(2ビット)で構成される。固定された2バイトBBFヘッダーだけでなく、BBFは、2バイトBBFヘッダーの終わりに拡張フィールド(1又は3バイト)を有することができる。
ストリームアダプテーション(ストリーム適応)2010は、スタッフィング(stuffing)挿入ブロック及びBBスクランブラで構成される。スタッフィング挿入ブロックは、スタッフィングフィールドをBBフレームのペイロードに挿入することができる。ストリームアダプテーション(ストリーム適応)に対する入力データがBBフレームを満たすのに十分であれば、STUFFIは0に設定され、BBFはスタッフィングフィールドを有しない。そうでないと、STUFFIは1に設定され、スタッフィングフィールドはBBFヘッダーの直後に挿入される。スタッフィングフィールドは、2バイトのスタッフィングフィールドヘッダー及び可変サイズのスタッフィングデータを含む。
BBスクランブラは、エネルギー分散のために完全なBBFをスクランブルする。スクランブリングシーケンスはBBFと同期化される。スクランブリングシーケンスはフィードバックシフトレジスターによって生成される。
PLS生成ブロック2020は、PLSデータを生成することができる。PLSは、受信機でフィジカルレイヤ(physical layer)データパイプに接続できる手段を提供する。PLSデータはPLS1データ及びPLS2データで構成される。
PLS1データは、PLS2データをデコードするために必要なパラメータだけでなく、システムに関する基本情報を伝達する固定されたサイズ、コーディング、変調を有するフレームでFSSで伝達されるPLSデータの一番目の集合である。PLS1データは、PLS2データの受信及びデコーディングを可能にするために要求されるパラメータを含む基本送信パラメータを提供する。また、PLS1データはフレームグループのデューレーションにおいて一定である。
PLS2データは、データパイプ及びシステムに関するさらに詳細なPLSデータを伝達するFSSで伝送されるPLSデータの二番目の集合である。PLS2は、受信機が所望のデータパイプをデコードする上で十分な情報を提供するパラメータを含む。PLS2シグナリングは、PLS2スタティック(静的)データ(PLS2−STATデータ)及びPLS2ダイナミック(動的)データ(PLS2−DYNデータ)の2種類のパラメータでさらに構成される。PLS2スタティック(静的)データは、フレームグループのデューレーションでスタティック(静的)であるPLS2データであり、PLS2ダイナミック(動的)データは、フレームごとにダイナミック(動的)に変化するPLS2データである。
PLSデータに関する詳細な内容は後述する。
PLSスクランブラ2030は、エネルギー分散のために生成されたPLSデータをスクランブルすることができる。
前述したブロックは省略されてもよく、類似又は同一の機能を有するブロックに代替されてもよい。
図3は、本発明の他の実施例に係るインプットフォーマットブロックを示す。
図3に示すインプットフォーマットブロックは、図1を参照して説明したインプットフォーマットブロック1000の一実施例に該当する。
図3は、入力信号がマルチインプットストリーム(multi input stream;複数の入力ストリーム)に該当する場合、インプットフォーマットブロックのモードアダプテーション(モード適応)ブロックを示す。
マルチインプットストリーム(複数の入力ストリーム)を処理するためのインプットフォーマットブロックのモードアダプテーション(モード適応)ブロックは、複数の入力ストリームを独立して処理することができる。
図3を参照すると、マルチインプットストリーム(複数の入力ストリーム)をそれぞれ処理するためのモードアダプテーション(モード適応)ブロックは、インプットストリームスプリッタ(input stream splitter)3000、インプットストリームシンクロナイザ(input stream synchronizer)3010、コンペンセーティングディレイ(compensating delay;補償遅延)ブロック3020、ヌルパケット削除ブロック(null packet deletion block)3030、ヘッダーコンプレションブロック(header compression block)3040、CRCエンコーダ(CRC encoder)3050、BBフレームスライサ(BB frame slicer)3060、及びBBヘッダー挿入ブロック(BB header insertion block)3070を含むことができる。モードアダプテーション(モード適応)ブロックの各ブロックについて説明する。
CRCエンコーダ3050、BBフレームスライサ3060、及びBBヘッダー挿入ブロック3070の動作は、図2を参照して説明したCRCエンコーダ、BBフレームスライサ、及びBBヘッダー挿入ブロックの動作に該当するので、その説明は省略する。
インプットストリームスプリッタ3000は、入力されたTS、IP、GSストリームを複数のサービス又はサービスコンポーネント(オーディオ、ビデオなど)ストリームに分割する。
インプットストリームシンクロナイザ3010は、ISSYと呼ぶことができる。ISSYは、いかなる入力データフォーマットに対しても、CBR(constant bit rate)及び一定の終端間伝送(end−to−end transmission)遅延を保障するに適した手段を提供することができる。ISSYは、TSを伝達する複数のデータパイプの場合に常に用いられ、GSストリームを伝達する複数のデータパイプに選択的に用いられる。
コンペンセーティングディレイ(補償遅延)ブロック3020は、受信機でさらにメモリを必要とせずにTSパケット再結合メカニズムを許容するために、ISSY情報の挿入に続く分割されたTSパケットストリームを遅延させることができる。
ヌルパケット削除ブロック3030は、TSインプットストリームの場合にのみ用いられる。一部のTSインプットストリーム又は分割されたTSストリームは、VBR(variable bit−rate)サービスをCBR TSストリームに収容するために、存在する多数のヌルパケットを有することができる。この場合、不要な伝送オーバーヘッドを避けるために、ヌルパケットは確認されて伝送されなくてもよい。受信機で、除去されたヌルパケットは、伝送に挿入されたDNP(deleted null−packet;削除されたヌルパケット)カウンタを参照して元の正確な場所に再挿入可能であるため、CBRが保障され、タイムスタンプ(PCR)更新が不要になる。
ヘッダーコンプレションブロック3040は、TS又はIPインプットストリームに対する伝送効率を増加させるために、パケットヘッダーコンプレションを提供することができる。受信機は、ヘッダーの特定部分に対する先験的な(a priori)情報を有することができるため、この知られた情報(known information)は送信機で削除されてもよい。
TSに対して、受信機は同期バイト構成(0x47)及びパケット長(188バイト)に関する先験的な情報を有することができる。入力されたTSが一つのPIDだけを有するコンテンツを伝達すると、すなわち、一つのサービスコンポーネント(ビデオ、オーディオなど)又はサービスサブコンポーネント(SVCベースレイヤ、SVCエンハンスメントレイヤ、MVCベースビュー、又はMVC依存ビュー)に対してのみ、TSパケットヘッダーコンプレションがTSに(選択的に)適用されてもよい。TSパケットヘッダーコンプレションは、インプットストリームがIPストリームである場合に選択的に用いられる。上記のブロックは省略されてもよく、類似又は同一の機能を有するブロックに代替されてもよい。
図4は本発明の一実施例に係るBICMブロックを示す。
図4に示すBICMブロックは、図1を参照して説明したBICM ブロック1010の一実施例に該当する。
前述したように、本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置は、地上波放送サービス、モバイル放送サービス、UHDTVサービスなどを提供することができる。
QoSが本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置によって提供されるサービスの特性に依存するので、それぞれのサービスに該当するデータは別個の方式で処理されなければならない。したがって、本発明の一実施例に係るBICMブロックは、SISO、MISO、MIMO方式をそれぞれのデータ経路に該当するデータパイプに独立して適用することによって、各データパイプを独立して処理することができる。結果的に、本発明の一実施例に係る次世代放送サービスに対する放送信号送信装置は、それぞれのデータパイプで伝送される各サービス又はサービスコンポーネントに対するQoSを調節することができる。
(a)は、ベースプロファイル及びハンドヘルドプロファイルによって共有されるBICMブロックを示し、(b)は、アドバンスドプロファイルのBICMブロックを示す。
ベースプロファイル及びハンドヘルドプロファイルによって共有されるBICMブロック及びアドバンスドプロファイルのBICMブロックは、それぞれのデータパイプを処理するための複数の処理ブロックを含むことができる。
ベースプロファイル及びハンドヘルドプロファイルに対するBICMブロック及びアドバンスドプロファイルに対するBICMブロックの各処理ブロックについて説明する。
ベースプロファイル及びハンドヘルドプロファイルに対するBICMブロックの処理ブロック5000は、データFECエンコーダ5010、ビットインターリーバ5020、コンステレーションマッパー(mapper)5030、SSD(signal space diversity)エンコーディングブロック5040、タイムインターリーバ5050を含むことができる。
データFECエンコーダ5010は、外部コーディング(BCH)及び内部コーディング(LDPC)を用いてFECBLOCK手順を生成するために入力BBFにFECエンコーディングを実行する。外部コーディング(BCH)は選択的なコーディング方法である。データFECエンコーダ5010の具体的な動作については後述する。
ビットインターリーバ5020は、効率的に実現可能な構造を提供しながら、データFECエンコーダ5010の出力をインターリーブし、LDPCコード及び変調方式の組合せによって最適化された性能を達成することができる。ビットインターリーバ5020の具体的な動作については後述する。
コンステレーションマッパー5030は、QPSK、QAM−16、不均一QAM(NUQ−64、NUQ−256、NUQ−1024)又は不均一コンステレーション(NUC−16、NUC−64、NUC−256、NUC−1024)を用いてベース及びハンドヘルドプロファイルでビットインターリーバ5020からの各セルワードを変調したり、アドバンスドプロファイルでセルワードデマルチプレクサ5010−1からのセルワードを変調し、パワーの正規化されたコンステレーションポイントelを提供することができる。当該コンステレーションマッピングは、データパイプに対してのみ適用される。NUQが任意の形態を有するのに対し、QAM−16及びNUQは正方形を有することが観察される。それぞれのコンステレーションが90度の倍数だけ回転されると、回転されたコンステレーションは元のものと正確に重なる。回転対称特性によって失敗及び虚数コンポーネントの容量及び平均パワーが互いに同一となる。NUQ及びNUCはいずれも各コードレート(code rate)に対して特別に定義され、用いられる特定の一つは、PLS2データに保管されたパラメータDP_MODによってシグナルされる。
タイムインターリーバ5050はデータパイプレベルで動作することができる。タイムインターリービングのパラメータはそれぞれのデータパイプに対して別々に設定されてもよい。タイムインターリーバ5050の具体的な動作に関しては後述する。
アドバンスドプロファイルに対するBICMブロックの処理ブロック5000−1は、データFECエンコーダ、ビットインターリーバ、コンステレーションマッパー、及びタイムインターリーバを含むことができる。
ただし、処理ブロック5000−1は、セルワードデマルチプレクサ5010−1及びMIMOエンコーディングブロック5020−1をさらに含むという点で処理ブロック5000と区別される。
また、処理ブロック5000−1におけるデータFECエンコーダ、ビットインターリーバ、コンステレーションマッパー、タイムインターリーバの動作は、前述したデータFECエンコーダ5010、ビットインターリーバ5020、コンステレーションマッパー5030、タイムインターリーバ5050の動作に該当するので、その説明は省略する。
セルワードデマルチプレクサ5010−1は、アドバンスドプロファイルのデータパイプがMIMO処理のために単一セルワードストリームを二重セルワードストリームに分離するために用いられる。セルワードデマルチプレクサ5010−1の具体的な動作に関しては後述する。
MIMOエンコーディングブロック5020−1は、MIMOエンコーディング方式を用いてセルワードデマルチプレクサ5010−1の出力を処理することができる。MIMOエンコーディング方式は、放送信号の送信のために最適化されている。MIMO技術は容量増加を得るための有望な方式であるが、チャネル特性に依存する。特に放送に対して、別個の信号伝搬特性による両アンテナ間の受信信号パワー差又はチャネルの強いLOSコンポーネントは、MIMOから容量利得を得ることを困難にさせる。提案されたMIMOエンコーディング方式は、MIMO出力信号のうちの一つの位相ランダム化及び回転ベースプリコーディングを用いてこの問題を克服する。
MIMOエンコーディングは、送信機及び受信機の両方で少なくとも2つのアンテナを必要とする2x2MIMOシステムのために意図される。2つのMIMOエンコーディングモードは、本提案であるFR−SM(full−rate spatial multiplexing)及びFRFD−SM(full−rate full−diversity spatial multiplexing)で定義される。FR−SMエンコーディングは、受信機側での比較的小さい複雑度増加から容量増加を提供するが、FRFD−SMエンコーディングは、受信機側での大きい複雑度増加から容量増加及び追加的なダイバーシチ利得を提供する。提案されたMIMOエンコーディング方式は、アンテナ極性配置を制限しない。
MIMO処理はアドバンスドプロファイルフレームに要求されるが、これは、アドバンスドプロファイルフレームにおける全てのデータパイプがMIMOエンコーダによって処理されるということを意味する。MIMO処理はデータパイプレベルで適用される。コンステレーションマッパー出力のペア(pair;対)であるNUQ(e1,i及びe2,i)は、MIMOエンコーダの入力として供給される。MIMOエンコーダ出力ペア(対)(g1,i及びg2,i)は、それぞれの送信アンテナの同一キャリアk及びOFDMシンボルlによって送信される。
前述したブロックは省略されてもよく、類似又は同一の機能を有するブロックに代替されてもよい。
図5は、本発明の他の実施例に係るBICMブロックを示す。
図5に示すBICMブロックは、図1を参照して説明したBICMブロック1010の一実施例に該当する。
図5は、PLS、EAC、及びFICの保護のためのBICMブロックを示す。EACは、EAS情報データを伝達するフレームの一部であり、FICは、サービスと該当するベースデータパイプとの間でマッピング情報を伝達するフレームにおけるロジカルチャネルである。EAC及びFICに関する詳細な説明は後述する。
図5を参照すると、PLS、EAC、及びFICの保護のためのBICMブロックは、PLS FECエンコーダ6000、ビットインターリーバ6010、及びコンステレーションマッパー6020を含むことができる。
また、PLS FECエンコーダ6000は、スクランブラ、BCHエンコーディング/ゼロ挿入ブロック、LDPCエンコーディングブロック、及びLDPCパリティパンクチャリング(puncturing)ブロックを含むことができる。BICMブロックの各ブロックについて説明する。
PLS FECエンコーダ6000は、スクランブルされたPLS1/2データ、EAC及びFICセクションをエンコードすることができる。
スクランブラは、BCHエンコーディング及びショートニング(shortening)及びパンクチャされたLDPCエンコーディングの前にPLS1データ及びPLS2データをスクランブルすることができる。
BCHエンコーディング/ゼロ挿入ブロックは、PLS保護のためのショートニングされたBCHコードを用いて、スクランブルされたPLS1/2データに外部エンコーディングを行い、BCHエンコーディングの後にゼロビットを挿入することができる。PLS1データに対してのみ、ゼロ挿入の出力ビットをLDPCエンコーディングの前にパーミュテーション(permutation)することができる。
LDPCエンコーディングブロックは、LDPCコードを用いてBCHエンコーディング/ゼロ挿入ブロックの出力をエンコードすることができる。完全なコーディングブロックを生成するために、Cldpc及びパリティビットPldpcは、それぞれのゼロが挿入されたPLS情報ブロックIldpcから組織的にエンコードされ、その後に付加される。
PLS1及びPLS2に対するLDPCコードパラメータは、次の表4のとおりである。
LDPCパリティパンクチャリングブロックは、PLS1データ及びPLS2データに対してパンクチャリングを行うことができる。
ショートニングがPLS1データ保護に適用されると、一部のLDPCパリティビットはLDPCエンコーディング後にパンクチャされる。また、PLS2データ保護のために、PLS2のLDPCパリティビットがLDPCエンコーディング後にパンクチャされる。それらのパンクチャされたビットは伝送されない。
ビットインターリーバ6010は、それぞれのショートニング及びパンクチャされたPLS1データ及びPLS2データをインターリーブすることができる。
コンステレーションマッパー6020は、ビットインターリーブされたPLS1データ及びPLS2データをコンステレーションにマップすることができる。
前述したブロックは省略されてもよく、類似又は同一の機能を有するブロックに代替されてもよい。
図6は、本発明の一実施例に係るフレームビルディングブロック(frame building block)を示す。
図6に示すフレームビルディングブロックは、図1を参照して説明したフレームビルディングブロック1020の一実施例に該当する。
図6を参照すると、フレームビルディングブロックは、ディレイコンペセーション(delay compensation;遅延補償)ブロック7000、セルマッパー(cell mapper)7010、及びフリークエンシインターリーバ(frequency interleaver)7020を含むことができる。フレームビルディングブロックの各ブロックに関して説明する。
ディレイコンペセーション(遅延補償)ブロック7000は、データパイプと該当するPLSデータとの間のタイミングを調節し、送信機側でデータパイプと該当するPLSデータ間の同時性(co−time)を保障することができる。インプットフォーマットブロック及びBICMブロックによるデータパイプの遅延を扱うことによって、PLSデータはデータパイプだけ遅延される。BICMブロックの遅延は主にタイムインターリーバ5050に起因する。インバンド(In−band)シグナリングデータは、次のタイムインターリービンググループの情報を、シグナルされるデータパイプよりも1フレーム先に伝達されるようにすることができる。ディレイコンペセーション(遅延補償)ブロックは、それに応じてインバンド(In−band)シグナリングデータを遅延させる。
セルマッパー7010は、PLS、EAC、FIC、データパイプ、補助ストリーム、及びダミーセルを、フレーム内でOFDMシンボルのアクティブ(active)キャリアにマップすることができる。セルマッパー7010の基本機能は、それぞれのデータパイプ、PLSセル、及びEAC/FICセルに対するタイムインターリービングによって生成されたデータセルを、存在するなら、一つのフレーム内でそれぞれのOFDMシンボルに該当するアクティブ(active)OFDMセルのアレイにマップすることである。(PSI(program specific information)/SIのような)サービスシグナリングデータは個別的に収集され、データパイプによって送られてもよい。セルマッパーは、フレーム構造の構成及びスケジューラによって生成されたダイナミックインフォメーション(dynamic information;動的情報)によって動作する。フレームに関する詳細な内容は後述する。
フリークエンシインターリーバ7020は、セルマッパー7010から受信したデータセルをランダムにインターリーブして周波数ダイバーシチを提供することができる。また、フリークエンシインターリーバ7020は、単一フレームで最大のインターリービング利得を得るために、他のインターリービングシード(seed)順序を用いて、2つの順次的なOFDMシンボルで構成されたOFDMシンボルペア(対)で動作することができる。
前述したブロックは省略されてもよく、類似又は同一の機能を有するブロックに代替されてもよい。
図7は、本発明の一実施例に係るOFDMジェネレーションブロックを示す。
図7に示すOFDMジェネレーションブロックは、図1を参照して説明したOFDMジェネレーションブロック1030の一実施例に該当する。
OFDMジェネレーションブロックは、フレームビルディングブロックによって生成されたセルによってOFDMキャリアを変調し、パイロットを挿入し、伝送のための時間領域信号を生成する。また、当該ブロックは、順次にガードインターバルを挿入し、PAPR減少処理を適用して最終RF信号を生成する。
図7を参照すると、OFDMジェネレーションブロックは、パイロット及びリザーブドトーン挿入ブロック(pilot and revserved tone insertion block)8000、2D−eSFN(single frequency network)エンコーディングブロック8010、IFFT(inverse fast Fourier transform)ブロック8020、PAPR減少ブロック8030、ガードインターバル挿入ブロック(guard interval insertion block)8040、プリアンブル挿入ブロック(preamble insertion block)8050、その他システム挿入ブロック8060、及びDACブロック8070を含むことができる。
システム挿入ブロック8060は、放送サービスを提供する2つ以上の別個の放送送信/受信システムのデータが同一のRF信号帯域で同時に伝送され得るように、時間領域で複数の放送送信/受信システムの信号をマルチプレクスすることができる。ここで、2つ以上の別個の放送送信/受信システムとは、別個の放送サービスを提供するシステムのことをいう。別個の放送サービスは、地上波放送サービス、モバイル放送サービスなどを意味することができる。
図8は、本発明の一実施例に係る次世代放送サービスに対する放送信号受信装置の構造を示す。
本発明の一実施例に係る次世代放送サービスに対する放送信号受信装置は、図1を参照して説明した次世代放送サービスに対する放送信号送信装置に対応し得る。
本発明の一実施例に係る次世代放送サービスに対する放送信号受信装置は、同期及び復調モジュール(synchronization & demodulation module)9000、フレームパーシングモジュール(frame parsing module)9010、デマッピング及びデコーディングモジュール(demapping & decoding module)9020、出力プロセッサ(output processor)9030、及びシグナリングデコーディングモジュール(signaling decoding module)9040を含むことができる。放送信号受信装置の各モジュールの動作について説明する。
同期及び復調モジュール9000は、m個の受信アンテナを通じて入力信号を受信し、放送信号受信装置に該当するシステムに対して信号検出及び同期化を実行し、放送信号送信装置によって実行される手順の逆手順に該当する復調を実行することができる。
フレームパーシングモジュール9010は、入力信号フレームをパースし、ユーザによって選択されたサービスが伝送されるデータを抽出することができる。放送信号送信装置がインターリービングを実行すると、フレームパーシングモジュール9010は、インターリービングの逆過程に該当するデインターリービングを実行することができる。この場合、抽出されるべき信号及びデータの位置がシグナリングデコーディングモジュール9040から出力されたデータをデコードすることによって取得され、放送信号送信装置によって生成されたスケジューリング情報を復元することができる。
デマッピング及びデコーディングモジュール9020は、入力信号をビット領域データに変換した後、必要によって、それらのビット領域データをデインターリーブすることができる。デマッピング及びデコーディングモジュール9020は、伝送効率のために適用されたマッピングに対するデマッピングを実行し、デコーディングを通じて伝送チャネルで発生した誤りを訂正することができる。この場合、デマッピング及びデコーディングモジュール9020は、シグナリングデコーディングモジュール9040から出力されたデータをデコードすることによって、デマッピング及びデコーディングのために必要な伝送パラメータを取得することができる。
出力プロセッサ9030は、伝送効率を向上させるために、放送信号送信装置によって適用される様々な圧縮/信号処理手順の逆手順を実行することができる。この場合、出力プロセッサ9030は、シグナリングデコーディングモジュール9040から出力されたデータで必要な制御情報を取得することができる。出力プロセッサ9030の出力は、放送信号送信装置に入力される信号に該当し、MPEG−TS、IPストリーム(v4又はv6)及びGSであってもよい。
シグナリングデコーディングモジュール9040は、同期及び復調モジュール9000によって復調された信号からPLS情報を取得することができる。前述したように、フレームパーシングモジュール9010、デマッピング及びデコーディングモジュール9020、出力プロセッサ9030は、シグナリングデコーディングモジュール9040から出力されたデータを用いてその機能を実行することができる。
図9は、本発明の一実施例に係るフレーム構造を示す。
図9は、フレームタイムの構成例及びスーパーフレームにおけるFRU(frame repetition unit;フレーム反復単位)を示す。(a)は、本発明の一実施例に係るスーパーフレームを示し、(b)は、本発明の一実施例に係るFRUを示し、(c)は、FRUにおける様々なフィジカルプロファイル(PHY profile)のフレームを示し、(d)は、フレームの構造を示す。
スーパーフレームは8個のFRUを含むことができる。FRUは、フレームのTDMに対する基本マルチプレクシング単位であり、スーパーフレームで8回反復される。
FRUにおいて各フレームはフィジカルプロファイル(ベース、ハンドヘルド、アドバンスドプロファイル)のいずれか一つ又はFEFに属する。FRUにおいてフレームの最大許容数は4であり、与えられたフィジカルプロファイルは、FRUにおいて0回乃至4回の回数を有することができる(例えば、ベース、ベース、ハンドヘルド、アドバンスド)。フィジカルプロファイル定義は、必要時には、プリアンブルにおけるPHY_PROFILEのリザーブド値を用いて拡張されてもよい。
FEF部分は、含まれるなら、FRUの終わりに挿入される。FEFがFRUに含まれる場合、FEFの最大数はスーパーフレームにおいて8である。FEF部分が互いに隣接することは推奨されない。
一つのフレームは、複数のOFDMシンボル及びプリアンブルにさらに分離される。(d)に示すように、フレームは、プリアンブル、一つ以上のFSS、ノーマルデータシンボル、FESを含む。
プリアンブルは、高速ヒューチャキャストUTBシステム信号検出を可能にし、信号の効率的な送信及び受信のための基本伝送パラメータの集合を提供する特別なシンボルである。プリアンブルに関する詳細な内容は後述する。
FSSの主な目的は、PLSデータを伝達することである。高速同期化及びチャネル推定のために、これによるPLSデータの高速デコーディングのために、FSSは、ノーマルデータシンボルに比べてより高密度のパイロットパターンを有する。FESはFSSと全く同じパイロットを有するが、これは、FES直前のシンボルに対して外挿(extrapolation)無しで、FES内における周波数だけのインターポレーション(補間)及び時間的補間(temporal interpolation)を可能にする。
図10は、本発明の一実施例に係るフレームのシグナリング階層構造(signaling hierarchy structure)を示す。
図10は、シグナリング階層構造を示すが、これは、3個の主要部分であるプリアンブルシグナリングデータ11000、PLS1データ11010、及びPLS2データ11020に分割される。毎フレームごとにプリアンブル信号によって伝達されるプリアンブルの目的は、フレームの基本伝送パラメータ及び伝送タイプを示すことである。PLS1は、受信機が関心のあるデータパイプに接続するためのパラメータを含むPLS2データに接続してデコーディング可能にさせる。PLS2は毎フレームごとに伝達され、2つの主要部分であるPLS2−STATデータとPLS2−DYNデータとに分割される。PLS2データのスタティック(静的)及びダイナミック(動的)部分には必要時にパディングが続く。
図11は、本発明の一実施例に係るプリアンブルシグナリングデータを示す。
プリアンブルシグナリングデータは、受信機がフレーム構造内でPLSデータに接続し、データパイプを追跡できるようにするために必要な21ビットの情報を伝達する。プリアンブルシグナリングデータに関する詳細な内容は、次のとおりである。
PHY_PROFILE:当該3ビットフィールドは、現フレームのフィジカルプロファイルタイプを示す。各フィジカルプロファイルタイプのマッピングは、下記の表5のように与えられる。
FFT_SIZE:当該2ビットフィールドは、下記の表6で説明したとおり、フレームグループ内で現フレームのFFTサイズを示す。
GI_FRACTION:当該3ビットフィールドは、下記の表7で説明したとおり、現スーパーフレームにおけるガードインターバルの一部(fraction)値を示す。
EAC_FLAG:当該1ビットフィールドは、EACが現フレームで提供されるか否かを示す。当該フィールドが1に設定されると、EASが現フレームで提供される。当該フィールドが0に設定されると、EASが現フレームで伝達されない。当該フィールドはスーパーフレーム内でダイナミック(動的)に転換されてもよい。
PILOT_MODE:当該1ビットフィールドは、現フレームグループで現フレームに対してパイロットモードがモバイルモードなのか又は固定モードなのかを示す。当該フィールドが0に設定されると、モバイルパイロットモードが用いられる。当該フィールドが1に設定されると、固定パイロットモードが用いられる。
PAPR_FLAG:当該1ビットフィールドは、現フレームグループで現フレームに対してPAPR減少が用いられるか否かを示す。当該フィールドが1に設定されると、トーン予約(tone reservation)がPAPR減少のために用いられる。当該フィールドが0に設定されると、PAPR減少が用いられない。
FRU_CONFIGURE:当該3ビットフィールドは、現スーパーフレームで存在するFRUのフィジカルプロファイルタイプ構成を示す。現スーパーフレームで全プリアンブルにおける当該フィールドにおいて、現スーパーフレームで伝達される全プロファイルタイプが識別される。当該3ビットフィールドは、下記の表8に示すように、それぞれのプロファイルに対して別々に定義される。
RESERVED:当該7ビットフィールドは、将来使用のためにリザーブド(reserved)される。
図12は、本発明の一実施例に係るPLS1データを示す。
PLS1データは、PLS2の受信及びデコーディングを可能にするために必要なパラメータを含む基本伝送パラメータを提供する。前述したように、PLS1データは、一つのフレームグループの全デューレーションで変化しない。PLS1データのシグナリングフィールドの具体的な定義は次のとおりである。
PREAMBLE_DATA:当該20ビットフィールドは、EAC_FLAG以外のプリアンブルシグナリングデータのコピーである。
NUM_FRAME_FRU:当該2ビットフィールドは、FRU当たりのフレーム数を示す。
PAYLOAD_TYPE:当該3ビットフィールドは、フレームグループで伝達されるペイロードデータのフォーマットを示す。PAYLOAD_TYPEは、表9に示すようにシグナルされる。
NUM_FSS:当該2ビットフィールドは、現フレームでFSSの数を示す。
SYSTEM_VERSION:当該8ビットフィールドは、伝送される信号フォーマットのバージョンを示す。SYSTEM_VERSIONは、主バージョン及び副バージョンの2つの4ビットフィールドに分離される。
主バージョン:SYSTEM_VERSIONフィールドのMSBである4ビットは、主バージョン情報を示す。主バージョンフィールドにおける変化は、互換が不可能な変化を示す。デフォルト値は0000である。当該標準で述べているバージョンに対して、値が0000に設定される。
副バージョン:SYSTEM_VERSIONフィールドのLSBである4ビットは、副バージョン情報を示す。副バージョンフィールドにおける変化は、互換が可能である。
CELL_ID:これは、ATSCネットワークで地理的セルを唯一に識別する16ビットフィールドである。ATSCセルカバレッジは、ヒューチャキャストUTBシステム当たりに用いられる周波数の数によって一つ以上の周波数で構成されてもよい。CELL_IDの値が知られないか又は特定されないと、当該フィールドは0に設定される。
NETWORK_ID:これは、現ATSCネットワークを唯一に識別する16ビットフィールドである。
SYSTEM_ID:該当16ビットフィールドは、ATSCネットワーク内でヒューチャキャストUTBシステムを唯一に識別する。ヒューチャキャストUTBシステムは、入力が一つ以上の入力ストリーム(TS、IP、GS)であり、出力がRF信号である地上波放送システムである。ヒューチャキャストUTBシステムは、存在するなら、FEF及び一つ以上のフィジカルプロファイルを伝達する。同じヒューチャキャストUTBシステムは、別個の入力ストリームを伝達し、別個の地理的領域で別個のRFを用いることができ、ローカルサービス挿入を許容する。フレーム構造及びスケジューリングは一つの場所で制御され、ヒューチャキャストUTBシステム内で全ての伝送に対して同一である。一つ以上のヒューチャキャストUTBシステムはいずれも同一のフィジカル構造及び構成を有するという同一のSYSTEM_ID意味を有することができる。
次のループ(loop)は、各フレームタイプの長さ及びFRU構成を示すFRU_PHY_PROFILE、FRU_FRAME_LENGTH、FRU_GI_FRACTION、RESERVEDで構成される。ループ(loop)サイズは、FRU内で4個のフィジカルプロファイル(FEFを含む)がシグナルされるように固定される。NUM_FRAME_FRUが4よりも小さいと、用いられないフィールドはゼロで埋められる。
FRU_PHY_PROFILE:当該3ビットフィールドは、関連したFRUの(i+1)番目のフレーム(iはループ(loop)インデックス)のフィジカルプロファイルタイプを示す。当該フィールドは表8に示すものと同じシグナリングフォーマットを用いる。
FRU_FRAME_LENGTH:当該2ビットフィールドは、関連したFRUの(i+1)番目のフレームの長さを示す。FRU_GI_FRACTIONと共にFRU_FRAME_LENGTHを用いると、フレームデューレーションの正確な値が得られる。
FRU_GI_FRACTION:当該3ビットフィールドは、関連したFRUの(i+1)番目のフレームのガードインターバルの一部の値を示す。FRU_GI_FRACTIONは、表7に従ってシグナルされる。
RESERVED:当該4ビットフィールドは、将来使用のためにリザーブド(reserved)される。
次のフィールドは、PLS2データをデコードするためのパラメータを提供する。
PLS2_FEC_TYPE:当該2ビットフィールドは、PLS2保護によって用いられるFECタイプを示す。FECタイプは、表10に従ってシグナルされる。LDPCコードに関する詳細な内容は後述する。
PLS2_MOD:当該3ビットフィールドは、PLS2によって用いられる変調タイプを示す。変調タイプは表11に従ってシグナルされる。
PLS2_SIZE_CELL:当該15ビットフィールドは、現フレームグループで伝達されるPLS2に対する全コーディングブロックのサイズ(QAMセルの数に特定される。)であるCtotal_partial_blockを示す。当該値は、現フレームグループの全デューレーションにおいて一定である。
PLS2_STAT_SIZE_BIT:当該14ビットフィールドは、現フレームグループに対するPLS2−STATのサイズをビット数で示す。当該値は、現フレームグループの全デューレーションにおいて一定である。
PLS2_DYN_SIZE_BIT:当該14ビットフィールドは、現フレームグループに対するPLS2−DYNのサイズをビット数で示す。当該値は、現フレームグループの全デューレーションにおいて一定である。
PLS2_REP_FLAG:当該1ビットフラグは、PLS2反復モードが現フレームグループで用いられるか否かを示す。当該フィールドの値が1に設定されると、PLS2反復モードは活性化される。当該フィールドの値が0に設定されると、PLS2反復モードは非活性化される。
PLS2_REP_SIZE_CELL:当該15ビットフィールドは、PLS2反復が用いられる場合、現フレームグループの毎フレームごとに伝達されるPLS2に対する部分コーディングブロックのサイズ(QAMセルの数に特定される。)であるCtotal_partial_blockを示す。反復が用いられない場合、当該フィールドの値は0と同一である。当該値は、現フレームグループの全デューレーションにおいて一定である。
PLS2_NEXT_FEC_TYPE:当該2ビットフィールドは、次のフレームグループの毎フレームで伝達されるPLS2に用いられるFECタイプを示す。FECタイプは表10に従ってシグナルされる。
PLS2_NEXT_MOD:当該3ビットフィールドは、次のフレームグループの毎フレームで伝達されるPLS2に用いられる変調タイプを示す。変調タイプは表11に従ってシグナルされる。
PLS2_NEXT_REP_FLAG:当該1ビットフラグは、PLS2反復モードが次のフレームグループで用いられるか否かを示す。当該フィールドの値が1に設定されると、PLS2反復モードは活性化される。当該フィールドの値が0に設定されると、PLS2反復モードは非活性化される。
PLS2_NEXT_REP_SIZE_CELL:当該15ビットフィールドは、PLS2反復が用いられる場合、次のフレームグループの毎フレームごとに伝達されるPLS2に対する全コーディングブロックのサイズ(QAMセルの数に特定される。)であるCtotal_full_blockを示す。次のフレームグループで反復が用いられない場合、当該フィールドの値は0と同一である。当該値は現フレームグループの全デューレーションにおいて一定である。
PLS2_NEXT_REP_STAT_SIZE_BIT:当該14ビットフィールドは、次のフレームグループに対するPLS2−STATのサイズをビット数で示す。当該値は、現フレームグループにおいて一定である。
PLS2_NEXT_REP_DYN_SIZE_BIT:当該14ビットフィールドは、次のフレームグループに対するPLS2−DYNのサイズをビット数で示す。当該値は、現フレームグループにおいて一定である。
PLS2_AP_MODE:当該2ビットフィールドは、現フレームグループでPLS2に対して追加パリティが提供されるか否かを示す。当該値は、現フレームグループの全デューレーションにおいて一定である。下記の表12は当該フィールドの値を提供する。当該フィールドの値が00に設定されると、現フレームグループで追加パリティがPLS2に対して用いられない。
PLS2_AP_SIZE_CELL:当該15ビットフィールドは、PLS2の追加パリティビットのサイズ(QAMセルの数に特定される)を示す。当該値は、現フレームグループの全デューレーションにおいて一定である。
PLS2_NEXT_AP_MODE:当該2ビットフィールドは、次のフレームグループの毎フレームごとにPLS2シグナリングに対して追加パリティが提供されるか否かを示す。当該値は、現フレームグループの全デューレーションにおいて一定である。表12は、当該フィールドの値を定義する。
PLS2_NEXT_AP_SIZE_CELL:当該15ビットフィールドは、次のフレームグループの毎フレームごとにPLS2の追加パリティビットのサイズ(QAMセルの数に特定される)を示す。当該値は、現フレームグループの全デューレーションにおいて一定である。
RESERVED:該当32ビットフィールドは将来使用のためにリザーブド(reserved)される。
CRC_32:全PLS1シグナリングに適用される32ビット誤り検出コード
図13は、本発明の一実施例に係るPLS2データを示す。
図13は、PLS2データのPLS2−STATデータを示す。PLS2−STATデータは、フレームグループ内で同一であるが、PLS2−DYNデータは現フレームに対して特定の情報を提供する。
PLS2−STATデータのフィールドに対して次に具体的に説明する。
FIC_FLAG:当該1ビットフィールドは、FICが現フレームグループで用いられるか否かを示す。当該フィールドの値が1に設定されると、FICは現フレームで提供される。当該フィールドの値が0に設定されると、FICは現フレームで伝達されない。当該値は、現フレームグループの全デューレーションにおいて一定である。
AUX_FLAG:当該1ビットフィールドは、補助ストリームが現フレームグループで用いられるか否かを示す。当該フィールドの値が1に設定されると、補助ストリームは現フレームで提供される。当該フィールドの値が0に設定されると、補助フレームは現フレームで伝達されない。当該値は、現フレームグループの全デューレーションにおいて一定である。
NUM_DP:該当6ビットフィールドは、現フレーム内で伝達されるデータパイプの数を示す。当該フィールドの値は1〜64であり、データパイプの数はNUM_DP+1である。
DP_ID:当該6ビットフィールドは、フィジカルプロファイル内でDPを唯一に識別する。
DP_TYPE:当該3ビットフィールドはデータパイプのタイプを示す。これは、下記の表13に従ってシグナルされる。
DP_GROUP_ID:当該8ビットフィールドは、現データパイプが関連しているデータパイプグループを識別する。これは、受信機が同じDP_GROUP_IDを有する特定サービスと関連しているサービスコンポーネントのデータパイプに接続するために用いられてもよい。
BASE_DP_ID:当該6ビットフィールドは、管理階層で用いられる(PSI/SIのような)サービスシグナリングデータを伝達するデータパイプを示す。BASE_DP_IDで示すデータパイプは、サービスデータと共にサービスシグナリングデータを伝達するノーマルデータパイプであってもよく、サービスシグナリングデータだけを伝達する専用データパイプであってもよい。
DP_FEC_TYPE:当該2ビットフィールドは、関連したデータパイプによって用いられるFECタイプを示す。FECタイプは、下記の表14に従ってシグナルされる。
DP_COD:当該4ビットフィールドは、関連したデータパイプによって用いられるコードレート(code rate)を示す。コードレート(code rate)は、下記の表15に従ってシグナルされる。
DP_MOD:当該4ビットフィールドは、関連したデータパイプによって用いられる変調を示す。変調は、下記の表16に従ってシグナルされる。
DP_SSD_FLAG:当該1ビットフィールドは、SSDモードが関連したデータパイプで用いられるか否かを示す。当該フィールドの値が1に設定されると、SSDが用いられる。当該フィールドの値が0に設定されると、SSDは用いられない。
次のフィールドは、PHY_PROFILEがアドバンスドプロファイルを示す010と同一である場合にのみ表される。
DP_MIMO:当該3ビットフィールドは、どのタイプのMIMOエンコーディング処理が関連したデータパイプに適用されるかを示す。MIMOエンコーディング処理のタイプは、下記の表17に従ってシグナルされる。
DP_TI_TYPE:当該1ビットフィールドは、タイムインターリービングのタイプを示す。0の値は、一つのタイムインターリービンググループが一つのフレームに該当し、一つ以上のタイムインターリービングブロックを含むことを示す。1の値は、一つのタイムインターリービンググループが一つよりも多いフレームで伝達され、一つのタイムインターリービングブロックのみを含むことを示す。
DP_TI_LENGTH:当該2ビットフィールド(許容された値は、1、2、4、8のみである。)の使用は、次のようなDP_TI_TYPEフィールド内で設定される値によって決定される。
DP_TI_TYPEの値が1に設定されると、当該フィールドは、それぞれのタイムインターリービンググループがマップされるフレームの数であるPIを示し、タイムインターリービンググループ当たりに一つのタイムインターリービングブロックが存在する(NTI=1)。当該2ビットフィールドで許容されるPIの値は、下記の表18に定義される。
DP_TI_TYPEの値が0に設定されると、当該フィールドは、タイムインターリービンググループ当たりのタイムインターリービングブロックの数NTIを示し、フレーム当たりに一つのタイムインターリービンググループが存在する(PI=1)。当該2ビットフィールドで許容されるPIの値は、下記の表18に定義される。
DP_FRAME_INTERVAL:当該2ビットフィールドは、関連したデータパイプに対するフレームグループ内でフレーム間隔(IJUMP)を示し、許容された値は1,2,4,8(該当する2ビットフィールドはそれぞれ00,01,10,11)である。フレームグループの全フレームに現れないデータパイプに対して、当該フィールドの値は、順次的なフレーム間の間隔と同一である。例えば、データパイプが1,5,9,13などのフレームで現れると、当該フィールドの値は4に設定される。全フレームに現れるデータパイプに対して、当該フィールドの値は1に設定される。
DP_TI_BYPASS:当該1ビットフィールドは、タイムインターリーバ5050の可用性を決定する。データパイプに対してタイムインターリービングが用いられないと、当該フィールド値は1に設定される。一方、タイムインターリービングが用いられると、当該フィールド値は0に設定される。
DP_FIRST_FRAME_IDX:当該5ビットフィールドは、現データパイプが発生するスーパーフレームの最初のフレームのインデックスを示す。DP_FIRST_FRAME_IDXの値は、0〜31である。
DP_NUM_BLOCK_MAX:当該10ビットフィールドは、当該データパイプに対するDP_NUM_BLOCKSの最大値を示す。当該フィールドの値はDP_NUM_BLOCKSと同じ範囲を有する。
DP_PAYLOAD_TYPE:当該2ビットフィールドは、与えられたデータパイプによって伝達されるペイロードデータのタイプを示す。DP_PAYLOAD_TYPEは、下記の表19に従ってシグナルされる。
DP_INBAND_MODE:当該2ビットフィールドは、現データパイプがインバンド(In−band)シグナリング情報を伝達するか否かを示す。インバンド(In−band)シグナリングタイプは、下記の表20に従ってシグナルされる。
DP_PROTOCOL_TYPE:当該2ビットフィールドは、与えられたデータパイプによって伝達されるペイロードのプロトコルタイプを示す。ペイロードのプロトコルタイプは、入力ペイロードタイプが選択されると、下記の表21に従ってシグナルされる。
DP_CRC_MODE:当該2ビットフィールドは、CRCエンコーディングがインプットフォーマットブロックで用いられるか否かを示す。CRCモードは、下記の表22に従ってシグナルされる。
DNP_MODE:当該2ビットフィールドは、DP_PAYLOAD_TYPEがTS(‘00’)に設定される場合に、関連したデータパイプによって用いられるヌルパケット削除モードを示す。DNP_MODEは、下記の表23に従ってシグナルされる。DP_PAYLOAD_TYPEがTS(‘00’)でなければ、DNP_MODEは00の値に設定される。
ISSY_MODE:当該2ビットフィールドは、DP_PAYLOAD_TYPEがTS(‘00’)に設定される場合に、関連したデータパイプによって用いられるISSYモードを示す。ISSY_MODEは、下記の表24に従ってシグナルされる。DP_PAYLOAD_TYPEがTS(‘00’)でなければ、ISSY_MODEは00の値に設定される。
HC_MODE_TS:当該2ビットフィールドは、DP_PAYLOAD_TYPEがTS(‘00’)に設定される場合に、関連したデータパイプによって用いられるTSヘッダー圧縮モードを示す。HC_MODE_TSは、下記の表25に従ってシグナルされる。
HC_MODE_IP:当該2ビットフィールドは、DP_PAYLOAD_TYPEがIP(‘01’)に設定される場合に、IPヘッダーコンプレションモードを示す。HC_MODE_IPは、下記の表26に従ってシグナルされる。
PID:当該13ビットフィールドは、DP_PAYLOAD_TYPEがTS(‘00’)に設定され、HC_MODE_TSが01又は10に設定される場合に、TSヘッダー圧縮のためのPID数を示す。
RESERVED:当該8ビットフィールドは、将来使用のためにリザーブド(reserved)される。
次のフィールドは、FIC_FLAGが1と同一である場合にのみ現れる。
FIC_VERSION:当該8ビットフィールドは、FICのバージョンナンバーを示す。
FIC_LENGTH_BYTE:当該13ビットフィールドは、FICの長さをバイト単位で示す。
RESERVED:当該8ビットフィールドは、将来使用のためにリザーブド(reserved)される。
次のフィールドは、AUX_FLAGが1と同一である場合にのみ現れる。
NUM_AUX:当該4ビットフィールドは、補助ストリームの数を示す。ゼロは、補助ストリームが用いられないことを示す。
AUX_CONFIG_RFU:当該8ビットフィールドは将来使用のためにリザーブド(reserved)される。
AUX_STREAM_TYPE:当該4ビットは、現補助ストリームのタイプを示すための将来使用のためにリザーブド(reserved)される。
AUX_PRIVATE_CONFIG:該当28ビットフィールドは、補助ストリームをシグナリングするための将来使用のためにリザーブド(reserved)される。
図14は、本発明の他の実施例に係るPLS2データを示す。
図14は、PLS2データのPLS2−DYNを示す。PLS2−DYNデータの値は一つのフレームグループのデューレーションで変化してもよいが、フィールドのサイズは一定である。
PLS2−DYNデータのフィールドの具体的な内容は、次のとおりである。
FRAME_INDEX:当該5ビットフィールドは、スーパーフレーム内で現フレームのフレームインデックスを示す。スーパーフレームの最初のフレームのインデックスは0に設定される。
PLS_CHANGE_COUNTER:当該4ビットフィールドは、構成が変化する前のスーパーフレームの数を示す。構成が変化する次のスーパーフレームは、当該フィールド内でシグナルされる値で示す。当該フィールドの値が0000に設定されると、これは、いかなる予定された変化も予測されないことを意味する。例えば、1の値は、次のスーパーフレームに変化があることを示す。
FIC_CHANGE_COUNTER:当該4ビットフィールドは、構成(すなわち、FICのコンテンツ)が変化する前のスーパーフレームの数を示す。構成が変化する次のスーパーフレームは、当該フィールド内でシグナルされる値で示す。当該フィールドの値が0000に設定されると、これは、いかなる予定された変化も予測されないことを意味する。例えば、0001の値は、次のスーパーフレームに変化があるということを示す。
RESERVED:当該16ビットフィールドは、将来使用のためにリザーブド(reserved)される。
次のフィールドは、現フレームで伝達されるデータパイプと関連したパラメータを説明するNUM_DPにおけるループ(loop)に現れる。
DP_ID:当該6ビットフィールドは、フィジカルプロファイル内でデータパイプを唯一に示す。
DP_START:当該15ビット(又は、13ビット)フィールドは、DPUアドレシング(addressing)技法を用いてデータパイプの最初のの開始位置を示す。DP_STARTフィールドは、下記の表27に示すように、フィジカルプロファイル及びFFTサイズによって別個の長さを有する。
DP_NUM_BLOCK:当該10ビットフィールドは、現データパイプに対する現タイムインターリービンググループでFECブロックの数を示す。DP_NUM_BLOCKの値は、0〜1023である。
RESERVED:当該8ビットフィールドは、将来使用のためにリザーブド(reserved)される。
次のフィールドは、EACと関連したFICパラメータを示す。
EAC_FLAG:当該1ビットフィールドは、現フレームでEACの存在を示す。該当ビットはプリアンブルでEAC_FLAGと同じ値である。
EAS_WAKE_UP_VERSION_NUM:当該8ビットフィールドは、自動活性化指示のバージョンナンバーを示す。
EAC_FLAGフィールドが1に等しいと、次の12ビットがEAC_LENGTH_BYTEフィールドに割り当てられる。EAC_FLAGフィールドが0に等しいと、次の12ビットがEAC_COUNTERに割り当てられる。
EAC_LENGTH_BYTE:当該12ビットフィールドは、EACの長さをバイトで示す。
EAC_COUNTER:当該12ビットフィールドは、EACが到達するフレーム以前のフレームの数を示す。
次のフィールドは、AUX_FLAGフィールドが1と同一である場合にのみ現れる。
AUX_PRIVATE_DYN:当該48ビットフィールドは、補助ストリームをシグナリングするための将来使用のためにリザーブド(reserved)される。当該フィールドの意味は、設定可能なPLS2−STATでAUX_STREAM_TYPEの値に依存する。
CRC_32:全PLS2に適用される32ビット誤り検出コード。
図15は、本発明の一実施例に係るフレームのロジカル(logical)構造を示す。
前述したように、PLS、EAC、FIC、データパイプ、補助ストリーム、ダミーセルは、フレームでOFDMシンボルのアクティブ(active)キャリアにマップされる。PLS1及びPLS2は、初めには一つ以上のFSSにマップされる。その後、EACが存在すると、EACセルは直後のPLSフィールドにマップされる。次にFICが存在すると、FICセルがマップされる。データパイプはPLSの次にマップされるか、或いは、EAC又はFICが存在すると、EAC又はFICの後にマップされる。タイプ1データパイプが最初にマップされ、その次にタイプ2データパイプがマップされる。データパイプのタイプの具体的な内容は後述する。一部の場合に、データパイプは、EASに対する一部の特殊データ又はサービスシグナリングデータを伝達することができる。補助ストリーム又はストリームは、存在するなら、データパイプの次にマップされ、ここには順にダミーセルが続く。前述した順序、すなわち、PLS、EAC、FIC、データパイプ、補助ストリーム、及びダミーセルの順で全て共にマップすると、フレームでセル容量を正確に満たす。
図16は、本発明の一実施例に係るPLSマッピングを示す。
PLSセルは、FSSのアクティブ(active)キャリアにマップされる。PLSが占めるセルの数によって、一つ以上のシンボルがFSSとして指定され、FSSの数NFSSは、PLS1におけるNUM_FSSでシグナルされる。FSSは、PLSセルを伝達する特殊なシンボルである。警告性及び遅延時間(latency)はPLSで重大な事案であるため、FSSは高いパイロット密度を有し、高速同期化及びFSS内における周波数のみのインターポレーション(補間)を可能にする。
PLSセルは、図16の例に示すように、下向き方式でFSSのアクティブキャリアにマップされる。PLS1セルははじめは、最初のFSSの最初のセルからセルインデックスの昇順でマップされる。PLS2セルは、PLS1の最後のセルの直後に続き、マッピングは、最初のFSSの最後のセルインデックスまで下向き方式で続く。必要なPLSセルの全数が一つのFSSのアクティブキャリアの数を超えると、マッピングは次のFSSに進行され、最初のFSSと全く同じ方式で続けて行われる。
PLSマッピングが完了した後、データパイプが次に伝達される。EAC、FIC、又は両方が現フレームに存在すると、EAC及びFICは、PLSとノーマルデータパイプとの間に配置される。
図17は、本発明の一実施例に係るEACマッピングを示す。
EACは、EASメッセージを伝達する専用チャネルであり、EASに対するデータパイプに連結される。EAS支援は提供されるが、EAC自体は全てのフレームに存在してもよく、存在しなくてもよい。EACが存在すると、EACは、PLS2セルの直後にマップされる。PLSセルを除けば、FIC、データパイプ、補助ストリーム又はダミーセルのいずれもEACの前に位置しない。EACセルのマッピング手順はPLSと全く同一である。
EACセルは、図17の例に示すように、PLS2の次のセルからセルインデックスの昇順でマップされる。EASメッセージの大きさによって、図18に示すように、EACセルは、少ないシンボルを占めることができる。
EACセルは、PLS2の最後のセルの直後に続き、マッピングは、最後のFSSの最後のセルインデックスまで下向き方式で続けて行われる。必要なEACセルの全数が最後のFSSの残っているアクティブキャリアの数を超えると、EACマッピングは次のシンボルに進行され、FSSと全く同じ方式で続けて行われる。この場合、EACのマッピングがなされる次のシンボルは、ノーマルデータシンボルであり、これは、FSSに比べてより多いアクティブキャリアを有する。
EACマッピングが完了した後、存在するなら、FICが次に伝達される。FICが伝送されないと(PLS2フィールドでシグナリングによって)、データパイプがEACの最後のセルの直後に続く。
図18は、本発明の一実施例に係るFICマッピングを示す。
(a)は、EAC無しのFICセルのマッピングの例を示し、(b)は、EACと共にFICセルのマッピングの例を示す。
FICは、高速サービス取得及びチャネルスキャンを可能にするために層間情報(cross−layer information)を伝達する専用チャネルである。当該情報は主に、データパイプ間のチャネルバインディング(channel binding)情報及び各放送会社のサービスを含む。高速スキャンのために、受信機はFICをデコードし、放送会社ID、サービス数、BASE_DP_IDのような情報を取得することができる。高速サービスの取得のために、FICだけでなくベースデータパイプもBASE_DP_IDを用いてデコードすることができる。ベースデータパイプが伝達するコンテンツを除いて、ベースデータパイプは、ノーマルデータパイプと全く同じ方式でエンコードされてフレームにマップされる。したがって、ベースデータパイプに関する追加説明は不要である。FICデータが生成されて管理階層で消費される。FICデータのコンテンツは、管理階層の仕様に説明されたとおりである。
FICデータは選択的であり、FICの使用はPLS2のスタティック(静的)である部分でFIC_FLAGパラメータによってシグナルされる。FICが用いられると、FIC_FLAGは1に設定され、FICに対するシグナリングフィールドは、PLS2のスタティック(静的)である部分で定義される。当該フィールドでシグナルされるものはFIC_VERSIONであり、FIC_LENGTH_BYTE.FICは、PLS2と同じ変調、コーディング、タイムインターリービングパラメータを用いる。FICは、PLS2_MOD及びPLS2_FECのような同一のシグナリングパラメータを共有する。FICデータは、存在するなら、PLS2の後にマップされるか、EACが存在すると、EACの直後にマップされる。ノーマルデータパイプ、補助ストリーム、又はダミーセルのいずれもFICの前に位置しない。FICセルをマップする方法は、EACと全く同一であり、これはさらにPLSと同一である。
PLSの後にEACが存在しない場合、FICセルは、(a)の例に示すように、PLS2の次のセルからセルインデックスの昇順でマップされる。FICデータサイズによって、(b)に示すように、FICセルは数個のシンボルに対してマップされる。
FICセルは、PLS2の最後のセルの直後に続き、マッピングは、最後のFSSの最後のセルインデックスまで下向き方式で続けて行われる。必要なFICセルの全数が最後のFSSの残っているアクティブキャリアの数を超えると、マッピングは次のシンボルに進行され、これはFSSと全く同じ方式で続けて行われる。この場合、FICがマップされる次のシンボルはノーマルデータシンボルであり、これはFSSに比べてより多いアクティブキャリアを有する。
EASメッセージが現フレームで伝送されると、EACはFICよりも先にマップされ、(b)に示すように、EACの次のセルから、FICセルはインデックスの昇順でマップされる。
FICマッピングが完了した後、一つ以上のデータパイプがマップされ、その後、存在するなら、補助ストリーム、ダミーセルが続く。
図19は、本発明の一実施例に係るFEC構造を示す。
図19は、ビットインターリービング前の本発明の一実施例に係るFEC構造を示す。前述したように、データFECエンコーダは外部コーディング(BCH)及び内部コーディング(LDPC)を用いてFECBLOCK手順を生成するために、入力BBFにFECエンコーディングを実行することができる。図示されたFEC構造は、FECBLOCKに該当する。また、FECBLOCK及びFEC構造は、LDPCコードワードの長さに該当する同一の値を有する。
図19に示すように、BCHエンコーディングがそれぞれのBBF(Kbchビット)に適用された後、LDPCエンコーディングがBCH−エンコードされたBBF(Kldpcビット=Nbchビット)に適用される。
Nldpcの値は、64800ビット(ロングFECBLOCK)又は16200ビット(ショートFECBLOCK)である。
下記の表28及び表29は、ロングFECBLOCK及びショートFECBLOCKのそれぞれに対するFECエンコーディングパラメータを示す。
BCHエンコーディング及びLDPCエンコーディングの具体的な動作は、次のとおりである。
12−誤り訂正BCHコードがBBFの外部エンコーディングに用いられる。ショートFECBLOCK及びロングFECBLOCKに対するBBF生成多項式は、全ての多項式を乗算することによって得られる。
LDPCコードは、外部BCHエンコーディングの出力をエンコードするために用いられる。完成されたBldpc(FECBLOCK)を生成するために、Pldpc(パリティビット)がそれぞれのIldpc(BCH−エンコードされたBBF)から組織的にエンコードされ、Ildpcに付加される。完成されたBldpc(FECBLOCK)は、次の式で表現される。
ロングFECBLOCK及びショートFECBLOCKに対するパラメータは、上記の表28及び表29にそれぞれ与えられる。
ロングFECBLOCKに対してNldpc−Kldpcパリティビットを計算する具体的な手順は次のとおりである。
1)パリティビット初期化
2)パリティーチェックマトリクスのアドレスの一番目の行で特定されたパリティビットアドレスで一番目の情報ビットi0を累算する(accumulate)。パリティーチェックマトリクスのアドレスの詳細な内容は後述する。例えば、比率13/15に対して、
3)次の359個の情報ビットis、s=1,2,…,359に対して、次の式を用いてパリティビットアドレスでisを累算する。
ここで、xは、最初のビットi0に該当するパリティビット累算器のアドレスを示し、Qldpcは、パリティーチェックマトリクスのアドレスで特定されたコードレート(code rate)依存定数である。上記の例である、比率13/15に対する、したがって情報ビットi1に対するQldpc=24に続いて、次の動作が実行される。
4)361番目の情報ビットi360に対して、パリティビット累算器のアドレスは、パリティーチェックマトリクスのアドレスの2番目の行に与えられる。同様の方式で、次の359個の情報ビットis、s=361,362,…,719に対するパリティビット累算器のアドレスは、式6を用いて得られる。ここで、xは情報ビットi360に該当するパリティビット累算器のアドレス、すなわち、パリティーチェックマトリクスの2番目の行のエントリを示す。
5)同様の方式で、360個の新しい情報ビットの全てのグループに対して、パリティーチェックマトリクスのアドレスからの新しい行は、パリティビット累算器のアドレスを求めるために用いられる。
全情報ビットが利用された後、最終パリティビットが次のように得られる。
6)i=1から始まって次の動作を順次に実行する
ここで、p
i、i=0,1,...N
ldpc−K
ldpc−1の最終コンテンツは、パリティビットp
iと同一である。
表30を表31に代え、ロングFECBLOCKに対するパリティーチェックマトリクスのアドレスをショートFECBLOCKに対するパリティーチェックマトリクスのアドレスに代えることを除けば、ショートFECBLOCKに対する当該LDPCエンコーディング手順は、ロングFECBLOCKに対するt LDPCエンコーディング手順にしたがう。
図20は、本発明の一実施例に係るタイムインターリービングを示す。
(a)乃至(c)は、タイムインターリービングモードの例を示す。
タイムインターリーバは、データパイプレベルで動作する。タイムインターリービングのパラメータはそれぞれのデータパイプに対して別々に設定されてもよい。
PLS2−STATデータの一部に現れる次のパラメータは、タイムインターリービングを構成する。
DP_TI_TYPE(許容された値:0又は1):タイムインターリービングモードを示す。0は、タイムインターリービンググループ当たりに複数のタイムインターリービングブロック(一つ以上のタイムインターリービングブロック)を有するモードを示す。この場合、一つのタイムインターリービンググループは一つのフレームに(フレーム間インターリービング無しで)直接マップされる。1は、タイムインターリービンググループ当たりに一つのタイムインターリービングブロックだけを有するモードを示す。この場合、タイムインターリービングブロックは、一つ以上のフレームにわたって拡散される(フレーム間インターリービング)。
DP_TI_LENGTH:DP_TI_TYPE=‘0’であれば、当該パラメータは、タイムインターリービンググループ当たりのタイムインターリービングブロックの数NTIである。DP_TI_TYPE=‘1’である場合、当該パラメータは、一つのタイムインターリービンググループから拡散されるフレームの数PIである。
DP_NUM_BLOCK_MAX(許容された値:0乃至1023):タイムインターリービンググループ当たりのXFECBLOCKの最大数を示す。
DP_FRAME_INTERVAL(許容された値:1,2,4,8):与えられたフィジカルプロファイルの同一のデータパイプを伝達する2つの順次的なフレーム間のフレームの数IJUMPを示す。
DP_TI_BYPASS(許容された値:0又は1):タイムインターリービングがデータフレームに用いられないと、当該パラメータは1に設定される。タイムインターリービングが用いられると、0に設定される。
さらに、PLS2−DYNデータからのパラメータDP_NUM_BLOCKは、データグループの一つのタイムインターリービンググループによって伝達されるXFECBLOCKの数を示す。
タイムインターリービングがデータフレームに用いられないと、次のタイムインターリービンググループ、タイムインターリービング動作、タイムインターリービングモードは考慮されない。しかし、スケジューラからのダイナミック(動的)構成情報のためのディレイコンペセーション(遅延補償)ブロックは依然として必要である。それぞれのデータパイプで、SSD/MIMOエンコーディングから受信したXFECBLOCKは、タイムインターリービンググループにグルーピングされる。すなわち、それぞれのタイムインターリービンググループは整数個のXFECBLOCKの集合であり、ダイナミック(動的)に変化する数のXFECBLOCKを含むはずである。インデックスnのタイムインターリービンググループにあるXFECBLOCKの数は、NxBLOCK_Group(n)で示し、PLS2−DYNデータでDP_NUM_BLOCKとしてシグナルされる。このとき、NxBLOCK_Group(n)は、最小値0から、最大の値が1023である最大値NxBLOCK_Group_MAX(DP_NUM_BLOCK_MAXに該当)まで変化してもよい。
それぞれのタイムインターリービンググループは、一つのフレームに直接マップされたり、PI個のフレームにわたって拡散される。また、それぞれのタイムインターリービンググループは、一つ以上(NTI個)のタイムインターリービングブロックに分離される。ここでそれぞれのタイムインターリービングブロックは、タイムインターリーバメモリの一つの使用に該当する。タイムインターリービンググループ内のタイムインターリービングブロックは、やや異なる数のXFECBLOCKを含むことができる。タイムインターリービンググループが複数のタイムインターリービンググループに分離されると、タイムインターリービンググループは一つのフレームにのみ直接マップされる。下記の表32に示すように、タイムインターリービングには3つのオプションがある(タイムインターリービングを省略する追加オプションを除く)。
一般に、タイムインターリーバは、フレーム生成手順の前にデータパイプデータに対するバッファとしても働くはずである。これは、それぞれのデータパイプに対して2個のメモリバンクによって達成される。最初のタイムインターリービングブロックは一番目のバンクに書き込まれる。一番目のバンクから読み取られる間に、2番目のタイムインターリービングブロックが2番目のバンクに書き込まれる。
タイムインターリービングは、ツイストされた行−列ブロックインターリーバである。n番目のタイムインターリービンググループのs番目のタイムインターリービングブロックに対して、列の数NcがNxBLOCK_TI(n,s)と同一であるが、タイムインターリービングメモリの行の数Nrは、セルの数Ncellsと同一である(すなわち、Nr=Ncells)。
図21は、本発明の一実施例に係るツイストされた行−列ブロックインターリーバの基本動作を示す。
図21(a)は、タイムインターリーバで書き込み動作を示し、図21(b)は、タイムインターリーバで読み取り動作を示す。(a)に示すように、一番目のXFECBLOCKはタイムインターリービングメモリの一番目の列に列方向に書き込まれ、二番目のXFECBLOCKは次の列に書き込まれ、このような動作が続けて行われる。そして、インターリービングアレイで、セルが対角線方向に読み取られる。(b)に示すように、一番目の行から(最左列から始まって行に沿って右に)最後の行まで対角線方向読み取りが行われれる間に、Nr個のセルが読み取られる。具体的に、zn,s,i(i=0,...,NrNc)を、順次に読み取られるタイムインターリービングメモリセル位置と仮定すれば、このようなインターリービングアレイにおける読み取り動作は、下記の式のように、行インデックスRn,s,i、列インデックスCn,s,i、関連したツイストパラメータTn,s,iを算出することによって実行される。
ここで、S
shiftは、N
xBLOCK_TI(n,s)に関係なく対角線方向読み取り手順に対する共通シフト値であり、シフト値は、下記の式のように、PLS2−STATで与えられたN
xBLOCK_TI_MAXによって決定される。
結果的に、読み取られるセル位置は、座標z
n,s,i=N
rC
n,s,i+R
n,s,iによって算出される。
図22は、本発明の他の実施例に係る、ツイストされた行−列ブロックインターリーバの動作を示す。
より具体的に、図22は、NxBLOCK_TI(0,0)=3、NxBLOCK_TI(1,0)=6、NxBLOCK_TI(2,0)=5のとき、仮想XFECBLOCKを含むそれぞれのタイムインターリービンググループに対するタイムインターリービングメモリでインターリービングアレイを示す。
変数NxBLOCK_TI(n,s)=Nrは、NxBLOCK_TI_MAXより小さい又は等しいだろう。したがって、NxBLOCK_TI(n,s)に関わらず、受信機側で単一メモリデインターリービングを達成するために、ツイストされた行−列ブロックインターリーバ用インターリービングアレイは、仮想XFECBLOCKをタイムインターリービングメモリに挿入することによってNr×Nc=Ncells×NxBLOCK_TI_MAXのサイズに設定され、読み取り過程は次の式のように行われる。
タイムインターリービンググループの数は3に設定される。タイムインターリーバのオプションは、DP_TI_TYPE=‘0’、DP_FRAME_INTERVAL=‘1’、DP_TI_LENGTH=‘1’、すなわち、NTI=1、IJUMP=1、PI=1によってPLS2−STATデータでシグナルされる。それぞれNcells=30であるXFECBLOCKのタイムインターリービンググループ当たりの数は、それぞれのNxBLOCK_TI(0,0)=3、NxBLOCK_TI(1,0)=6、NxBLOCK_TI(2,0)=5によってPLS2−DYNデータでシグナルされる。XFECBLOCKの最大数はNxBLOCK_Group_MAXによってPLS2−STATデータでシグナルされ、
図23は、本発明の一実施例に係るツイストされた行−列ブロックインターリーバの対角線方向読み取りパターンを示す。
より具体的に、図23は、パラメータN'
xBLOCK_TI_MAX=7及びS
shift=(7−1)/2=3を有するそれぞれのインターリービングアレイからの対角線方向読み取りパターンを示す。このとき、上で擬似コードと示した読み取り過程で、
図24は、本発明の一実施例に係るそれぞれのインターリービングアレイからのインターリービングされたXFECBLOCKを示す。
図24は、パラメータN'xBLOCK_TI_MAX=7及びSshift=3を有するそれぞれのインターリービングアレイからインターリーブされたXFECBLOCKを示す。
以下では、本発明の一実施例として、実時間放送環境でファイルベースマルチメディアコンテンツを伝送するためのファイルの分割生成方法及び消費方法を説明する。
具体的には、本発明の一実施例は、実時間放送環境でファイルベースマルチメディアコンテンツを伝送するためのデータ構成方案を提供する。また、本発明の一実施例は、実時間放送環境でファイルベースマルチメディアコンテンツを伝送するためのファイルの分割生成情報及び消費情報を識別する方法を提供する。また、本発明の一実施例は、実時間放送環境でファイルベースマルチメディアコンテンツを伝送するためのファイルの分割生成方法を提供する。また、本発明の一実施例は、実時間放送環境でファイルベースマルチメディアコンテンツを消費するためのファイルの分割消費方法を提供する。
図25は、FLUTEプロトコルを用いた場合のデータ処理時間を示す図である。
近年、放送網とインターネット網とを結合したハイブリッド放送サービスが多く提供されている。ハイブリッド放送サービスは、A/Vコンテンツを既存の放送網を介して伝送し、A/Vコンテンツに関連した付加データをインターネット網を介して提供することができる。また、最近ではA/Vコンテンツの一部をインターネット網を介して送信するサービスも提供されている。
A/Vコンテンツが異種網で伝送されることにより、異種網で伝送されるA/Vコンテンツデータ間の緊密な結合方法及び容易な相互運用方法が要求される。そのために、放送網及びインターネット網に共に適用可能な共通の伝送方法が必要である。
最近に考慮されている放送網及びインターネット網に共通に適用可能なA/Vコンテンツの伝送方法の一つは、ファイルベースマルチメディアコンテンツの使用である。ファイルベースマルチメディアコンテンツは拡張性に優れており、伝送プロトコルに対する依存性がないため、既存のインターネット網を介したダウンロード方式の形態で広く用いられている。
このように、放送網とインターネット網との連動に適合しており、大容量ファイルのファイルベースマルチメディアコンテンツを送信するに適したプロトコルがFLUTE(File Delivery over Unidirectional Transport protocol)である。
FLUTEは、ALCベースで単方向ファイルを伝送するためのアプリケーションであり、ファイルを送信する上で必要なファイル自体に関する情報又は伝送のための情報について定義しておいたプロトコルである。FLUTEは、ファイルを送信するにあって、まず、FDT(File Delivery Table)インスタンスの送信を用いて、伝送に必要な情報及び伝送するファイルの様々な属性に関する情報を送った後にファイルを伝送する。
ALC(Asynchronous Layered Coding)は、単一送信者が複数の受信者にファイルを送信する間に、複数のチャネルを介して信頼性及び混雑制御が可能なように標準化したプロトコルである。ALCは、誤り制御のためのFEC形成ブロック、混雑制御のためのWEBRC形成ブロック、セッション及びチャネル管理のためのLCT(Layered Coding Transport)形成ブロックを結合したものであり、サービスと必要によってビルディングブロックを構成できるようになっている。
ALCはコンテンツ伝達プロトコルであり、多数の受信者に非常に効率的な伝送を可能にする。また、ALCは単方向性を有すると共に、必要によって制限的伝送が可能であり、フィードバックのための特定チャネル及びリソースが不要であるため、無線環境だけでなく、衛星環境のブロードキャストでも用いることができる。ALCは、フィードバックがないため、信頼性のためにFECコードスキームを全体的に又は部分的に適用して、信頼できるサービスを提供する。また、伝達しようとするオブジェクトは、適用されるFECスキームによってFECエンコーディングを経て伝送ブロックとFECスキームによって生成された追加のシンボルを構成して伝達される。ALCのセッションは、一つ以上のチャネルで構成され、複数の受信者は、ネットワーク状態に応じてセッション内のチャネルを選択して所望のオブジェクトを受信する。受信者は自身のコンテンツ受信にのみ専念することができ、他の受信者の状態又はパケット損失にもほとんど影響を受けない。したがって、ALCは、高い堅固性を有し、マルチレイヤ(multi−layered)伝送を用いて安定したコンテンツダウンロードを提供することができる。
LCTは、信頼性あるコンテンツ伝送(例えば、FLUTE)及びストリーム伝送プロトコルのための伝送レベルの支援を提供する。LCTは、受信者に伝達する基本的な情報の内容と特徴に関する情報を提供する。例えば、LCTは、TSI(Treansport Session Identifier)フィールド、TOI(Transport Object ID)フィールド、及びCCI(Congestion Control Information)フィールドを含むことができる。
TSIフィールドは、ALC/LCTセッションを識別する情報を含む。例えば、セッション内のチャネルは、送信者IPアドレス及びUDPポートを用いて識別することができる。TOIフィールドは、それぞれのファイルオブジェクトを識別する情報を含む。CCIフィールドは、使用の有無及び混雑制御ブロックの情報を含む。また、LCTは、拡張ヘッダーで付加情報及びFEC関連情報を提供することができる。
以上のように、オブジェクト(例えば、ファイルなど)は、FLUTEプロトコルによってパケット化され、これはさらにALC/LCT方式によってパケット化される。該パケット化されたALC/LCTデータはさらにUDP方式によってパケット化され、該パケット化されたALC/LCT/UDPデータはさらにIP方式によってパケット化されてALC/LCT/UDP/IPデータとなる。
ファイルベースマルチメディアコンテンツは、LCTのようなコンテンツ伝送プロトコルによってインターネット網の他、放送網でも伝送が可能である。このとき、少なくとも一つのオブジェクト又はファイルで構成されるマルチメディアコンテンツは、LCTによって、オブジェクト単位又はファイル単位で伝送及び消費されてもよい。具体的に説明すると、下記のとおりである。
図25の(a)を参照すると、FLUTEプロトコルを用いたデータ構造が示されている。例えば、マルチメディアコンテンツは、少なくとも一つのオブジェクトを含むことができる。一つのオブジェクトは、少なくとも一つのフラグメント(Fragment1及びFragment2)を含むことができる。
図25の(b)を参照すると、FLUTEプロトコルを用いた場合のデータ処理時間が示されている。図25の(b)で、下端の図は、放送信号送信装置による、一つのオブジェクトに対するエンコーディング開始時間及びエンコーディング終了時間を示しており、中間の図は、放送信号送信装置による、一つのオブジェクトに対する伝送開始時間及び伝送終了時間を示しており、上端の図は、放送信号受信装置による、一つのオブジェクトに対する再生開始時間及び再生終了時間を示している。
放送信号送信装置は、少なくとも一つのフラグメントを含むオブジェクトの生成を終了した後にオブジェクトの伝送を始める。したがって、放送信号送信装置でオブジェクトを生成し始めた時点と伝送し始めた時点との間にDt1だけの伝送待機時間が発生する。
また、放送信号受信装置は、少なくとも一つのフラグメントを含むオブジェクトの受信を終了した後にオブジェクトの再生を始める。したがって、放送信号受信装置でオブジェクトを受信し始めた時点と再生し始めた時点との間にDr1だけの再生待機時間が発生する。
したがって、一つのオブジェクトが放送信号送信装置で伝送されて放送信号受信装置で再生されるまでは、伝送待機時間と再生待機時との和に該当する時間が必要である。これは、放送信号受信装置にとって該当のオブジェクトに初期接近するために非常に長い時間がかかるということを意味する。
以上のように、FLUTEプロトコルを用いる場合、放送信号送信装置はオブジェクト単位でデータを伝送し、このため、放送信号受信装置は一つのオブジェクトに対するデータを全て受信した後に当該オブジェクトを消費せざるを得ないという限界がある。したがって、FLUTEプロトコルを用いたオブジェクトの伝送は実時間放送環境には向いていない。
図26は、本発明の一実施例に係るROUTEプロトコルスタックを示す図である。
IPベースハイブリッド放送を支援する次世代放送システムの放送サービスは、ビデオデータ、オーディオデータ、字幕データ、シグナリングデータ、ESG(Electronic Service Guide)データ、及び/又はNRTコンテンツデータを含むことができる。
ビデオデータ、オーディオデータ及び字幕データなどは、ISOベースメディアファイル(Base Media File)(以下、ISO BMFF)の形態でカプセル化(encapsulation)することができる。例えば、ISO BMFFの形態でカプセル化されたデータは、MPEG(Moving Picture Expert Group)−DASH((Dynamic Adaptive Streaming over HTTP)のセグメント或いはMMT(MPEG Media Transport)のMPU(Media processing unit)などの形態に従うことができる。そして、ISO BMFFの形態でカプセル化されたデータは、放送網とインターネット網で同一に又は各伝送網の属性によって別個に伝送することができる。
放送網の場合、シグナリングデータ、ESGデータ、NRTコンテンツデータ及び/又はISO BMFFの形態でカプセル化されたデータは、実時間オブジェクト伝送を支援するアプリケーション層伝送プロトコルパケットにカプセル化することができる。例えば、ISO BMFFの形態でカプセル化されたデータは、ROUTE(Real−Time Object Delivery over Unidirectional Transport)及びMMTの伝送パケットなどにカプセル化することができる。
ROUTEは、IPマルチキャストネットワークでファイルを伝達するためのプロトコルである。ROUTEプロトコルは、ALC(Asynchronous Layered Coding)、大幅に拡張可能なマルチキャスト分配のために設計されたベースプロトコル、LCT(Layered Coding Transport)及び他の公知のインターネット標準を用いる。ROUTEは、追加の特徴を有するFLUTEの向上及びそれに対する機能的代替物である。
ROUTEは、シグナリングメッセージ、ESG(Electronic Service Guide)メッセージ及びNRTコンテンツを伝達する機能を果たす。これは、ストリーミングメディア、例えば、MPEG−DASHメディアセグメントファイルの伝達に特に適している。ROUTEは、FLUTEと比較してデリバリチェーンを介して、より低いエンド−ツウ−エンドレイテンシ(end−to−end latency)を提供する。
ROUTEプロトコルは、任意の種類のオブジェクトの伝達のために提供される一般的な伝送アプリケーションである。これは、場面記述(scene description)、メディアオブジェクト及びDRM関連情報を含む豊富なプレゼンテーションを支援する。ROUTEは、特に実時間メディアコンテンツの伝達に適しており、多くの特徴を提供する。
例えば、ROUTEは、別個のメディアコンポーネント、例えば、言語トラック、サブタイトル、代案のビデオビューへの個別伝達及びアクセスを提供する。また、ROUTEは、別個の伝送セッション又は同一のROUTEセッションに対する伝達を可能にすることによって階層的コーディングの支援を提供する。また、ROUTEは、マルチステージを含む柔軟なFEC保護に対する支援を提供する。また、ROUTEは、DASHの放送及びブロードバンド伝達モード間のMPEG−DASH可能シナジーを有する容易な組合せを提供する。また、ROUTEは、ROUTE及び/又は伝送セッションに参加するとき、メディアへの迅速なアクセスを提供する。ROUTEは、伝達概念に焦点を合わせることによって大きく拡張可能である。また、ROUTEは、既存のIETFプロトコルとの互換性及びIEFT−支援(IETF−endorsed)拡張メカニズムの使用を提供する。
ROUTEプロトコルは2個の主要コンポーネントに分離される。第1コンポーネントは、オブジェクトの伝達又はオブジェクトのフロー/収集のためのソースプロトコルである。第2コンポーネントは、ソースプロトコルによって伝達されるデリバリオブジェクト又はデリバリオブジェクトの束(bundle)を柔軟に保護するリペア(repair)プロトコルである。
ソースプロトコルはリペアプロトコルに独立している。すなわち、ソースプロトコルは、ROUTEリペアプロトコル無しで配置(deploy)することができる。リペアは、所定の配置(deployment)シナリオに対してのみ、例えば、所定の地理的領域内のモバイル受信、所定のサービスなどのためにのみ追加されてもよい。
ソースプロトコルは、3GPP TS 26.346で定義された拡張だけでなく、RFC6726で定義されたFLUTEに合わせて調整されるが、例えば、オブジェクトメタデータとオブジェクトコンテンツが合成(compound)オブジェクトで併せて伝送され得るRFC6968で定義されたFCASTの一部の原理を用いる。
基本FLUTEプロトコルに加えて、メディアデータ、それによるプロトコルの名の実時間伝達のための最適化された支援が可能な所定の最適化及び制限が追加される。特に、ソースROUTEプロトコルは、オブジェクトベースメディアデータの実時間伝達を提供する。また、ソースROUTEプロトコルは、デリバリオブジェクトの伝送認識パケット化(transport aware packetization)だけでなく、メディア認識パケット化のイネーブリング(enabling)を含めて柔軟なパケット化を提供する。また、ソースROUTEプロトコルは、ファイル及びデリバリオブジェクトの独立性を提供し、すなわち、デリバリオブジェクトは、ファイルの一部又はファイルのグループであってもよい。
デリバリオブジェクトは、受信機がデリバリオブジェクトを回復してアプリケーションに伝達するので、このプロトコルの重要なコンポーネントである。デリバリオブジェクトは、アプリケーションに対して独立しており(self−contained)、一般にアプリケーションに関連した所定の特性(properties)、メタデータ及びタイミング関連情報に関連付く。任意の場合、特性は、オブジェクトと共に帯域内で(in−band)提供され、他の場合、データは、静的又は動的方式で帯域外で(out−of−band)伝達される必要がある。デリバリオブジェクトは“FDTインスタンス”によって記述され、同伴される完全又は部分ファイルを含むことができる。また、デリバリオブジェクトは、HTTPエンティティ(HTTPエンティティヘッダー及びHTTPエンティティボディー)及び/又はデリバリオブジェクトのパッケージを含むことができる。
デリバリオブジェクトは、FDTインスタンスと共に全体ファイル又はファイルのバイト範囲であってもよい。デリバリオブジェクトは、実時間又は非実時間(時間制限伝達又は非時間制限伝達)で伝達することができる。時間制限であれば、所定の実時間及びバッファ制限が適用され、特定拡張ヘッダーが用いられてもよい。動的及び静的メタデータは、デリバリオブジェクト特性を記述するために用いることができる。デリバリオブジェクトは、特定データ構造、特に、ISO BMFF構造で伝達することができる。この場合、メディア認識パケット化又は一般的なパケット化が適用されてもよい。
デリバリフォーマットは、アプリケーションに情報を提供するためにどのフォーマットが用いられるかを特定する。
ROUTEリペアプロトコルはFECベースであり、伝送層(例えば、UDP)及びオブジェクトデリバリ層プロトコル間の追加層として利用可能である。FECは、RFC6363に定義されたFECフレームワークの概念を再利用するが、RFC6363のFECフレームワークとは違い、ROUTEリペアプロトコルはパケットを保護しなく、その代わりに、ソースプロトコルで伝達されたデリバリオブジェクトを保護する。各FECソースブロックは、(FLUTEと類似の)単一デリバリオブジェクトのように又はFEC保護の前にバンドリングされた複数のデリバリオブジェクトによってデリバリオブジェクトの一部として構成されてもよい。ROUTE FECは、RFC5052で定義されたものと類似の意味でFECスキームを利用し、その文書の用語を使う。FECスキームは、FECエンコーディング及びデコーディングを定義し、FECスキームのコンテクストでパケットペイロードデータを識別するために用いられるプロトコルフィールド及び手順を定義する。
ROUTEで、全パケットは、RFC5651で定義されたLCTパケットである。ソース及びリペアパケットは、ROUTEセッション、LCT伝送セッション及び/又はPSIビットのうち少なくとも一つによって区別することができる。別個のROUTEセッションは別個のIP/UDPポート組合せ上で送信される。別個のLCT伝送セッションは、LCTヘッダーで別個のTSI値を用いる。また、ソース及びリペアパケットが同一のLCT伝送セッションで伝送されると、LCT内のPSIビットによって区別可能である。動作のこのモードは、FLUTE互換可能配置に最も適している。
ROUTEは、挙動(behavior)を伝送及び受信しながら、パケットフォーマットを含むソースプロトコルを定義する。また、ROUTEはリペアプロトコルを定義する。また、ROUTEは、伝送セッション確立のためのメタデータ及びオブジェクトフロー伝達のためのメタデータを定義する。また、ROUTEは、MPEG DASH設定及びROUTEへのマッピングに対する推薦を定義し、豊富な高品質の線形TV放送サービスを可能にする。
ROUTEプロトコルの範囲は、LCTパケットを用いたデリバリオブジェクト及び関連したメタデータの信頼性ある伝達である。オブジェクトは、デリバリオブジェクトキャッシュ(Delivery Object Cache)を介してプリケーションに利用可能である。このキャッシュの具現は、アプリケーションとは独立している。
ROUTEプロトコルは、デリバリオブジェクトを伝達するLCTパケットのフォーマット及びFECに基づいたリペアプロトコルを用いたデリバリオブジェクトの信頼性ある伝達に焦点を合わせる。また、ROUTEプロトコルは、デリバリオブジェクトと共にオブジェクトメタデータの定義及び伝達に焦点を合わせてデリバリオブジェクトキャッシュ及びアプリケーション間のインターフェースを可能にする。また、ROUTEプロトコルは、ROUTE及びLCTセッション記述に焦点を合わせて、そのメタデータと共にオブジェクトの受信を確立する。また、ROUTEプロトコルは、パケットと共に伝達される補助情報の規範的形態(normative aspects)(フォーマット、セマンティクス)に焦点を合わせて、特定のアプリケーションに対する性能、例えば、実時間伝達を最適化する。
また、ROUTEプロトコルは、伝達に用いられる適切なDASHフォーマットだけでなく、ROUTE伝達への特定DASHメディアプレゼンテーションの推薦マッピングを提供する。重要な問題は、ROUTEを用いてDASHメディアフォーマットがそのまま用いられうるということである。このアーキテクチャ設計は、集中した(converged)ユニキャスト/ブロードキャストサービスを可能にする。
ROUTEプロトコルの伝送者動作において、LCTパケットを伝達するROUTEセッションが確立される。これらのパケットは、ソースオブジェクト又はFECリペアデータを伝送することができる。ソースプロトコルは、一つ以上のLCTセッションで構成され、LCTセッションのそれぞれは、自身のメタデータと共に、関連したオブジェクトを伝達する。メタデータは、エンティティモード内の合成オブジェクトとして又はパケットヘッダー内のLCT拡張ヘッダーとして、LSID(LCT Session Instance Description)で静的又は動的に伝達されてもよい。パケットは、任意のバイト境界でオブジェクトの柔軟なフラグメンテーションを許容する特定FECスキームを用いてALCで伝達される。また、デリバリオブジェクトは、個別的に又はバンドリングされてFEC保護されてもよい。いずれの場合にも、バンドリングされたオブジェクトはエンコードされ、リペアパケットだけが伝達される。ソースパケットと結合し、これは回復デリバリオブジェクトバンドルを許容する。例えば、それぞれ別個の特性を有する1つ又は複数のリペアフローが生成され、別個のレイテンシ要求事項、別個の保護要求事項などを支援することができる。
DMD(Dynamic MetaData)は、クライアントで動的にFDT同等記述(equivalent description)を生成するメタデータである。これは、エンティティモードではエンティティヘッダーで伝送され、他の伝達モードではLCTヘッダーで送信される。
ROUTEプロトコルは、ソースデータの別個の保護及び伝達スキームを支援する。これはまた、逆互換性モードで配置されてもよいため、NRT伝達のための既存のいずれの使用の場合をも支援する。
ROUTEセッションは、IPアドレス/ポート組合せに関連付く。一般に、このようなセッションを参加させることによって、セッションの全パケットを受信することができ、アプリケーションプロトコルを追加のプロセシングに適用することができる。それぞれのROUTEセッションは、1つ又は複数のLCT伝送セッションで構成される。LCT伝送セッションは、ROUTEセッションのサブセットである。メディア伝達のために、LCT伝送セッションは一般に、メディアコンポーネント、例えば、DASHリプレゼンテーションを伝送する。ブロードキャストDASHの観点で、ROUTEセッションは、一つ以上のDASHメディアプレゼンテーションの構成メディアコンポーネントを伝達するLCT伝送セッションのマルチプレクスとして見なされてもよい。各LCT伝送セッション内で、1つ又は複数のオブジェクト、一般に、関連したオブジェクト、例えば、一つのプレゼンテーションと関連したDASHセグメントが送信される。それぞれのオブジェクトと共に、メタデータ特性は、オブジェクトがアプリケーションに用いられ得るように伝達される。アプリケーションは、制限されないが、DASHメディアプレゼンテーション、HTML−5プレゼンテーション又は任意の他のオブジェクト消費(object−consuming)アプリケーションを含む。
ROUTEセッションは、時間的に制限されてもよく、制限されなくてもよい。ROUTEセッションは、1つ又は複数のLCT伝送セッションを含む。それぞれの伝送セッションは、LCTヘッダー内の固有TSI(Transport Session Identifier)値によって固有に識別される。
受信機がROUTEセッションに参加する前に、受信機はROUTEセッション記述(description)を得る必要がある。ROUTEセッション記述は、伝送者IPアドレス、セッションに用いられるアドレス及びポート番号、セッションがROUTEセッションであり、全パケットがLCTパケットであるという指示、及び/又はIP/UDPレベルでセッションに参加して消費する上で必須である他の情報のうち少なくとも一つを含む。
セッション記述はまた、制限的ではないが、ROUTEセッションに用いられるデータレート及びROUTEセッションのデューレーション(duration)に関する任意の情報を含むことができる。
セッション記述は、RFC4566に定義されたSDP(Session Description Protocol)又はRFC3023に定義されたXMLメタデータなどの形態であってもよい。これは、登録セッション制御プロトコル(proprietary session control protocol)を用いて任意のセッション発表プロトコル(session announcement protocol)で伝送されてもよく、スケジューリング情報と共にウェブページ上に位置してもよく、イーメール又は帯域外(out−of−band)方法によって伝達されてもよい。
伝送セッションは、ROUTEセッション記述に記述されず、LSID(LCT Session Instance Description)に記述される。伝送セッション(すなわち、LCTセッション又は簡単にLCTセッション)は、ソースフロー及びリペアフローのいずれか一方又は両方を含むことができる。ソースフローはソースデータを伝送する。また、リペアフローはリペアデータを伝送する。
ROUTEセッションに含まれるLCT伝送セッションは、LSIDによって記述される。特に、ROUTEセッションの各構成LCT伝送セッションで伝送されると定義する。それぞれの伝送セッションは、LCTヘッダー内のTSIによって固有に識別される。
LSIDは、このROUTEセッション上で伝送される全ての伝送セッションを記述する。LSIDは、LCT伝送セッションを含む同じROUTEセッションで伝達されてもよく、ROUTEセッション以外の手段によって、例えば、ユニキャスト又は別個のROUTEセッションで伝達されてもよい。前者の場合、LSIDは、TSI=0を有する専用LCT伝送セッション上で伝達され、また、TOI=0によって識別されたデリバリオブジェクトであろう。TSI=0上で伝達される任意のオブジェクトに対して、エンティティモードを使用しなければならない。それらのオブジェクトがエンティティモードで伝達されないと、LSIDは、受信されたオブジェクトに対する拡張されたFDTを得る前に回復されなければならない。
LSIDのインターネットメディアタイプは、application/xml+route+lsidである。
LSIDは、他のデータフラグメントを参照することができる。LSIDで参照される任意のオブジェクトはまた、TSI=0上でLSDI自体よりはTOIのそれぞれ異なる値をもって伝達されてもよく、専用TSI≠0を有する別途のLCTセッション上で伝達されてもよい。
LSIDエレメントは、バージョン属性、有効性属性及び/又は満了属性を含むことができる。したがって、LSIDエレメントを有効性属性及び満了属性の他、バージョン属性も用いてアップデートすることができる。例えば、所定の伝送セッションは、任意の時間後に終了すればよく、新しいセッションを開始することができる。
バージョン属性は、このLSIDエレメントのバージョンを示す。バージョンは、記述語がアップデートされる都度、1ずつ増加する。最も高いバージョン番号を有する受信されたLSIDエレメントが、現在有効なバージョンである。
有効性属性は、LSIDエレメントが有効である日付及び/又は時間を示す。有効性属性は存在してもよく、存在しなくてもよい。存在しないと、受信機は、LSIDエレメントバージョンが直ちに有効であると仮定しなければならない。
満了属性は、LSIDエレメントが満了する日付及び時間を示す。満了属性は存在してもしなくてもよい。存在しないと、受信機は、LSIDエレメントが全時間において又は関連した満了値を有する、より新しいLSIDエレメントが受信されるまで有効であると仮定しなければならない。
LSIDエレメントは、少なくとも一つのTransportSessionエレメントを含むことができる。TransportSessionエレメントは、LCT伝送セッションに関する情報を提供する。それぞれのTransportSessionエレメントは、tsi属性、SourceFlowエレメント及び/又はRepairFlowエレメントを含むことができる。
tsi属性は、伝送セッション識別子を特定する。セッション識別子は0であってはならない。SourceFlowエレメントは、伝送セッション上で伝達されるソースフローの情報を提供する。RepairFlowエレメントは、伝送セッション上で伝送されるリペアフローの情報を提供する。
その後、アプリケーション層伝送プロトコルパケットにカプセル化されたデータは、IP/UDP方式によってパケット化されてもよい。IP/UDP方式によってパケット化されたデータはIP/UDPデータグラムといえるできるが、IP/UDPデータグラムは放送信号に含まれて伝送されてもよい。
インターネット網の場合、ISO BMFFの形態でカプセル化されたデータは、ストリーミング技法に基づいて受信側に伝達されてもよい。例えば、ストリーミング技法は、MPEG−DASHを含むことができる。
シグナリングデータは、下記のような方法で伝送することができる。
放送網の場合、シグナリングデータは、シグナリングの属性にしたがって、次世代放送伝送システム及び放送網の物理層に伝達される伝送フレーム(又はフレーム)の特定データパイプ(以下DP)などで伝送することができる。例えば、シグナリング形態は、ビットストリーム又はIP/UDPデータグラムにカプセル化された形態であってもよい。
インターネット網の場合、シグナリングデータは、受信機の要求に対する応答としてリターンして伝達されてもよい。
ESGデータ及びNRTコンテンツデータは、下記のような方法で伝送することができる。
放送網の場合、ESGデータ及びNRTコンテンツデータは、アプリケーション層伝送プロトコルパケットにカプセル化することができる。その後、アプリケーション層伝送プロトコルパケットにカプセル化されたデータを、上述した方式と同様に伝送することができる。
インターネット網の場合、ESGデータ及びNRTコンテンツデータは、受信機の要求に対する応答としてリターンして伝達されてもよい。
本発明の一実施例に係る放送信号送信装置の物理層(ブロードキャストPHY及びブロードバンドPHY)は、前述した図1に示す構造であってもよい。また、放送信号受信装置の物理層は、図9に示す構造であってもよい。
シグナリングデータ及びIP/UDPデータグラムは、物理層に伝達される伝送層(又はフレーム)の特定データパイプ(以下DP)で伝送することができる。例えば、入力フォーマットブロック1000は、シグナリングデータ及びIP/UDPデータグラムを受信し、それぞれのシグナリングデータ及びIP/UDPデータグラムを少なくとも一つのDPに逆多重化することができる。出力プロセッサ9300は、入力フォーマットブロック1000と逆の動作を行うことができる。
以下では、上述したISO BMFFの形態でカプセル化されたデータがROUTEの伝送パケットにカプセル化された場合を中心に説明する。
<実時間ファイル生成、消費のためのデータ構成>
図27は、本発明の一実施例に係るファイルベースマルチメディアコンテンツのデータ構造を示す図である。
図27を参照すると、本発明の一実施例に係るファイルベースマルチメディアコンテンツのデータ構造が示されている。ファイルベースマルチメディアコンテンツとは、少なくとも一つのファイルで構成されているマルチメディアコンテンツを意味する。
放送プログラムのようなマルチメディアコンテンツは、一つのプレゼンテーション(presentation)で構成することができる。プレゼンテーションは、少なくとも一つのオブジェクト(object)を含むことができる。例えば、オブジェクトはファイルであってもよい。また、オブジェクトは、少なくとも一つのフラグメント(fragment)を含むことができる。
本発明の一実施例に係るフラグメントとは、以前(preceding)のデータに対する依存性無しで独立して復号化及び再生され得るデータ単位を意味する。例えば、ビデオデータを含むフラグメントは、IDR Pictureで開始し、メディアデータのパーシング(parsing)のためのヘッダー(header)データも以前(preceding)のフラグメントに対して依存性を有しない。本発明の一実施例に係るフラグメントは、少なくとも一つの伝送ブロック単位で分割して伝送することができる。
本発明の一実施例に係る伝送ブロックは、以前(preceding)のデータに対する依存性無しで独立して符号化及び伝送され得る最小のデータ単位を意味する。また、伝送ブロックは、可変サイズのGOP単位又はチャンク単位からなる有意なデータ単位であってもよい。例えば、伝送ブロックは、ビデオデータのGOPのように、同一のメディアデータで構成される少なくとも一つのチャンク(chunk)を含むことができる。チャンクとは、コンテンツのセグメントを意味することができる。また、伝送ブロックは、少なくとも一つのソースブロックを含むことができる。
GOPは、ビデオコーディングで用いられるコーディングを行う基本単位であり、少なくとも一つのI−フレームを含むフレームの集合を示す可変サイズのデータ単位である。本発明の一実施例によれば、メディアデータを独立して有意なデータ単位であるオブジェクト内部構造体の単位で伝送するので、GOPはオープンGOP及びクローズドGOPを含むことができる。
オープンGOPで、一つのGOP内にあるB−フレームは、隣接したGOPのI−フレーム又はP−フレームを参照することができる。したがって、オープンGOPは、コーディング効率を非常に高めることができる。クローズドGOPで、B−フレーム又はP−フレームは、当該GOP内にあるフレームだけを参照し、該当GOP外にあるフレームは参照しない。
伝送ブロックは、少なくとも一つのデータを含むことができ、それぞれのデータは同一又は別個のメディアタイプを有することができる。例えば、メディアタイプはオーディオタイプ及びビデオタイプを含むことができる。すなわち、伝送ブロックは、オーディオ及びビデオの場合のようにそれぞれ異なるメディアタイプを有する少なくとも一つのデータを共に含むことができる。
本発明の一実施例に係るフラグメントは、フラグメントヘッダー及びフラグメントペイロードを含むことができる。
フラグメントヘッダー(header)は、上述したチャンクをパースするためのタイミング(timing)情報及びインデクシング(indexing)情報などを含むことができる。そして、フラグメントヘッダーは少なくとも一つの伝送ブロックで構成されてもよい。例えば、フラグメントヘッダーは、一つの伝送ブロックに含まれてもよい。また、フラグメントペイロードを構成する少なくとも一つのチャンクデータも少なくとも一つの伝送ブロックにそれぞれ含まれてもよい。上述したように、フラグメントヘッダー及びフラグメントペイロードは少なくとも一つの伝送ブロックにそれぞれ含まれてもよい。
本発明の一実施例に係る伝送ブロックは、少なくとも一つのシンボル(symbol)に分割することができる。少なくとも一つのシンボルはパケット化されてもよい。例えば、本発明の一実施例に係る放送信号送信装置は、少なくとも一つのシンボルをLCTパケットにパケット化することができる。
本発明の一実施例に係る放送信号送信装置は、パケット化されたデータを放送信号受信装置に伝送することができる。
図28は、本発明の一実施例に係るデータ構造を適用したMPEG−DASHのメディアセグメント構成を示す図である。
図28を参照すると、本発明の一実施例に係るデータ構造をMPEG−DASHのメディアセグメント(Media Segment)に適用した実施例が示されている。
本発明の一実施例に係る放送信号送信装置は、サーバーに複数の品質を有しているマルチメディアコンテンツを保有し、ユーザの放送環境及び放送信号受信装置の環境に適したマルチメディアコンテンツを提供することによって、シームレスな実時間ストリーミングサービスを提供することができる。例えば、放送信号送信装置は、MPEG−DASHを用いて実時間ストリーミングサービスを提供することができる。
放送信号送信装置は、XML形態のMPD(Media Presentation Description)及び二進化フォーマット形態の伝送用マルチメディアコンテンツであるセグメント(Segment)を、ROUTEプロトコルを用いて放送信号受信装置に放送環境及び放送信号受信装置の環境に応じて動的に伝送することができる。
MPDは階層的な構造となっており、各階層別の構造的機能及び役割などに関する情報を含むことができる。
セグメントはメディアセグメントを含むことができる。メディアセグメントは、ストリーミングサービスを支援するために放送信号受信装置に伝送しようとする品質別、時間別に分離したメディア関連オブジェクト形態のデータ単位を意味する。メディアセグメントは、メディアストリームの情報、少なくとも一つのアクセスユニット、プレゼンテーション時間又はインデックスのような当該セグメント内のメディアプレゼンテーションへの接近方法に関する情報を含むことができる。また、メディアセグメントは、セグメントインデックスによって少なくとも一つのサブセグメントに分割されてもよい。
MPEG−DASHコンテンツは、少なくとも一つのメディアセグメントを含むことができる。メディアセグメントは、少なくとも一つのフラグメントを含むことができる。例えば、フラグメントは、上述したサブセグメントであってもよい。上述したように、フラグメントは、フラグメントヘッダー及びフラグメントペイロードを含むことができる。
フラグメントヘッダーは、セグメントインデックスボックス(sidx)及びムービーフラグメントボックス(moof)を含むことができる。セグメントインデックスボックスは、当該フラグメントの内部に存在するメディアデータの最初のプレゼンテーション時間、データオフセット(offset)及びSAP(Stream Access Points)情報などを提供することができる。ムービーフラグメントボックスは、メディアデータボックス(mdat)に対するメタデータを含むことができる。例えば、ムービーフラグメントボックスは、フラグメント内メディアデータサンプル(sample)のタイミング、インデクシング、デコーディング(decoding)情報などを含むことができる。
フラグメントペイロードは、メディアデータボックス(mdat)を含むことができる。メディアデータボックス(mdat)は、当該メディア構成要素(ビデオ及びオーディオなど)に対する実際メディアデータを含むことができる。
符号化されたメディアデータは、フラグメントペイロードに該当するメディアデータボックス(mdat)内にチャンク単位で含まれる。上述したように、同一トラック(track)に該当するサンプルは、一つのチャンク内に含まれてもよい。
放送信号送信装置は、フラグメントを分割して少なくとも一つの伝送ブロックを生成することができる。また、放送信号送信装置は、フラグメントヘッダーとペイロードデータとを区分するために、フラグメントヘッダーとペイロードデータを別個の伝送ブロックに含めることができる。
また、放送信号送信装置は、フラグメントペイロード内のデータを分割して伝送するためにチャンク単位で区画された伝送ブロックを生成することができる。すなわち、本発明の一実施例に係る放送信号送信装置は、チャンクの境界と伝送ブロックの境界地点とが一致するように伝送ブロックを生成することができる。
その後、放送信号送信装置は、少なくとも一つの伝送ブロックを分割して少なくとも一つのシンボルを生成することができる。オブジェクト内の全シンボルの長さは同一であってもよい。また、オブジェクト内の全シンボルの長さを同一にするために、伝送ブロックの最後のシンボルはパディング(padding)バイトを含んでもよい。
その後、放送信号送信装置は、少なくとも一つのシンボルをパケット化することができる。例えば、放送信号送信装置は、少なくとも一つのシンボルに基づいてLCTパケットを生成することができる。
その後、放送信号送信装置は、生成されたLCTパケットを伝送することができる。
本発明の一実施例に係る放送信号送信装置は、フラグメントを生成するために、まずフラグメントペイロードを生成した後に、フラグメントヘッダーを生成する。このとき、放送信号送信装置は、フラグメントペイロード内のメディアデータに該当する伝送ブロックを生成することができる。例えば、メディアデータボックス(mdat)に含まれたメディアデータに該当する少なくとも一つの伝送ブロックは、チャンク単位で順次に生成することができる。その後、放送信号送信装置は、フラグメントヘッダーに該当する伝送ブロックを生成することができる。
放送信号送信装置は、メディアコンテンツを実時間放送で伝送するために、生成された伝送ブロックを生成順で伝送することができる。逆に、本発明の一実施例に係る放送信号受信装置は、フラグメントヘッダーをまずパースした後に、フラグメントペイロードをパースする。
放送信号送信装置は、メディアデータがあらかじめエンコードされたり、又は伝送ブロックがあらかじめ生成された場合には、パーシング順で伝送することができる。
図29は、本発明の一実施例に係るROUTEプロトコルを用いたデータ処理時間を示す図である。
図29の(a)を参照すると、本発明の一実施例に係るデータ構造が示されている。マルチメディアデータは、少なくとも一つのオブジェクトを含むことができる。それぞれのオブジェクトは、少なくとも一つのフラグメントを含むことができる。例えば、一つのオブジェクトは、2個のフラグメント(Fragment1及びFragment2)を含むことができる。
放送信号送信装置はフラグメントを少なくとも一つの伝送ブロックに分割することができる。伝送ブロックはソースブロックであってもよく、以下ではソースブロックを基準に説明する。
例えば、放送信号送信装置は、フラグメント1を3個のソースブロック(Source Block 0,Source Block 1,Source Block 2)に分割し、フラグメント2を3個のソースブロック(Source Block 3,Source Block 4,Source Block 5)に分割することができる。
放送信号送信装置は、分割されたそれぞれのソースブロックを個別的に伝送することができる。放送信号送信装置は、それぞれのソースブロックが生成された時点又はその直後に生成されたそれぞれのソースブロックの伝送を開始することができる。
例えば、放送信号送信装置は、ソースブロック0(S0)をte0〜te1時間で生成した後に、ソースブロック0(S0)を伝送することができる。ソースブロック0(S0)の伝送開始時点(td0)は、ソースブロック0(S0)の生成完了時点(td0)と同一又は直後であってもよい。同一の方法で、放送信号送信装置はソースブロック1(S1)乃至ソースブロック5(S5)を生成し、生成されたそれぞれのソースブロックを伝送することができる。
したがって、本発明の一実施例に係る放送信号送信装置では、一つのソースブロックを生成し始めた時点と伝送し始めた時点との間にDt2だけの伝送待機時間が発生し得る。本発明の一実施例に係る放送信号送信装置で発生する伝送待機時間(Dt2)は、従来の放送信号送信装置で発生する伝送待機時間(Dt1)に比べてだいぶ減少したものである。したがって、本発明の一実施例に係る放送信号送信装置は、従来の放送信号送信装置に比べて伝送待機時間を減らすことができるという効果がある。
本発明の一実施例に係る放送信号受信装置は、分割されたそれぞれのソースブロックを受信し、受信したソースブロックを組み合わせて少なくとも一つのフラグメントを生成することができる。例えば、放送信号受信装置は、ソースブロック0(S0)、ソースブロック1(S1)、及びソースブロック2(S2)を受信し、受信した3個のソースブロックを組み合わせてフラグメント1を生成することができる。また、放送信号受信装置は、ソースブロック3(S3)、ソースブロック4(S4)、及びソースブロック5(S5)を受信し、受信した3個のソースブロックを組み合わせてフラグメント2を生成することができる。
本発明の一実施例に係る放送信号受信装置は、生成されたそれぞれのフラグメントを個別的に再生することができる。放送信号受信装置は、それぞれのフラグメントが生成された時点又は直後に生成されたそれぞれのフラグメントを再生することができる。又は、放送信号受信装置は、それぞれのフラグメントに該当するソースブロックが全て送信された時点又は直後にそれぞれのフラグメントを再生することができる。
例えば、放送信号受信装置は、ソースブロック0(S0)乃至ソースブロック2(S2)をtd0〜td3時間で受信した後に、フラグメント1を生成することができる。その後、放送信号受信装置は、生成されたフラグメント1を再生することができる。フラグメント1の再生開始時点(tp0)は、フラグメント1の生成時点と同一又は直後であってもよい。また、フラグメント1の再生開始時点(tp0)は、ソースブロック2(S2)の受信完了時点(td3)と同一又は直後であってもよい。
同一の方法で、本発明の一実施例に係る放送信号受信装置は、ソースブロック3(S3)乃至ソースブロック5(S5)をtd3〜td6時間で受信した後に、フラグメント2を生成することができる。その後、放送信号受信装置は、生成されたフラグメント2を再生することができる。
ただし、これに限定されず、本発明の一実施例に係る放送信号受信装置は、ソースブロックを受信し、受信されたソースブロック単位で再生してもよい。
したがって、本発明の一実施例に係る放送信号受信装置では、一つのフラグメントを受信し始めた時点と再生し始めた時点との間にDr2だけの再生待機時間が発生しうる。本発明の一実施例に係る放送信号受信装置で発生する再生待機時間(Dr2)は、従来の放送信号受信装置で発生する再生待機時間(Dr1)に比べてだいぶ減少したものである。したがって、本発明の一実施例に係る放送信号受信装置は、従来の放送信号受信装置に比べて再生待機時間を減らすことができるという効果がある。
以上のように、一つの伝送ブロックが放送信号送信装置から伝送されて放送信号受信装置で再生されるまでの時間である伝送待機時間と再生待機時との和をだいぶ減らすことができる。これは、放送信号受信装置にとって該当のオブジェクトへの初期接近時間がだいぶ短縮するということを意味する。
ROUTEプロトコルを用いる場合、放送信号送信装置は、伝送ブロック単位でデータを伝送することができ、放送信号受信装置は、受信されたデータを伝送ブロック単位又はフラグメント単位で再生することができる。その結果、マルチメディアコンテンツの取得からユーザに表示するまでの総時間を短縮することができ、ユーザが放送チャネルに接近した時の初期接近時間を減らすことができる。
したがって、ROUTEプロトコルを用いた伝送ブロックの伝送は、実時間放送環境に適している。
<ファイル分割生成、消費情報の識別方案>
図30は、本発明の一実施例に係るファイルを伝送するためのLCTパケットの構造を示す図である。
アプリケーション層伝送セッションは、IPアドレス及びポート番号の組合せで構成することができる。アプリケーション層伝送セッションがROUTEプロトコルである場合、ROUTEセッションは少なくとも一つのLCT(Layered Coding Transport)セッションで構成されてもよい。例えば、一つのLCT伝送セッションで一つのメディアコンポーネントを伝達する場合、一つのアプリケーション層伝送セッションで少なくとも一つのメディアコンポーネントをマルチプレクスして伝送することができる。また、一つのLCT伝送セッションで少なくとも一つの伝送オブジェクト(Transport object)を伝達することができる。
図30を参照すると、アプリケーション層伝送プロトコルがLCTに基づく場合、LCTパケットの各フィールドは次のような情報を示す。
LCTパケットは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、予約フィールド(R)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、伝送者現在時間存在フラグフィールド(T)、予想レジデュアル時間存在フラグ(R)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー延長フィールド、FECペイロードIDフィールド、及び/又はシンボルエンコーディングフィールドを含むことができる。
LCTバージョン番号フィールド(V)は、プロトコルバージョン番号を示す。例えば、このフィールドは、LCTバージョン番号を示す。LCTヘッダーのバージョン番号フィールドは、ROUTEバージョン番号フィールドとして解釈しなければならない。ROUTEのこのバージョンは暗示的に、LCT形成ブロックのバージョン“1”を用いる。例えば、バージョン番号は‘0001b’である。
混雑制御フラグフィールド(C)は、混雑制御情報フィールドの長さを示す。C=0は、混雑制御情報(CCI)フィールドが32ビットの長さを有することを示し、C=1は、CCIフィールドが64ビットの長さを有することを示し、C=2は、CCIフィールドが96ビットの長さを有することを示し、C=3は、CCIフィールドが128ビットの長さを有することを示す。
予約フィールド(R)は、将来の使用のために予約される。例えば、予約フィールド(R)は、PSI(Protocol−Specific Indication)フィールドであってもよい。PSIは、LCT上位プロトコルで特定目的の指示子として用いられてもよい。PSIフィールドは、現在のパケットがソースパケットか又はFECリペアパケットかを示す。ROUTEソースプロトコルが単にソースパケットを伝達することから、このフィールドは“10b”に設定されるはずである。
伝送セッション識別子フラグフィールド(S)は、伝送セッション識別子フィールドの長さを示す。
伝送オブジェクト識別子フラグフィールド(O)は、伝送オブジェクト識別子フィールドの長さを示す。例えば、オブジェクトは一つのファイルを意味することができ、上記のTOIは各オブジェクトの識別情報であり、TOIが0であるファイルは、FDTという。
ハーフワードフラグフィールド(H)は、TSI及びTOIフィールドの長さにハーフワード(half−word)(16ビット)を追加するか否かを示す。
伝送者現在時間存在フィールド(T)は、伝送者現在時間(SCT)フィールドが存在するか否かを示す。T=0は、伝送者現在時間(SCT)フィールドが存在しないことを示す。T=1は、SCTフィールドが存在することを示す。SCTは、セッションがどれくらい長く進行されたかを受信機に示すように伝送者によって挿入される。
予想レジデュアル時間存在フラグフィールド(R)は、予想レジデュアル時間(ERT)フィールドが存在するか否かを示す。R=0は、予想レジデュアル時間(ERT)フィールドが存在しないことを示す。R=1は、ERTフィールドが存在することを示す。ERTは、セッション/オブジェクト送信がどれくらい長く続くかを受信機に示すように送信者によって挿入される。
クローズセッションフラグフィールド(A)は、セッションが終了したこと又は終了が差し迫っていることを示す。
クローズオブジェクトフラグフィールド(B)は、伝送中であるオブジェクトが終了したこと又は終了が差し迫っていることを示す。
LCTヘッダー長フィールド(HDR_LEN)は、32ビットワードの単位のLCTヘッダーの全長を示す。
コードポイントフィールド(CP)は、このパケットによって送信されたペイロードのタイプを示す。ペイロードのタイプによって、追加のペイロードヘッダーが追加され、ペイロードデータをプレフィックス(prefix)することができる。
混雑制御情報フィールド(CCI)は、層数、論理チャネル数、シーケンス数などの混雑制御情報の伝送に用いられる。LCTヘッダー内の混雑制御情報フィールドは、要求される混雑制御情報を含む。
伝送セッション識別子フィールド(TSI)は、セッションの固有識別子である。TSIは、特定伝送者からの全セッションの中からセッションを固有に識別する。このフィールドは、ROUTE内の伝送セッションを識別する。伝送セッションのコンテクストはLSID(LCT Session Instance description)によって提供される。
LSIDは、ROUTEセッションの各構成LCT伝送セッションで伝送されるものを定義する。それぞれの伝送セッションは、LCTヘッダー内のTSI(Transport Session Identifier)によって固有に識別される。LSIは、LCT伝送セッションを含む同じROUTEセッションで伝送されてもよく、通信網、放送網、インターネット網、ケーブル網、及び/又は衛星網でも伝送されてもよい。LSIDが伝送される手段は、これに限定されない。例えば、LSIDは、TSIの値が‘0’である特定LCT伝送セッションで伝送されてもよい。LSIDは、ROUTEセッションに伝送される全伝送セッションに対するシグナリング情報を含むことができる。LSIDは、LSIDバージョン情報及びLSIDの有効性に関する情報を含むことができる。また、LSIDは、LCT伝送セッションに関する情報を提供する伝送セッション(transport session)情報を含むことができる。伝送セッション情報は、伝送セッションを識別するTSI情報、当該TSIで伝送され、ソースデータが伝送されるソースフローに関する情報を提供するソースフロー(source flow)情報、当該TSIで伝送され、リペアデータが伝送されるリペアフローに関する情報を提供するリペアフロー(repair flow)情報、及び当該伝送セッションに関する追加の特性情報を含む伝送セッションプロパティ(transport session property)情報を含むことができる。
伝送オブジェクト識別子フィールド(TOI)は、オブジェクトの固有識別子である。TOUは、このパケットがセッション内のどのオブジェクトに属するかを示す。このフィールドは、現在のパケットのペイロードがこのセッション内のどのオブジェクトに属するかを示す。オブジェクトへのTOIフィールドのマッピングは、拡張されたFDTによって提供される。
拡張されたFDTは、ファイル伝達データの細部事項を特定する。これは、拡張されたFDTインスタンスである。LCTパケットヘッダーと共に拡張されたFDTは、デリバリオブジェクトに対するFDT同等記述を生成するために用いられてもよい。拡張されたFDTを、参照として埋め込み(embed)又は提供することができる。参照として提供すると、拡張されたFDTは、LSIDと独立してアップデートすることができる。参照されると、含まれるソースフローのTOI=0上のイン−バンドオブジェクトとして伝達されるはずである。
ヘッダー拡張フィールドは、追加情報の伝送のためのLCTヘッダー拡張部分として用いられる。ヘッダー拡張は、必ずしも用いられないか、可変サイズを有する選択的なヘッダーフィールドを収容するようにLCTで用いられる。
例えば、EXT_TIME拡張は、いくつかのタイプのタイミング情報を伝達するために用いられる。これは、汎用タイミング情報、すなわち、本文書に記載された伝送者現在時間(SCT)、予想レジデュアル時間(ERT)及び伝送者最後変更(SLC)時間拡張を含む。これはまた、(例えば、単一プロトコル例示化(instantiation)のために定義された)より狭い適用可能性を有するタイミング情報に用いられてもよく、この場合、個別文書に記載される。
FECペイロードIDフィールドは、送信ブロック又はエンコーディングシンボルの識別情報を含む。FECペイロードIDは、上記ファイルがFECエンコードされた場合の識別子を示す。例えば、FECペイロードIDは、上記FLUTEプロトコルファイルがFECエンコードされた場合、これを放送局又は放送サーバーにとって区分するように割り当てることができる。
シンボルエンコーディングフィールドは、送信ブロック又はエンコーディングシンボルのデータを含むことができる。
パケットペイロードは、オブジェクトから生成されたバイトを含む。1よりも多いオブジェクトがセッションで伝送されると、LCTヘッダー内の送信オブジェクトID(TOI)は、パケットペイロードデータが生成されたオブジェクトを識別するために用いなければならない。
本発明の一実施例に係るLCTパケットは、ヘッダー拡張フィールドの拡張形態である実時間支援拡張フィールド(EXT_RTS)を含むことができる。EXT_RTSは、ファイルの分割生成及び消費情報を含むことができ、以下ではフラグメント情報と表現することができる。本発明の一実施例に係るLCTパケットは、ヘッダー拡張フィールドの拡張形態でEXT_RTSを含むことによって、既存のLCTと交換可能な方法で実時間ファイル伝送及び消費情報を支援することができる。
本発明の一実施例に係るフラグメント情報(EXT_RTS)は、ヘッダー拡張タイプフィールド(HET)、フラグメント開始指示器フィールド(SI)、フラグメントヘッダーフラグフィールド(FH)、及びフラグメントヘッダー完了指示器フィールド(FC)を含むことができる。
ヘッダー拡張タイプフィールド(HET)は、当該ヘッダー拡張のタイプを示す。HETフィールドは8ビットの整数であってもよい。基本的に、LCTでは、HETが0〜127の値を有する場合、32−ビットワード単位の可変長ヘッダー拡張が存在し、HETに後くヘッダー拡張長さフィールド(HEL)にその長さを記述する。HETが128〜255の値を有する場合、ヘッダー拡張は32ビットの固定長を有する。
本発明の一実施例に係るフラグメント情報(EXT_RTS)は、32ビットの固定長を有するので、128〜255の値のいずれか一つの固有値で当該ヘッダー拡張のタイプを識別することができる。
SIフィールドは、当該LCTパケットがフラグメントの開始部を含んでいることを示す。放送環境でユーザが当該ファイルベースマルチメディアコンテンツが伝送されるチャネルの任意の時点に接近した場合、最初に受信されるパケットのうち、SIフィールドが0に設定されたパケットは捨て、SIフィールドが1に設定されたパケットからパーシングを始めることによって、パケットの処理効率を上げ、初期遅延時間を短縮させることができる。
FHフィールドは、当該LCTパケットがフラグメントヘッダー部分を含んでいることを示す。上述したように、フラグメントヘッダーは、生成順序と消費順序がフラグメントペイロードのそれと異なる特性を有する。本発明の一実施例に係る放送信号受信装置は、FHフィールドに基づき、生成順で受信された伝送ブロックを消費順序に合わせて再配列してフラグメントを再生成することが可能になる。
FCフィールドは、当該パケットがフラグメントの最後のデータを含んでいることを示すことができる。例えば、フラグメントペイロードが送信された後にフラグメントヘッダーが伝送される場合、FCフィールドは、フラグメントヘッダーの最後のデータを含んでいることを示すことができる。そして、フラグメントヘッダーが送信された後にフラグメントペイロードが伝送される場合、FCフィールドは、フラグメントペイロードの最後のデータを含んでいることを示すことができる。以下では、フラグメントペイロードがまず送信された後にフラグメントヘッダーが伝送されることを中心に説明する。
放送信号受信装置が、FCフィールドが1に設定されたパケットを受信すると、フラグメントヘッダーの受信が完了したことを認知し、フラグメントヘッダー及びフラグメントペイロードを組み合わせてフラグメントを復元することができる。
パディングバイトフィールド(PB)は、当該LCTパケットに含まれたパディングバイト数を示す。既存のLCTでは、一つのオブジェクトに該当する全てのLCTパケットの長さが同一でなければならない。しかし、本発明の一実施例に係るデータ構成方案によって伝送ブロックを分ける場合、毎伝送ブロックの最後のシンボルは、異なる長さを有し得る。このため、本発明の一実施例に係る放送信号送信装置は、パケットの残り部分をパディングバイトで埋めることによって、固定長パケットを用いて既存のLCTと交換可能な方法で実時間ファイル伝送を支援することができる。
予約フィールドは、将来の使用のために予約される。
図31は、本発明の一実施例に係るファイルを伝送するためのLCTパケットの構造を示す図である。
図31に示す部分のうち、図35に示す部分と同一の部分は、図35で説明した内容と同一であり、以下では差異点を中心に説明するものとする。
図31を参照すると、本発明の一実施例に係るフラグメント情報(EXT_RTS)は、図35で説明したFCフィールドの代わりに、フラグメントヘッダー長フィールド(FHL)を含むことができる。
FHLフィールドは、フラグメントを構成するシンボルの数を示すことによって、フラグメントの受信が完了したか否かに関する情報を提供することができる。FHLフィールドは、フラグメントヘッダー及びフラグメントペイロードの両方を含むそれぞれのフラグメントに該当する全シンボルの数を示すことができる。また、FHLフィールドは、フラグメントヘッダー及びフラグメントペイロードのうち、後に伝送されるものの全シンボルの数を示すことができる。
例えば、フラグメントペイロードがまず送信された後にフラグメントヘッダーが伝送される場合、FHLフィールドは、フラグメントヘッダーに該当する全シンボルの数を示すことができる。このとき、FHLフィールドはフラグメントヘッダーの長さを示すことができる。
そして、フラグメントヘッダーがまず送信された後にフラグメントペイロードが伝送される場合、FHLフィールドは、フラグメントペイロードに該当する全シンボルの数を示すことができる。このとき、FHLフィールドはフラグメントペイロードの長さを示すことができる。
以下では、フラグメントペイロードがまず送信された後にフラグメントヘッダーが伝送される場合を中心に説明する。
本発明の他の実施例に係る放送信号受信装置は、FHLフィールドに表示されたシンボルの個数に該当するフラグメントヘッダーを含むLCTパケットを受信することができる。放送信号受信装置は、フラグメントヘッダーを含むLCTパケットの受信の回数をチェックすることによって、フラグメントヘッダーの受信が完了したことを識別することができる。又は、放送信号受信装置は、フラグメントヘッダーに該当する伝送ブロックの個数をチェックして、フラグメントヘッダーの受信が完了したことを識別することができる。
<ファイルの分割生成及び分割消費の識別方法>
図32は、本発明の一実施例に係るFDTを用いた実時間放送支援情報シグナリングを示す図である。
上述したように、本発明は、実時間放送環境でファイルベースマルチメディアコンテンツの分割生成及び分割消費に関する情報を識別する方法を提供することを一実施例としている。ファイルベースマルチメディアコンテンツの分割生成及び分割消費に関する情報は、上述したデータ構造及びLCTパケット情報を含むことができる。
放送信号送信装置は、ファイルの分割生成情報及び分割消費情報の識別のために別のシグナリング情報を更に伝送することができる。例えば、シグナリング情報は、メタデータ又は帯域外(out−of−band)を用いたシグナリング(signaling)情報を含むことができる。
図32を参照すると、本発明の一実施例に係る実時間放送支援情報に対するシグナリング情報を送信する方法が示されている。
本発明の一実施例に係る放送信号送信装置は、FDT(File Delivery Table)レベル又はファイルレベルの実時間支援属性を用いてシグナリング情報を伝送することができる。実時間支援が1に設定されている場合、当該FDTレベル又はファイルレベルで記述しているオブジェクトが上述のデータ構造及びパケット情報を有し、これを用いて、実時間放送環境におけるファイル分割生成及び消費を支援できることを示すことができる。
図33は、本発明の一実施例に係る放送信号送信装置を示す構成図である。
図33を参照すると、本発明の一実施例に係る放送網を介して、マルチメディアコンテンツを含む放送信号を送信する放送信号送信装置は、シグナリングエンコーダC21005、送信ブロック生成器C21030、及び/又は送信器C21050を含むことができる。
シグナリングエンコーダC21005は、シグナリング情報を生成することができる。シグナリング情報は、マルチメディアコンテンツを実時間で伝送するか否かを示す情報である。シグナリング情報は、ファイルレベル又はFDTレベルのうち少なくとも一つで上記マルチメディアコンテンツを実時間で送信することを示すことができる。シグナリング情報がファイルレベルでマルチメディアコンテンツを実時間で送信することを示すと、当該ファイルに属する全データを実時間で伝送することができる。また、シグナリング情報がFDTレベルでマルチメディアコンテンツを実時間で送信することを示すと、当該FDTに属する全ファイル又はデータを実時間で伝送することができる。
シグナリング情報がマルチメディアコンテンツを実時間で送信することを示す場合、送信ブロック生成器C21030は、マルチメディアコンテンツに含まれるファイルを、独立して符号化して伝送されるデータ単位である少なくとも一つの伝送ブロックに分割することができる。
送信器C21050は、伝送ブロックを伝送することができる。
より具体的な内容は、以下の図34で説明する。
図34は、本発明の一実施例に係る放送信号送信装置を示す構成図である。
図34を参照すると、本発明の一実施例に係る放送網を用いて、マルチメディアコンテンツを含む放送信号を送信する放送信号送信装置は、シグナリングエンコーダ(図示せず)、メディアエンコーダC21010、フラグメント生成器C21020、送信ブロック生成器C21030、パケタイザC21040、及び/又は送信器C21050を含むことができる。
シグナリングエンコーダ(図示せず)は、シグナリング情報を生成することができる。シグナリング情報は、マルチメディアコンテンツを実時間で伝送するか否かを示す情報である。
メディアエンコーダC21010は、マルチメディアコンテンツをエンコードしてメディアデータを生成することができる。以下でメディアデータをデータと表現することができる。
フラグメント生成器C21020は、マルチメディアコンテンツを構成するそれぞれのファイルを分割して、独立して復号化及び再生されるデータ単位である少なくとも一つのフラグメントを生成することができる。
フラグメント生成器C21020は、それぞれのフラグメントを構成するフラグメントペイロードを生成した後にフラグメントヘッダーを生成することができる。
フラグメント生成器C21020は、フラグメントペイロードに該当するメディアデータをバッファすることができる。その後、フラグメント生成器C21020は、バッファしたメディアデータに基づいて、フラグメントペイロードに該当するチャンク(chunk)を生成することができる。例えば、チャンクは、ビデオデータのGOPのように、同一のメディアデータで構成される可変サイズのデータ単位であってもよい。
フラグメントペイロードに該当するチャンクの生成が完了していないと、フラグメント生成器C21020は、メディアデータを継けてバッファした後、フラグメントペイロードに該当するチャンクの生成を完了することができる。
フラグメント生成器C21020は、チャンクを生成する度に、フラグメントペイロードに該当するデータを全てチャンクとして生成したか否かを判断することができる。
フラグメントペイロードに該当するチャンクの生成が完了すると、フラグメント生成器C21020は、フラグメントペイロードに該当するフラグメントヘッダーを生成することができる。
送信ブロック生成器C21030は、フラグメントを分割して、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを生成することができる。
本発明の一実施例に係る伝送ブロックは、以前(preceding)のデータに対する依存性無しで独立して符号化及び伝送可能な最小のデータ単位を意味する。例えば、伝送ブロックは、ビデオデータのGOPのように、同一のメディアデータで構成される少なくとも一つのチャンクを含むことができる。
本発明の一実施例に係る送信ブロック生成器C21030は、フラグメントペイロードに該当する伝送ブロックをまず生成した後に、フラグメントヘッダーに該当する伝送ブロックを生成することができる。
送信ブロック生成器C21030は、フラグメントヘッダーを一つの伝送ブロックとして生成することができる。ただし、これに限定されず、送信ブロック生成器C21030は、フラグメントヘッダーを少なくとも一つの伝送ブロックとして生成することもできる。
例えば、フラグメント生成器C21020がそれぞれのフラグメントを構成するフラグメントペイロードを生成した後にフラグメントヘッダーを生成する場合、送信ブロック生成器C21030は、フラグメントペイロードに該当する伝送ブロックを生成した後、フラグメントヘッダーに該当する伝送ブロックを生成することができる。
ただし、これに限定されず、マルチメディアコンテンツに対してフラグメントヘッダー及びフラグメントペイロードが既に生成されている場合には、フラグメントヘッダーに該当する伝送ブロックをまず生成した後に、フラグメントペイロードに該当する伝送ブロックを生成することもできる。
送信ブロック生成器C21030は、フラグメントペイロードに該当する伝送ブロックとフラグメントヘッダーに該当する伝送ブロックをそれぞれ別個の伝送ブロックとして生成することができる。
パケタイザC21040は、伝送ブロックを同一サイズの少なくとも一つのシンボルに分割して、それぞれの少なくとも一つのシンボルを、少なくとも一つのパケットにパケット化することができる。ただし、これに限定されず、シンボルは、他の装置によって生成されてもよい。本発明の一実施例に係るシンボルの長さは同一であってもよい。ただし、各伝送ブロックの最後のシンボルは、他のシンボルに比べて短い長さを有しうる。
その後、パケタイザC21040は、少なくとも一つのシンボルを少なくとも一つのパケットにパケット化することができる。例えば、パケットはLCTパケットであってもよい。パケットは、パケットヘッダー及びパケットペイロードを含むことができる。
パケットヘッダーは、ファイルの分割生成及び分割消費に関する情報を有するフラグメント情報を含むことができる。ファイルの分割生成とは、マルチメディアコンテンツを構成するファイルを、独立してエンコード及び伝送できる少なくとも一つのチャンク又は伝送ブロックに分割して生成することを意味する。ファイルの分割消費とは、受信された少なくとも一つの伝送ブロックを組み合わせて、独立してデコード及び再生できる少なくとも一つのフラグメントを復元し、フラグメント単位で再生することを意味する。また、ファイルの分割消費とは、伝送ブロック単位で再生することを含むことができる。
例えば、フラグメント情報は、パケットがフラグメントの最初のデータを含んでいることを示すSIフィールド、パケットがフラグメントヘッダーのデータを含んでいることを示すFHフィールド、それぞれのフラグメントに該当する伝送ブロックの生成を完了したことを示すフラグメント完了情報、及びパケットに含まれたパディングバイト数を示すPBフィールドのうち少なくとも一つを含むことができる。
そして、フラグメント情報は、当該パケットのヘッダー拡張のタイプを示すHET(Header Extension Type field)フィールドをさらに含むことができる。
そして、フラグメント完了情報は、パケットがフラグメントヘッダーの最後のデータを含んでいることを示すFCフィールド、及びフラグメントヘッダーに該当する全シンボルの数を示すFHLフィールドのうち一つを含むことができる。
フラグメント情報は、パケタイザC21040で生成されてもよく、別の装置によって生成されてもよい。以下では、パケタイザC21040がフラグメント情報を生成する場合を中心に説明する。
パケタイザC21040は、生成されたシンボルがフラグメントの最初のデータを含んでいるか否かを識別することができる。
例えば、パケタイザC21040は、生成されたシンボルがフラグメントペイロードの最初のデータを含むか否かを識別することができる。生成されたシンボルがフラグメントペイロードの最初のデータを含んでいると、SIフィールドは‘1’に設定されてもよい。生成されたシンボルがフラグメントペイロードの最初のデータを含んでいないと、SIフィールドは‘0’に設定されてもよい。
パケタイザC21040は、生成されたシンボルがフラグメントペイロードのデータを含むか、或いはフラグメントヘッダーのデータを含むかを識別することができる。
例えば、生成されたシンボルがフラグメントペイロードのデータを含むと、FHフィールドは‘1’に設定されてもよい。生成されたシンボルがフラグメントペイロードのデータを含まないと、FHフィールドは‘0’に設定されてもよい。
パケタイザC21040は、それぞれのフラグメントに該当する伝送ブロックの生成を完了したか否かを識別することができる。それぞれのフラグメントに該当する伝送ブロックの生成を完了したことを示すフラグメント完了情報は、パケットがフラグメントヘッダーの最後のデータを含んでいることを示すFCフィールドを含むことができる。
例えば、生成されたシンボルがフラグメントヘッダーのデータを含み、当該伝送ブロックの最後のシンボルであれば、FCフィールドは‘1’に設定されてもよい。生成されたシンボルがフラグメントヘッダーのデータを含まないか、又は当該伝送ブロックの最後のシンボルでないと、FCフィールドは‘0’に設定されてもよい。
パケタイザC21040は、生成されたシンボルが当該伝送ブロックの最後のシンボルであり、他のシンボルと異なる長さを有するシンボルであるかを識別することができる。例えば、他のシンボルは、あらかじめ定められた長さのシンボルであり、他のシンボルと異なる長さを有するシンボルは、他のシンボルに比べて長さの短いシンボルであってもよい。
例えば、生成されたシンボルが当該伝送ブロックの最後のシンボルであり、他のシンボルと異なる長さを有すると、パケタイザC21040は、それぞれの伝送ブロックの最後のシンボルに該当するパケットにパディングバイトを挿入することができる。そして、パケタイザC21040は、パッキングバイトの数を計算することができる。
そして、PBフィールドは、パディングバイトの数を示すことができる。パディングバイトは、他のシンボルと同一の長さとなるように、他のシンボルに比べて長さの短いシンボルに追加されるバイトである。又は、パディングバイトは、パケットにおいてシンボルを除いた残りの部分であってもよい。
生成されたシンボルが当該伝送ブロックの最後のシンボルでないか、又は他のシンボルと長さが異なると、PBフィールドは‘0’に設定されてもよい。
パケットペイロードは、少なくとも一つのシンボルを含むことができる。以下では、一つのパケットが一つのシンボルを含む場合を中心に説明する。
それぞれの伝送ブロックの最後のシンボルを含むパケットは、少なくとも一つのパディングバイトを含むことができる。
送信器C21050は、伝送ブロックが生成された順で少なくとも一つのパケットを伝送することができる。
例えば、本発明の一実施例に係る送信器C21050は、フラグメントペイロードに該当する伝送ブロックをまず送信した後に、フラグメントヘッダーに該当する伝送ブロックを伝送することができる。
ただし、これに限定されず、マルチメディアコンテンツに対してフラグメントヘッダー及びフラグメントペイロードが既に生成されている場合には、本発明の一実施例に係る送信器C21050は、フラグメントヘッダーに該当する伝送ブロックをまず送信した後に、フラグメントペイロードに該当する伝送ブロックを伝送することもできる。
図35は、本発明の一実施例に係るファイルベースマルチメディアコンテンツの実時間生成及び送信手順を示すフローチャートである。
図35を参照すると、図34で上述した放送信号送信装置が放送信号を送信する手順が示されている。
まず、本発明の一実施例に係る放送信号送信装置は、メディアエンコーダC21010を用いてマルチメディアコンテンツのエンコーディングを始めることができる(CS11100)。放送信号送信装置は、マルチメディアコンテンツをエンコードしてメディアデータを生成することができる。
その後、放送信号送信装置は、フラグメントペイロードに該当するメディアデータをバッファすることができる(CS11200)。その後、放送信号送信装置は、バッファしたメディアデータに基づいて、フラグメントペイロードに該当するチャンク(chunk)を生成することができる。
フラグメントペイロードに該当するチャンクの生成が完了していないと、放送信号送信装置は、メディアデータを続けてバッファした後に、フラグメントペイロードに該当するチャンクの生成を完了すればよい(CS11300)。
その後、放送信号送信装置は、フラグメント生成器C21020を用いて、マルチメディアコンテンツを構成するそれぞれのファイルを分割し、独立して復号化及び再生されるデータ単位である少なくとも一つのフラグメントを生成することができる(CS11400)。
放送信号送信装置は、それぞれのフラグメントを構成するフラグメントペイロードを生成した後にフラグメントヘッダーを生成することができる。
放送信号送信装置は、チャンクを生成する度に、フラグメントペイロードに該当するデータを全てチャンクとして生成したか判断することができる。
その後、フラグメントペイロードに該当するチャンクの生成が完了すると、放送信号送信装置は、フラグメントペイロードに該当するフラグメントヘッダーを生成することができる。
その後、放送信号送信装置は、送信ブロック生成器C21030を用いてフラグメントを分割して、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを生成することができる(CS11500)。
例えば、それぞれのフラグメントを構成するフラグメントペイロードを生成した後にフラグメントヘッダーを生成する場合、放送信号送信装置は、フラグメントペイロードに該当する伝送ブロックを生成した後、フラグメントヘッダーに該当する伝送ブロックを生成することができる。
放送信号送信装置は、フラグメントペイロードに該当する伝送ブロックとフラグメントヘッダーに該当する伝送ブロックを、それぞれ別個の伝送ブロックとして生成することができる。
その後、放送信号送信装置は、パケタイザC21040を用いて伝送ブロックを同一サイズの少なくとも一つのシンボルに分割し、それぞれの少なくとも一つのシンボルを少なくとも一つのパケットにパケット化することができる(CS11600、CS11700)。
放送信号送信装置がパケットを生成する手順については図40で具体的に後述し、ここでは説明を省略するものとする。
その後、放送信号送信装置は、送信器C21050を用いて伝送ブロックが生成された順で少なくとも一つのパケットを伝送することができる。
図36は、本発明の一実施例に係る放送信号送信装置がパケタイザを用いてパケットを生成する手順を具体的に示すフローチャートである。
放送信号送信装置は、生成されたシンボルがフラグメントの最初のデータを含んでいるか否か識別することができる(CS11710)。
例えば、生成されたシンボルがフラグメントペイロードの最初のデータを含んでいると、SIフィールドは‘1’に設定されてもよい(CS11712)。生成されたシンボルがフラグメントペイロードの最初のデータを含んでいないと、SIフィールドは‘0’に設定されてもよい(CS11714)。
その後、放送信号送信装置は、生成されたシンボルがフラグメントペイロードのデータを含むか、或いはフラグメントヘッダーのデータを含むかを識別することができる(CS11720)。
例えば、生成されたシンボルがフラグメントペイロードのデータを含むと、FHフィールドは‘1’に設定されてもよい(CS11722)。生成されたシンボルがフラグメントペイロードのデータを含まないと、FHフィールドは‘0’に設定されてもよい(CS11724)。
その後、放送信号送信装置は、それぞれのフラグメントに該当する伝送ブロックの生成を完了したか否かを識別することができる(CS11730)。
例えば、生成されたシンボルがフラグメントヘッダーのデータを含み、当該伝送ブロックの最後のシンボルであれば、FCフィールドは‘1’に設定されてもよい(CS11732)。生成されたシンボルがフラグメントヘッダーのデータを含まないか、又は当該伝送ブロックの最後のシンボルでないと、FCフィールドは‘0’に設定されてもよい(CS11734)。
その後、放送信号送信装置は、生成されたシンボルが当該伝送ブロックの最後のシンボルであり、他のシンボルと異なる長さを有するシンボルであるか識別することができる(CS11740)。
例えば、生成されたシンボルが当該伝送ブロックの最後のシンボルであり、他のシンボルと異なる長さを有すると、放送信号送信装置は、それぞれの伝送ブロックの最後のシンボルに該当するパケットにパディングバイトを挿入することができる。そして、放送信号送信装置は、パディングバイトの数を計算することができる(CS11742)。そして、PBフィールドは、パディングバイトの数を示すことができる。
生成されたシンボルが当該伝送ブロックの最後のシンボルでないか、又は他のシンボルと長さが異なると、PBフィールドは‘0’に設定されてもよい(CS11744)。
パケットペイロードは少なくとも一つのシンボルを含むことができる。
図37は、本発明の一実施例に係るファイルベースマルチメディアコンテンツの実時間生成/送信の手順を示すフローチャートである。
図37では、図35及び図36で説明された内容と実質的に同じ内容については具体的な説明を省略する。
本発明の一実施例に係る放送信号送信装置は、FCフィールドの代わりにFHLフィールドを使用することができる。例えば、上述したフラグメント情報は、それぞれのフラグメントに該当する伝送ブロックの生成を完了したことを示すフラグメント完了情報を含むことができる。そして、フラグメント完了情報は、フラグメントヘッダーに該当する全シンボルの数を示すFHLフィールドを含むことができる。
本発明の一実施例に係る放送信号送信装置は、フラグメントヘッダーのデータを含む伝送ブロックに該当するシンボルの個数を計算してFHLフィールドに記録することができる(CS12724)。
FHLフィールドは、フラグメントヘッダー部分に該当する全シンボル数としてフラグメントヘッダーの長さを示す。放送信号受信装置がフラグメントヘッダーの受信が完了したことを識別できるように、FHLフィールドは、上述したFCフィールドの代わりにフラグメント情報に含まれてもよい。
本発明の一実施例に係る放送信号受信装置は、FHLフィールドに記録された個数だけのフラグメントヘッダーを含むパケットの伝送回数をチェックすることによって、フラグメントヘッダーの受信が完了したか否かを識別することができる。
図38は、本発明の一実施例に係るファイルベースマルチメディアコンテンツ受信機の構造を示す図である。
図38を参照すると、本発明の一実施例に係る放送網を用いて、マルチメディアコンテンツを含む放送信号を受信する放送信号受信装置は、受信部(図示せず)、シグナリングデコーダC22005、送信ブロック再生成器C22030、及び/又はメディアデコーダC22060を含むことができる。
シグナリングデコーダC22005は、シグナリング情報をデコードすることができる。シグナリング情報は、マルチメディアコンテンツを実時間で伝送するか否かを示す情報である。
シグナリング情報がマルチメディアコンテンツを実時間で送信することを示す場合、送信ブロック再生成器C22030は、放送信号を組み合わせて、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを復元することができる。
メディアデコーダC22060は、伝送ブロックを復号化することができる。
より具体的な内容は、図44で後述する。
図39は、本発明の一実施例に係るファイルベースマルチメディアコンテンツ受信機の構造を示す図である。
図39を参照すると、本発明の一実施例に係る放送信号受信装置は、受信部(図示せず)、シグナリングデコーダ(図示せず)、パケットフィルタC22010、パケットデパケタイザC22020、送信ブロック再生成器C22030、フラグメント再生成器C22040、フラグメントパーサーC22050、メディアデコーダC22060、及び/又はメディアレンダラC22070を含むことができる。
受信部(図示せず)は、放送信号を受信することができる。放送信号は、少なくとも一つのパケットを含むことができる。それぞれのパケットは、フラグメント情報を含むパケットヘッダー、及び少なくとも一つのシンボルを含むパケットペイロードを含むことができる。
シグナリングデコーダC22005は、シグナリング情報をデコードすることができる。シグナリング情報は、マルチメディアコンテンツを実時間で伝送するか否かを示す情報である。
パケットフィルタC22010は、任意の地点で受信された少なくとも一つのパケットからフラグメントの開始地点を識別し、フラグメントの開始地点からパケット処理を開始可能にする。
パケットフィルタC22010は、パケットに含まれたフラグメント情報のSIフィールドに基づいてフラグメントの開始地点を識別することができる。パケットフィルタC22010は、SIフィールドが、当該パケットがフラグメントの開始部分を含んでいることを示すと、当該パケット以前のパケットを捨て、当該パケットからパケットデパケタイザC22020に伝達することができる。
例えば、パケットフィルタC22010は、‘1’に設定されたパケット以前のパケットは捨て、‘1’に設定されたパケット以降のパケットをフィルタすることができる。
パケットデパケタイザC22020は、少なくとも一つのパケットをデパケット化して、パケットヘッダーに含まれたフラグメント情報及びパケットペイロードに含まれた少なくとも一つのシンボルを抽出することができる。
送信ブロック再生成器C22030はパケットを組み合わせて、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを復元することができる。復元された伝送ブロックは、フラグメントヘッダーに該当するデータを含むことができ、フラグメントペイロードに該当するデータを含むことができる。
フラグメント再生成器C22040は、少なくとも一つの伝送ブロックを組み合わせて、フラグメントヘッダー及びフラグメントペイロードの復元を完了した後にフラグメントヘッダー及びフラグメントペイロードを組み合わせて、独立して復号化及び再生されるデータ単位であるフラグメントを復元することができる。
フラグメント再生成器C22040は、フラグメント情報に基づいて伝送ブロックを組み合わせて、フラグメントペイロード及びフラグメントヘッダーを復元することができる。フラグメント再生成器C22040は、受信されるパケットの順序でフラグメントペイロードをまず復元した後、フラグメントヘッダーを復元することができる。
FHフィールドが、パケットがフラグメントヘッダーのデータを含んでいることを示すと、フラグメント再生成器C22040は、フラグメントヘッダーに該当する少なくとも一つの伝送ブロックを組み合わせて、フラグメントヘッダーを復元することができる。
FHフィールドが、パケットがフラグメントヘッダーのデータを含んでいないことを示すと、フラグメント再生成器C22040は、フラグメントペイロードに該当する少なくとも一つの伝送ブロックを組み合わせて、フラグメントペイロードを復元することができる。
例えば、FHフィールドの値が‘0’である場合、フラグメント再生成器C22040は、フラグメントペイロードとして判断し、フラグメントペイロードを復元することができる。FHフィールドの値が‘1’である場合、フラグメント再生成器C22040はフラグメントヘッダーとして判断し、フラグメントヘッダーを復元することができる。
その後、フラグメント再生成器C22040は、それぞれのフラグメントに該当するフラグメントペイロード及びフラグメントヘッダーの復元を終了すると、復元したフラグメントペイロード及びフラグメントヘッダーを組み合わせてフラグメントを復元することができる。
フラグメント再生成器C22040がそれぞれのフラグメントに該当するフラグメントペイロード及びフラグメントヘッダーの復元を終了したかを確認する方法としては、下記の2つの方法を挙げることができる。
第一の方法は、フラグメント情報に含まれたFCフィールドを用いる方法である。
フラグメント完了情報は、パケットがフラグメントヘッダーの最後のデータを含んでいることを示すFCフィールドを含むことができる。FCフィールドが、パケットがフラグメントヘッダーの最後のデータを含んでいることを示すと、フラグメント再生成器C22040は、それぞれのフラグメントを構成するフラグメントヘッダー及びフラグメントペイロードの受信が完了したと判断し、フラグメントヘッダー及びフラグメントペイロードの復元を完了することができる。
例えば、それぞれのフラグメントを構成するフラグメントペイロードがまず受信された後にフラグメントヘッダーが受信されると、FCフィールドは、当該パケットがフラグメントヘッダーの最後のデータを含んでいることを示すことができる。
したがって、FCフィールドが、当該パケットがフラグメントヘッダーの最後のデータを含んでいることを示すと、フラグメント再生成器C22040は、フラグメントヘッダーの受信が完了したことを認識し、フラグメントヘッダーを復元する手順を終了すればよい。その後、フラグメント再生成器C22040は、フラグメントヘッダーとフラグメントペイロードを組み合わせてフラグメントを復元することができる。
FCフィールドが、当該パケットがフラグメントヘッダーの最後の部分のデータを含んでいないことを示すと、放送信号受信装置は、伝送ブロックを復元する手順を反復することができる。
例えば、FCフィールドの値が‘1’でない場合、放送信号受信装置は、伝送ブロックを復元する手順を反復することができる。そして、FCフィールドの値が‘1’である場合、フラグメント再生成器C22040は、フラグメントヘッダーとフラグメントペイロードを組み合わせてフラグメントを復元することができる。
第二の方法は、フラグメント情報に含まれたFHLフィールドに基づいて、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの復元が完了したか否かを確認することができる。
フラグメント再生成器C22040は、フラグメントヘッダーのデータを含むパケットの数をカウントすることができる。
フラグメント完了情報は、フラグメントヘッダーに該当する全シンボルの数を示すFHLフィールドをさらに含み、FHLフィールドに記録された値とフラグメントヘッダーのデータを含むパケットの数とが一致すると、フラグメント再生成器C22040はフラグメントヘッダー及びフラグメントペイロードの復元を完了することができる。
フラグメント再生成器C22040がFHLフィールドを用いることに関する具体的な説明は、図46で後述する。
フラグメントパーサーC22050は、復元されたフラグメントをパースすることができる。復元されたフラグメントは、フラグメントヘッダーが前の部分に位置し、フラグメントペイロードが後の部分に位置するため、フラグメントパーサーC22050は、フラグメントヘッダーをまずパースした後にフラグメントペイロードをパースすることができる。
フラグメントパーサーC22050は、復元されたフラグメントをパースして、少なくとも一つのメディアアクセスユニットを生成することができる。例えば、メディアアクセスユニットは、少なくとも一つのメディアデータを含むことができる。メディアアクセスユニットは、あらかじめ定められたサイズのメディアデータの単位であってもよい。
メディアデコーダC22060はフラグメントを復号化することができる。メディアデコーダC22060は少なくとも一つのメディアアクセスユニットを復号化してメディアデータを生成することができる。
メディアレンダラC22070は、復号化されたメディアデータをレンダリングしてプレゼンテーションすることができる。
図40は、本発明の一実施例に係るファイルベースマルチメディアコンテンツの実時間受信/消費の手順を示す図である。
図39で説明した内容は、本発明の一実施例に係る放送信号受信方法に同一に適用されてもよい。
図40を参照すると、本発明の一実施例に係る放送信号受信方法は、少なくとも一つのファイルを含むマルチメディアコンテンツを受信する放送信号受信方法において、少なくとも一つのパケットに分割されたマルチメディアコンテンツを受信し、パケットを組み合わせて、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを復元し、少なくとも一つの伝送ブロックを組み合わせて、フラグメントヘッダー及びフラグメントペイロードの復元を完了した後、フラグメントヘッダー及びフラグメントペイロードを組み合わせて、独立して復号化及び再生されるデータ単位であるフラグメントを復元し、及び/又はフラグメントを復号化することを含むことができる。
まず、本発明の一実施例に係る放送信号受信装置は、受信部(図示せず)を用いて放送信号を受信することができる(CS21010)。放送信号は、少なくとも一つのパケットを含むことができる。
その後、本発明の一実施例に係る放送信号受信装置は、パケットフィルタC22010を用いて、任意の地点で受信された少なくとも一つのパケットからフラグメントの開始地点を識別することができる(CS21020)。
その後、本発明の一実施例に係る放送信号受信装置は、パケットデパケタイザC22020を用いて少なくとも一つのパケットをデパケット化し、パケットヘッダーに含まれたフラグメント情報及びパケットペイロードに含まれた少なくとも一つのシンボルを抽出することができる(CS21030)。
その後、放送信号受信装置は、送信ブロック再生成器C22030を用いてパケットを組み合わせて、独立して符号化及び伝送されるデータ単位である少なくとも一つの伝送ブロックを復元することができる(CS21040)。復元された伝送ブロックは、フラグメントヘッダーに該当するデータを含むことができ、フラグメントペイロードに該当するデータを含むことができる。
その後、本発明の一実施例に係る放送信号受信装置は、フラグメント再生成器C22040でフラグメント情報に基づいて復元された伝送ブロックがフラグメントヘッダーに該当する伝送ブロックであるか、或いは、フラグメントペイロードに該当する伝送ブロックであるかを識別することができる(CS21050)。
その後、放送信号受信装置は、復元された伝送ブロックを組み合わせて、フラグメントペイロード及びフラグメントヘッダーを復元することができる。
FHフィールドが、パケットがフラグメントヘッダーのデータを含んでいないことを示すと、放送信号受信装置は、フラグメントペイロードに該当する少なくとも一つの伝送ブロックを組み合わせてフラグメントペイロードを復元することができる(CS21060)。
FHフィールドがパケットがフラグメントヘッダーのデータを含んでいることを示すと、放送信号受信装置は、フラグメントヘッダーに該当する少なくとも一つの伝送ブロックを組み合わせてフラグメントヘッダーを復元することができる(CS21070)。
放送信号受信装置は、フラグメント情報に含まれたFCフィールドに基づいて、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの復元が完了したか否かを確認することができる(CS21080)。
FCフィールドが、当該パケットがフラグメントヘッダーの最後のデータを含んでいないことを示すと、放送信号受信装置は、伝送ブロックを復元する手順を反復することができる。
FCフィールドが、当該パケットがフラグメントの最後のデータを含んでいることを示すと、放送信号受信装置は、それぞれのフラグメントの受信が完了したと判断することができる。
例えば、それぞれのフラグメントを構成するフラグメントペイロードがまず受信された後にフラグメントヘッダーが受信されると、FCフィールドは、当該パケットがフラグメントヘッダーの最後のデータを含んでいることを示すことができる。
したがって、FCフィールドが、パケットがフラグメントヘッダーの最後のデータを含んでいることを示すと、放送信号受信装置は、それぞれのフラグメントを構成するフラグメントヘッダー及びフラグメントペイロードの受信が完了したと判断し、フラグメントヘッダー及びフラグメントペイロードの復元を完了することができる。
FCフィールドが、当該パケットがフラグメントヘッダーの最後の部分のデータを含んでいないことを示すと、放送信号受信装置は、伝送ブロックを復元する手順を反復することができる。
その後、放送信号受信装置は、フラグメント再生成器C22040を用いて、少なくとも一つの伝送ブロックを組み合わせてフラグメントヘッダー及びフラグメントペイロードの復元を完了した後、フラグメントヘッダー及びフラグメントペイロードを組み合わせて、独立して復号化及び再生されるデータ単位であるフラグメントを復元することができる(CS21090)。
その後、本発明の一実施例に係る放送信号受信装置は、フラグメントパーサーC22050を用いて、復元されたフラグメントをパースすることができる(CS21090)。放送信号受信装置は、復元されたフラグメントをパースして少なくとも一つのメディアアクセスユニットを生成することができる。ただし、これに限定されず、放送信号受信装置は、伝送ブロックをパースして少なくとも一つのメディアアクセスユニットを生成することもできる。
その後、本発明の一実施例に係る放送信号受信装置は、メディアデコーダC22060を用いて、少なくとも一つのメディアアクセスユニットを復号化してメディアデータを生成することができる(CS21100)。
その後、本発明の一実施例に係る放送信号受信装置は、メディアレンダラC22070を用いて、復号化されたメディアデータをレンダリングしてプレゼンテーションすることができる(CS21110)。
図41は、本発明の一実施例に係るファイルベースマルチメディアコンテンツの実時間受信/消費の手順を示す図である。
図41では、図40で説明された内容と実質的に同じ内容については具体的な説明を省略する。
本発明の一実施例に係る放送信号受信装置は、FHLフィールドに基づいて、それぞれのフラグメントを構成するフラグメントヘッダー及びフラグメントペイロードの受信が完了したか否かを判断することができる。
本発明の一実施例に係る放送信号受信装置は、フラグメント再生成器C22040を用いて、フラグメント情報に基づいて復元された伝送ブロックがフラグメントヘッダーに該当する伝送ブロックであるか、或いはフラグメントペイロードに該当する伝送ブロックであるかを識別することができる(CS22050)。
その後、放送信号受信装置は、復元された伝送ブロックを組み合わせて、フラグメントペイロード及びフラグメントヘッダーをそれぞれ復元することができる。
FHフィールドが、当該パケットがフラグメントペイロードに該当するデータを含んでいることを示すと、放送信号受信装置は、少なくとも一つの伝送ブロックを組み合わせてフラグメントペイロードを復元することができる(CS22060)。
FHフィールドが、当該パケットがフラグメントヘッダーに該当するデータを含んでいることを示すと、フラグメント再生成器C22040は、少なくとも一つの伝送ブロックを組み合わせてフラグメントヘッダーを復元することができる(CS22070)。
その後、放送信号受信装置が、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの復元を完了すると、放送信号受信装置は、復元したフラグメントペイロード及びフラグメントヘッダーを組み合わせてフラグメントを復元することができる。
放送信号受信装置は、フラグメント情報に含まれたFHLフィールドに基づいて、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの復元が完了したか否かを確認することができる。
放送信号受信装置は、それぞれのフラグメントを構成するパケットの数(N)をカウントすることができる(CS22080)。例えば、放送信号受信装置は、フラグメントヘッダーのデータを含むパケットの数をカウントすることができる。一つのパケットは少なくとも一つのシンボルを含むことができるが、以下では一つのパケットが一つのシンボルを含む場合を中心に説明する。
FHLフィールドは、フラグメントを構成するシンボルの数を示すことができる。FHLフィールドに記録されたシンボルの数に該当する数のパケットが受信されていないと、放送信号受信装置は、伝送ブロックを復元する手順を反復することができる。例えば、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了しないと、放送信号受信装置は伝送ブロックを復元する手順を反復することができる。
フラグメント完了情報は、フラグメントヘッダーに該当する全シンボルの数を示すFHLフィールドをさらに含む。
FHLフィールドに記録された値とパケットの数が一致すると、放送信号受信装置は、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了したと判断し、フラグメントヘッダー及びフラグメントペイロードの復元を完了することができる(CS22090)。
例えば、FHLフィールドは、フラグメントヘッダー及びフラグメントペイロードの両方を含むそれぞれのフラグメントに該当する全シンボルの数を示すことができる。このとき、FHLフィールドに記録されたシンボルの数に該当する数のパケットが受信されると、放送信号受信装置は、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了したと判断することができる。
例えば、FHLフィールドは、フラグメントヘッダー及びフラグメントペイロードのうち、後に伝送されるものの全シンボルの数を示すことができる。
それぞれのフラグメントを構成するフラグメントペイロードがまず受信された後にフラグメントヘッダーが受信されると、FHLフィールドは、フラグメントヘッダーに該当する全シンボルの数を示すことができる。このとき、FHLフィールドに記録されたシンボルの数と受信されたフラグメントヘッダーに該当するパケットの数とが同一であれば、放送信号受信装置は、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了したと判断することができる。
また、それぞれのフラグメントを構成するフラグメントヘッダーがまず受信された後にフラグメントペイロードが受信されると、FHLフィールドは、フラグメントペイロードに該当する全シンボルの数を示すことができる。このとき、FHLフィールドに記録されたシンボルの数と受信されたフラグメントペイロードに該当するパケットの数とが同一であれば、放送信号受信装置は、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了したと判断することができる。
その後、それぞれのフラグメントを構成するフラグメントペイロード及びフラグメントヘッダーの受信が完了すると、放送信号受信装置は、フラグメントヘッダーとフラグメントペイロードとを組み合わせてフラグメントを復元することができる(CS22100)。
以上、本発明の一実施例に係る、可変サイズのデータ単位である伝送ブロックを用いて、放送網でマルチメディアコンテンツを伝送ブロック単位で実時間伝送及び受信する実施例について説明した。
以下では、本発明の他の実施例に係る、オブジェクト内部構造体の境界情報及びタイプ情報を用いて、放送網でマルチメディアコンテンツを可変サイズのオブジェクト内部構造体単位で実時間伝送及び受信する実施例を説明する。
ただし、本発明の他の実施例の構成のうち、本発明の一実施例の構成と同じ名称は、前述した内容を全て含むことができ、その具体的な説明は省略する。また、図1乃至図41で説明した内容は、以下の図42乃至図55にも適用することができる。
<伝送オブジェクトタイプの識別方案−1>
図42は、本発明の他の実施例に係るオブジェクトタイプ情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクトフラグフィールド(O)、ハーフワードフラグフィールド(H)、伝送者現在時間存在フラグフィールド(T)、予想レジデュアル時間存在フラグフィールド(R)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、FECペイロードIDフィールド、及び/又はシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るパケットは、メタデータを含むパケット情報を含むことができる。パケット情報は、MPEG−DASHコンテンツ伝送時に現在パケットが送信しているオブジェクトの類型を示すオブジェクトタイプ情報を含むことができる。オブジェクトタイプ情報は、現在パケット又は同一TOIが与えられたパケットが送信しているオブジェクトのタイプを示すことができる。
例えば、オブジェクトタイプ情報は、LCTパケットの開始地点で12番目のビットに位置する2個の予約ビットを用いてオブジェクトタイプを識別することができる。
MPEG−DASHコンテンツをLCTパケットで伝送する場合、オブジェクトタイプは、レギュラーファイル、初期化セグメント、メディアセグメント及び/又は自己−初期化セグメントを含むことができる。
例えば、オブジェクトタイプ情報の値が“00”であれば、オブジェクトタイプは“レギュラーファイル(Regular File)”を示し、オブジェクトタイプ情報の値が“01”であれば、オブジェクトタイプは“初期化セグメント(Initialization Segment)”を示し、オブジェクトタイプ情報の値が“10”であれば、オブジェクトタイプは“メディアセグメント(Media Segment)”を示し、オブジェクトタイプ情報の値が“11”であれば、オブジェクトタイプは“自己−初期化セグメント(Self−Initializing Segment)”を示すことができる。
それぞれのオブジェクトタイプ情報が示すオブジェクトのタイプは、送信しているファイルコンテンツによって異なってもよく、オブジェクトタイプ情報の値を定義するスキームは、現在伝送中のセッション又は帯域外(out−of−band)で別のシグナリング情報の形態で伝送されてもよい。
レギュラーファイルは、マルチメディアコンテンツを構成する一般的なファイルのようなオブジェクト形態のデータ単位である。
初期化セグメントは、リプレゼンテーションに接近するための初期化情報を含むオブジェクト形態のデータ単位である。初期化セグメントは、ファイルタイプボックス(ftyp)及びムービーボックス(moov)を含むことができる。ファイルタイプボックス(ftyp)は、ファイルタイプ、ファイルバージョン、及び互換性情報を含むことができる。ムービーボックス(moov)は、メディアコンテンツを記述するメタデータを含むことができる。
メディアセグメントは、ストリーミングサービスを支援するために放送信号受信装置で伝送しようとする品質別、時間別に分離したメディア関連オブジェクト形態のデータ単位を意味する。メディアセグメントは、セグメントタイプボックス(styp)、セグメントインデックスボックス(sidx)、ムービーフラグメントボックス(moof)、及びメディアデータボックス(mdat)を含むことができる。セグメントタイプボックス(styp)は、セグメントの類型情報を含むことができる。セグメントインデックスボックス(sidx)は、当該メディアセグメントの内部に存在するメディアデータの最初のプレゼンテーション時間、データオフセット(offset)及びSAP(Stream Access Points)情報などを提供することができる。ムービーフラグメントボックス(moof)は、メディアデータボックス(mdat)に対するメタデータを含むことができる。メディアデータボックス(mdat)は、当該メディア構成要素(ビデオ及びオーディオなど)に対する実際メディアデータを含むことができる。
自己−初期化セグメントは、初期化セグメントの情報及びメディアセグメントの情報の両方を含むオブジェクト形態のデータ単位を意味する。
<伝送オブジェクトタイプの識別方案−2>
図43は、本発明の他の実施例に係るオブジェクトタイプ情報を含むパケットの構造を示す図である。
上述した方法に加えて、オブジェクトタイプ情報は、LCTヘッダー拡張を用いて、現在パケットが送信しているオブジェクトのタイプを識別することができる。LCTヘッダー拡張を用いるオブジェクトタイプ情報は、RTP(realtime protocol)などを含む伝送プロトコルのためのパケットなどに適用することができる。
オブジェクトタイプ情報は、ヘッダー拡張タイプ(HET)フィールド、タイプフィールド、及び/又は予約フィールドを含むことができる。
HETフィールドは8ビットの整数であってもよく、当該ヘッダー拡張のタイプを示すことができる。例えば、HETフィールドは、128〜255の値の中から一つの固有値で当該ヘッダー拡張のタイプを識別することができ、この場合、ヘッダー拡張は、32ビットの固定長を有することができる。
タイプフィールドは、現在LCTパケット又は同一TOIが与えられたLCTパケットが送信しているオブジェクトのタイプを示すことができる。以下では、タイプフィールドをオブジェクトタイプ情報と表現することができる。MPEG−DASHコンテンツをLCTパケットで伝送する場合、オブジェクトタイプ情報の値によって、オブジェクトタイプは、レギュラーファイル、初期化セグメント、メディアセグメント、及び自己−初期化セグメントを含むことができる。
例えば、オブジェクトタイプ情報の値が“0x00”であれば、オブジェクトタイプは“レギュラーファイル”を示し、オブジェクトタイプ情報の値が“0x01”であれば、オブジェクトタイプは“初期化セグメント”を示し、オブジェクトタイプ情報の値が“0x10”であれば、オブジェクトタイプは“メディアセグメント”を示し、オブジェクトタイプ情報の値が“0x11”であれば、オブジェクトタイプは“自己−初期化セグメント”を示すことができる。
予約フィールドは、将来の使用のために予約されたフィールドであってもよい。
以下、具体的な内容は上述したとおりであり、その説明を省略する。
図44は、本発明の他の実施例に係るオブジェクトタイプ情報を用いる放送信号受信装置の構造を示す図である。
放送信号受信装置は、オブジェクトタイプ情報に基づいてオブジェクトのタイプにしたがって別々の手順を行うことができる。すなわち、放送信号送信装置がLCTパケットにオブジェクトタイプ情報を明示して伝送すると、放送信号受信装置は、オブジェクトタイプ情報に基づいて、受信したオブジェクトを識別し、オブジェクトのタイプ別に適切な動作を行うことができる。
本発明の他の実施例に係る放送信号受信装置は、シグナリングデコーダC32005、パーサーC32050、及び/又はデコーダC32060を含むことができる。ただし、放送信号受信装置の構成要素はこれに限定されず、上述した構成要素をさらに含んでもよい。
シグナリングデコーダC32005は、シグナリング情報をデコードすることができる。シグナリング情報は、マルチメディアコンテンツを含む放送信号を放送網を介して実時間で伝送するか否かを示す情報である。
パーサーC32050は、オブジェクトタイプ情報に基づいて少なくとも一つのオブジェクトをパースし、リプレゼンテーションに接近するための初期化情報及び少なくとも一つのアクセスユニットを生成することができる。そのために、パーサーC32050は、初期化セグメントパーサーC32051、メディアセグメントパーサーC32052、及び/又は自己−初期化セグメントパーサーC32053を含むことができる。初期化セグメントパーサーC32051、メディアセグメントパーサーC32052、及び自己−初期化セグメントパーサーC32053に関する具体的な説明は、次の図面で後述する。
デコーダC32060は、初期化情報に基づいて当該デコーダC32060を初期化することができる。また、デコーダC32060は、少なくとも一つのオブジェクトを復号化することができる。このとき、デコーダC32060は、オブジェクトに関する情報を少なくとも一つのアクセスユニットの形態で受信し、デコーダC32060は、少なくとも一つのアクセスユニットを復号化してメディアデータを生成することができる。
図45は、本発明の他の実施例に係るオブジェクトタイプ情報を用いる放送信号受信装置の構造を示す図である。
放送信号受信装置は、パケットフィルタC32010、セグメントバッファC32030、パーサーC32050、デコーディングバッファC32059、及び/又はデコーダC32060を含むことができる。
パケットフィルタC32010は、受信された少なくとも一つのパケットからオブジェクトタイプ情報を識別し、オブジェクトタイプ情報に基づいて、それぞれのオブジェクトのタイプに該当する手順を行えるように分類することができる。
例えば、オブジェクトタイプ情報が“1”であれば、パケットフィルタC32010は、LCTパケットのデータをセグメントバッファC32031を介して初期化セグメントパーサーC32051に伝達し、オブジェクトタイプ情報が“2”であれば、パケットフィルタC32010は、LCTパケットのデータをセグメントバッファC32032を介してメディアセグメントパーサーC32052に伝達し、伝送オブジェクトタイプ情報が“3”であれば、パケットフィルタC32010は、LCTパケットのデータをセグメントバッファC32033を介して自己−初期化セグメントパーサーC32053に伝達することができる。
セグメントバッファC32030は、パケットフィルタからLCTパケットのデータを受け取って、あらかじめ定められた時間記憶することができる。セグメントバッファC32030は、一つの構成要素で構成されてもよく、複数のセグメントバッファC32031,C32032,C32033で構成されてもよい。
パーサーC32050は、オブジェクトタイプ情報に基づいて少なくとも一つのオブジェクトをパースし、リプレゼンテーションに接近するための初期化情報及び少なくとも一つのアクセスユニットを生成することができる。そのために、パーサーC32050は、初期化セグメントパーサーC32051、メディアセグメントパーサーC32052、及び/又は自己−初期化セグメントパーサーC32053を含むことができる。
初期化セグメントパーサーC32051は、セグメントバッファC32031に記憶された初期化セグメントをパースし、リプレゼンテーションに接近するための初期化情報を生成することができる。また、初期化セグメントパーサーC32051は、自己−初期化セグメントパーサーC32053から初期化セグメントを受け取って、リプレゼンテーションに接近するための初期化情報を生成することができる。
メディアセグメントパーサーC32052は、セグメントバッファC32032に記憶されたメディアセグメントをパースし、メディアストリームの情報、少なくとも一つのアクセスユニット、及びプレゼンテーション時間又はインデックスのような当該セグメント内のメディアプレゼンテーションへの接近方法に関する情報を生成することができる。また、メディアセグメントパーサーC32052は、自己−初期化セグメントパーサーC32053からメディアセグメントを受け取って、メディアストリームの情報、少なくとも一つのアクセスユニット、及びプレゼンテーション時間又はインデックスのような当該セグメント内のメディアプレゼンテーションへの接近方法に関する情報を生成することができる。
自己−初期化セグメントパーサーC32053は、セグメントバッファC32033に記憶された自己−初期化セグメントをパースし、初期化セグメント及びメディアセグメントを生成することができる。
デコーディングバッファC32059は、パーサーC32050又はメディアセグメントパーサーC32052から少なくとも一つのアクセスユニットを受け取って、あらかじめ定められた時間記憶することができる。
デコーダC32060は、初期化情報に基づいて当該デコーダC32060を初期化することができる。また、デコーダC32060は、少なくとも一つのオブジェクトを復号化することができる。このとき、デコーダC32060は、オブジェクトに関する情報を少なくとも一つのアクセスユニットの形態で受信し、少なくとも一つのアクセスユニットを復号化してメディアデータを生成することができる。
上述したように、MPEG−DASHコンテンツを伝送する時、本発明の他の実施例に係る放送信号送信装置は、現在パケットで送信しているオブジェクトのタイプを示すオブジェクトタイプ情報を伝送することができる。また、放送信号受信装置は、オブジェクトタイプ情報に基づいて、受信したパケットからオブジェクトの類型を識別し、各オブジェクトに適切なプロセスを行うことができる。
<オブジェクト内部構造体のタイプ>
図46は、本発明の他の実施例に係るタイプ情報を含むパケットの構造を示す図である。
放送信号送信装置が、独立して有意な単位であるオブジェクト内部構造体(Object Internal Structure)の単位でデータを伝送すると、可変サイズでデータを伝送することができる。したがって、放送信号受信装置が一つのオブジェクトを全て受信する前であっても、オブジェクト内部構造体を受信及び識別すると、放送信号受信装置はオブジェクト内部構造体単位で再生することができる。その結果、マルチメディアコンテンツを放送網を介して実時間で伝送及び再生することができる。本発明の他の実施例によれば、オブジェクト内部構造体を識別するために、タイプ情報(Type information)及び境界情報(Boundary Information)を用いることができる。
以下では、オブジェクト内部構造体を識別するためのタイプ情報について具体的に説明する。
MPEG−DASHコンテンツを伝送するとき、パケット情報は、LCTヘッダー拡張を用いてタイプ情報を含むことができる。タイプ情報は、現在パケットが送信しているオブジェクトの内部構造体のタイプを示すことができる。タイプ情報は、オブジェクトタイプ情報との区別のために、内部構造体タイプ情報と呼ぶことができる。タイプ情報は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用することができる。
タイプ情報は、ヘッダー拡張タイプフィールド(HET)、内部ユニットタイプフィールド、及び/又は予約フィールドを含むことができる。
HETフィールドは上述したとおりであり、その具体的な説明は省略する。
内部構造体タイプフィールドは、LCTパケットが送信しているオブジェクト内部構造体のタイプを示すことができる。
オブジェクトはMPEG−DASHのセグメントに該当し得るが、オブジェクト内部構造体は、オブジェクトを構成する下位構成要素に該当する。例えば、オブジェクト内部構造体のタイプは、フラグメント、チャンク(chunk)又はGOP、アクセスユニット、及びNALユニットを含むことができる。オブジェクト内部構造体のタイプは、これに限定されず、有意な単位をさらに含んでもよい。
フラグメントとは、以前(preceding)のデータに対する依存性無しで独立して復号化及び再生可能なデータ単位を意味する。又は、フラグメントは、一対のムービーフラグメントボックス(moof)及びメディアデータコンテナボックス(mdat)を含むデータ単位を意味してもよい。例えば、フラグメントは、MPEG−DASHのサブセグメント(Subsegment)に該当してもよく、MMTのフラグメントに該当してもよい。フラグメントは、少なくとも一つのチャンク又は少なくとも一つのGOPを含むことができる。
チャンクは、同じメディアタイプを有する隣接したサンプルの集合であり、可変サイズのデータ単位である。
GOPは、ビデオコーディングで用いられるコーディングを行う基本単位であり、少なくとも一つのI−フレームを含むフレームの集合を示す可変サイズのデータ単位である。本発明の他の実施例によれば、メディアデータを独立して有意なデータ単位であるオブジェクト内部構造体の単位で伝送するので、GOPはオープンGOP及びクローズドGOPを含むことができる。
オープンGOPで、一つのGOP内にあるB−フレームは、隣接したGOPのI−フレーム又はP−フレームを参照することができる。したがって、オープンGOPは、コーディング効率を大きく向上させることができる。クローズドGOPで、B−フレーム又はP−フレームは、当該GOP内にあるフレームだけを参照し、当該GOP外にあるフレームは参照しない。
アクセスユニットは、符号化されたビデオ又はオーディオの基本データ単位を意味し、一つの映像フレーム又はオーディオフレームを含むことができる。
NALユニットは、ネットワーク機器との通信を考慮して圧縮されたスライスに関する要約情報などが含まれてカプセル化された圧縮されたビデオストリームである。例えば、NALユニットスライス、パラメータセット、及びSEIなどのデータをバイト単位でパケット化したデータ単位であってもよい。
予約フィールドは、将来の使用のために予約されたフィールドであってもよい。
以下では、説明の便宜のために、内部構造体タイプフィールドをタイプ情報と表現することができる。
<オブジェクト内部構造体の境界>
図47は、本発明の他の実施例に係る境界情報を含むパケットの構造を示す図である。
以下では、オブジェクト内部構造体を識別するための境界情報について具体的に説明する。
MPEG−DASHコンテンツを伝送するとき、パケット情報は、LCTヘッダー拡張を用いて境界情報を含むことができる。境界情報は、現在パケットが送信しているオブジェクト内部構造体の境界を示すことができる。境界情報は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用することができる。
境界情報は、ヘッダー拡張タイプフィールド(HET)、開始フラグフィールド(SF)、予約フィールド、及び/又はオフセットフィールドを含むことができる。
HETフィールドは上述したとおりであり、その具体的な説明は省略する。
開始フラグフィールド(SF)は、LCTパケットがオブジェクト内部構造体の開始地点を含んでいるか否かを示すことができる。
予約フィールドは、将来の使用のために予約されたフィールドであってもよい。
オフセットフィールドは、LCTパケット内でオブジェクト内部構造体の開始地点の位置を示す位置情報を含むことができる。位置情報は、LCTパケットのペイロード開始地点からオブジェクト内部構造体の開始地点までのバイト(byte)距離を含むことができる。
上述したように、放送信号送信装置は、タイプ情報及び境界情報に基づいて、オブジェクト単位でデータを伝送しないで、可変長のオブジェクト内部構造体の単位でデータを伝送することができる。
放送信号受信装置は、オブジェクト単位でデータを受信して再生するのではなく、可変長のオブジェクト内部構造体の単位でデータを受信して再生することができる。したがって、放送信号受信装置は、タイプ情報及び境界情報に基づいてオブジェクト内部構造体を識別し、受信したオブジェクト内部構造体別に再生することができる。
例えば、放送信号受信装置は、境界情報で表現されたオブジェクト内部構造体の開始と終了地点に該当するパケット又はその間で伝送される少なくとも一つのパケットに含まれたタイプ情報に基づいて、現在オブジェクト内部構造体のタイプを識別することができる。
その結果、放送信号受信装置は、一つのオブジェクトを全て受信する前にも、オブジェクト内部構造体を迅速に識別することができ、実時間再生することができる。
<伝送オブジェクトとシグナリング情報のマッピング>
図48は、本発明の他の実施例に係るマッピング情報を含むパケットの構造を示す図である。
本発明の他の実施例によれば、上述したタイプ情報及び境界情報の他にも、マッピング情報を用いてオブジェクト内部構造体を識別することができる。
DASHコンテンツを伝送するとき、パケット情報は、LCTヘッダー拡張を用いてマッピング情報を含むことができる。マッピング情報は、現在パケットが送信しているセッション、オブジェクト、及びオブジェクト内部構造体のうち少なくとも一つを、伝送セッション識別子(TSI)及び伝送オブジェクト識別子(TOI)のうち少なくとも一つにマップさせる情報である。マッピング情報は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用することができる。
本発明の一実施例に係るマッピング情報は、ヘッダー拡張タイプフィールド(HET)、ヘッダー拡張長さフィールド(HEL)、及びURL(Uniform Resource Locator)フィールド(URL)を含むことができる。
HETフィールドは上述したとおりであり、その具体的な説明は省略する。
HELフィールドは、可変長のLCTヘッダー拡張の全長を示す。基本的に、LCTではHETが0〜127の値を有する場合、32ビットワード単位の可変長ヘッダー拡張が存在し、HETフィールドに続くHELフィールドは、LCTヘッダー拡張の全長を32ビットワード単位で示す。
URLフィールドは可変長を有することができ、現在伝送中のセッション、オブジェクト、及びオブジェクト内部構造体のインターネット上の固有アドレスを含むことができる。
以下では、説明の便宜上、URLフィールドをマッピング情報と表現することができる。
マッピング情報は、シグナリング情報のURLを示すことができる。また、マッピング情報は、セッション、オブジェクト、又はオブジェクト内部構造体の固有なアドレスだけでなく、シグナリング情報で割り当てられた識別子を含むことができる。識別子は、ピリオド(period)ID、適応セットID、リプレゼンテーションID、及びコンポーネントIDを含むことができる。したがって、MPEG−DASHコンテンツの場合、マッピング情報は、セグメントURL、リプレゼンテーションID、コンポーネントID、適応セットID、及びピリオド(period)IDなどを含むことができる。
より完璧なマッピングのために、本発明の他の実施例に係るシグナリング情報は、識別子又はオブジェクトのURLをTOI又はTSIにそれぞれマップするマッピング情報をさらに含むことができる。すなわち、シグナリング情報は、現在送信しているTOI及びTSIが、識別子又はオブジェクトのURLのいずれにマップされるかを示す情報をさらに含むことができる。このとき、マッピング情報は、識別子又はオブジェクトのURLとTOI又はTSIとを、1:1、1:多、又は多:1のいずれかでマップする情報であってもよい。
<伝送セッション及び伝送オブジェクトのグルーピング方案>
図49は、本発明の他の実施例に係るグルーピング情報を含むLCTパケットの構造を示す図である。
本発明の他の実施例によれば、上述した方法の他にも、グルーピング情報を用いてオブジェクト内部構造体を識別することができる。
本発明の他の実施例に係るLCTパケットは、セッショングループ識別子フィールド(SGI)及び分割された伝送セッション識別子フィールド(DTSI)を含むことができる。SGI及びDTSIは、既存の伝送セッション識別子フィールド(TSI)を分割した形態である。
また、本発明の他の実施例に係るLCTパケットは、オブジェクトグループ識別子フィールド(OGI)及び分割された伝送オブジェクト識別子フィールド(DTOI)を含むことができる。OGI及びDTOIは、既存の伝送オブジェクト識別子フィールド(TOI)を分割した形態である。
Sフィールドは、既存のTSIフィールドの長さを示し、Oフィールドは、既存のTOIの長さを示し、Hフィールドは、既存のTSIフィールド及び既存のTOIフィールドの長さにハーフワード(16ビット)を追加するか否かを示す。
したがって、SGIフィールドとDTSIフィールドとの全長は、既存のTSIフィールドと同一であり、SフィールドとHフィールドの値に基づいて定めることができる。また、OGIフィールドとDTOIフィールドとの全長は、既存のTOIフィールドと同一であり、OフィールドとHフィールドの値に基づいて定められてもよい。
本発明の他の実施例によれば、既存のTSI及びTOIをSGI、DTSI、OGI、及びDTOIに細分化し、SGI、DTSI、OGI、及びDTOIはそれぞれ異なるデータ単位を識別することができる。
SGI、DTSI、OGI、及びDTOに関する具体的な内容は、次の図面で後述する。
図50は、本発明の他の実施例に係るセッション及びオブジェクトのグルーピングを示す図である。
メディアプレゼンテーション記述(MPD)は、MPEG−DASHコンテンツをストリーミングサービスとして提供するためのエレメントである。例えば、上述したプレゼンテーションは、一つのサービスに対応する概念であり、MPEG−DASHのMPD及びMMTのパッケージに該当してもよい。MPD C40000は、少なくとも一つのピリオドを含むことができる。例えば、MPD C40000は、第1ピリオドC41000及び第2ピリオドC42000を含むことができる。
ピリオドは、MPEG−DASHコンテンツを再生時間で区分したエレメントである。利用可能なビットレート、言語、キャプション、及びサブタイトルなどはピリオド内で変わらない。各ピリオドは開始時間情報を含むことができ、MPD内で開始時間の昇順で整列されてもよい。例えば、第1ピリオドC41000は、0〜30min区間のエレメントであり、第2ピリオドC42000は、30〜60min区間のエレメントである。ピリオドは、下位要素として少なくとも一つのAdaptationSet(図示せず)を含むことができる。
AdaptationSetは、相互交替可能なエンコードされたバージョンの少なくとも一つのメディアコンテンツコンポーネントの集合である。AdaptationSetは、下位要素として少なくとも一つのリプレゼンテーションを含むことができる。例えば、AdaptationSetは、第1リプレゼンテーションC41100、第2リプレゼンテーションC41200、及び第3リプレゼンテーションC41300を含むことができる。
リプレゼンテーションは、少なくとも一つのメディアコンテンツコンポーネントの伝送可能なエンコードされたバージョンのエレメントを示し、少なくとも一つのメディアストリームを含むことができる。メディアコンテンツコンポーネントは、ビデオコンポーネント、オーディオコンポーネント、及びキャプションコンポーネントを含むことができる。リプレゼンテーションは、メディアコンテンツコンポーネントの品質に関する情報を含むことができる。したがって、放送信号受信装置は、ネットワーク環境に適応するために一つのAdaptationSet内でリプレゼンテーションを変更することができる。
例えば、第1リプレゼンテーションC41100は、周波数の帯域幅(bandwidth)が500kbit/sであるビデオコンポーネントであり、第2リプレゼンテーションC41200は、周波数の帯域幅が250kbit/sであるビデオコンポーネントであり、第3リプレゼンテーションC41300は、周波数の帯域幅が750kbit/sであるビデオコンポーネントであってもよい。リプレゼンテーションは、下位要素として少なくとも一つのセグメントを含むことができる。例えば、第1リプレゼンテーションC41100は、第1セグメントC41110、第2セグメントC41120、及び第3セグメントC41130を含むことができる。
セグメントは、一度のHTTP要求で検索(retrieve)可能な最大のデータ単位のエレメントを示す。URLは、それぞれのセグメントに提供されてもよい。例えば、上述したオブジェクトは、ファイル、初期化セグメント、メディアセグメント、又は自己−初期化セグメントに対応する概念であり、MPEG−DASHのセグメントに該当し、MMTのMPUに該当し得る。各セグメントは、下位要素として少なくとも一つのフラグメントを含むことができる。例えば、第2セグメントC41120は、第1フラグメントC41122、第2フラグメントC41124、及び第3フラグメントC41126を含むことができる。
フラグメントは、以前(preceding)のデータに対する依存性無しで独立して復号化及び再生可能なデータ単位を意味する。例えば、フラグメントは、MPEG−DASHのサブセグメント(Subsegment)及びMMTのフラグメントに該当し得る。フラグメントは、少なくとも一つのチャンク又は少なくとも一つのGOPを含むことができる。例えば、第1フラグメントC41122は、フラグメントヘッダー及びフラグメントペイロードを含むことができる。フラグメントヘッダーは、セグメントインデックスボックス(sidx)及びムービーフラグメントボックス(moof)を含むことができる。フラグメントペイロードは、メディアデータコンテナボックス(mdat)を含むことができる。メディアデータコンテナボックス(mdat)は、第1チャンク乃至第5チャンクを含むことができる。
チャンクは、同じメディアタイプを有する隣接したサンプルの集合であり、可変サイズのデータ単位である。
上述した本発明の一実施例によれば、TSIが伝送セッションを識別し、各リプレゼンテーションを各TSIにマップすることができる。TOIが伝送セッション内にある伝送オブジェクトを識別し、各セグメントを各TOIにマップすることができる。
一方、本発明の他の実施例によれば、TSIをGSI及びDTSIに分割し、TOIをOGI及びDTOIに分割して、それぞれのGSI、DTSI、GOI、及びDTOIをそれぞれ新しいデータ単位にマップしてもよいが、以下の実施例に限定されない。
例えば、SGIは同一の伝送セッションのグループを識別し、各ピリオドは各SGIにマップされてもよい。第1ピリオドC41000は、SGIの値が“1”にマップされ、第2ピリオドC42000は、SGIの値が“2”にマップされてもよい。SGIの値は、上述した実施例に限定されず、ピリオドを識別する値であるピリオドIDと同じ値を有することができる。
DTSIは伝送セッションを識別し、各リプレゼンテーションは各DTSIにマップされてもよい。第1リプレゼンテーションC41100は、DTSIの値が“1”にマップされ、第2リプレゼンテーションC41200は、DTSIの値が“2”にマップされ、第3リプレゼンテーションC41300は、DTSIの値が“3”にマップされてもよい。DTSIの値は、上述した実施例に限定されず、リプレゼンテーションを識別する値であるリプレゼンテーションIDと同じ値を有することができる。
OGIは、伝送セッション内で同一のオブジェクトのグループを識別し、各セグメントは各OGIにマップされてもよい。第1セグメントC41110は、OGIの値が“1”にマップされ、第2セグメントC41120は、OGIの値が“2”にマップされ、及び第3セグメントC41130は、OGIの値が“3”にマップされてもよい。
DTOIはデリバリオブジェクト(Delivery Object)を識別することができる。一つのデリバリオブジェクトは、一つのISO BMFFファイル又は一つのISO BMFFファイルの一部であってもよい。一つのISO BMFFファイルの一部は、フラグメント、GOP、チャンク、アクセスユニット、及び/又はNALユニットを含むことができる。
例えば、フラグメントヘッダー、及びフラグメントペイロードの各チャンク又は各GOPは、各DTOIにマップされてもよい。第1フラグメントC41122のヘッダーは、DTOIの値が“0”にマップされ、第1フラグメントC41122のペイロード内にある第1チャンク乃至第5チャンクは、DTOIの値が“10”乃至“14”にマップされてもよい。
DTOIの場合、与えられた値によって用法を定義することができる。例えば、DTOI値は、オブジェクトの配列順序にしたがって昇順又は降順の値に設定することができる。この場合、放送信号受信装置は、DTOI値に基づいてオブジェクトを再配列し、フラグメント又はセグメントを生成することができる。また、特定のDTOIの値はフラグメントヘッダーを示すことができる。この場合、放送信号送信装置又は放送信号受信装置は、当該DTOIの値に基づいてフラグメントヘッダーの伝送が完了したか否かを判断することができる。
デリバリオブジェクトが一つのセグメントを意味する場合、デリバリオブジェクトのグループは、DASHリプレゼンテーションのようなコンテンツコンポーネントに該当してもよい。この場合、DTOIはセグメントにマップされ、OGIはリプレゼンテーションにマップされてもよい。例えば、OGIはリプレゼンテーションID、コンテンツコンポーネントIDなどに一対一マップされて、一つのセッション内で伝送されるコンテンツコンポーネントをマルチプレクス/デマルチプレクスするための情報として用いられてもよい。
図51は、本発明の他の実施例に係るパケット情報を用いた放送信号送信装置の構造を示す図である。
放送信号送信装置は、シグナリングエンコーダC31005、内部構造体生成器C31030、パケット情報生成器C31035及び/又は送信器C31050を含むことができる。
シグナリングエンコーダC31005は、マルチメディアコンテンツを含む放送信号を放送網を介して実時間で伝送するか否かを示すシグナリング情報を生成することができる。シグナリング情報は、ファイルレベル又はFDTレベルのうち少なくとも一つでマルチメディアコンテンツを実時間で送信することを示すことができる。シグナリング情報がファイルレベルでマルチメディアコンテンツを実時間で送信することを示すと、当該ファイルに属する全データを実時間で伝送することができる。また、シグナリング情報がFDTレベルでマルチメディアコンテンツを実時間で送信することを示すと、当該FDTに属する全ファイル又はデータを実時間で伝送することができる。
内部構造体生成器C31030は、独立して符号化及び復号化されるデータ単位である少なくとも一つのオブジェクト内部構造体を生成することができる。オブジェクト内部構造体は、マルチメディアコンテンツを構成するファイルが少なくとも一つのデータ単位で分割されたものである。
パケット情報生成器C31035は、シグナリング情報がマルチメディアコンテンツを実時間で送信することを示す場合、オブジェクト内部構造体を識別するメタデータを含むパケット情報を生成することができる。ここで、パケット情報は、マルチメディアコンテンツを送信するパケットに関するメタデータを含み、オブジェクト内部構造体を識別するメタデータを含むことができる。パケット情報は、オブジェクト内部構造体の境界を示す境界情報、及びオブジェクト内部構造体のタイプを示すタイプ情報を含むことができる。
境界情報は、当該パケットにオブジェクト内部構造体の開始地点が含まれているか否かを示す開始フラグ(SF)フィールド、及び当該パケット内で上記オブジェクト内部構造体の開始地点の位置を示すオフセットフィールドを含むことができる。
オブジェクト内部構造体のタイプは、一対のムービーフラグメントボックス(moof)及びメディアデータコンテナボックス(mdat)を含むデータ単位を示すフラグメント、同一のメディアタイプを有する隣接したサンプルの集合を示すチャンク、少なくとも一つのI−フレームを含むフレームの集合を示すGOP、符号化されたビデオ又はオーディオの基本データ単位を示すアクセスユニット、及びバイト(byte)単位でパケット化したデータ単位を示すNALユニットのうち一つを含むことができる。
また、パケット情報は、セッション、オブジェクト、及びオブジェクト内部構造体のうち少なくとも一つを伝送セッション識別子(TSI)及び伝送オブジェクト識別子(TOI)のうち少なくとも一つにマップさせるマッピング情報を含むことができる。
また、パケット情報は、パケットが送信する伝送オブジェクト及び伝送セッションをグルーピングするグルーピング情報を含むことができる。グルーピング情報は、伝送セッションを識別する分割された伝送セッション識別子(DTSI)フィールド、同一の伝送セッションのグループを識別するセッショングループ識別子(SGI)フィールド、伝送オブジェクトを識別する分割された伝送オブジェクト識別子(DTOI)フィールド、及び同一の伝送オブジェクトのグループを識別するオブジェクトグループ識別子(OGI)フィールドを含むことができる。ここで、SGIフィールドは、MPEG−DASHのピリオドエレメントを識別する情報を含み、DTSIフィールドは、MPEG−DASHのリプレゼンテーションエレメントを識別する情報を含み、OGIフィールドは、MPEG−DASHのセグメントエレメントを識別する情報を含み、及びDTOIフィールドは、MPEG−DASHのチャンクエレメントを識別する情報を含むことができる。
上述したように、パケット情報は、タイプ情報、境界情報、マッピング情報、及びグルーピング情報に基づいて、セッション、オブジェクト、及びオブジェクト内部構造体のうち少なくとも一つを識別することができる。
放送信号送信装置は、パケタイザ(図示せず)をさらに含むことができる。パケタイザは、オブジェクト内部構造体を同一サイズの少なくとも一つのシンボルに分割し、それぞれの少なくとも一つのシンボルを少なくとも一つのパケットにパケット化することができる。ただし、これに限定されず、シンボルは他の装置によって生成されてもよい。本発明の他の実施例に係るシンボルの長さは同一であってもよい。その後、パケタイザは、少なくとも一つのシンボルを少なくとも一つのパケットにパケット化することができる。例えば、パケットはLCTパケットであってもよい。パケットはパケットヘッダー及びパケットペイロードを含むことができる。
パケットヘッダーは、オブジェクト内部構造体を識別するパケット情報を含むことができる。
送信器C31050は、オブジェクト内部構造体及びパケット情報を含む放送信号を伝送することができる。
図52は、本発明の他の実施例に係るパケット情報を用いる放送信号受信装置の構造を示す図である。
以下では、放送信号送信装置と共通する部分は省略し、相違点を中心に説明する。
放送信号受信装置は、パケット情報に基づいてオブジェクト内部構造体を識別し、受信したオブジェクト内部構造体単位で復号化を行うことができる。したがって、放送信号受信装置は、一つのオブジェクトを全て受信しないで、オブジェクト内部構造体だけを受信することでも、オブジェクト内部構造体を再生することができる。
本発明の他の実施例に係る放送信号受信装置は、シグナリングデコーダC32005、抽出器C32050、及び/又はデコーダC32060を含むことができる。ただし、放送信号受信装置は、上述した構成要素をさらに含んでもよい。
シグナリングデコーダC32005は、シグナリング情報をデコードすることができる。シグナリング情報は、マルチメディアコンテンツを含む放送信号を放送網を介して実時間で伝送するか否かを示す情報である。
抽出器C32050は、放送信号からオブジェクト内部構造体を識別し、オブジェクト内部構造体を抽出することができる。抽出器C32050は、パケット情報に基づいて、一つのオブジェクトが全て受信される前であっても、オブジェクト内部構造体を抽出してデコーダC32060に伝達することができる。ただし、オブジェクト内部構造体のタイプによって抽出器C32050の動作が異なってもよい。上述したパーサーC32050は、抽出器C32050と同じ動作を行うことができ、抽出器C32050をパーサーC32050と表現してもよい。
抽出器C32050は、タイプ情報及び境界情報に基づいて現在オブジェクト内部構造体のタイプを識別することができる。例えば、抽出器C32050は、境界情報で表現されたオブジェクト内部構造体の開始と終了地点に該当するパケット又はその間で伝送される少なくとも一つのパケットに含まれたタイプ情報に基づいて、現在オブジェクト内部構造体のタイプを識別することができる。
抽出器C32050は、オブジェクトバッファ又はセグメントバッファに記憶されたオブジェクト内部構造体であるフラグメント、チャンク又はGOP、及びアクセスユニットのうち少なくとも一つを抽出することができる。そのために、抽出器C32050は、アクセスユニットを抽出するAU抽出器C32056、チャンク又はGOPを抽出するチャンク抽出器C32057、及びフラグメントを抽出するフラグメント抽出器C32058をさらに含むことができる。抽出器C32050の下位構成要素は、次の図面で具体的に後述する。
デコーダC32060は、オブジェクト内部構造体を受信し、タイプ情報に基づいて、当該オブジェクト内部構造体をデコードすることができる。このとき、デコーダC32060は、オブジェクト内部構造体に関する情報を少なくとも一つのアクセスユニットの形態で受信し、少なくとも一つのアクセスユニットを復号化してメディアデータを生成することができる。
図53は、本発明の他の実施例に係るパケット情報を用いる放送信号受信装置の構造を示す図である。
以下では、オブジェクト内部構造体のタイプがアクセスユニットである場合の放送信号受信装置の動作及び構成について説明する。
放送信号受信装置は、パケットデパケタイザC22020、セグメントバッファC32030、AU抽出器C32056、デコーディングバッファC32059、及び/又はデコーダC32060をさらに含むことができる。
パケットデパケタイザC22020は、少なくとも一つのパケットをデパケット化して、パケットヘッダーに含まれたパケット情報を抽出することができる。例えば、パケットデパケタイザC22020は、パケットヘッダーに含まれたタイプ情報及び境界情報を抽出することができ、パケットペイロードに含まれた少なくとも一つのシンボルを抽出することができる。少なくとも一つのシンボルは、オブジェクト内部構造体を構成するシンボルであってもよく、オブジェクトを構成するシンボルであってもよい。
パケットデパケタイザC22020は、抽出した少なくとも一つのオブジェクト又は少なくとも一つのオブジェクト内部構造体をデコーダC32060に伝達することができる。
セグメントバッファC32030は、パケットデパケタイザC22020からLCTパケットのデータを受け取って、あらかじめ定められた時間記憶することができる。セグメントバッファC32030は、オブジェクトバッファC32030と表現することができる。また、セグメントバッファC32030は、AU抽出器C32056、チャンク抽出器(図示せず)、及び/又はフラグメント抽出器(図示せず)をさらに含むことができる。また、セグメントバッファC32030は、フラグメントバッファ(図示せず)及び/又はチャンクバッファ(図示せず)をさらに含むことができる。
タイプ情報が、オブジェクト内部構造体のタイプがアクセスユニットであることを示すと、セグメントバッファC32030は、AU抽出器C32056を含むことができる。ただし、これに限定されず、AU抽出器C32056はセグメントバッファC32030と独立して存在してもよい。
AU抽出器C32056は、境界情報に基づいてセグメントバッファC32030に記憶されたアクセスユニットを抽出することができる。例えば、一つのアクセスユニットは、境界情報が示すアクセスユニットの開始地点から次のアクセスユニットの開始地点以前までであってもよい。
その後、AU抽出器C32056は、抽出したアクセスユニットをデコーディングバッファC32059を通してデコーダC32060に伝達することができる。
上述したように、放送信号受信装置が一つのオブジェクトを全て受信しなくても、AU抽出器C32056は、タイプ情報及び境界情報に基づいて、当該オブジェクトの内部構造体の受信が完了すると直ちにオブジェクト内部構造体を抽出し、デコーダC32060に伝達することができる。
デコーディングバッファC32059は、セグメントバッファC32030からデータを受け取って、あらかじめ定められた時間記憶することができる。アクセスユニットは、デコーディングバッファC32059内でアクセスユニットに与えられた処理時間にデコーダC32060又は他の構成要素に伝達されてもよい。このとき、アクセスユニットに、PTS(presentation time stamp)などの処理時間に対するタイミング情報は、LCTヘッダー拡張形態で与えられてもよい。
デコーダC32060は、オブジェクト内部構造体を受信し、タイプ情報に基づいて当該オブジェクト内部構造体をデコードすることができる。このとき、デコーダC32060は、オブジェクト内部構造体の形態だけでなく、アクセスユニットの形態で当該オブジェクト内部構造体を受信してもよい。
タイプ情報がオブジェクト内部構造体のタイプがアクセスユニットであることを示すと、デコーダC32060は、当該オブジェクトを全て受信する前であっても、当該オブジェクトの内部構造体であるアクセスユニットをデコードすることができる。
図54は、本発明の他の実施例に係るパケット情報を用いる放送信号受信装置の構造を示す図である。
同図に示す構成要素のうち、上述した構成要素と同じ部分はその内容も同一であるため、その具体的な説明を省略する。
以下では、オブジェクト内部構造体のタイプがチャンク又はGOPである場合の放送信号受信装置の動作及び構成について説明する。放送信号受信装置は、パケットデパケタイザC22020、セグメントバッファC32030、チャンクバッファC32035、デコーディングバッファC32059、及び/又はデコーダC32060をさらに含むことができる。
パケットデパケタイザC22020は、抽出した少なくとも一つのオブジェクト又は少なくとも一つのオブジェクト内部構造体を、セグメントバッファC32030を通してデコーダC32060に伝達することができる。
セグメントバッファC32030は、チャンク抽出器C32057を含むことができる。また、セグメントバッファC32030はチャンクバッファC32035をさらに含むことができる。
タイプ情報がオブジェクト内部構造体のタイプがチャンク又はGOPであることを示すと、チャンク抽出器C32057は、境界情報に基づいて、セグメントバッファC32030に記憶されたチャンク又はGOPを抽出することができる。例えば、一つのチャンク又はGOPは、境界情報が示すチャンク又はGOPの開始地点から次のチャンク又はGOPの開始地点以前までであってもよい。チャンク抽出器C32057は、セグメントバッファC32030内に存在してもよく、独立して存在してもよい。
チャンクバッファC32035は、少なくとも一つのチャンク又はGOPを受け取って、あらかじめ定められた時間記憶することができる。チャンクバッファC32035は、セグメントバッファC32030内に存在してもよく、独立して存在してもよい。チャンクバッファC32035は、AU抽出器C32056をさらに含むことができる。
AU抽出器C32056は、チャンクバッファC32035に記憶されたチャンク又はGOPから少なくとも一つのアクセスユニットを抽出することができる。その後、抽出された少なくとも一つのアクセスユニットをデコーディングバッファC32059を通してデコーダC32060に伝達することができる。
タイプ情報がオブジェクト内部構造体のタイプがチャンク又はGOPであることを示すと、デコーダC32060は、当該オブジェクトを全て受信する前であっても、当該オブジェクトの内部構造体であるチャンク又はGOPをデコードすることができる。
図55は、本発明の他の実施例に係るパケット情報を用いる放送信号受信装置の構造を示す図である。
同図に示す構成要素のうち、上述した構成要素と同じ部分はその内容も同一であるため、その具体的な説明を省略する。
以下では、オブジェクト内部構造体のタイプがフラグメントである場合の放送信号受信装置の動作及び構成について説明する。放送信号受信装置は、パケットデパケタイザC22020、セグメントバッファC32030、フラグメントバッファC32036、オーディオデコーディングバッファC32059−1、ビデオデコーディングバッファC32059−2、オーディオデコーダC32060−1、及び/又はビデオデコーダC32060−2をさらに含むことができる。
パケットデパケタイザC22020は、抽出した少なくとも一つのオブジェクト又は少なくとも一つのオブジェクト内部構造体を、オーディオデコーダC32060−1及び/又はビデオデコーダC32060−2に伝達することができる。
セグメントバッファC320300は、フラグメント抽出器C32058を含むことができる。また、セグメントバッファC32030は、フラグメントバッファC32036をさらに含むことができる。
タイプ情報がオブジェクト内部構造体のタイプがフラグメントであることを示すと、フラグメント抽出器C32058は、境界情報に基づいて、セグメントバッファC320300に記憶されたフラグメントを抽出することができる。例えば、一つのフラグメントは、境界情報が示すフラグメントの開始地点から次のフラグメントの開始地点以前までであってもよい。フラグメント抽出器C32058は、セグメントバッファC32030内に存在してもよく、独立して存在してもよい。
フラグメントバッファC32036はフラグメントを受け取って、あらかじめ定められた時間記憶することができる。フラグメントバッファC32036は、セグメントバッファC32030内に存在してもよく、独立して存在してもよい。フラグメントバッファC32036は、AU抽出器C32056をさらに含むことができる。また、フラグメントバッファC32036はチャンクバッファ(図示せず)をさらに含むことができる。
AU抽出器C32056は、フラグメントバッファC32036に記憶されたフラグメントから少なくとも一つのアクセスユニットを抽出することができる。AU抽出器C32056は、フラグメントバッファC32036内に存在してもよく、独立して存在してもよい。また、放送信号受信装置は、チャンクバッファ(図示せず)をさらに含み、AU抽出器C32056は、チャンクバッファに含まれたチャンク又はGOPから少なくとも一つのアクセスユニットを抽出することができる。その後、AU抽出器C32056は、抽出された少なくとも一つのアクセスユニットをオーディオデコーダC32060−1及び/又はビデオデコーダC32060−2に伝達することができる。
デコーディングバッファは、オーディオデコーディングバッファC32059−1及び/又はビデオデコーディングバッファC32059−2を含むことができる。オーディオデコーディングバッファC32059−1は、オーディオに関連したデータを受信し、あらかじめ定められた時間記憶することができる。ビデオデコーディングバッファC32059−2は、ビデオに関連したデータを受信し、あらかじめ定められた時間記憶することができる。
タイプ情報がオブジェクト内部構造体のタイプがフラグメントであることを示すと、デコーダは、当該オブジェクトを全て受信する前であっても、当該オブジェクトの内部構造体であるフラグメントをデコードすることができる。デコーダは、オーディオに関連したデータをデコードするオーディオデコーダC32060−1及び/又はビデオに関連したデータをデコードするビデオデコーダC32060−2をさらに含むことができる。
上述したように、放送信号送信装置は、オブジェクト単位でデータを伝送せず、可変長のオブジェクト内部構造体でデータを伝送することができる。このとき、放送信号送信装置は、送信するオブジェクト内部構造体のタイプ情報及び境界情報を共に伝送することができる。
放送信号受信装置は、オブジェクト単位でデータを受信して再生するのではなく、可変長のオブジェクト内部構造体でデータを受信して再生することができる。したがって、放送信号受信装置は、タイプ情報及び境界情報に基づいて、オブジェクト内部構造体を識別し、受信したオブジェクト内部構造体別に再生することができる。
<伝送パケットペイロードデータの優先順位識別方案>
図56は、本発明の他の実施例に係る優先順位情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはROUTEパケットであってもよく、ROUTEパケットは、ALC/LCTパケットを表すことができる。ただし、以下では、便宜上、ROUTEパケット及び/又はALC/LCTパケットをLCTパケットと呼ぶものとする。ROUTEによって用いられるLCTパケットフォーマットは、ALCパケットフォーマット、すなわち、LCTヘッダーが続くUDPヘッダー及びパケットペイロードが続くFECペイロードIDに従う。
LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードはシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは、前述した内容を全て含むことができ、その具体的な説明は前述した説明に代える。
パケットヘッダーは、パケットペイロードの優先順位(Priority)を示す優先順位情報(Priority)をさらに含むことができる。優先順位情報は、各パケットの開始地点から12番目及び13番目のビットに位置する2ビットを用いてパケットペイロードの優先順位を示すことができる。この場合、2ビットを用いるので、パケットヘッダーのサイズを減らすことができ、効率性を高めることができる。
優先順位情報(Priority)は、一つのファイルに含まれたLCTパケットのうち、現在LCTパケットで送信しているパケットペイロードの優先順位を示すことができる。すなわち、優先順位情報は、同一のTSI又はTOIが与えられたパケットのうち、現在LCTパケットで送信しているパケットペイロードの相対的優先順位を示すことができる。
例えば、優先順位情報は0〜3の範囲の値を有することができる。優先順位情報が低い値を有するほど、パケットペイロードが全ファイルベースメディアデータを処理する際に優先順位が高いということを示すことができる。逆に、優先順位情報が高い値を有するほど、優先順位が低いということを示すことができる。
TSIはLCT伝送セッションを識別することができ、TOIはデリバリオブジェクト(Delivery Object)を識別することができる。
各ROUTEセッションは、1つ又は複数のLCT伝送セッションで構成される。LCT伝送セッションは、ROUTEセッションのサブセットである。メディア伝達のために、LCT伝送セッションは一般に、メディアコンポーネント、例えば、MPEG−DASHリプレゼンテーションを伝達することができる。ブロードキャストMPEG−DASHの観点から、ROUTEセッションは、一つ以上のDASHメディアプレゼンテーションの構成メディアコンポーネントを送信するLCT伝送セッションのマルチプレクスとして見なされてもよい。それぞれのLCT伝送セッション内で、1つ又は複数のデリバリオブジェクト、一般に、関連したデリバリオブジェクト、例えば、一つのリプレゼンテーションに関連したMPEG−DASHセグメントが伝達される。それぞれのデリバリオブジェクトと共に、メタデータ特性が伝達され、デリバリオブジェクトがアプリケーションで用いられてもよい。
一つのデリバリオブジェクト(Delivery Object)は、一つのISO BMFFファイル又は一つのISO BMFFファイルの一部であってもよい。一つのISO BMFFファイルの一部は、フラグメント、GOP、チャンク、アクセスユニット、及び/又はNALユニットを含むことができる。
一実施例として、一つのTSIが一つのトラック(MPEG−DASHリプレゼンテーション)にマッチされ、一つのTOIが一つのISO BMFFファイルにマッチングされてもよい。また、一つのISO BMFFファイルは、‘ftyp’、‘moov’、“moof”、及び/又は‘mdat’を含むことができる。
‘ftyp’は、ファイルタイプ及び互換性(compatability)に関する情報を含んでいるコンテナ(container)である。‘moov’は、メディアデータを再生するための全メタデータ(metadata)を含むコンテナである。メディアコンテンツが一つのファイル内で少なくとも一つのメディアデータに分割されたり、又はメディアコンテンツが少なくても一つのファイルに分割された場合、‘moof’は、それぞれの分割されたメディアデータに対するメタデータを含むコンテナである。‘mdat’は、オーディオデータ及びビデオデータのようなメディアデータを含む。‘mdat’は、少なくとも一つの‘I−フレーム’、‘P−フレーム’、及び/又は‘B−フレーム’を含むことができる。
‘I−フレーム’は、MPEGで当該フレームの前のフレーム及び後のフレームを使用する時間的圧縮技術を利用せず、他のフレームとは独立して空間的圧縮技術だけを用いて作られるフレームを意味する。‘I−フレーム’は、イメージから直接コードして生成されるため、インターフロック(inter block)のみから構成され、ランダムアクセスポイント(Random Access Point)の役割を担うことができる。また、‘I−フレーム’は、時間的動きを予測して生成する‘P−フレーム’及び/又は‘B−フレーム’の基準となってもよい。したがって、‘I−フレーム’が自身のフレームの空間剰余要素だけを減少させて圧縮を行うことにより、‘I−フレーム’は低い圧縮率を提供する。すなわち、圧縮による結果ビット数は、他のフレームに比べて多いビット数を必要とする。
‘P−フレーム’は、MPEGで時間的に後に出る場面に対して動きを予測して生成した画面を意味する。‘P−フレーム’は、最も最近の‘I−フレーム’及び/又は‘B−フレーム’を参照して、画面間順方向予測のみによって次の画面を予測して得る画面である。したがって、‘P−フレーム’は、比較的高い圧縮率を提供する。
‘B−フレーム’は、MPEGから時間的に予測して生成する画面のうち、前及び/又は後にある‘P−フレーム’及び/又は‘I−フレーム’から両方向の動きをより高精度に予測して生成する予測画面のことをいう。‘B−フレーム’の場合には、直前の‘I−フレーム’及び/又は‘P−フレーム’、現在のフレーム、及び/又は直後に出る‘I−フレーム’及び/又は‘P−フレーム’に基づいてコーディング及び/又はデコードされる。このため、コーディング及び/又はデコーディング時間遅延が発生する。しかし、‘B−フレーム’は、最高の圧縮率を提供し、‘P−フレーム’及び/又は‘I−フレーム’のコーディング及び/又はデコーディングのベースとならないため、誤りを伝播しない。
前述したように、一つのISO BMFFファイル内の‘ftyp’、‘moov’、“moof”、及び/又は‘mdat’はそれぞれ優先順位が異なってもよい。したがって、‘ftyp’、‘moov’、“moof”、及び/又は‘mdat’を含むパケットは同一のTSI及び/又はTOIを有するが、それぞれ異なる優先順位を有することができる。
例えば、‘ftyp’及び‘moov’を含むパケットの優先順位情報は、‘0’の値を有し、‘moof’を含むパケットの優先順位情報は、‘1’の値を有し、‘I−フレーム’を含むパケットの優先順位情報は、‘1’の値を有し、‘P−フレーム’を含むパケットの優先順位情報は、‘2’の値を有し、及び/又は‘B−フレーム’を含むパケットの優先順位情報は、‘3’の値を有することができる。
このように、放送信号送信装置は、AVC(Advanced Video Coding)/HEVC(High Efficiency Video Coding)などのビデオデータを含むMPEG−DASHセグメントを伝送する場合、‘ftyp’及び‘moov’を含むパケット、‘moof’を含むパケット、‘I−Picture’を含むパケット、‘P−Picture’を含むパケット、及び/又は‘B−Picture’を含むパケットの順に、パケットデータの処理のための優先順位を与えることができる。
また、ネットワーク上の中継機及び/又はルータなどの中間ノードは、優先順位情報に基づいて、ネットワークの帯域幅及び/又はサービスの目的によって優先順位の高いパケットを優先して伝送し、優先順位の低いパケットは選択的に伝送することができる。したがって、優先順位情報を様々なサービス状況に容易に適用することができる。
また、放送信号受信装置は、AVC/HEVCなどのビデオデータを受信する場合に、‘ftyp’、‘moov’、‘moof’、‘I−Picture’、‘P−Picture’、及び/又は‘B−Picture’の優先順位情報に基づいて、優先順位の高いパケット(すなわち、優先順位情報の値が低いパケット)を優先して抽出し、優先順位の低いパケット(すなわち、優先順位情報の値が高いパケット)を選択的に抽出して、一つのシーケンスを構成することができる。変形された実施例として、放送信号受信装置は、選択的にフレームレートの高いシーケンスを抽出したり、又はフレームレートの低いシーケンスを抽出することができる。
図57は、本発明の他の実施例に係る優先順位情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードはシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは前述した内容を全て含むことができ、その具体的な説明は前述した説明に代える。
パケットヘッダーは、パケットペイロードの優先順位(Priority)を示す優先順位情報(EXT_TYPE)をさらに含むことができる。優先順位情報(EXT_TYPE)は、LCTヘッダー拡張を用いて現在パケットが送信しているパケットペイロードの相対的優先順位を示すことができる。LCTヘッダー拡張を用いる場合、LCTヘッダー拡張を支援しない放送信号受信装置では、優先順位情報(EXT_TYPE)をスキップすればいいため、拡張性を高めることができる。LCTヘッダー拡張を用いる優先順位情報(EXT_TYPE)は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用されてもよい。
優先順位情報(EXT_TYPE)は、ヘッダー拡張タイプ(HET)フィールド、優先順位フィールド、及び/又は予約フィールドを含むことができる。実施例によって、優先順位情報(EXT_TYPE)は優先順位フィールドのみを表してもよい。
HETフィールドは8ビットの整数であってもよく、当該ヘッダー拡張のタイプを示すことができる。例えば、HETフィールドは128〜255の値のうち一つの固有値で当該ヘッダー拡張のタイプを識別することができ、この場合、ヘッダー拡張は32ビットの固定長を有することができる。
優先順位フィールドは、一つのファイルに含まれたLCTパケットのうち、現在LCTパケットで送信しているパケットペイロードの優先順位を示すことができる。また、優先順位フィールドは、同一のTSI又はTOIが与えられたパケットのうち、現在LCTパケットで送信しているパケットペイロードの相対的優先順位を示すことができる。
例えば、優先順位情報は、0〜255の範囲の値を有することができる。優先順位情報が低い値を有するほど、パケットペイロードが全ファイルベースメディアデータを処理する際に優先順位が高いということを示すことができる。
例えば、‘ftyp’及び‘moov’を含むパケットの優先順位情報は‘0’の値を有し、‘moof’を含むパケットの優先順位情報は‘1’の値を有し、‘I−フレーム’を含むパケットの優先順位情報は‘2’の値を有し、‘P−フレーム’を含むパケットの優先順位情報は‘3’の値を有し、及び/又は‘B−フレーム’を含むパケットの優先順位情報は‘4’の値を有することができる。
予約フィールドは、将来の使用のために予約されたフィールドであってもよい。
以下、具体的な内容は前述の内容と同一であり、その説明を省略する。
図58は、本発明の他の実施例に係るオフセット情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードはシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは前述の内容を全て含むことができ、その具体的な説明は前述の説明に代える。
パケットヘッダーはオフセット情報をさらに含むことができる。オフセット情報は、現在パケットが送信しているパケットペイロードのファイル内におけるオフセットを示すことができる。オフセット情報は、オフセットをファイルの開始地点からのバイト数で示すことができる。オフセット情報は、LCTヘッダー拡張の形式であってもよく、FECペイロードIDフィールドに含まれてもよい。
一実施例として、LCTパケットがLCTヘッダー拡張の形式でオフセット情報(EXT_OFS)を含む場合を説明する。
LCTヘッダー拡張を用いる場合、LCTヘッダー拡張を支援しない受信機ではオフセット情報(EXT_OFS)をスキップすればいいため、拡張性を高めることができる。LCTヘッダー拡張を用いるオフセット情報(EXT_OFS)は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用されてもよい。
オフセット情報(EXT_OFS)は、ヘッダー拡張タイプフィールド(HET)、ヘッダー拡張長さフィールド(HEL)、及びオフセット開始フィールド(Start Offset)を含むことができる。実施例によって、オフセット情報(EXT_OFS)は、オフセット開始フィールド(Start Offset)だけを表してもよい。
HETフィールドは、上述したとおりであり、その具体的な説明は省略する。
HELフィールドは、可変長のLCTヘッダー拡張の全長を示す。基本的に、LCTではHETが0〜127の値を有する場合、32ビットワード単位の可変長ヘッダー拡張が存在し、HETフィールドに続くHELフィールドは。LCTヘッダー拡張の全長を32ビットワード単位で示す。
オフセット開始フィールドは、可変長であってもよく、現在パケットが送信しているパケットペイロードのファイル内におけるオフセットを示すことができる。オフセット開始フィールドはオフセットを、ファイルの開始地点からのバイト数で示すことができる。
LCTパケットは、LCTヘッダー拡張の形式だけでなく、FECペイロードIDフィールドにオフセット情報(Start Offset)を含んでもよい。以下では、LCTパケットがFECペイロードIDフィールドにオフセット情報を含む場合を説明する。
FECペイロードIDフィールドは、特定パケットによって伝送されるエンコーディングシンボル及びFECエンコーディング変換間の関係をFECデコーダに示す情報を含む。例えば、パケットがソースシンボルを伝送すると、FECペイロードIDフィールドは、オブジェクトのどのソースシンボルがパケットによって伝送されるかを示す。パケットがリペアシンボルを伝送すると、FECペイロードIDフィールドは、リペアシンボルがオブジェクトからどのように構成されるかを示す。
FECペイロードIDフィールドはまた、パケットにその一部が含まれるエンコーディングシンボルのより大きいグループに関する情報を含むことができる。例えば、FECペイロードIDフィールドは、シンボルが関連付いているソースブロックに関する情報を含むことができる。
FECペイロードIDは、ソースブロック番号(SBN)及び/又はエンコーディングシンボルID(ESI)を含む。SBNは、パケット内のエンコーディングシンボルが関連付いているソースブロックに対する負でない(non−negative)整数識別子である。ESIは、パケット内のエンコーディングシンボルに対する負でない整数識別子である。
本発明の他の実施例に係るFECペイロードIDフィールドは、オフセット情報(Start Offset)をさらに含むことができる。
デリバリオブジェクトのオクテットで開始アドレスを特定したFECペイロードIDフィールドが用いられる。この情報をいくつかの方式で伝送することができる。
第一に、サイズ0に設定されたFECペイロードIDセットを有する単純な新しいFECスキーム。この場合、パケットは32ビットを用いてダイレクトアドレス(start offset)として全オブジェクトを含むはずである。
第二に、SBN及びESIがシンボルサイズ(T)と共にオフセット開始(start offset)を定義するRFC6330への互換可能な方式でRFC5445に定義されたコンパクトノーコード(No−Code)を用いて広く配置された既存のFECスキーム。
第三に、LSIDは適切なシグナリングを提供し、@sourceFecPayloadID属性及びFECParametersエレメントを用いて、上記モードのうちいずれかをシグナリングする。
以下では、オフセット情報の具体的な内容を説明する。
従来のFLUTEプロトコルでは、オフセット情報を伝送する必要がなかった。従来のFLUTEプロトコルは、オブジェクト(例えば、ファイル)を非実時間で伝送するので、一つのオブジェクトを固定サイズの少なくとも一つのデータに分割して伝送した。
例えば、従来のFLUTEプロトコルでは、一つのオブジェクトを固定サイズの少なくとも一つのソースブロック(Source Block)に分割し、それぞれのソースブロックを固定サイズの少なくとも一つのシンボルに分割し、それぞれのシンボルにヘッダーを追加してLCTパケット(又はFLUTEパケット)を生成した。従来のFLUTEプロトコルは、一つのLCTパケットは一つの固定サイズのシンボルだけを含むことができた。
それぞれのソースブロック及び/又はシンボルが固定サイズであるため、受信機は、ソースブロック及び/又はシンボルの識別情報に基づいて、オブジェクト内でそれぞれのソースブロック及び/又はシンボルの位置を認識できた。したがって、受信機は、一つのオブジェクトを構成する全ソースブロック及び/又はシンボルを受信した後、受信したソースブロック及び/又はシンボルの識別情報に基づいてオブジェクトを再構成することができた。
従来のFLUTEプロトコルがオブジェクトを非実時間で送信することに対して、本発明の他の実施例に係るROUTEプロトコルは、オブジェクトを可変サイズのデリバリオブジェクト(Delivery Object)に分割し、デリバリオブジェクト単位で実時間で伝送することができる。例えば、ROUTEプロトコルは、オブジェクトを可変サイズのオブジェクト内部構造体(Object Internal Structure)単位で伝送することができる。
一つのデリバリオブジェクト(Delivery Object)は、一つのISO BMFFファイル又は一つのISO BMFFファイルの一部であってもよい。一つのISO BMFFファイルの一部は、フラグメント、GOP、チャンク、アクセスユニット、及び/又はNALユニットを含むことができる。一つのISO BMFFファイルの一部は、前述したオブジェクト内部構造体を意味することができる。オブジェクト内部構造体は、独立して有意なデータ単位であり、オブジェクト内部構造体のタイプは、上記に限定されず、有意な単位をさらに含んでもよい。
また、本発明の他の実施例に係るLCTパケットにおいて、それぞれのLCTパケット(ALC/LCTパケット、又はROUTEパケット)は、少なくとも一つのエンコーディングシンボルを含むことができる。すなわち、本発明の他の実施例に係るROUTEプロトコルにおいて、一つのLCTパケットに複数のエンコーディングシンボルを含むことができる。また、それぞれのエンコーディングシンボルは可変サイズを有することができる。
本発明の他の実施例に係るLCTパケットにおいて、それぞれのTSIをそれぞれのトラックにマッチすることができる。例えば、それぞれのTSIを、ビデオトラック、オーディオトラック、及び/又はMPEG−DASHのリプレゼンテーションのうち一つにマッチすることができる。また、それぞれのTOIは、それぞれのデリバリオブジェクト(Delivery Object)にマップされてもよい。例えば、TOIがMPEG−DASHのセグメントにマップされる場合、デリバリオブジェクトはISO BMFFファイルであってもよい。また、それぞれのTOIは、フラグメント、チャンク(chunk)、GOP、アクセスユニット、及び/又はNALユニットのうち一つにマップされてもよい。
受信機が可変サイズのデリバリオブジェクトの単位で実時間でLCTパケットを受信する場合、受信機は、受信したLCTパケットがオブジェクト内でどの位置に該当するかを認識できない場合がある。例えば、受信機が任意の順でLCTパケットを受信する場合、受信機は、LCTパケットを順序通りに整列することができず、デリバリオブジェクトを正確に復元及び/又はパースできない場合が発生する。
したがって、本発明の他の実施例に係るオフセット情報は、ファイル(例えば、オブジェクト)内で現在伝送中のパケットペイロードのオフセットを示すことができる。受信機は、オフセット情報に基づいて、現在伝送されているパケットが当該ファイルの最初のデータを有することを認識することができる。また、受信機は、オフセット情報に基づいて、当該デリバリオブジェクトにおいて、現在伝送されているパケットの順序を認識することができる。また、受信機は、オフセット情報に基づいて、現在パケットが送信しているパケットペイロードのファイルにおけるオフセットを認識できる他、現在パケットが送信しているデリバリオブジェクトのファイルにおけるオフセットも認識することができる。
例えば、TSIはビデオトラック(MPEG−DASHリプレゼンテーション)にマッチされ、TOIはISO BMFFファイル(例えば、オブジェクト)にマッチされてもよい。この場合、デリバリオブジェクト(Delivery Object)はISO BMFFファイルを表すことができる。一つのビデオトラック(MPEG−DASHリプレゼンテーション、TSI=1)は、第1オブジェクト(TSI=1,TOI=1)及び第2オブジェクト(TSI=1,TOI=2)を含むことができる。第1オブジェクト(TSI=1,TOI=1)は、順次に、第1パケット(TSI=1,TOI=1,Start Offset=0)、第2パケット(TSI=1,TOI=1,Start Offset=200)、第3パケット(TSI=1,TOI=1,Start Offset=400)、第4パケット(TSI=1,TOI=1,Start Offset=800)、及び/又は第5パケット(TSI=1,TOI=1,Start Offset=1000)を含むことができる。
この場合、オフセット情報(Start Offset)の値が‘0’であれば、当該パケットのパケットペイロードは、当該ファイルの最初のデータを有することができる。第1パケットのオフセット情報(Start Offset)の値が‘0’であることから、受信機は、第1パケットのパケットペイロードが第1オブジェクトの最初のデータを有していると認識することができる。
また、オフセット情報(Start Offset)の値は、当該オブジェクト内でパケットの順序を示すことができる。第1オブジェクト内で第1パケットのオフセット情報から第5パケットのオフセット情報が順次に増加するので、受信機は、第1オブジェクト内で第1パケット乃至第5パケットが順次に配列されるということが認識できる。
したがって、受信機は、オフセット情報に基づいて、それぞれのオブジェクトにおいて受信したLCTパケットを順次に整列し、それぞれのデリバリオブジェクト及び/又はオブジェクトを正確に復元することができる。また、受信機は、オフセット情報に基づいて、それぞれのデリバリオブジェクト及び/又はオブジェクトを正確にパース及び/又はデコードすることができる。
一方、受信機が可変サイズのデリバリオブジェクトの単位で実時間でLCTパケットを受信する場合、受信機は、受信したLCTパケットがオブジェクト(例えば、ファイル)内でどの位置に該当するかを認識できない場合がある。例えば、LCTパケットが任意の順序で伝送されると、受信機は、受信したLCTパケットのオブジェクト内における正確なオフセットがわからず、LCTパケットを収集してデリバリオブジェクト及び/又はオブジェクトを正確に復元できなくなるという問題が発生しうる。
例えば、TSIはビデオトラック(MPEG−DASHリプレゼンテーション)にマッチされ、TOIはチャンクにマッチされてもよい。この場合、一つのビデオトラック(MPEG−DASHリプレゼンテーション、TSI=1)は、第1オブジェクト(TSI=1)及び第2オブジェクト(TSI=1)を含むことができる。また、第1オブジェクトは第1チャンク(TSI=1,TOI=1)、第2チャンク(TSI=1,TOI=2)、及び/又は第3チャンク(TSI=1,TOI=3)を含み、第2オブジェクトは第4チャンク(TSI=1,TOI=4)及び/又は第5チャンク(TSI=1,TOI=5)を含むことができる。
受信機は、第1チャンクを含む第1パケット(TSI=1,TOI=1,Start Offset=0)、第2チャンクを含む第2パケット(TSI=1,TOI=2,Start Offset=200)、第3チャンクを含む第3パケット(TSI=1,TOI=3,Start Offset=1000)、第4チャンクを含む第4パケット(TSI=1,TOI=4,Start Offset=0)、及び/又は第5チャンクを含む第5パケット(TSI=1,TOI=5,Start Offset=1000)を受信することができる。ここでは一つのパケットが一つのチャンクを含むとして説明したが、一つのチャンクが少なくとも一つのパケットを含むことができる。
TOIがオブジェクト(例えば、ファイル)にマッチされるのではなく、オブジェクトよりも小さいデータ単位であるオブジェクト内部構造体にマッチされると、受信機は、オブジェクトを識別できる別の情報がない限り、オブジェクトを識別することができない。
したがって、受信機は、TSI及びTOIだけでは、受信した第1パケット、第2パケット及び/又は第3パケットが第1オブジェクトに属するか、又は第2オブジェクトに属するかを正確に認識することができない。また、受信機は、TSI及びTOIだけでは、受信した第4パケット及び/又は第5パケットが第1オブジェクトに属するか、又は第2オブジェクトに属するかが認識できない。
すなわち、受信機は、第1パケット乃至第5パケットが順次に配列されることはTSI及びTOIに基づいて識別できるが、第3パケットが第1オブジェクトに属するか第2オブジェクトに属するかは、TSI及びTOIだけからは識別できない。また、第4パケットが第3パケットの次のパケットであることは、TSI及びTOIに基づいて識別できるが、第4パケットが第1オブジェクトに属するか又は第2オブジェクトに属するかは、TSI及びTOIだけでは識別できない。
この場合、受信機は、第1パケット、第2パケット、及び/又は第3パケットを受信しても、第1オブジェクトを正確に復元することができない。また、受信機は、第4パケット及び/又は第5パケットを受信しても、第2オブジェクトを正確に復元することができない。その結果、受信機は実時間でコンテンツを再生することができない。
したがって、本発明の他の実施例に係るLCTパケットは、オフセット情報(Start Offset)を提供することを特徴とする。オフセット情報は、オブジェクト内で現在伝送中のパケットペイロードのオフセットを示すことができる。受信機は、オフセット情報に基づいて、同一のオブジェクト内に含まれるオブジェクト内部構造体及び/又はパケットを識別することができる。
オフセット情報の値が‘0’であれば、当該パケットが当該オブジェクトの最初のパケットであることを示す。すなわち、第1パケット及び第4パケットのオフセット情報は‘0’であるから、第1パケット及び第4パケットは別個のオブジェクトに属し、それぞれ、当該オブジェクトの最初のパケットであることを示す。また、受信機は、オフセット情報だけでなく、TSI及び/又はTOIに基づいて、第1パケット、第2パケット、及び/又は第3パケットが第1オブジェクトに属し、第4パケット及び/又は第5パケットが第2オブジェクトに属するということを識別することができる。
したがって、受信機は、TSI、TOI、及び/又はオフセット情報のうち少なくとも一つに基づいて、受信したLCTパケットがそれぞれのオブジェクト内でどの位置に該当するかを識別し、受信したLCTパケットを順に整列することができる。例えば、受信機は、オフセット情報及びTOIが順次に増加するようにパケットを整列することができる。
その後、受信機は、オフセット情報が‘0’であるパケットから次のオフセット情報が‘0’であるパケットの以前パケットまでを一つのオブジェクトとして識別することができる。そして、受信機は、TOIに基づいて、一つのオブジェクト内でデリバリオブジェクト及び/又はオブジェクト内部構造体を識別することができる。
また、受信機は、それぞれのデリバリオブジェクト及び/又はそれぞれのオブジェクトを正確に復元することができる。
また、受信機は、TSI、TOI、及び/又はオフセット情報のうち少なくとも一つに基づいて、それぞれのデリバリオブジェクト及び/又はそれぞれのオブジェクトを正確にパース及び/又はデコードすることができる。
前述したように、送信機が、独立して有意な単位であるオブジェクト内部構造体(Object Internal Structure)単位でデータを伝送すると、可変サイズでデータを実時間で伝送することができる。したがって、受信機は、一つのオブジェクトを全て受信する前であっても、オブジェクト内部構造体を受信及び識別すると、オブジェクト内部構造体単位で再生することができる。その結果、ファイル(又はオブジェクト)ベースのマルチメディアコンテンツを放送網を介して実時間で伝送及び再生することができる。
図59は、本発明の他の実施例に係るRAP(Random Access Point)情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードはシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは前述の内容を全て含むことができ、その具体的な説明は前述の説明に代える。
パケットヘッダーは、RAP(Random Access Point)情報(P)をさらに含むことができる。RAP情報(P)は、現在パケットが送信しているパケットペイロードに、ランダムアクセスポイント(RAP)に該当するデータが含まれているか否かを示すことができる。RAP情報(P)は、各パケットの開始地点から12番目又は13番目のビットに位置する1個のビットを用いて、現在パケットが送信しているパケットペイロードに、ランダムアクセスポイント(RAP)に該当するデータが含まれているか否かを示すことができる。この場合、1ビットを使用するので、パケットヘッダーのサイズを減らし、効率性を高めることができる。
ランダムアクセスポイント(RAP)は、他のフレームを参照しないで符号化可能であり、且つ、ランダムアクセスが可能な基本フレームを意味する。例えば、‘I−フレーム’は、MPEGで当該フレームの前のフレーム及び後のフレームを使用する時間的圧縮技術を利用せず、他のフレームとは独立して空間的圧縮技術だけを用いて生成されるフレームを意味する。したがって、‘I−フレーム’は、イメージから直接コードして生成されることから、インターブロック(inter block)のみから構成され、ランダムアクセスポイント(Random Access Point)の役割を担うことができる。
受信器は、RAP情報(P)に基づいて、伝送されているパケットシーケンス(sequence)においてランダムアクセスが可能なパケットを識別することができる。例えば、受信したパケットのペイロードが‘I−フレーム’に関するデータを含んでいると、RAP情報(P)は、当該パケットがランダムアクセスポイント(RAP)に該当するデータを含んでいることを示すことができる。また、受信したパケットのペイロードが‘B−フレーム’及び/又は‘P−フレーム’に関するデータを含んでいると、RAP情報(P)は、当該パケットがランダムアクセスポイント(RAP)に該当するデータを含んでいないと示すことができる。
受信器が特定時点からGOPデータを順次に受信する時、最初のパケットが‘I−フレーム’のようにRAPに該当すると、受信機は、当該パケットからデコーディングを始めることができる。しかし、最初のパケットが‘B−フレーム’及び/又は‘P−フレーム’のようにRAPに該当しないと、受信機は、当該パケットからデコーディングを始めることができない。この場合、受信機は、RAPでないパケットはスキップし、続く‘I−フレーム’のようにRAPに該当するパケットからデコードし始めることができる。
したがって、放送環境におけるチャネルチューニング又はユーザの要求によるシーケンス内の任意地点接近状況において、受信機は、RAP情報(P)に基づいて、RAPに該当しないパケットはスキップし、RAPに該当するパケットからデコードするため、パケットの受信及びデコーディング効率を上げることができる。
図60は、本発明の他の実施例に係るRAP(Random Access Point)情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードは、シンボルエンコーディングフィールドを含むことができる。
パケットヘッダーは、RAP(Random Access Point)情報(P)をさらに含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは前述の内容を全て含むことができ、その具体的な説明は前述の説明に代える。
RAP情報(P)は、各パケットの開始地点から6番目又は7番目のビットに位置する1個のビットを用いて、現在パケットが送信しているパケットペイロードに、ランダムアクセスポイント(RAP)に該当するデータが含まれているか否かを示すことができる。この場合、1ビットを使用するので、パケットヘッダーのサイズを減らすことができ、効率性を高めることができる。
本発明の他の実施例に係るパケットは、パケットヘッダーの6番目又は7番目のビットに位置するビットを用いてRAP情報(P)を含むので、パケットヘッダーの12番目又は13番目のビットを他の用途に用いることができる。
例えば、パケットは、パケットヘッダーの6番目又は7番目のビットを用いてRAP情報(P)を含み、パケットヘッダーの12番目及び/又は13番目のビットを用いて、前述したオブジェクトタイプ情報、及び/又は前述した優先順位情報を含むことができる。
図61は、本発明の他の実施例に係る実時間(Real Time)情報を含むパケットの構造を示す図である。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、パケットヘッダー及びパケットペイロードを含むことができる。パケットヘッダーは、パケットペイロードに対するメタデータを含むことができる。パケットペイロードは、MPEG−DASHコンテンツのデータを含むことができる。
例えば、パケットヘッダーは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、及び/又はFECペイロードIDフィールドを含むことができる。
また、パケットペイロードはシンボルエンコーディングフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットを構成する各フィールドのうち、前述したフィールドと同じ名称のフィールドは前述の内容を全て含むことができ、その具体的な説明は前述の説明に代える。
送信機は、FDT(File Delivery Table)レベル及び/又はデリバリオブジェクトレベルで定義される実時間情報(T)を用いて、LCTパケットが送信しているオブジェクト及び/又はオブジェクト内部構造体が実時間で伝送されるか又は非実時間で伝送されるかを示すことができる。デリバリオブジェクトレベルは、オブジェクトレベル、及び/又はオブジェクト内部構造体レベルを含むことができる。
実時間情報(T)がFDTレベルで定義されると、実時間情報(T)は、当該FDTで記述する全データが実時間で伝送されるか又は非実時間で伝送されるかを示すことができる。例えば、LSIDは実時間情報(T)を含むことができる。また、実時間情報(T)がFDTレベルで定義されると、実時間情報(T)は、当該FDTで記述する全オブジェクトが実時間で伝送されるか非実時間で伝送されるかを示すことができる。ここで、当該FDTで記述する全オブジェクトは、当該LCT伝送セッションに属する全オブジェクトを示すことができる。
また、実時間情報(T)がデリバリオブジェクトレベルで定義されると、実時間情報(T)は、当該デリバリオブジェクトに属する全データが実時間で伝送されるか非実時間で伝送されるかを示すことができる。例えば、デリバリオブジェクトがオブジェクトにマッチされる場合、実時間情報(T)がデリバリオブジェクトレベルで定義されると、実時間情報(T)は、当該オブジェクトに属する全データが実時間で伝送されるか非実時間で伝送されるかを示すことができる。また、デリバリオブジェクトがオブジェクト内部構造体にマッチされる場合、実時間情報(T)がデリバリオブジェクトレベルで定義されると、実時間情報(T)は、当該オブジェクト内部構造体に属する全データが実時間で伝送されるか非実時間で伝送されるかを示すことができる。
一実施例として、実時間情報(T)がデリバリオブジェクトレベルで定義されると、パケットヘッダーは、実時間(Real Time)情報(T)をさらに含むことができる。実時間情報(T)は、LCTパケットが送信しているデリバリオブジェクトが実時間(Real Time)で伝送されるか非実時間(Non Real Time)で伝送されるかを示すことができる。
例えば、デリバリオブジェクトはTOIにマッチされるデータ単位であってもよい。また、実時間情報(T)の値が‘0’であれば、LCTパケットが送信しているデリバリオブジェクトは非実時間で伝送されることを示すことができ、実時間情報(T)の値が‘1’であれば、LCTパケットが送信しているデリバリオブジェクトは実時間で伝送されることを示すことができる。
実時間情報(T)は、TOIフィールドの最初のビットを用いて、LCTパケットが送信しているデリバリオブジェクトが実時間で伝送されるか非実時間で伝送されるかを示すことができる。
前述したように、TOIフィールドをOGIフィールド及びDTOIフィールドに分割した場合、実時間情報(T)は、OGIフィールドの最初のビットを用いて、LCTパケットが送信しているデリバリオブジェクトが実時間で伝送されるか非実時間で伝送されるかを示すことができる。
実時間情報(T)はTOIフィールド及び/又はOGIフィールドの最初のビットに含まれるので、送信機は、一つのLCT伝送セッション(例えば、ビデオトラック、オーディオトラック、MPEG−DASHのRepresentation)内で実時間データ及び非実時間データを共に伝送することができる。例えば、送信機は、一つのLCT伝送セッション内でオーディオデータ及び/又はビデオデータを実時間で伝送することができ、イメージ及び/又はアプリケーションなどを非実時間で伝送することができる。また、送信機は、一つのLCT伝送セッション内で一部のデリバリオブジェクトは実時間で伝送し、残りのデリバリオブジェクトは非実時間で伝送することができる。
また、実時間情報(T)は既存のTOIフィールドの最初のビットに含まれるので、本発明の他の実施例に係るLCTパケットは、既存のALC/LCT及び/又はFLUTEプロトコルとの下位互換性を保障することができる。
図62は、本発明の他の実施例に係る放送信号送信装置の構造を示す図である。
本発明の他の実施例に係る放送信号送信装置は、デリバリオブジェクト生成器C51300、シグナリングエンコーダC51100、及び/又は送信器C31500を含むことができる。
デリバリオブジェクト生成器は、ファイルを、ファイルの一部(a part of the file)に該当する少なくとも一つのデリバリオブジェクト(Delivery Object)に分割することができる。
シグナリングエンコーダ(Signaling Encoder)は、デリバリオブジェクトに対するメタデータを含むシグナリング情報をエンコードすることができる。
シグナリング情報は、少なくとも一つのデリバリオブジェクトが少なくても一つのLCT(Layered Coding Transport)パケットを用いて、単方向チャネル(unidirectional channel)を介して実時間で伝送されるか否かを示す実時間情報を含むことができる。
送信器(transmitter)は、少なくとも一つのデリバリオブジェクト及びシグナリング情報を伝送することができる。
本発明の他の実施例に係る放送信号送信装置は、前述した放送信号送信装置の機能を全て含むことができる。また、シグナリング情報に関する具体的な内容は、前述した内容に代えたり、次の図面で具体的に説明するものとする。
図63は、本発明の他の実施例に係る放送信号受信装置の構造を示す図である。
放送信号受信装置は放送信号を受信することができる。放送信号は、シグナリングデータ、ESGデータ、NRTコンテンツデータ及び/又はRTコンテンツデータを含むことができる。
放送信号受信装置は、ROUTEセッション記述に基づいてROUTEセッションに参加(join)することができる。ROUTEセッション記述は、放送信号送信装置のIPアドレス、ROUTEセッションのアドレス及びポート番号、当該セッションがROUTEセッションであり、全パケットはLCTパケットであることを示す情報を含むことができる。また、ROUTEセッション記述は、当該セッションをIP/UDPを用いて参加(join)及び消費(consume)するために必要な情報をさらに含むことができる。
その後、放送信号受信装置は、ROUTEセッションに含まれた少なくとも一つのLCT伝送セッションに関する情報を含んでいるLCT LSID(Session Instance Description)を受信することができる。
その後、放送信号受信装置は、少なくとも一つのLCT伝送セッションに含まれたマルチメディアコンテンツを受信することができる。マルチメディアコンテンツは少なくとも一つのファイルで構成されてもよい。そして、放送信号受信装置は、LCTパケットを用いて、単方向チャネルを介してファイルベースのマルチメディアコンテンツを実時間で受信することができる。
そのために、本発明の他の実施例に係る放送信号受信装置は、シグナリングデコーダ(Signaling Decoder)C52100、デリバリオブジェクトプロセッサ(Delivery Object Processor)C52300、及び/又はデコーダ(Decoder)C52500を含むことができる。
シグナリングデコーダC52100は、ファイルの一部(part of a file)に該当する少なくとも一つのデリバリオブジェクトに対するメタデータを含むシグナリング情報をデコードすることができる。
シグナリング情報は、少なくとも一つのデリバリオブジェクトがLCT(Layered Coding Transport)パケットを用いて単方向チャネルを介して実時間で伝送されるか否かを示す実時間情報を含むことができる。シグナリング情報はLSIDだけでなく、LCTパケットの拡張されたヘッダーにも含まれてもよい。
実時間情報は、FDT(File Delivery Table)で定義され、実時間情報は、FDTで記述する全デリバリオブジェクトが実時間で伝送されるか否かを示すことができる。また、実時間情報は、上記デリバリオブジェクトを識別するTOI(Transport Object Identifier)フィールドの最初のビットで定義され、実時間情報は、当該デリバリオブジェクトに属する全データが実時間で伝送されるか否かを示すことができる。
デリバリオブジェクトプロセッサC52300は、上記少なくとも一つのLCTパケットを収集し、少なくとも一つのデリバリオブジェクトを復元することができる。デリバリオブジェクトプロセッサC52300は、前述した送信ブロック再生成器C22030、フラグメント再生成器C22040、フラグメントパーサーC22050、及び/又は抽出器C32050の機能を含むことができる。
デコーダC52500は、少なくとも一つのデリバリオブジェクトをデコードすることができる。デコーダC52500は、デリバリオブジェクトに関する情報を少なくとも一つのアクセスユニットの形態で受け取り、少なくとも一つのアクセスユニットをデコードしてメディアデータを生成することができる。デコーダC52500は、ファイルの一部に該当するデリバリオブジェクトを受信すると、一つのファイルを全て受信しなくてもデリバリオブジェクトをデコードすることができる。
シグナリング情報は、ファイル内でLCTパケットが送信しているデータのオフセットを示すオフセット情報をさらに含むことができる。デリバリオブジェクトプロセッサC52300は、オフセット情報に基づいてデリバリオブジェクトを識別することができる。オフセット情報は、オフセットをファイルの開始地点からのバイト数で示すことができる。オフセット情報は、LCTヘッダー拡張の形式であってもよく、FECペイロードIDフィールドに含まれてもよい。
放送信号受信装置が可変サイズのデリバリオブジェクトの単位で実時間でLCTパケットを受信する場合、放送信号受信装置は、受信したLCTパケットがオブジェクト内でどの位置に該当するかを認識できないことが発生する。例えば、放送信号受信装置が任意の順でLCTパケットを受信する場合、放送信号受信装置は、LCTパケットを順序通りに整列できず、デリバリオブジェクトを正確に復元及び/又はパースできない場合が発生する。
したがって、本発明の他の実施例に係るオフセット情報は、ファイル(例えば、オブジェクト)内で現在伝送中のパケットペイロードのオフセットを示すことができる。放送信号受信装置は、オフセット情報に基づいて、現在伝送中のLCTパケットが当該ファイルの最初のデータを有することを認識することができる。また、放送信号受信装置は、オフセット情報に基づいて、当該ファイル及び/又はデリバリオブジェクト内で現在伝送中のLCTパケットの順序を認識することができる。
また、放送信号受信装置は、オフセット情報に基づいて現在LCTパケットが送信しているパケットペイロードのファイル内におけるオフセットを認識できる他、現在LCTパケットが送信しているデリバリオブジェクトのファイル内におけるオフセットも認識することができる。
TOIがオブジェクト(例えば、ファイル)にマッチされるのではなく、オブジェクトよりも小さいデータ単位であるオブジェクト内部構造体にマッチされると、放送信号受信装置は、オブジェクトを識別できる別の情報がない限り、オブジェクトを識別することができない。
したがって、放送信号受信装置は、オフセット情報に基づいて、同一のオブジェクト内に含まれるオブジェクト内部構造体及び/又はLCTパケットを識別することができる。
シグナリング情報は、LCTパケットがランダムアクセスポイント(Random Access Point;RAP)に該当するデータを含んでいるか否かを示すRAP情報をさらに含むことができる。ランダムアクセスポイントは、他のフレームを参照しないで符号化でき、且つランダムアクセスが可能な基本フレームを意味する。
デリバリオブジェクトプロセッサC52300は、RAP情報に基づいて、ランダムアクセスポイントに該当するデータを送信するパケットから始まって少なくとも一つのパケットを収集することができる。
例えば、放送信号受信装置は、特定時点から順次にGOPデータを受信するとき、最初のパケットが‘I−フレーム’のようにRAPに該当すると、放送信号受信装置は、当該LCTパケットからデコードし始めることができる。しかし、最初のLCTパケットが‘B−フレーム’及び/又は‘P−フレーム’のようにRAPに該当しないと、受信器は、当該LCTパケットからデコーディングを始めることができない。この場合、放送信号受信装置は、RAPでないLCTパケットはスキップし、続く‘I−フレーム’のようにRAPに該当するLCTパケットからデコードし始めることができる。
シグナリング情報は、LCTパケットが送信しているデータの優先順位を示す優先順位情報(Priority information)をさらに含むことができる。
デリバリオブジェクトプロセッサC52300は優先順位情報に基づいてLCTパケットを選択的に収集することができる。
放送信号受信装置は、AVC/HEVCなどのビデオデータを受信する場合に、‘ftyp’、‘moov’、‘moof’、‘I−Picture’、‘P−Picture’、及び/又は‘B−Picture’の優先順位情報に基づいて、優先順位の高いLCTパケットを優先して抽出し、優先順位の低いLCTパケットを選択的に抽出して、一つのシーケンスを構成することができる。
図64は、本発明の実施例に係る次世代放送システムのためのプロトコルスタックを示す図である。
本発明に係る放送システムは、IP(Internet Protocol)中心放送ネットワーク及びブロードバンドが結合されたハイブリッド放送システムに対応し得る。
本発明に係る放送システムは、従来のMPEG−2ベースの放送システムとの互換性を維持するように設計されていてもよい。
本発明に係る放送システムは、IP中心放送ネットワーク、ブロードバンドネットワーク及び/又はモバイル通信ネットワーク(又はセルラーネットワーク)の結合に基づくハイブリッド放送システムに対応してもよい。
同図を参照すると、物理層は、ATSCシステム及び/又はDVBシステムなどの放送システムで採択された物理プロトコルを用いることができる。例えば、本発明に係る物理層で、送信機/受信機は、地上波放送信号を送受信し、放送データを含む伝送フレームを適宜の形態に変換することができる。
カプセル化層で、IPデータグラムが、物理層から取得された情報から取得されたり、又は取得されたIPデータグラムが特定フレーム(例えば、RSフレーム、GSE−lite、GSE又は信号フレーム)に変換される。フレームは、IPデータグラムのセットを含むことができる。例えば、カプセル化層で、送信機が伝送フレーム内の物理層で処理されたデータを含めたり、又は、受信機が物理層から取得された伝送フレームからMPEG−2TS及びIPデータグラムを抽出する。
FIC(fast information channel)は、サービス及び/又はコンテンツにアクセスするために必要な情報(例えば、サービスID及びフレーム間のマッピング情報)を含む。FICをFAC(fast access channel)と呼ぶこともできる。
本発明に係る放送システムは、インターネットプロトコル(IP)、ユーザデータグラムプロトコル(UDP)、送信制御プロトコル(TCP)、ALC/LCT(Asynchronous Layered Coding/Layered Coding Transport)、RCP/RTCP(Rate Control Protocol/RTP Control Protocol)、HTTP(Hypertext Transfer Protocol)及びFLUTE(File Delivery over Unidirectional Transport)などのプロトコルを用いることができる。これらのプロトコル間のスタックは、同図に示す構造を参照すればよい。
本発明に係る放送システムでは、データを、ISOベースメディアファイルフォーマット(ISOBMFF)の形態で伝送することができる。ESG(Electrical Service Guide)、NRT(Non Real Time)、A/V(Audio/Video)及び/又は一般データをISOBMFFの形態で伝送することができる。
放送ネットワークを介したデータの伝送は、線形コンテンツの伝送及び/又は非線形コンテンツの伝送を含むことができる。
RTP/RTCPベースのA/V及びデータ(字幕、緊急警報メッセージなど)の伝送は、線形コンテンツの伝送に対応してもよい。
RTPペイロードは、NAL(Network Abstraction Layer)を含むRTP/AVストリームの形態及び/又はISOベースメディアファイルフォーマットでカプセル化された形態で伝送されてもよい。RTPペイロードの伝送は、線形コンテンツの伝送に対応してもよい。ISOベースメディアファイルフォーマットでカプセル化された形態の伝送は、A/Vに対するMPEG DASHメディアセグメントなどを含むことができる。
FLUTEベースESGの伝送、ノン−タイムド(non−timed)データの伝送、NRTコンテンツの伝送は、非線形コンテンツの伝送に対応してもよい。これらは、MIMEタイプファイル形態及び/又はISOベースメディアファイルフォーマットでカプセル化された形態で伝送されてもよい。ISOベースメディアファイルフォーマットでカプセル化された形態の伝送は、A/Vに対するMPEG DASHメディアセグメントなどを含むことができる。
ブロードバンドネットワークを介した伝送は、コンテンツの伝送及びシグナリングデータの伝送とに分割することができる。
コンテンツの伝送は、線形コンテンツ(A/V及びデータ(字幕、緊急警報メッセージなど)、非線形コンテンツ(ESG、ノン−タイムドデータなど)の伝送、及びMPEG DASHベースメディアセグメント(A/V及びデータ)の伝送を含む。
シグナリングデータの伝送は、放送ネットワークで送信されたシグナリングテーブルを含む(MPEG DASHのMPDを含む。)伝送であってもよい。
本発明に係る放送システムで、放送ネットワークで伝送される線形/非線形コンテンツ間の同期化、又は放送ネットワークで伝送されるコンテンツ及びブロードバンドで送信されたコンテンツ間の同期化を支援することができる。例えば、一つのUDコンテンツが個別に及び同時に放送ネットワーク及びブロードバンドで伝送される場合に、受信機は、伝送プロトコルによってタイムラインを調節し、放送ネットワークを介したコンテンツとブロードバンドを介したコンテンツとを同期化し、一つのUDコンテンツとしてコンテンツを再構成することができる。
本発明に係る放送システムのアプリケーション層は、双方向性(interactivity)、個人化(personalization)、第2スクリーン及び自動コンテンツ認識(ACR;automatic content recognition)などの技術的特性を実現することができる。それらの特性は、ATSC2.0からATSC3.0までの拡張において重要である。例えば、HTML5を双方向性の特性に用いることができる。
本発明に係る放送システムのプレゼンテーション層で、HTML及び/又はHTML5は、コンポーネント又はインタラクティブアプリケーション間の空間及び時間的関係を識別するために用いることができる。
本発明で、シグナリングは、コンテンツ及び/又はサービスの効果的な取得を支援するために必要なシグナリング情報を含む。シグナリングデータをバイナリ又はXML gudxofhで表現することができる。シグナリングデータは、地上波放送ネットワーク又はブロードバンドで送信することができる。
実時間放送A/Vコンテンツ及び/又はデータをISOベースメディアファイルフォーマットなどで表現することができる。この場合、A/Vコンテンツ及び/又はデータは、実時間で地上波放送ネットワークを介して送信されてもよく、非実時間でIP/UDP/FLUTEに基づいて送信されてもよい。代案として、放送A/Vコンテンツ及び/又はデータは、実時間にインターネットでDASH(Dynamic Adaptive Streaming over HTTP)を用いてストリーミングモードでコンテンツを受信したり、又は要求することによって受信することができる。本発明の実施例に係る放送システムで、受信された放送A/Vコンテンツ及び/又はデータは結合され、インタラクティブサービス及び第2スクリーンサービスなどの様々な向上したサービスを視聴者に提供することができる。
送信機の物理層(Broadcast PHY及びBroadband PHY)は、図1に示した構造を実施例とすることができる。また、受信機の物理層は、図9に示した構造を実施例とすることができる。
シグナリングデータ及びIP/UDPデータグラムは、物理層に伝達される伝送フレーム(又はフレーム)の特定データパイプ(以下、DP)で伝送されてもよい。例えば、入力フォーマットブロック1000は、シグナリングデータ及びIP/UDPデータグラムを受信し、それぞれのシグナリングデータ及びIP/UDPデータグラムを少なくとも一つのDPに逆多重化することができる。出力プロセッサ9300は、入力フォーマットブロック1000と逆の動作を行うことができる。
図65は、本発明の一実施例に係る、次世代放送システムの受信機を示す図である。
本発明の一実施例に係る受信機は、受信部(図示せず)、チャネル同期化器(Channel Synchronizer)J32010、チャネル等化器(Channel Equalizer)J32020、チャネルデコーダ(Channel Decoder)J32030、シグナリングデコーダ(Signaling Decoder)J32040、ベースバンド動作コントローラ(Baseband Operation Controller)J32050、サービスマップデータベース(Service Map DB)J32060、伝送パケットインターフェース(Transport Packet Interface)J32070、ブロードバンドパケットインターフェース(Broadband Packet Interface)J32080、コモンプロトコルスタック処理器(Common Protocol Stack)J32090、サービスシグナリングチャネルプロセシングバッファ及びパーサー(Service Signaling Channel Processing Buffer & Parser)J32100、A/Vプロセッサ(A/V Processor)J32110、サービスガイドプロセッサ(Service Guide Processor)J32120、アプリケーションプロセッサ(Application Processor)J32130、及び/又はサービスガイドデータベース(Service Guide DB)J32140を含むことができる。
受信部(図示せず)は放送信号を受信する。
チャネル同期化器J32010は、ベースバンド(Baseband)で受信した信号のデコーディングが可能なようにシンボル(symbol)周波数とタイミング(timing)を同期化する。ここで、ベースバンドは、放送信号が送/受信される領域を意味する。
チャネル等化器J32020は、受信された信号に対してチャネル等化を行う。チャネル等化器J32020はね受信された信号が多重経路(multipath)、ドップラー効果(Doppler effect)などによって歪まれたとき、これを補償する役割を担う。
チャネルデコーダ(Channel Decoder)J32030は、受信された信号を有意な伝送フレーム(transport frame)に復旧する。チャネルデコーダJ32030は、受信した信号に含まれたデータ又は伝送フレームに対して順方向誤り訂正(forward error correction; FEC)を行う。
シグナリングデコーダJ32040は、受信した信号に含まれたシグナリングデータを抽出してデコードする。ここで、シグナリングデータは、後述するシグナリングデータ及び/又はサービス情報(Service Information;SI)を含む。
ベースバンド動作コントローラJ32050は、ベースバンドにおける信号の処理を制御する。
サービスマップデータベースJ32060は、シグナリングデータ及び/又はサービス情報を記憶する。サービスマップデータベースJ32060は、放送信号に含まれて伝送されたシグナリングデータ及び/又はブロードバンドパケットに含まれて伝送されたシグナリングデータを記憶することができる。
伝送パケットインターフェースJ32070は、伝送フレーム又は放送信号から伝送パケットを抽出する。伝送パケットインターフェースJ32070は、伝送パケット(transport packet)からシグナリングデータ又はIPデータグラム(IP datagram)を抽出する。
ブロードバンドパケットインターフェースJ32080は、インターネット網を介して放送関連パケットを受信する。ブロードバンドパケットインターフェースJ32080は、インターネット網を介して取得されたパケット(Packet)を抽出し、当該パケットからシグナリングデータ又はA/Vデータを組合せ又は抽出する。
コモンプロトコルスタック処理器J32090は、受信したパケットをプロトコルスタックに含まれたプロトコルによって処理する。例えば、コモンプロトコルスタック処理器J32090は、前述したプロトコルスタックによって、受信したパケットを処理することができる。
サービスシグナリングチャネルプロセシングバッファ及びパーサーJ32100は、受信されたパケットに含まれたシグナリングデータを抽出する。サービスシグナリングチャネルプロセシングバッファ及びパーサーJ32100は、IPデータグラムなどからサービス及び/又はコンテンツのスキャン及び/又は取得に関連したシグナリング情報を抽出し、これをパースする。受信されたパケット内でシグナリングデータは一定の位置又はチャネルに存在してもよい。このような位置又はチャネルを、サービスシグナリングチャネルと命名することができる。例えば、サービスシグナリングチャネルは、特定IPアドレス、UDP Portナンバー、伝送セッション識別子などを有することができる。受信機は、このような特定IPアドレス、UDP Portナンバー、伝送セッションなどに伝送されるデータをシグナリングデータと認識することができる。
A/VプロセッサJ32110は、受信されたオーディオ及びビデオデータに対するデコーディング及びプレゼンテーション(presentation)処理を行う。
サービスガイドプロセッサJ32120は、受信信号からアナウンスメント(announcement)情報を抽出し、サービスガイドデータベースJ32140を管理し、サービスガイド(service guide)を提供する。
アプリケーションプロセッサJ32130は、受信したパケットに含まれたアプリケーション(application)データ及び/又はアプリケーション関連情報を抽出して、これを処理する。
サービスガイドデータベースJ32140は、サービスガイドデータを記憶する。
図66は、本発明の実施例に係る放送受信機を示す図である。
本発明の実施例に係る放送受信機は、サービス/コンテンツ取得コントローラJ2010、インターネットインターフェースJ2020、ブロードキャストインターフェースJ2030、シグナリングデコーダJ2040、サービスマップデータベースJ2050、デコーダJ2060、ターゲッティングプロセッサJ2070、プロセッサJ2080、管理部J2090、及び/又は再分配モジュールJ2100を含む。同図には、放送受信機の外部及び/又は内部に位置する外部管理装置J2110が示されている。
サービス/コンテンツ取得コントローラJ2010は、ブロードキャスト/ブロードバンドチャネルを介してそれに関連したサービス及び/又はコンテンツ及びシグナリングデータを受信する。代案として、サービス/コンテンツ取得コントローラJ2010は、サービス及び/又はコンテンツ及びこれに関連したシグナリングデータを受信するための制御を行うことができる。
インターネットインターフェースJ2020は、インターネットアクセス制御モジュールを含むことができる。インターネットアクセス制御モジュールはブロードバンドチャネルを介してサービス、コンテンツ及び/又はシグナリングデータを受信する。代案で(に)、インターネットアクセス制御モジュールはサービス、コンテンツ及び/又はシグナリングデータを取得するための受信機の動作を制御できる。
ブロードキャストインターフェースJ2030は、物理層モジュール及び/又は物理層I/Fモジュールを含むことができる。物理層モジュールは、ブロードキャストチャネルを介してブロードキャスト関連信号を受信する。物理層モジュールは、ブロードキャストチャネルを介して受信されたブロードキャスト関連信号を処理(復調、デコーディングなど)する。物理層I/Fモジュールは、物理層モジュールから取得した情報からIPデータグラムを取得したり、取得されたIPデータグラムを用いて特定フレーム(例えば、ブロードキャストフレーム、RSフレーム又はGSE)への変換を行う。
シグナリングデコーダJ2040は、ブロードキャストチャネルなどを介して取得されたシグナリングデータ又はシグナリング情報(以下、“シグナリングデータ”という。)をデコードする。
サービスマップデータベースJ2050は、受信機の他の装置(例えば、シグナリングパーサー)によって処理されたシグナリングデータ又はデコードされたシグナリングデータを記憶する。
デコーダJ2060は、受信機に受信されたブロードキャスト信号又はデータをデコードする。デコーダJ2060は、スケジュールされたストリーミングデコーダ、ファイルデコーダ、ファイルデータベース(DB)、注文型ストリーミングデコーダ、コンポーネント同期化器、警報シグナリングパーサー、ターゲッティングシグナリングパーサー、サービスシグナリングパーサー、及び/又はアプリケーションシグナリングパーサーを含むことができる。
スケジュールされたストリーミングデコーダは、IPデータグラムなどから実時間オーディオ/ビデオ(A/V)に対するオーディオ/ビデオデータを抽出し、抽出されたオーディオ/ビデオデータをデコードする。
ファイルデコーダは、IPデータグラムからNRTデータ及びアプリケーションなどのファイルタイプデータを抽出し、抽出されたファイルタイプデータをデコードする。
ファイルDBは、ファイルデコーダによって抽出されたデータを記憶する。
注文型ストリーミングデコーダは、IPデータグラムから注文型ストリーミングに対するオーディオ/ビデオデータなどを抽出し、抽出されたオーディオ/ビデオデータをデコードする。
コンポーネント同期化器は、スケジュールされたストリーミングデコーダ、ファイルデコーダ及び/又は注文型ストリーミングデコーダによってデコードされたデータに基づいて、コンテンツを構成するエレメント間又はサービスを構成するエレメント間の同期化を取ってコンテンツ又はサービスを構成する。
警報シグナリングパーサーは、IPデータグラムなどからの警報と関連したシグナリング情報を抽出し、抽出されたシグナリング情報をパースする。
ターゲッティングシグナリングパーサーは、IPデータグラムからサービス/コンテンツ個人化又はターゲッティングに関連したシグナリング情報を抽出し、抽出されたシグナリング情報をパースする。ターゲッティング(targeting)は、特定視聴者の条件を満たすコンテンツ又はサービスを提供するアクションである。すなわち、ターゲッティングは、特定視聴者の条件を満たすコンテンツ又はサービスを識別し、識別されたコンテンツ又はサービスを視聴者に提供するアクションである。
サービスシグナリングパーサーは、IPデータグラムなどからサービス/コンテンツ及び/又はサービススキャンに関連したシグナリング情報を抽出し、抽出されたシグナリング情報をパースする。サービス/コンテンツに関連したシグナリング情報は、放送システム情報及び/又は放送シグナリング情報を含む。
アプリケーションシグナリングパーサーは、IPデータグラムなどからのアプリケーションの取得に関連したシグナリング情報を抽出し、抽出されたシグナリング情報をパースする。アプリケーションの取得に関連したシグナリング情報は、トリガー、TDOパラメータテーブル(TPT)及び/又はTDOパラメータエレメントを含むことができる。
ターゲッティングプロセッサJ2070は、ターゲッティングシグナリングパーサーによってパースされたサービス/コンテンツターゲッティングに関連した情報を処理する。
プロセッサJ2080は、受信されたデータをディスプレイする一連のプロセスを行う。
プロセッサJ2080は、警報プロセッサ、アプリケーションプロセッサ及び/又はA/Vプロセッサを含むことができる。
警報プロセッサは、警報に関連したシグナリング情報に基づいて警報データを取得するように受信機を制御し、警報データをディスプレイするプロセスを行う。
アプリケーションプロセッサは、アプリケーションに関連した情報を処理し、そのアプリケーションに関連したディスプレイパラメータ及びダウンロードされたアプリケーションの状態を処理する。
A/Vプロセッサは、デコードされたオーディオデータ、ビデオデータ及び/又はアプリケーションデータに基づいてオーディオ/ビデオレンダリングに関連した動作を行う。
管理部J2090は、装置マネジャー、及び/又はデータ共有及び通信ユニットを含む。
装置マネジャーは、接続及びデータ交換を含めて、インターロック(interlocked)され得る外部装置の追加/削除/更新などの外部装置に対する管理を行う。
データ共有及び通信ユニットは、受信機及び外部装置(例えば、同伴者装置)間のデータ伝送及び交換に関連した情報を処理し、これに関連した動作を行う。伝送可能及び交換可能なデータは、シグナリングデータ、PDIテーブル、PDIユーザデータ、PDI Q&A、及び/又はA/Vデータであってもよい。
再分配モジュールJ2100は、受信機がブロードキャスト信号を直接受信できない場合、サービス/コンテンツ及び/又はサービス/コンテンツデータに関連した情報の取得を行う。
外部管理装置J2110は、ブロードキャストサービス/コンテンツを提供する放送受信機の外部に設けられるブロードキャストサービス/コンテンツサーバーなどのモジュールである。外部管理装置として機能するモジュールが放送受信機に提供されてもよい。
図67は、本発明の一実施例に係る、放送網の伝送ストリームとインターネット網(異種網)の伝送ストリーム間の同期化のためのタイムラインコンポーネント(Timeline component)を示す図である。
前述した放送システムの受信機で、放送網及びインターネット網のような異種網を介して伝送されるストリームが、一つのサービスのために同期化して用いられる可能性がある。例えば、図示のように、放送網でビデオストリームが伝送され、インターネット網でオーディオストリームが伝送される場合、両ストリームは、一つのサービスのために同期化して復号化され、再生されなければならない。すなわち、一つのサービスを用いるために、放送網でビデオを取得し、インターネット網でオーディオを取得しなければならない。例えば、同じコンテンツに対して、放送網で提供する言語と異なる言語で製作されたオーディオで視聴したい視聴者は、自身の所望する言語で製作された、該当のコンテンツのオーディオをインターネット網で受信して用いることができる。
しかし、両ストリームは別個のタイムライン(timeline)を有するため、両タイムライン間のマッピングを可能にするメカニズムが必要である。ここで、タイムラインは、各伝送網を介して伝送されるデータ又はコンテンツが再生又は復号される基準となる絶対的な又は相対的な時間を示すことができる。すなわち、放送網を介して伝送されるビデオが示す内容と、インターネット網を介して伝送されるオーディオが示す内容とが、サービス内で一致する必要がある。
本発明の一実施例では、放送網とインターネット網などの異種網を介して伝送されるストリーム間の同期化のためにタイムラインコンポーネントを用いる方法及び装置を提案する。タイムラインコンポーネントストリームは、一つ以上のタイムラインコンポーネントAU(access unit)を含むことができる。タイムラインコンポーネントAUは、タイムラインコンポーネント内で、連続して存在することができる。
タイムラインコンポーネントAUが、放送網で伝送されるストリームのタイムラインに、インターネット網で伝送されるストリームのタイムラインをマップする例を示している。放送網で伝送されるパケットのヘッダーに、放送網で伝達されるストリームのタイムラインに関する情報が含まれている場合、放送網を介して伝送可能なタイムラインコンポーネントAUは、異種網(例えば、インターネット網)を介して伝送されるストリームのDTS(Decoding Time Stamp)、PTS(Presentation Time Stamp)などのタイムスタンプ情報などを含むことができる。このような異種網(例えば、インターネット網)を介して伝送されるストリームのタイムラインに関する情報がタイムラインコンポーネントAUに含まれる場合、異種網(例えば、インターネット網)を介して伝送されるストリームのタイムラインに関する情報は、放送網を介して伝送されるストリームと同じパケット構造にパケット化することができる。これによって、パケットヘッダーに含まれる放送網の伝送ストリームのタイムスタンプとインターネット網を介して伝達されるストリームのタイムスタンプとを一対一でマップすることができ、両ストリームを一つのタイムラインで同期化して復号化し再生することができる。前述したタイムスタンプ情報は、外部網(例えば、異種網、インターネット網など)で伝送されるストリームのタイムラインを構成するためのタイムラインリファレンス値を意味することもできる。
プレゼンテーションタイムスタンプ(presentation timestamp;PTS)は、視聴者に提示されるとき、プログラムの個別エレメンタリストリーム(例えば、ビデオ、オーディオ、サブタイトル)の同期化を達成するために用いられるMPEG伝送ストリーム、MPEGプログラムストリーム、又は類似のデータストリーム内のタイムスタンプメタデータフィールドである。PTSは、プログラムの全クロックリファレンス、プログラムクロックリファレンス(PCR)又はシステムクロックリファレンス(SCR)に関連した単位で与えられ、これはまた、伝送ストリーム又はプログラムストリームで送信される。
デコードタイムスタンプ(Decode Time Stamp;DTS)は、アクセスユニットが受信機バッファから瞬間的に除去されてデコードされる時間を示す。これは、ピクチャレンダリングがBピクチャに用いられる場合にのみプレゼンテーションタイムスタンプ(PTS)と異なる。DTSが用いられると、PTSはビットストリームで提供されてもよい。
前述した内容は、一つの網を介して伝送されるストリームが別個のタイムラインを使用する場合にも同様の適用が可能である。例えば、前述した方法を用いると、複数の異種網を介して伝送されるストリームを集めて視聴者に提供する中継サービス事業者は、別個のストリームに対する同期化のための再処理を直接行う必要がない。
図68は、本発明の一実施例に係るタイムラインコンポーネントAUのシンタクス(Syntax)を示す図である。
タイムラインコンポーネントAUは、XMLなどの他の形態のフォーマットで表現されてもよい。
タイムラインコンポーネントAUは、識別子情報、バージョン情報、AU_length情報、location_flag情報、PTS_flag情報、DTS_flag情報、media_time_flag情報、NTP_time_flag情報、PTP_time_flag情報、timecode_flag情報、PCR_time_flag情報、location_length情報、位置情報、タイムスケール情報、media_time_PTS情報、media_time_DTS情報、NTP_time_PTS情報、NTP_time_DTS情報、PTP_time_PTS情報、PTP_time_DTS情報、timecode_PTS情報、timecode_DTS情報、PCR_time_PTS情報、及び/又はPCR_time_DTS情報を含むことができる。
識別子情報は、タイムラインコンポーネントAUの構造を固有に示す識別子である。
バージョン情報は、下位PTS、DTSなどのタイムスタンプフィールドの長さを示すことができる。例えば、バージョン情報の値が1であれば、64ビット、0であれば、32ビットの長さを有することができる。
AU_length情報は、タイムラインコンポーネントAUの長さを示す。
location_flag情報は、タイムラインコンポーネントAUが外部網を介して伝送されるストリームの位置情報を含んでいるか否かを示す。
PTS_flag情報は、タイムラインコンポーネントAUがPTS値を含んでいるか否かを示す。
DTS_flag情報は、タイムラインコンポーネントAUがDTS値を含んでいるか否かを示す。
media_time_flag情報は、メディアタイム(media time)形式のタイムスタンプを含んでいるか否かを示す。
NTP_time_flag情報は、NTP形式のタイムスタンプを含んでいるか否かを示す。
PTP_time_flag情報は、PTP形式のタイムスタンプを含んでいるか否かを示す。
timecode_flag情報は、SMPTEタイムコード(timecode)形式のタイムスタンプを含んでいるか否かを示す。
PCR_time_flag情報は、MPEG−2 TSのPCRベースのタイムスタンプを含んでいるか否かを示す。
location_length情報は、位置フィールドの長さを示す。
位置情報は、異種網で伝送されるストリームのURL又は固有IDを示す。位置情報が固有IDを示す場合、シグナリングデータなどの情報と連動して用いられてもよい。
タイムスケール情報は、メティアタイムスケール(media timescale)を示す。タイムスケール情報は、他の情報が示す時間の単位を識別する情報である。
media_time_PTS情報は、メディアタイム形式で表現されたPTSを示す。
media_time_DTS情報は、メディアタイム形式で表現されたDTSを示す。
NTP_time_PTS情報は、NPT形式で表現されたPTSを示す。
NTP_time_DTS情報は、NPT形式で表現されたDTSを示す。
PTP_time_PTS情報は、PTP形式で表現されたPTSを示す。
PTP_time_DTS情報は、PTP形式で表現されたDTSを示す。
PTP_time_PTS又はPTP_time_DTS情報は、32ビット、64ビット又は80ビットのいずれかのサイズを有することができる。
timecode_PTS情報は、SMPTEタイムコード形式で表現されたPTSを示す。
timecode_DTS情報は、SMPTEタイムコード形式で表現されたDTSを示す。
PCR_time_PTS情報は、PCR形式で表現されたPTSを示す。
PCR_time_DTS情報は、PCR形式で表現されたDTSを示す。
本発明の一実施例によれば、受信機は、位置情報によって識別される外部網のストリームに、タイムラインコンポーネントAUに含まれる一つ以上のタイムスタンプ情報を適用して、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期を取ることができる。
図69は、本発明の他の実施例に係る、タイムラインコンポーネントAUのシンタクス(Syntax)を示す図である。
タイムラインコンポーネントAUは、XMLなどの他の形態のフォーマットで表現されてもよい。
タイムラインコンポーネントAUは、識別子情報、バージョン情報、AU_length情報、location_flag情報、PTS_flag情報、DTS_flag情報、timestamp_version_flag情報、timestamp_type情報、location_length情報、位置情報、タイムスケール情報、media_time_PTS情報、media_time_DTS情報、timestamp_type_PTS情報、及び/又はtimestamp_to_DTS情報(又は、timestamp_type_DTS情報)を含むことができる。
前述したタイムラインコンポーネントAUのシンタクス(Syntax)に含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代える。
timestamp_version_flag情報は、マップしようとするタイムラインのタイムスタンプ形式を示す。例えば、timestamp_version_flag情報の値が0である場合には、32ビット形式を用いることを示し、1である場合には、将来64ビット形式を用いることを示すことができる。
timestamp_type情報は、マップしようとするタイムラインのタイムスタンプのタイプを示す。例えば、timestamp_type情報の値が、0x00の場合、メディアタイムであることを示し、0x01の場合、NTP(Network Time Protocol)であることを示し、0x02の場合、PTPであることを示し、0x03の場合、タイムコードであることを示し、0x04−0x1Fの場合には、将来に定義することができ、そのために予約されてもよい。
タイムスケール情報は、マップしようとするタイムラインのメディアタイムを表現するタイムスケールを示すことができる。例えば、MPEG−2 TSの場合、タイムスケールは90K値を有することができる。
media_time_PTS情報は、マップしようとするタイムラインのプレゼンテーションタイムスタンプ、すなわち、再生する時点に対するメディアタイムを示すことができる。media_time_PTS情報は、timestamp_version_flagの値が0である場合、32ビット形式で示し、当該値が1である場合、64ビットで示すことができる。
media_time_DTS情報は、マップしようとするタイムラインのデコーディングタイムスタンプ、すなわち、デコードする時点に対するメディアタイムを示すことができる。media_time_DTS情報は、timestamp_version_flagの値が0である場合には、32ビットの形式で示し、当該値が1である場合には、64ビットで示すことができる。
timestamp_type_PTS情報は、マップしようとするタイムラインのタイムスタンプタイプによるプレゼンテーションタイムスタンプ、すなわち、再生する時点を示すことができる。timestamp_type_PTS情報は、timestamp_version_flagの値が0である場合、32ビットの形式で示し、当該値が1である場合、64ビットで示すことができる。例えば、timestamp_typeフィールドの値がNTP(Network Time Protocol)を示す場合、timestamp_type_PTSフィールド値は、NTPベース再生時点に対するタイムスタンプ値を有することができる。
timestamp_type_DTS情報は、マップしようとするタイムラインのタイムスタンプタイプによるデコーディングタイムスタンプ、すなわち、デコードする時点を示すことができる。timestamp_type_DTS情報は、timestamp_version_flag値が0である場合、32ビットの形式で示し、当該値が1である場合、64ビットで示すことができる。例えば、timestamp_typeフィールドの値がNTP(Network Time Protocol)を示す場合、timestamp_type_PTSフィールド値は、NTPベースデコーディング時点に対するタイムスタンプ値を有することができる。
図70は、本発明の一実施例に係る、放送網の伝送パケットのタイムスタンプがない場合に、タイムラインコンポーネントを用いて、放送網で伝送されるストリームと、異種網(例えばインターネット網)で伝送されるストリームとの同期を取る方法を示す図である。
前述したタイムラインコンポーネントを用いる、異種網を介して伝送される伝送ストリーム間のタイムライン共有を通じた同期化方法において、タイムライン共有は、放送網の伝送ストリームのパケットヘッダーのタイムスタンプと、パケットペイロードのタイムラインコンポーネントAUに含まれるインターネット網の伝送ストリームのタイムスタンプとを一対一マップすることによって行うことができる。
しかしながら、放送網伝送パケットのヘッダーにタイムスタンプ関連情報が存在しない場合がありうる。
同図のように、伝送パケットのヘッダーにタイムスタンプと関連した情報が存在しない場合、タイムラインにおける根源(origin)タイムスタンプに関する追加情報が必要である。放送網とインターネット網とのタイムライン共有は、根源タイムスタンプと前述したインターネット網伝送ストリームのタイムスタンプとを一対一マップすることによって達成することができる。
根源(origin)タイムスタンプと異種網(例えば、インターネット網)の伝送ストリームのタイムスタンプ関連情報は、タイムラインコンポーネントAUに含めることができる。
根源タイムスタンプは、基準となるタイムライン上のタイムスタンプと定義することができる。例えば、前述した実施例で、放送網で伝送されるストリームに対するタイムスタンプを根源タイムスタンプと定義することができる。
根源タイムスタンプは、内部網(例えば、放送網)で伝送されるストリームのタイムラインを構成するためのタイムラインリファレンス値を意味することもできる。
図71は、本発明の他の実施例に係るタイムラインコンポーネントAUのシンタクス(Syntax)を示す図である。
本発明の他の実施例に係るタイムラインコンポーネントAUのシンタクス(Syntax)は、前述したタイムラインコンポーネントAUのシンタクスに、根源タイムスタンプに関連した情報をさらに含むことができる。
タイムラインコンポーネントAUは、識別子情報、バージョン情報、AU_length情報、location_flag情報、origin_PTS_flag情報、origin_DTS_flag情報、origin_PTS情報、origin_DTS情報、location_length情報、PTS_flag情報、DTS_flag情報、media_time_flag情報、NTP_time_flag情報、PTP_time_flag情報、timecode_flag情報、PCR_time_flag情報、location_URL_length情報、location_URL情報、タイムスケール情報、media_time_PTS情報、media_time_DTS情報、NTP_time_PTS情報、NTP_time_DTS情報、PTP_time_PTS情報、PTP_time_DTS情報、timecode_PTS情報、timecode_DTS情報、PCR_time_PTS情報、及び/又はPCR_time_DTS情報を含むことができる。
前述したタイムラインコンポーネントAUのシンタクスに含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代える。
origin_PTS_flag情報は、タイムラインコンポーネントAUがorigin_PTS値を含んでいるか否かを示す。
origin_DTS_flag情報は、タイムラインコンポーネントAUが根源DTS値を含んでいるか否かを示す。
origin_PTS情報は、タイムラインマッピングの基準となるベースタイムライン上で現在パケットのPTSを示す。
origin_DTS情報は、タイムラインマッピングの基準となるベースタイムライン上で現在パケットのDTSを示す。
location_URL_length情報は、location_URL情報の長さを示す。
location_URL情報は、異種網を介して伝送されるストリームのURLを示すか、又は、異種網を介して伝送されるストリームを固有に識別する識別子を示すことができる。
受信機は、放送網の伝送ストリームのパケットペイロードからタイムラインコンポーネントAUを取得し、タイムラインコンポーネントAUでorigin_PTS情報及び/又はorigin_DTS情報をパーシングし、それらの情報に基づいて、放送網の伝送ストリームに対するタイムスタンプ情報を得ることができる。受信機は、origin_PTS情報及び/又はorigin_DTS情報を通じて取得した放送網の伝送ストリームのタイムスタンプとタイムラインコンポーネントAUに含まれる異種網に対するタイムスタンプ関連情報を用いて、放送網の伝送ストリームと異種網の伝送ストリームとの同期を取ることができる。
図72は、本発明の他の実施例に係るタイムラインコンポーネントAUのシンタクスを示す図である。
同図では、タイムラインコンポーネントAUは、放送網或いはインターネット網で伝送されるメディアストリームに関連した追加のメタデータを含むことができる。このようなメタデータのうち、メディアストリーム及び関連タイムラインに対するメタデータを含むタイムラインコンポーネントAUを示している。
タイムラインコンポーネントAUは、XMLなどの他の形態のフォーマットで表現されてもよい。
タイムラインコンポーネントAUは、識別子情報、AU_length情報、location_flag情報、origin_timestamp_flag情報、timestamp_version情報、timestamp_type情報、timestamp_format情報、location_length情報、位置情報、origin_timestamp_version情報、origin_timestamp_type情報、origin_timestamp_format情報、origin_location_flag情報、origin_location_length情報、origin_location情報、origin_timescale情報、origin_media_time情報、origin_timestamp情報、private_data_length情報、private_data_bytes()情報、タイムスケール情報、media_time情報、タイムスタンプ情報、及び/又はdata_bytes()情報を含むことができる。
前述したタイムラインコンポーネントAUのシンタクスに含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代える。
識別子情報は、タイムラインに関連したメタデータであることを示す識別子、或いはタイムラインコンポーネントアクセスユニット(AU)構造を含んでいることを示す識別子であってもよい。
AU_length情報は、タイムラインコンポーネントAUが含む情報の長さを示すことができる。
location_flag情報は、タイムラインコンポーネントAUが含む情報に関連したサービス及びコンテンツコンポーネントなどに対する位置情報を含んでいるか否かを示すことができる。
origin_timestamp_flag情報は、根源タイムスタンプに関連した情報を含むか否かを示すことができる。
timestamp_version情報は、タイムラインコンポーネントAUが含むタイムスタンプのバージョン情報を示すことができる。
timestamp_type情報は、タイムラインコンポーネントAUが含むタイムスタンプのタイプを示すことができる。例えば、timestamp_type情報の値が0x00である場合、関連したサービス/コンテンツコンポーネントのアクセスユニットなどのデータ(例えば、オーディオアクセスユニット)のデコーディング時点を示すデコーディングタイムスタンプ(DTS)を示すことができ、timestamp_type情報の値が0x01である場合、関連したサービス/コンテンツコンポーネントなどのアクセスユニットなどのデータ(例えば、オーディオアクセスユニット)の再生時点を示すプレゼンテーションタイムスタンプ(PTS)を示すことができる。
timestamp_format情報は、タイムラインコンポーネントAUが含むタイムスタンプのフォーマットを示すことができる。例えば、timestamp_format情報の値が0x00であれば、メディアタイムであることを示し、0x01の場合、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、timecodeであることを示すことができ、将来の拡張のために0x04−0x0Fの値を予約することができる。
location_length情報は、位置フィールドに対する長さを示すことができる。
位置情報は、タイムラインコンポーネントAUが含む情報に関連したサービス及びコンテンツコンポーネントなどに対する位置情報を示すことができる。位置情報は、IPアドレス/ポートナンバー、或いはURIなどの形態で示すことができる。
origin_timestamp_version情報は、タイムラインマッピングの基準となり得るベースタイムラインに対するタイムスタンプフォーマットのバージョンを示すことができる。当該フィールド値が0である場合、32ビットフォーマットの形式を用いていることを示し、1である場合には、64ビットフォーマットの形式を用いていることを示すことができる。例えば、ビデオストリームが放送網を介して伝達され、オーディオストリームがインターネット網を介して伝送される場合、ビデオストリームにオーディオストリームのタイムラインマップする時に基準となるベースタイムラインは、放送網で伝達されるビデオストリームのタイムスタンプとすることができる。この場合、origin_timestamp_versionは、放送網で伝送されるビデオストリームに対するタイムスタンプ形式を示すことができる。
origin_timestamp_type情報は、タイムラインマッピングの基準となり得るベースタイムラインに対するタイムスタンプのタイプを示すことができる。例えば、origin_timestamp_type情報の値が0x00である場合、ベースタイムラインに関連したサービス/コンテンツコンポーネントなどのアクセスユニットなどのデータ(例えば、オーディオアクセスユニット)のデコーディング時点を示すデコーディングタイムスタンプ(DTS)を示すことができ、origin_timestamp_type情報の値が0x01である場合、ベースタイムラインに関連したサービス/コンテンツコンポーネントなどのアクセスユニットなどのデータ(例えば、オーディオアクセスユニット)の再生時点を示すプレゼンテーションタイムスタンプ(PTS)を示すことができる。
origin_timestamp_format情報は、タイムラインマッピングの基準となり得るベースタイムラインに対するタイムスタンプのフォーマットを示すことができる。例えば、origin_timestamp_format情報の値が0x00であれば、メディアタイムであることを示し、0x01であれば、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、timecodeであることを示すことができ、0x04−0x0Fの値は、将来の拡張のために予約されてもよい。
origin_location_flag情報は、タイムラインマッピングの基準となり得るベースタイムラインに関連したサービス及びコンテンツコンポーネントなどに対する位置情報を含んでいるか否かを示すことができる。
origin_location_length情報は、origin_locationフィールドに対する長さを示すことができる。
origin_location情報は、タイムラインマッピングの基準となり得るベースタイムラインに関連したサービス及びコンテンツコンポーネントなどに対する位置情報を示すことができる。origin_location情報は、IPアドレス/ポートナンバー、或いはURIなどの形態で示すことができる。
origin_timescale情報は、タイムラインマッピングの基準となるベースタイムラインのメディアタイムの表現時に使用できるタイムスケール(time scale)を示すことができる。例えば、MPEG−2 TSの場合、タイムスケールは90K値を有することができる。
origin_media_time情報は、タイムラインマッピングの基準となるベースタイムライン上でメディアタイムを示すことができる。origin_timestamp_typeによって該当のメディアタイムの意味する内容が異なってもよい。例えば、origin_timestamp_typeがPTSである場合、origin_media_time情報は、再生時点に対するメディアタイムを示すことができ、origin_timestamp_typeがDTSである場合、origin_media_time情報は、デコーディング時点に対するメディアタイムを示すことができる。origin_media_time情報は、origin_timestamp_version値が0である場合、32ビットで示すことができ、当該フィールド値が1である場合、64ビットで示すことができる。
origin_timestamp情報は、タイムラインマッピングの基準となるベースタイムライン上でorigin_timestamp_formatのフィールド値によって別々のフォーマットのタイムスタンプを示すことができ、origin_timestamp_typeによって、origin_timestamp情報に該当するタイムスタンプの意味が異なってもよい。例えば、origin_timestamp_typeがDTSを示し、origin_timestamp_formatの値が‘0x01’である場合、origin_timestamp情報の該当のタイムスタンプは、NTPで表現されたデコーディング時点を示すことができる。origin_timestamp情報は、origin_timestamp_version値が0である場合、32ビットで示し、当該フィールド値が1である場合、64ビットで示すことができる。
private_data_length情報は、後続するprivate_data_bytesのバイト単位の長さを示すことができる。
private_data_bytes()情報は、private_data_length長さだけ私的に(privately)定義したり、将来に拡張内容を含み得る領域を示す。
タイムスケール情報は、メディアタイム表現時に使用できるタイムスケールを示すことができる。
media_time情報は、メディアタイムを示すことができる。timestamp_typeによって、media_time情報に該当するメディアタイムの意味する内容が異なってもよい。例えば、timestamp_typeがPTSである場合、media_time情報は、再生時点に対するメディアタイムを示すことができる。media_time情報は、timestamp_version値が0である場合、32ビットで示し、当該フィールド値が1である場合、64ビットで示すことができる。
タイムスタンプ情報は、timestamp_formatのフィールド値によって別々のフォーマットのタイムスタンプを示すことができ、timestamp_typeによって、タイムスタンプ情報に該当するタイムスタンプの意味が異なってもよい。例えば、timestamp_typeがDTSを示し、timestamp_formatの値が‘0x01’である場合、タイムスタンプ情報に該当するタイムスタンプは、NTPで表現されたデコーディング時点を示すことができる。タイムスタンプ情報は、timestamp_version値が0である場合、32ビットで示し、当該フィールド値が1である場合、64ビットで示すことができる。
data_bytes()情報は、将来に拡張内容を含むフィールド又は領域を示す。
図73は、本発明の他の実施例に係る、タイムラインリファレンスシグナリング情報を用いて、放送網を介して伝送されるストリームと異種網を介して伝送されるストリーム間の同期を取る方法を示す図である。
前述したように、放送網でビデオストリームが伝送され、インターネット網でオーディオストリームが伝送される場合、両ストリームは一つのサービスのために同期化し、復号及び/又は再生されなければならない。しかし、両ストリームは別個のタイムラインを有するので、両タイムライン間のマッピング(mapping)が可能なメカニズムが必要である。
本発明の他の実施例は、タイムラインリファレンスシグナリング情報を用いて、放送網とインターネット網などの異種網で伝送される少なくとも一つのストリームを同期化することができる。すなわち、前述した放送システムの受信機が、放送網とインターネット網などの異種網で伝送されるストリームを一つのサービスのために同期化して用いることができる。
本発明の他の実施例に係る送信機は、タイムラインリファレンスシグナリング情報を用いて、放送網で伝送されるストリームと異種網で伝送されるストリームを同期化させ得る情報を伝送することができる。そのために、本発明の他の実施例に係る送信機は、シグナリングエンコーダ(signaling encoder)(図示せず)、放送網インターフェース(broadcast network interface)(図示せず)、及び/又は異種網インターフェース(heterogeneity network interface)(図示せず)を含むことができる。
シグナリングエンコーダは、少なくとも一つの網を介して伝送されるストリームを同期化するためのメタデータを含むタイムラインリファレンスシグナリング情報をエンコードする。
シグナリングエンコーダは、放送コンテンツの第1部分(例えば、ビデオ情報)及びタイムラインリファレンスシグナリング情報を含む放送ストリーム(broadcast stream)をエンコードする第1エンコーダ、及び放送コンテンツの第2部分(例えば、オーディオ情報)を含む異種ストリーム(heterogeneity stream)をエンコードする第2エンコーダを含むことができる。
タイムラインリファレンスシグナリング情報は、放送ストリーム及び異種ストリームのうち少なくとも一つのタイムライン(timeline)を構成する(constituting)少なくとも一つのタイムラインリファレンス情報を含むことができる。
放送網インターフェースは、エンコードされた放送ストリームを放送網で伝送することができる。
異種網インターフェースは、エンコードされた異種ストリームを異種網で伝送することができる。
また、本発明の他の実施例に係る受信機は、タイムラインリファレンスシグナリング情報を用いて、放送網で伝送されるストリームと異種網で伝送されるストリームとを同期化させることができる。そのために、本発明の他の実施例に係る受信機は、放送網インターフェース(broadcast network interface)(図示せず)、異種網インターフェース(heterogeneity network interface)(図示せず)、及び/又はプロセッサ(processor)(図示せず)を含むことができる。
放送網インターフェースは、放送コンテンツの第1部分(例えば、ビデオ情報)を含む放送ストリームを放送網で受信することができる。放送網インターフェースは、前述したブロードキャストインターフェースJ2030及び/又は伝送パケットインターフェース(Transport Packet Interface)J32070を含むことができる。
異種網インターフェースは、放送コンテンツの第2部分(例えば、オーディオ情報)を含む異種ストリームを異種網で受信することができる。異種網インターフェースは、前述したインターネットインターフェースJ2020及び/又はブロードバンドパケットインターフェース(Broadband Packet Interface)J32080を含むことができる。
放送ストリームは、少なくとも一つの網(network)で伝送されるストリームを同期化するためのメタデータを含むタイムラインリファレンスシグナリング情報を含むことができる。タイムラインリファレンスシグナリング情報は、放送ストリーム及び異種ストリームのうち少なくとも一つのタイムラインを構成する少なくとも一つのタイムラインリファレンス情報を含むことができる。
プロセッサは、タイムラインリファレンスシグナリング情報に基づいて、放送ストリーム及び異種ストリームを用いて放送コンテンツを形成(configuring)することができる。プロセッサは、前述したプロセッサJ2080及び/又はA/VプロセッサJ32110を含むことができる。
本発明の他の実施例に係る放送ストリームは、パケットヘッダー及び/又はパケットペイロードを含むことができる。パケットヘッダーは、放送ストリームのためのタイムスタンプを含むことができる。パケットペイロードは、タイムラインリファレンスシグナリング情報を含むことができる。ただし、これに限定されず、タイムラインリファレンスシグナリング情報はパケットヘッダーにも含まれてもよい。
タイムラインリファレンスシグナリング情報がパケットペイロードに含まれて伝送される場合、タイムラインリファレンスシグナリング情報は、タイムラインリファレンス情報AU(access unit)に含まれてもよい。タイムラインコンポーネントAUは、タイムラインリファレンス情報AUを含むことができる。ただし、これに限定されず、タイムラインリファレンス情報AUは、タイムラインコンポーネントAUと独立して存在してもよい。
タイムラインリファレンスシグナリング情報がパケットヘッダーに含まれて伝送される場合、タイムラインリファレンスシグナリング情報は、拡張されたヘッダー拡張に含まれてもよい。
放送網で伝送されるタイムラインコンポーネントAU及び/又はタイムラインリファレンス情報AUは、内部網である放送網で伝送されるストリームのタイムラインを構成する内部タイムラインリファレンス情報、及び/又は外部網である異種網(例えば、インターネット網)で伝送されるストリームのタイムラインを内部網とマップさせ得る外部タイムラインリファレンス情報を含むことができる。
前述したタイムスタンプは、DTS及び/又はPTSのように、デコーディングを始める時間及び/又はプレゼンテーションを始める時間を意味する。したがって、前述したタイムスタンプは、デコーディングタイム及びプレゼンテーションタイムのように特定のイベントが起きる時点だけを示す。
ただし、本発明の他の実施例に係るタイムラインリファレンス情報は、内部網及び/又は外部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。このとき、リファレンスクロック値は、メディアストリームのタイムラインを構成する時点を示す時刻情報を意味する。ここで、タイムラインを構成する時点は、放送システム内であらかじめ定められた時点に該当してもよい。例えば、リファレンスクロック値は、DTS、PTSなどのタイムスタンプ(timestamp)情報及び/又はウォールクロック(wall clock)などを含むことができる。ただし、リファレンスクロック値は必ずしもDTS及び/又はPTSに限定されない。
また、タイムラインリファレンス情報AUは、放送網伝送ストリームと同じパケット構造でパケット化されてもよい。
本発明の他の実施例によれば、受信機は、タイムラインリファレンス情報AUに基づいて、放送網と異種網(例えば、インターネット網)で伝送される両ストリームを一つのタイムラインで同期化して復号化及び/又は再生することができる。例えば、受信機及び/又はプロセッサは、タイムスタンプ及び/又はタイムラインリファレンスシグナリング情報に基づいて、放送ストリームと異種ストリームを用いて放送コンテンツを構成することができる。受信機及び/又はプロセッサは、内部タイムラインリファレンス情報と外部タイムラインリファレンス情報に基づいて、放送網で伝送されるストリームと異種網で伝送されるストリームをマップすることができる。外部タイムラインリファレンス情報がDTS及び/又はPTSなどのタイムスタンプ情報を含む場合には、受信機及び/又はプロセッサは、外部タイムラインリファレンス情報と内部網で伝送されるメディアストリームのタイムラインを構成するタイムスタンプ情報に基づいて、放送網で伝送されるストリームと異種網で伝送されるストリームをマップすることができる。
前述した内容は、一つの網で伝送されるストリームが別個のタイムラインを使用する場合にも同様に適用することができる。例えば、異種ストリームが放送ストリームに該当する場合、異種ストリームのタイムラインは放送ストリームのタイムラインと異なってもよい。
前述した方法によれば、複数の異種網で伝送されるストリームを集めて視聴者に提供する中継サービスプロバイダは、別個のストリームを同期化するための再処理を直接行う必要がない。
図74は、本発明の他の実施例に係る、タイムラインリファレンス情報AUのシンタクス(Syntax)を示す図である。
タイムラインリファレンス情報AUは、XMLなどの他の形態のフォーマットで表現されてもよい。タイムラインリファレンス情報AUは、RPT、ALC/LCTなどの様々なメディア伝送プロトコルに適用することができ、プロトコルに適したサービスシグナリング情報と連動して用いることができる。
サービスシグナリング情報は、当該ストリームが内部網又は外部網のタイムラインリファレンスを伝送していることを示す情報、タイムラインリファレンス情報AUに含まれる外部メディアURL情報、各種のフィールドを含むか否かを示すフラグ情報、及び/又はタイムスケール情報など、各パケットに共通して適用可能な情報を含むことができる。
具体的には、タイムラインリファレンス情報AUは、AU_identifier情報、AU_length情報、external_media_URL_flag情報、internal_timeline_reference_flag情報、external_timeline_reference_flag情報、external_media_URL_length情報、external_media_URL情報、internal_timeline_reference_format情報、internal_timeline_reference_timescale_flag情報、internal_timeline_reference_length情報、internal_timeline_reference_timescale情報、internal_timeline_reference情報、external_timeline_reference_format情報、external_timeline_reference_timescale_flag情報、external_timeline_reference_length情報、external_timeline_reference_timescale情報、及び/又はexternal_timeline_reference情報を含むことができる。タイムラインリファレンス情報AUが含む情報を、タイムラインリファレンスシグナリング情報と呼ぶことができる。
前述したタイムラインコンポーネントAUのシンタクス(Syntax)に含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代えるものとする。
AU_identifier情報は、タイムラインリファレンス情報AUの構造を固有に示す識別子である。
AU_length情報は、タイムラインリファレンス情報AUの長さを示す。
external_media_URL_flag情報は、タイムラインリファレンス情報AUが外部網(例えば、インターネット網)で伝送されるストリームのURL情報を含んでいるか否かを示す。
internal_timeline_reference_flag情報は、タイムラインリファレンス情報AUが内部タイムラインリファレンス情報を含んでいるか否かを示す。
external_timeline_reference_flag情報は、タイムラインリファレンス情報AUが外部タイムラインリファレンス情報を含んでいるか否かを示す。
external_media_URL_length情報は、外部メディアURL情報の長さを示す。例えば、external_media_URL_length情報は、外部メディアURL情報の長さをバイト単位で示すことができる。
external_media_URL情報は、外部網(例えば、インターネット網)で伝送されるメディアの位置情報、及び/又は固有識別子(識別情報)などの情報を含むことができる。例えば、外部網で伝送されるメディアがMPEG−DASHである場合、当該MPDのURL、及び/又はMPD idなどの情報を含むことができる。
internal_timeline_reference_format情報は、内部タイムラインリファレンスのフォーマットを示すことができる。例えば、internal_timeline_reference_format情報の値が0x00であれば、メディアタイムであることを示し、0x01であれば、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、タイムコードであることを示し、0x04−0x1Fであれば、将来に定義すればよく、そのために予約されてもよい。
internal_timeline_reference_timescale_flag情報は、タイムラインリファレンス情報AUが内部タイムラインリファレンスに対するタイムスケールを含んでいるか否かを示す。
internal_timeline_reference_length情報は、内部タイムラインリファレンス値の長さを示す。例えば、internal_timeline_reference_length情報は、内部タイムラインリファレンス値の長さをバイト単位(bytes)で示すことができる。
internal_timeline_reference_timescale情報は、内部タイムラインリファレンス情報の時間単位を示す。例えば、internal_timeline_reference_timescale情報は、内部タイムラインリファレンス値の時間単位をヘルツ(Hz)単位で示すことができる。
internal_timeline_reference情報は、内部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。
external_timeline_reference_format情報は、外部タイムラインリファレンスのフォーマットを示すことができる。例えば、external_timeline_reference_format情報の値が、0x00であれば、メディアタイムであることを示し、0x01であれば、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、タイムコードであることを示し、0x04−0x1Fであれば、将来に定義すればよく、そのために予約されてもよい。
external_timeline_reference_timescale_flag情報は、タイムラインリファレンス情報AUが外部タイムラインリファレンスに対するタイムスケールを含んでいるか否かを示す。
external_timeline_reference_length情報は、外部タイムラインリファレンス値の長さを示す。例えば、external_timeline_reference_length情報は、外部タイムラインリファレンス値の長さをバイト単位(bytes)で示すことができる。
external_timeline_reference_timescale情報は、外部タイムラインリファレンス情報の時間単位を示す。例えば、external_timeline_reference_timescale情報は、外部タイムラインリファレンス値の時間単位をヘルツ(Hz)単位で示すことができる。
external_timeline_reference情報は、外部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。
本発明の他の実施例によれば、受信機及び/又はプロセッサは、external_media_URL情報によって識別される外部網のストリームに、タイムラインコンポーネントAU及び/又はタイムラインリファレンス情報AUに含まれるinternal_timeline_reference情報及び/又はexternal_timeline_reference情報を適用し、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期化を取ることができる。また、受信機及び/又はプロセッサは、外部メディアURL情報、タイムラインリファレンス情報、及び/又はタイムスタンプに基づいて、放送ストリームと異種ストリームを用いて放送コンテンツを構成することができる。
図75は、本発明の他の実施例に係る、タイムラインリファレンス情報AUのシンタクス(Syntax)を示す図である。
本発明の他の実施例に係るタイムラインリファレンス情報AUは、少なくとも一つの(又は複数の)internal_timeline_reference情報を含むことができる。また、本発明の他の実施例に係るタイムラインリファレンス情報AUは、少なくとも一つの(又は複数の)external_timeline_reference情報を含むことができる。
具体的には、タイムラインリファレンス情報AUは、AU_identifier情報、AU_length情報、external_media_location_flag情報、nb_of_timeline_reference情報、external_media_URL_length情報、external_media_URL情報、timeline_reference_type情報、timeline_reference_identifier情報、timeline_reference_format情報、timeline_reference_timescale_flag情報、timeline_reference_length情報、timeline_reference_timescale情報、及び/又はtimeline_reference情報を含むことができる。タイムラインリファレンス情報AUが含む情報をタイムラインリファレンスシグナリング情報と呼ぶことができる。
前述したタイムラインリファレンス情報AUのシンタクス(Syntax)に含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代えるものとする。
AU_identifier情報は、タイムラインリファレンス情報AUの構造を固有に示す識別子である。
AU_length情報は、タイムラインリファレンス情報AUの長さを示す。
external_media_URL_flag情報は、タイムラインリファレンス情報AUが外部網(例えば、インターネット網)で伝送されるストリームのURL情報を含んでいるか否かを示す。
nb_of_timeline_reference情報は、タイムラインリファレンス情報AUに含まれたタイムラインリファレンス情報の個数を示す。
external_media_URL_length情報は、外部メディアURL情報の長さを示す。例えば、external_media_URL_length情報は、外部メディアURL情報の長さをバイト単位で示すことができる。
external_media_URL情報は、外部網(例えば、インターネット網)で伝送されるメディアの位置情報、及び/又は固有識別子などの情報を含むことができる。例えば、外部網で伝送されるメディアがMPEG−DASHである場合、当該MPDのURL、及び/又はMPD idなどの情報を含むことができる。
timeline_reference_type情報は、タイムラインリファレンス情報のタイプを示す。例えば、timeline_reference_type情報が‘0’であれば、タイムラインリファレンス情報のタイプは内部タイムラインリファレンス情報を示すことができる。また、timeline_reference_type情報が‘1’であれば、タイムラインリファレンス情報のタイプは外部タイムラインリファレンス情報を示すことができる。
timeline_reference_identifier情報は、タイムラインリファレンス情報の固有識別子である。例えば、timeline_reference_identifier情報は0〜127の整数値で割り当てられてもよい。
timeline_reference_format情報は、内部タイムラインリファレンス情報のフォーマット及び/又は外部タイムラインリファレンス情報のフォーマットを示すことができる。例えば、timeline_reference_format情報の値が0x00である場合、フォーマットは、メディアタイムであることを示し、0x01である場合、フォーマットはNTP(Network Time Protocol)であることを示し、0x02である場合、フォーマットはPTPであることを示し、0x03である場合、フォーマットはタイムコードであることを示し、0x04−0x1Fである場合、フォーマットは将来に定義すればよく、そのために予約されてもよい。
timeline_reference_timescale_flag情報は、タイムラインリファレンス情報AUが内部タイムラインリファレンス情報及び/又は外部タイムラインリファレンス情報に対するタイムスケール情報を含んでいるか否かを示す。
timeline_reference_length情報は、内部タイムラインリファレンス値の長さ及び/又は外部タイムラインリファレンス値の長さを示す。例えば、timeline_reference_length情報は、内部タイムラインリファレンス値の長さ及び/又は外部タイムラインリファレンス値の長さをバイト単位(bytes)で示すことができる。
timeline_reference_timescale情報は、内部タイムラインリファレンス値の時間単位及び/又は外部タイムラインリファレンス値の時間単位を示す。例えば、timeline_reference_timescale情報は、内部タイムラインリファレンス値の時間単位及び/又は外部タイムラインリファレンス値の時間単位をヘルツ(Hz)単位で示すことができる。
timeline_reference情報は、内部網及び/又は外部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。例えば、timeline_reference情報は、nb_of_timeline_reference情報に基づいて少なくとも一つの値(又は、複数の値)を有することができる。timeline_reference情報は、前述した少なくとも一つのinternal_timeline_reference情報及び/又は少なくとも一つのexternal_timeline_reference情報を含むことができる。
本発明の他の実施例によれば、受信機は、external_media_URL情報によって識別される外部網のストリームに、タイムラインコンポーネントAU及び/又はタイムラインリファレンス情報AUに含まれる少なくとも一つのtimeline_reference情報を適用して、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期化を取ることができる。具体的に、受信機は、external_media_URL情報によって識別される外部網のストリームに、タイムラインコンポーネントAU及び/又はタイムラインリファレンス情報AUに含まれる少なくとも一つの(又は複数の)internal_timeline_reference情報及び/又は少なくとも一つの(又は複数の)external_timeline_reference情報を適用して、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期化を取ることができる。
図76は、本発明の他の実施例に係る、タイムラインリファレンス情報伝送を支援するLCTパケットの構造を示す図である。
本発明の他の実施例に係る放送ストリームは、LCTパケットを含むことができる。本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、拡張されたヘッダー拡張に含まれて伝送されてもよい。例えば、本発明の他の実施例に係るLCTパケットは、既存のヘッダー拡張(EXT_TIME)を拡張してタイムラインリファレンスシグナリング情報をさらに含むことができる。本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、異種網で伝送されるそれぞれのメディアストリームの同期化のための情報である。本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、前述したタイムラインリファレンス情報AUと同一及び/又は類似の情報を含むことができる。前述したタイムラインリファレンスシグナリング情報は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用されてもよい。
本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、前述したプロトコルに適合したサービスシグナリング情報と連動して動作することができる。サービスシグナリング情報は、当該ストリームが内部網及び/又は外部網のタイムラインリファレンスを伝送していることを示す情報、タイムラインリファレンス情報AUに含まれる外部メディアURL情報、フラグ情報、及び/又はタイムスケール情報などを含めて、各パケットに共通して適用可能な情報を含むことができる。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフラグフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、FECペイロードIDフィールド、及び/又はエンコーディングシンボルフィールドを含むことができる。
LCTバージョン番号フィールド(V)は、プロトコルバージョン番号を示す。例えば、このフィールドは、LCTバージョン番号を示す。LCTヘッダーのバージョン番号フィールドは、ROUTEバージョン番号フィールドとして解釈できる。ROUTEのこのバージョンは、LCT形成ブロックのバージョン“1”を暗示的に用いる。例えば、バージョン番号は“0001b”である。
混雑制御フラグフィールド(C)は、混雑制御情報フィールドの長さを示す。C=0は、混雑制御情報(CCI)フィールドが32ビットの長さを有することを示し、C=1は、CCIフィールドが64ビットの長さを有することを示し、C=2は、CCIフィールドが96ビットの長さを有することを示し、C=3は、CCIフィールドが128ビットの長さを有することを示す。
プロトコル特定指示フィールド(PSI)は、LCT上位プロトコルにおいて特定目的の指示子として用いられてもよい。PSIフィールドは、現在パケットがソースパケットであるか又はFECリペアパケットであるかを示す。ROUTEソースプロトコルが単にソースパケットだけを伝達するので、このフィールドは“10b”に設定されるはずである。伝送セッション識別子フラグフィールド(S)は、伝送セッション識別子フィールドの長さを示す。
伝送オブジェクト識別子フラグフィールド(O)は、伝送オブジェクト識別子フィールドの長さを示す。例えば、オブジェクトは一つのファイルを意味することができ、上記TOIは、各オブジェクトの識別情報であって、TOIが0であるファイルは、FDTという。
ハーフワードフラグフィールド(H)は、TSI及びTOIフィールドの長さにハーフワード(16ビット)を追加するか否かを示す。
予約フィールド(Res)は、将来の使用のために予約される。
クローズセッションフラグフィールド(A)は、セッションが終了したこと又は終了が差し迫っていることことを示す。
クローズオブジェクトフラグフィールド(B)は、伝送中であるオブジェクトが終了したこと又は終了が差し迫っていることことを示す。
LCTヘッダー長フィールド(HDR_LEN)は、LCTヘッダーの全長を32ビットワードの単位で示す。
コードポイントフィールド(CP)は、このパケットによって送信されたペイロードのタイプを示す。ペイロードのタイプによって、追加のペイロードヘッダーが追加されてペイロードデータをプレフィックス(prefix)する。
混雑制御情報フィールド(CCI)は、層数、論理チャネル数、シーケンス数などの混雑制御情報の伝送に用いられる。LCTヘッダー内の混雑制御情報フィールドは、要求される混雑制御情報を含む。
伝送セッション識別子フィールド(TSI)は、セッションの固有識別子である。TSIは、特定伝送者からの全セッションのうち一つのセッションを固有に識別する。各TSIフィールドは、MPEG−DASHの各コンポーネント及び/又はリプレゼンテーションにマップすることができる。
このフィールドは、ROUTE内の伝送セッションを識別する。伝送セッションのコンテクストはLSID(LCT Session Instance description)によって提供される。LSIDは、ROUTEセッションの各構成LCT伝送セッションで何が伝送されるかを定義する。各伝送セッションは、LCTヘッダー内の伝送セッション識別子(TSI)によって固有に識別される。LSIDは、LCT伝送セッションを含む同一のROUTEセッションで伝送することができる。通信網、放送網、インターネット網、ケーブル網、及び/又は衛星網で伝送されてもよいが、LSIDが伝送される手段はこれらに限定されない。例えば、LSIDは、TSIの値が‘0’である特定LCT伝送セッションで伝送されてもよい。LSIDは、ROUTEセッションで伝送される全伝送セッションに対するシグナリング情報を含むことができる。LSIDは、LSIDバージョン情報及びLSIDの有効性に関する情報を含むことができる。また、LSIDは、LCT伝送セッションに関する情報を提供する伝送セッション(transport session)情報を含むことができる。伝送セッション情報は、伝送セッションを識別するTSI情報、当該TSIで伝送され、ソースデータが伝送されるソースフローに関する情報を提供するソースフロー(source flow)情報、当該TSIで伝送され、リペアデータが伝送されるリペアフローに関する情報を提供するリペアフロー(repair flow)情報、及び当該伝送セッションに関する追加の特性情報を含む伝送セッションプロパティ(transport session property)情報を含むことができる。
伝送オブジェクト識別子フィールド(TOI)は、オブジェクトの固有識別子である。TOIは、このパケットがセッション内のどのオブジェクトに属するかを示す。各TOIフィールドは、MPEG−DASHの各セグメントにマップすることができる。ただし、これに限定されず、各TOIフィールドは、チャンク、GOP、及び/又はアクセスユニットのようなMPEG−DASHの各セグメントの一部にマップされてもよい。
このフィールドは、現在のパケットのペイロードがこのセッション内のどのオブジェクトに属するかを示す。オブジェクトへのTOIフィールドのマッピングは、拡張されたFDTによって提供される。拡張されたFDTは、ファイル伝達データの細部事項を特定する。これは、拡張されたFDTインスタンスである。LCTパケットヘッダーと共に拡張されたFDTは、伝達オブジェクトに対するFDT同等記述(FDT−equivalent description)を生成するために用いられてもよい。拡張されたFDTは、リファレンスとして埋め込み(embed)又は提供されてもよい。リファレンスとして提供されると、拡張されたFDTはLSIDと独立してアップデートされてもよい。これは、参照される場合には、含まれるソースフローのTOI=0上のイン−バンド(in−band)(帯域内)オブジェクトとして伝達されるはずである。
ヘッダー拡張フィールドは、追加情報の伝送のためのLCTヘッダー拡張部分として用いられる。ヘッダー拡張は、必ずしも用いられないか、又は可変サイズを有する選択的ヘッダーフィールドを収容するためにLCTに用いられる。
例えば、EXT_TIME拡張は、タイミング情報のいくつかの類型を送信するために用いられる。これは、本文書に記述された汎用タイミング情報、すなわち、伝送者現在時間(SCT)、予想レジデュアル時間(ERT)及び伝送者最後変更(SLC)時間拡張を含む。
FECペイロードIDフィールドは、送信ブロック又はエンコーディングシンボルの識別情報を含む。FECペイロードIDは、上記ファイルがFECエンコードされた場合の識別子を示す。例えば、FECペイロードIDは、上記FLUTEプロトコルファイルがFECエンコードされた場合、放送局又は放送サーバーがこれを区分するために割り当てることができる。
エンコーディングシンボルフィールドは、送信ブロック又はエンコーディングシンボルのデータを含むことができる。
パケットペイロードは、オブジェクトから生成されたバイトを含む。1よりも多いオブジェクトがセッションで伝送されると、LCTヘッダー内の送信オブジェクトID(TOI)を、パケットペイロードデータが生成されたオブジェクトを識別するために用いなければならない。
本発明の他の実施例に係るヘッダー拡張(EXT_TIME)は、ヘッダー拡張タイプフィールド(HET)、ヘッダー拡張長さフィールド(HEL)、SCTハイフィールド、SCTローフィールド、ERTフィールド、SLCフィールド、予約フィールド、伝送者現在時間フィールド、予想レジデュアル時間フィールド、及び/又はセッション最後変更フィールドを含むことができる。また、本発明の他の実施例に係るヘッダー拡張(EXT_TIME)は使用フィールドを含み、使用フィールドは、SCTハイフィールド、SCTローフィールド、ERTフィールド、SLCフィールド、及び/又は予約フィールドを含むことができる。
ヘッダー拡張タイプフィールド(HET)は、当該ヘッダー拡張のタイプを示す。HETフィールドは8ビットの整数であってもよい。基本的に、LCTではHETが0〜127の値を有する場合、32ビットワード単位の可変長ヘッダー拡張が存在し、HETに続くヘッダー拡張長さフィールド(HEL)にその長さを記述する。HETが128〜255の値を有する場合、ヘッダー拡張は、32ビット固定長を有する。例えば、本発明の他の実施例に係るHETフィールドは、‘2’の値を有したり、又は‘127’以下の値を有することができ、前述したヘッダー拡張を識別することができる。
HELフィールドは、可変長のヘッダー拡張の全長を示す。基本的に、LCTではHETが0〜127の値を有する場合、32ビットワード単位の可変長ヘッダー拡張が存在し、HETフィールドに続くHELフィールドは、ヘッダー拡張の全長を32ビットワード単位で示す。
使用フィールド(Use)は、次の32ビット時間値のセマンティクスを示す。
SCTハイフィールドは、当該ヘッダー拡張に伝送者現在時間フィールドが含まれるか否かを示す。
SCTローフィールドは、当該ヘッダー拡張に64ビットの伝送者現在時間フィールドが含まれるか否かを示す。
ERTフィールドは、当該ヘッダー拡張に予想レジデュアル時間フィールドが含まれるか否かを示す。
SLCフィールドは、当該ヘッダー拡張にセッション最後変更フィールドが含まれるか否かを示す。
予約フィールド(Res)は、将来の使用のために予約される。
伝送者現在時間フィールドは、伝送ジャー側の現在クロックを示し、このとき、このパケットが伝送されて1msの単位で測定され、セッションの開始からモジューロ2^32単位で計算された。
SCTハイフィールドが設定されると、関連した32ビット時間値は、伝送者のウォールクロックの秒単位で時間を示す符号無し整数を提供する。NTPが用いられる特定の場合、この32ビットは、1900年1月1日00:00時GMTに対して秒単位の時間を示す符号無し整数を提供する(すなわち、全体64ビットNTP時間値の最上位32ビット)。
SCT−ローフラグが設定されると、関連した32ビット時間値は、サブセカンド(sub−second)精密度を許容するために秒の1/2^^32の倍数を示す符号無し整数を提供する。SCT−ローフラグが設定されると、SCT−ハイフラグも設定されなければならない。NTPが用いられる特定の場合、これらの32ビットは64ビットNTPタイムスタンプの最下位32ビットを提供する)。
予想レジデュアル時間フィールドは、1msの単位で測定された現在オブジェクトの送信のための又は現在セッションのための伝送者予想レジデュアル送信時間を示す。ERTフィールドを含むパケットがTOIフィールドを含むと、ERTは、TOIフィールドに対応するオブジェクトを意味し、或いは、セッションを意味する。
ERTタイミング情報を含むパケットもTOIフィールドを含むと、ERTは、TOIフィールドに対応するオブジェクトを意味し、或いは、セッション内のオブジェクトだけを意味する。ERTフラグが設定されると、秒の数で表現される。32ビットはこの秒の数を示す符号無し整数を提供する。
セッション最後変更フィールドは、セッションデータに対する最後の変更が発生したサーバーウォールクロック時間を秒単位で示す。すなわち、これは、伝達セッションに対する最後の(最も最近の)伝送オブジェクトの追加、変更又は除去が発生した時間を示す。変更及び追加の場合、この時間の前に伝送されていない新しいデータが伝送される旨を示す。除去の場合、SLCは、いくつかの以前データがそれ以上伝送されない旨を示す。SLCフィールドが設定されると、関連した32ビット時間値は、時間を秒単位で示す符号無し整数を提供する。NTPが用いられる特定の場合、これらの32ビットは、1900年1月1日00:00時GMTに対して秒単位の時間を示す符号無し整数を提供する(すなわち、全64ビットNTP時間値の最上位32ビット)。この場合、32ビット時間の循環(wrap around)のハンドリングは、NTP及びLCTの範囲外にある。任意の場合、SLC情報と共にEXT_TIMEヘッダー拡張を含むパケットも、SCTハイ情報を含むことが好適であろう。
本発明の他の実施例に係るLCTパケットは、既存のヘッダー拡張(EXT_TIME)を拡張して、前述したタイムラインリファレンスシグナリング情報(internal_timeline_reference情報及び/又はexternal_timeline_reference情報)をさらに含むことができる。
本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、ITRハイ情報、ITRロー情報、ETRハイ情報、ETRロー情報、internal_timeline_reference_timescale_flag情報(ITR Scale)、external_timeline_reference_timescale_flag情報(ETR Scale)、internal_timeline_reference_format情報(ITR Format)、external_timeline_reference_format情報(ETR Format)、external_media_URL_flag情報(URL)、internal_timeline_reference情報(内部タイムラインリファレンス)、external_timeline_reference情報(外部タイムラインリファレンス)、internal_timeline_reference_timescale情報(内部タイムラインリファレンスタイムスケール)、external_timeline_reference_timescale情報(外部タイムラインリファレンスタイムスケール)、及び/又はexternal_media_URL情報(外部メディアURL)を含むことができる。
また、本発明の他の実施例に係るヘッダー拡張(EXT_TIME)は使用情報を含み、使用情報は、ITRハイ情報、ITRロー情報、ETRハイ情報、ETRロー情報、internal_timeline_reference_timescale_flag情報(ITR Scale)、external_timeline_reference_timescale_flag情報(ETR Scale)、internal_timeline_reference_format情報(ITR Format)、external_timeline_reference_format情報(ETR Format)、及び/又はexternal_media_URL_flag情報(URL)をさらに含むことができる。
ITRハイ情報及び/又はITRロー情報は、前述したinternal_timeline_reference_flag情報と呼ぶことができる。ETRハイ情報及び/又はETRロー情報は、前述したexternal_timeline_reference_flag情報と呼ぶことができる。
ITR Hi(Internal Timeline Reference High Flag)情報は、当該ヘッダー拡張に64ビットのinternal_timeline_reference情報(内部タイムラインリファレンス)が含まれるか否かを示す。
ITRロー(内部タイムラインリファレンスローフラグ)情報は、当該ヘッダー拡張に32ビットのinternal_timeline_reference情報(内部タイムラインリファレンス)が含まれるか否かを示す。
ETRハイ(外部タイムラインリファレンスハイフラグ)情報は、当該ヘッダー拡張に64ビットのexternal_timeline_reference情報が含まれるか否かを示す。
ETRロー(外部タイムラインリファレンスローフラグ)情報は、当該ヘッダー拡張に32ビットのexternal_timeline_reference情報が含まれるか否かを示す。
internal_timeline_reference_timescale_flag情報(ITR Scale)は、当該ヘッダー拡張に32ビットのinternal_timeline_reference_timescale情報が含まれるか否かを示す。
external_timeline_reference_timescale_flag情報(ETR Scale)は、当該ヘッダー拡張に32ビットのexternal_timeline_reference_timescale情報が含まれるか否かを示す。
internal_timeline_reference_format情報(ITR Format)は、内部タイムラインリファレンスのフォーマットを示すことができる。例えば、internal_timeline_reference_format情報(ITR Format)の値が、0x00であれば、メディアタイムであることを示し、0x01であれば、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、タイムコードであることを示し、0x04−0x1Fであれば、将来に定義すればよく、そのために予約されてもよい。
external_timeline_reference_format情報(ETR Format)は、外部タイムラインリファレンスのフォーマットを示すことができる。例えば、external_timeline_reference_format情報(ETR Format)の値が、0x00であれば、メディアタイムであることを示し、0x01であれば、NTP(Network Time Protocol)であることを示し、0x02であれば、PTPであることを示し、0x03であれば、タイムコードであることを示し、0x04−0x1Fであれば、将来に定義すればよく、そのために予約されてもよい。
external_media_URL_flag情報(URL)は、当該ヘッダー拡張にexternal_media_URL情報(外部メディアURL)が含まれるか否かを示すことができる。
internal_timeline_reference情報(内部タイムラインリファレンス)は、内部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。
external_timeline_reference情報(External Timeline Reference)は、外部網で伝送されるメディアストリームのタイムラインを構成するリファレンスクロック値を示す。
internal_timeline_reference_timescale情報(内部タイムラインリファレンスタイムスケール)は、内部タイムラインリファレンス情報の時間単位を示す。例えば、internal_timeline_reference_timescale情報は、内部タイムラインリファレンス値の時間単位をヘルツ(Hz)単位で示すことができる。
external_timeline_reference_timescale情報(外部タイムラインリファレンスタイムスケール)は、外部タイムラインリファレンス情報の時間単位を示す。例えば、external_timeline_reference_timescale情報は、外部タイムラインリファレンス値の時間単位をヘルツ(Hz)単位で示すことができる。
external_media_URL情報(外部メディアURL)は、外部網(例えば、インターネット網)で伝送されるメディアの位置情報、及び/又は固有識別子などの情報を含むことができる。例えば、外部網で伝送されるメディアがMPEG−DASHである場合、当該MPDのURL、及び/又はMPD idなどの情報を含むことができる。上記フィールドの長さは、HELフィールドで識別することができる。
本発明の他の実施例によれば、受信機及び/又はプロセッサは、放送網の放送信号からLCTヘッダー拡張(EXT_TIME)を取得し、ヘッダー拡張(EXT_TIME)からタイムラインリファレンスシグナリング情報を取得することができる。また、受信機及び/又はプロセッサは、external_media_URL情報によって識別される外部網のストリームに、タイムスタンプ、internal_timeline_reference情報、及び/又はexternal_timeline_reference情報を適用して、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期化を取ることができる。
図77は、本発明の他の実施例に係る、タイムラインリファレンス情報伝送を支援するLCTパケットの構造を示す図である。
本発明の他の実施例に係るLCTパケットは、既存のヘッダー拡張を拡張してタイムラインリファレンスシグナリング情報(EXT_TRC;Extension for Timeline Reference Clock)を含むことができる。本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、前述したタイムラインリファレンス情報AUと同一及び/又は類似の情報を含むことができる。前述したタイムラインリファレンスシグナリング情報は、RTP(realtime protocol)などの伝送プロトコルのためのパケットなどに適用されてもよい。
本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、前述したプロトコルに適したサービスシグナリング情報と連動して動作することができる。サービスシグナリング情報は、当該ストリームが内部網及び/又は外部網のタイムラインリファレンスを伝送していることを示す情報、タイムラインリファレンス情報AUに含まれる外部メディアURL情報、フラグ情報、及び/又はタイムスケール情報などを含めて、各パケットに共通して適用可能な情報を含むことができる。
本発明の他の実施例に係るパケットはLCTパケットであってもよく、LCTパケットは、LCTバージョン番号フィールド(V)、混雑制御フラグフィールド(C)、プロトコル特定指示フィールド(PSI)、伝送セッション識別子フラグフィールド(S)、伝送オブジェクト識別子フラグフィールド(O)、ハーフワードフラグフィールド(H)、予約フィールド(Res)、クローズセッションフラグフィールド(A)、クローズオブジェクトフィールド(B)、LCTヘッダー長フィールド(HDR_LEN)、コードポイントフィールド(CP)、混雑制御情報フィールド(CCI)、伝送セッション識別子フィールド(TSI)、伝送オブジェクト識別子フィールド(TOI)、ヘッダー拡張フィールド、FECペイロードIDフィールド、及び/又はエンコーディングシンボルフィールドを含むことができる。
本発明の他の実施例に係るLCTパケットは、既存のヘッダー拡張(EXT_TRC;Extension for Timeline Reference Clock)を拡張して、前述したタイムラインリファレンスシグナリング情報をさらに含むことができる。
本発明の他の実施例に係るタイムラインリファレンスシグナリング情報は、ITRハイ情報、ITRロー情報、ETRハイ情報、ETRロー情報、internal_timeline_reference_timescale_flag情報(ITR Scale)、external_timeline_reference_timescale_flag情報(ETR Scale)、external_media_URL_flag情報(URL)、予約情報(Res)、internal_timeline_reference_format情報(ITR Format)、external_timeline_reference_format情報(ETR Format)、internal_timeline_reference情報(内部タイムラインリファレンス)、external_timeline_reference情報(外部タイムラインリファレンス)、internal_timeline_reference_timescale情報(内部タイムラインリファレンスタイムスケール)、external_timeline_reference_timescale情報(外部タイムラインリファレンスタイムスケール)、及び/又はexternal_media_URL情報(外部メディアURL)を含むことができる。
また、本発明の他の実施例に係るヘッダー拡張(EXT_TRC)は使用情報を含み、使用情報は、ITRハイ情報、ITRロー情報、ETRハイ情報、ETRロー情報、internal_timeline_reference_timescale_flag情報(ITR Scale)、external_timeline_reference_timescale_flag情報(ETR Scale)、external_media_URL_flag情報(URL)、Reserved情報(Res)、internal_timeline_reference_format情報(ITR Format)、及び/又はexternal_timeline_reference_format情報(ETR Format)をさらに含むことができる。
前述したLCTパケットに含まれる情報と同じ名称を有する情報に関する説明は、前述した説明に代える。
本発明の他の実施例によれば、受信機及び/又はプロセッサは、放送網の放送信号からヘッダー拡張(Header Extensions;EXT_TRC)を取得し、ヘッダー拡張(EXT_TRC)からタイムラインリファレンスシグナリング情報を取得することができる。また、受信機及び/又はプロセッサは、external_media_URL情報によって識別される外部網のストリームに、タイムスタンプ、internal_timeline_reference情報、及び/又はexternal_timeline_reference情報を適用して、放送網で伝送されるストリームと異種網で伝送されるストリームとの同期化を取ることができる。
図78は、本発明の一実施例に係る、DASHが適用される放送網の伝送ストリームと異種網(例えば、インターネット網)の伝送ストリームとを、タイムラインコンポーネントAUを用いて同期化する方法を示す図である。
同図は、タイムラインコンポーネントを用いて、異種網を介した伝送ストリーム間の同期化方案をDASHに適用した実施例を示す。本実施例では、ビデオストリームを放送網で伝送し、オーディオストリームをインターネット網で伝送することができる。2つのストリームともDASHによってカプセル化(encapsulation)されてサービスされているが、互いに異なる網で伝送されるため、別途のMPD(Media Presentation Description)を有する独立したコンテンツ形態として別個のタイムラインを有することができる。
互いに独立したタイムラインを有する2つのストリーム間の同期化のために、タイムラインコンポーネントが放送網で伝送されるDASHコンテンツに含まれてもよい。放送網で伝送されるビデオストリーム及びタイムラインコンポーネントストリームは、一つのコンテンツに含まれて一つのタイムラインを共有することができ、タイムラインコンポーネントは、インターネット網で伝送されるオーディオストリームのタイムライン情報を含み、この情報に基づいて受信機は、放送網のタイムラインを用いてインターネット網伝送ストリームを同期化することができる。
DASHコンテンツにおいてタイムラインコンポーネントストリームは、ビデオストリーム又はオーディオストリームと同様に、一つのトラック(track)として構成されてもよい。タイムラインコンポーネントストリームに対して、MPD及びtrafボックスなどで提供されるタイミング情報を介してそれぞれのAU単位でDTS、PTSなどのタイムスタンプが与えられ、放送網タイムラインにマップされてもよい。タイムラインコンポーネントストリームをトラックとして構成するとき、当該トラックがタイムラインコンポーネントストリームを含んでいることを識別可能なシグナリング(signaling)情報を必要としてもよい。このようなシグナリング情報は、ISO BMFFベースのDASH初期化セグメント(DASH initialization segment)内のhdlrボックスに含まれてもよく、含まれたメディアのタイプを示すhandler_typeと、minfボックスに含まれるメディアヘッダーボックス、及びメディアストリームの具体的タイプと初期化情報を示すstsdボックス内のサンプルエントリ(Sample Entry)などとして提供されてもよい。
タイムラインコンポーネントは、hdlrボックスに“meta”というハンドラタイプでメタデータタイプに属することを表現することができ、“nmhd”というヌル(null)メディアヘッダーボックスを含むことができる。
図79は、本発明の一実施例に係る、ISO BMFF(ISO base media file format)においてタイムラインコンポーネントを識別するためのサンプルエントリを示す図である。
本発明の一実施例によれば、タイムラインコンポーネントを識別するために、stsdボックスに含まれるストリームシグナリング情報を図示のように設定することができる。
タイムラインコンポーネントストリームをファイル内で識別するために、メタデータサンプルエントリの派生型としてTimeline Component MetaData SampleEntryが定義されてもよい。Timeline Component MetaData SampleEntryは、‘metc’のような4バイトのタイプを有することができ、上記のようなタイプフィールドを介してファイル内で固有に識別されてもよい。
タイムラインコンポーネントが記述しているストリームの位置URL又はストリームを再生させるまでの初期ディレー(delay)などの初期化及びシグナリングパラメータを“metc”サンプルエントリ内に含めることができる。
図80は、本発明の一実施例に係る、ISO BMFFでタイムラインコンポーネントトラックと他のトラックとの依存関係を表現するためのトラックリファレンスタイプボックス(Track Reference Type Box)を示す図である。
タイムラインコンポーネントをDASHセグメントのようなISO BMFFベースファイル構造体に含めるために、前述したシグナリング情報に加えて、他のトラックとの依存関係に関する情報をシグナルすることもできる。同図は、トラック間の依存関係を表現するtrefボックスを用いて、タイムラインコンポーネントトラックとDASHセグメントの他のトラックとの依存関係を表現する実施例を示す。
Trefボックスは、内部にトラックリファレンスタイプボックスを含む。Trefボックスは、前述したタイムラインコンポーネントと他のトラックとの依存関係を表現するためのタイプとして、前述したように‘metl’というreference_typeを定義することができる。Trefボックス内のtrack_IDは、参照関係を有するトラックのIDを意味する。‘metl’リファレンスタイプボックスの定義を用いて、タイムラインコンポーネントとタイムラインを共有する他のトラックとの依存関係を表現することができる。
前述の図面に示したように、前述の‘metl’ボックスを含むtrefボックスは、タイムラインコンポーネントトラックボックスに含まれ、依存関係にあるビデオトラックのIDを‘metl’ボックス内に含む。又は、実施例のビデオトラックにtrefボックス及び‘metl’ボックスが含まれ、‘metl’のtrack_IDとしてタイムラインコンポーネントトラックのIDを含むこともできる。
図81は、本発明の一実施例に係る、次世代放送システムにおいてサービス及び/又はコンテンツを取得する構造を示す図である。
本発明で提案した方案は、次世代放送システムでは、受信機がサービス或いはコンテンツを放送網或いはインターネット網を介して効率的に取得できるようにする。
同図は、ハイブリッド放送システムにおいてサービス或いはコンテンツを取得するための一例を示す。
例えば、サービス0(Service 0)は、一つのビデオ(video)及び一つのオーディオ(audio)で構成され、ビデオ/オーディオはそれぞれ、地上波放送網で伝送されるIPストリーム(IP stream)を介して取得することができる。
サービス1(Service 1)の場合、ビデオを送信するIPストリームとオーディオを送信するIPストリームとが一つのPLPを介して伝送されるため、受信機は当該PLPをデコードしてサービス1を取得することができる。
サービスN(Service N)の場合、ビデオは地上波放送網で伝送されるが、オーディオはインターネット網で取得することができる。
このように受信機がサービス0、サービス1、又はサービスNに含まれているコンポーネントを取得する過程で、前述した本発明の実施例を用いることができる。すなわち、受信機は、サービス0、サービス1、又はサービスNに含まれたそれぞれのコンポーネントを送信するPLPを識別し、当該PLPをデコードして所望のサービスを取得することができる。
図82は、本発明の一実施例に係る、ISO BMFFにおいてビデオデータ及び/又はオーディオデータに接近する方法を示す図である。
同図には、ISO BMFFの構造の一部が示されている。図示のビデオデータ及び/又はオーディオデータに接近する方法は、ローカル再生(local replay)においてデータ間の同期化を行うことを示している。
受信機は、ISOファイルで‘tkhd’を用いてトラックを識別する。
受信機は、‘hdlr’(handler_type)を用いて、メディアのタイプがオーディオなのか又はビデオなのかを識別することができる。
‘stbl’ボックスは‘stsd’ボックス、‘stts’ボックス、‘ctts’ボックス、‘stsc’ボックス、‘stco’ボックス及び/又は‘stsz’ボックスを含むことができる。
受信機は、‘stbl’のサンプル記述(sample description)(‘stsd’ボックス)を用いてデコーダを初期化し、これに含まれた情報を用して、mdatに含まれたデータ(samples)をデコードすることができる。
‘stts’ボックスは、デコーディング時間(decoding time)を示す。‘stts’ボックスは、デコーディング時間からサンプル番号までのインデクシング(indexing)を可能にする情報を含む。‘stts’ボックスは、サンプル番号からのサンプルサイズ、ポインタを提供することができる。
‘ctts’ボックスは、デコーディング時間とコンポジッション時間(composition time)間のオフセット(offset)に関する情報を提供する。
‘stsc’ボックスは、サンプルを含むチャンク(Chunk)、チャンクの位置、及び/又はサンプルに関連した属性情報を含む。メディアデータ内のサンプルはチャンクにグループ化してもよい。チャンクはそれぞれ別個のサイズを有することができ、一つのチャンク内のサンプルもそれぞれ別個のサイズを有することができる。
‘stco’ボックスは、ファイルに含まれるそれぞれのチャンクに対するインデックス(index)情報を含むことができる。‘stco’ボックスは、メディアファイルに含まれるチャンクの開始のオフセットを提供する。
‘stsz’ボックスは、サンプルカウント及び各サンプルのバイト単位のサイズを提供するテーブルを含む。これは、メディアデータ自体がアンフレーム(unframed)されるようにする。メディア内の全サンプルの数は常にサンプルカウントで示される。‘stsz’ボックスは、デフォルトサンプルサイズを特定する情報を含むことができる。全サンプルが同一のサイズを有すると、情報はサイズ値を含む。この情報が0に設定されると、サンプルは別個のサイズを有し、それらのサイズはサンプルサイズテーブルに保存される。この情報が0でないと、一定のサンプルサイズを特定し、アレイが続かない。
受信機は、‘stbl’ボックスに含まれる上記の情報を用いて、ビデオサンプル(ビデオデータ)とオーディオサンプル(オーディオデータ)との同期を取ることができる。
図83は、本発明の他の実施例に係る、ISO BMFFにおいてビデオデータ及び/又はオーディオデータに接近する方法を示す図である。
同図のビデオデータ及び/又はオーディオデータに接近する方法は、ストリーミング(streaming replay)においてデータ間の同期を取ることを示している。この場合、ビデオデータ及び/又はオーディオデータは、フラグメンテーション(fragmentation)及び/又はセグメンテーション(segmentation)された状態で伝送/受信される。
受信機は、初期化セグメント(initialization segment)からファイル復号に必要な基本的な情報を取得する。受信機はISOファイルで‘tkhd’を用いてトラックを識別する。
受信機は、‘hdlr’(handler_type)を用いて、メディアのタイプがオーディオなのか又はビデオなのかを識別することができる。
受信機は、‘minf’ボックスに含まれている現在トラックのメディアの特性情報を用いてデコーダを初期化する。
受信機は、メディアセグメント内の‘tfhd’ボックスを用いて、‘tkhd’によって識別されたトラックに該当するメディアセグメントを識別し、‘minf’ボックスのサンプル記述(sample description)に該当するサンプル記述インデックスを取得する。
受信機は、‘tfhd’ボックスに含まれたベースデータオフセット情報、‘trun’ボックスに含まれたデータオフセット情報、及び/又は‘trun’ボックスに含まれたサンプルサイズ情報を用いて、ビデオデータ及び/又はオーディオデータのサンプルを抽出する。
受信機は、‘trun’ボックスに含まれたサンプルデューレーション情報とサンプル構成時間オフセット情報を用いて、ビデオデータ及び/又はオーディオデータのサンプル間に同期化を行う。
具体的な放送サービスを伝送する伝送フレームと伝送パケットについては、図84乃至図87を介して説明する。
図84は、本発明の一実施例による放送伝送フレームを示す図である。
図84の実施例において、放送伝送フレームはP1パート、L1パート、共通PLP(Common PLP)パート、インターリーブドPLP(Scheduled&Interleaved PSP’s)パート及び補助データ(Auxiliary data)パートを含む。
図84の実施例において、放送伝送装置は放送伝送フレーム(transport frame)のP1パートを介して伝送シグナル探知(transport signal detection)のための情報を伝送する。また、放送伝送装置はP1パートを介して放送信号チューニングのためのチューニング情報を伝送する。
図84の実施例において、放送伝送装置はL1パートを介して放送伝送フレームの構成及びそれぞれのPLPの特性を伝送する。この際、放送受信装置100はP1に基づいてL1パートをデコーディングして放送伝送フレームの構成及びそれぞれのPLPの特性を獲得する。
図84の実施例において、放送伝送装置はCommon PLPパートを介してPLP間に共通に適用される情報を伝送する。具体的な実施例において、放送伝送フレームはCommon PLPパートを含まなくてもよい。
図84の実施例において、放送伝送装置は放送サービスに含まれた複数のコンポーネントをインターリーブドPLPパートを介して伝送する。この際、インターリーブドPLPパートは複数のPLPを含む。
図84の実施例において、放送伝送装置はそれぞれの放送サービスを構成するコンポーネントがそれぞれどのPLOに伝送されるのかをL1パートまたはCommon PLPパートを介してシグナリングする。但し、放送受信装置100が放送サービススキャンのために具体的な放送サービス情報を獲得するためにはインターリーブドPLPパートの複数のPLPを全てデコーディングすべきである。
図84の実施例とは異なって、放送伝送装置は放送伝送フレームを介して伝送される放送サービスと放送サービスに含まれたコンポーネントに関する情報を含む別途のパートを含む放送伝送フレームを伝送する。この際、放送受信装置100は別途のパートを介して迅速に放送サービスと放送サービスに含まれたコンポーネントに関する情報を獲得する。これいついては図85を介して説明する。
図85は、本発明の他の実施例による放送伝送フレームを示す図である。
図85の実施例において、放送伝送フレームはP1パート、L1パート、高速情報チャネル(Fast Information Channel、FIC)パート、インターリーブドPLPパート及び補助データパートを含む。
FICパートを除く他のパートは図84の実施例と同じである。
放送伝送装置はFICパートを介して高速情報を伝送する。高速情報は伝送フレームを介して伝送される放送ストリームの構成情報(configuration information)、簡略な放送サービス情報及び該当サービス/コンポーネントに関するサービスシグナリングを含む。放送受信装置100はFICパートに基づいて放送サービスをスキャンする。詳しくは、放送受信装置100はFICパートから放送サービスに関する情報を抽出する。
図86は、本発明の一実施例による放送サービスを伝送する伝送パケットの構造を示す図である。
図86の実施例において、放送サービスを伝送する伝送パケットはNetwork Protocolフィールド、Error Indicatorフィールド、Stuffing Indicatorフィールド、Pointer fieldフィールド、Stuffing bytesフィールド及びペイロードデータを含む。
Network Protocolフィールドはネットワークプロトコールがどのタイプであるのかを示す。具体的な実施例において、Network Protocolフィールドの値はIPv4プロトコールであるのかまたはフレームドパケットタイプであるのかを示す。詳しくは、図87の実施例のようにNetwork Protocolフィールドの値が000であればIPv4プロトコールを示す。また、詳しくは、図87の実施例のようにNetwork Protocolフィールドの値が111であればframed_packet_typeプロトコールを示す。この際、framed_packet_typeはA/153によって定義されたプロトコールである。詳しくは、framed_packet_typeは長さに関する情報を示すフィールドを含まないネットワークパケットプロトコールを示す。具体的な実施例において、Network Protocolフィールドは3ビットフィールドである。
Error Indicatorフィールドは該当伝送パケットにエラーが検出されたのかを示す。詳しくは、Error Indicatorフィールドの値が0であれば該当パケットからエラーが検出されないことを示し、Error Indicatorフィールドの値が1であれば該当パケットからエラーが検出されたことを示す。具体的な実施例において、Error Indicatorフィールドは1ビットフィールドである。
Stuffing Indicatorフィールドは該当伝送パケットにスタッフィングバイト(stuffing bytes)が含まれているのかを示す。この際、スタッフィングバイトは固定されたパケットの長さを維持するためにペイロードに含まれるデータを示す。具体的な実施例において、Stuffing Indicatorフィールドの値が1であれば伝送パケットがスタッフィングバイトを含み、Stuffing Indicatorフィールドの値が0であれば伝送パケットがスタッフィングバイトを含まないことを示す。具体的な実施例において、Stuffing Indicatorフィールドは1ビットフィールドである。
Pointer fieldフィールドは該当伝送パケットのペイロード部分で新たなネットワークパケットの開始地点を示す。具体的な実施例において、Pointer fieldフィールドの値が0x7FFであれば新たなネットワークパケットの開始地点がないことを示す。また、具体的な実施例において、Pointer fieldフィールドの値が0x7FFではなければ伝送パケットヘッダの最後の部分から新たなネットワークパケットの開始地点までのオフセット(offset)値を示す。具体的な実施例において、Pointer fieldフィールドは11ビットフィールドである。
Stuffing_Bytesフィールドは、固定されたパケット長さを維持するためにヘッダとペイロードデータの間を詰めるスタッフィングバイトを示す。
このような放送サービスを受信するための放送受信装置の構成については、図87を介して説明する。
図88は、本発明の一実施例による放送サービスシグナリングテーブルと放送サービス伝送経路シグナリグ情報が放送サービスと放送サービス伝送経路をシグナリングすることを示す図である。
放送サービスシグナリングテーブルは放送サービス情報をシグナリングする。詳しくは、放送サービスが含むメディアコンポーネントをシグナリングする。また、放送サービスシグナリングテーブルは放送サービスと放送サービスが含むメディアコンポーネントの伝送経路をシグナリングする。このため、放送サービスシグナリングテーブルは放送サービス伝送経路シグナリング情報を含む。図88の実施例において、放送サービスシグナリングテーブルは複数の放送サービスに関する情報を含む。この際、放送サービスシグナリングテーブルは複数の放送サービスそれぞれに含まれた複数のメディアコンポーネントをシグナリングするメディアコンポーネントシグナリング情報を含む。特に、放送サービスシグナリングテーブルは複数のメディアコンポーネントの伝送経路をシグナリングする放送サービス伝送経路シグナリング情報を含む。例えば、放送サービスシグナリングテーブルを介して放送受信装置100はサービス(Service 0)に含まれるビデオ(Video 0)が物理階層パイプ(PLP 0)を介して伝送されることが分かる。また、放送サービスシグナリングテーブルを介して放送受信装置100はサービス(Service N)に含まれるビデオ(Audeo 1)がインターネット網を介して伝送されることが分かる。この際、物理階層パイプ(Physical Layer Pipe、PLP)は物理階層の上で識別可能な一連の論理的データ伝達経路である。PLPはデータパイプ(data pipe)など他の用語で称されてもよい。
図89は、本発明の一実施例による放送サービスシグナリングテーブルを示す図である。
放送サービスシグナリングテーブルは放送サービスを識別する情報、放送サービスの現在状態を示す情報、放送サービスのネーム、放送サービスのチャネルナンバー、放送サービスに対する保護アルゴリズムの適用可否を示す情報、放送サービスのカテゴリー情報及び放送サービスが含むメディアコンポーネントをシグナリングするメディアコンポーネントシグナリング情報のうち少なくともいずれか一つを含む。放送サービスが含むメディアコンポーネントをシグナリングするメディアコンポーネントシグナリング情報はそれぞれのメディアコンポーネントが該当放送サービスに必須的であるのかを示す情報を含む。また、放送サービスが含むメディアコンポーネントをシグナリングするメディアコンポーネントシグナリング情報はそれぞれのコンポーネントに関する情報を含む。
詳しくは、図89の実施例のように放送サービスシグナリングテーブルは、table_idフィールド、section_syntax_indicatorフィールド、private_indicatorフィールド、section_lengthフィールド、table_id_extensionフィールド、visoin_numberフィールド、Current_next_indicatorフィールド、section_numberフィールド、last_section_numberフィールド、num_serviceフィールド、service_idフィールド、serviec_statusフィールド、SP_indicatorフィールド、short_service_name_lengthフィールド、short_serviec_nameフィールド、channel_numberフィールド、service_categoryフィールド、num_componentsフィールド、essential_component_indicatorフィールド、num_component_level_descriptorフィールド、component_level_descriptorフィールド、num_service_level_descriptorsフィールド及びservice_level_descriptorフィールドのうち少なくともいずれか一つを含む。
table_idフィールドは放送サービスシグナリング情報テーブルの識別子を示す。この際、table_idフィールドの値はATSC A/65で定義されたreserved id値のうち一つである。具体的な実施例において、table_idフィールドは8ビットである。
section_syntax_indicatorフィールドは放送サービスシグナリング情報テーブルのMPEG−2 TS標準のlong形式のprivate section tableであるのか否かを示す。具体的な実施例において、section_syntax_indicatorフィールドは1ビットフィールドである。
private_indicatorフィールドは現在のテーブルがprivate sectionに当たるのかを示す。具体的な実施例において、private_indicatorフィールドは1ビットフィールドである。
section_lengthフィールドはsection_lengthフィールドの後に含まれたsectionの長さを示す。具体的な実施例において、section_lengthフィールドは12ビットである。
table_id_extensionフィールドはtable_idフィールドと結合して放送サービスシグナリング情報テーブルを識別する値を示す。特に、table_idフィールドはサービスシグナリング情報テーブルのプロトコールバージョンを示すSMT_protocol_versionフィールドを含む。具体的な実施例において、SMT_protocol_versionフィールドは8ビットフィールドである。
visoin_numberフィールドはサービスシグナリングテーブルのバージョンを示す。放送受信装置100はvisoin_numberフィールドの値に基づいてサービスシグナリング情報テーブルの情報利用可否を決定する。詳しくは、visoin_numberフィールドの値が以前に受信したサービスシグナリングテーブルのバージョンと同じであればサービスシグナリングテーブルの情報を利用しなくてもよい。具体的な実施例において、visoin_numberフィールドは5ビットフィールドである。
Current_next_indicatorフィールドは放送サービスシグナリングテーブルの情報が現在使用可能であるのかを示す。詳しくは、Current_next_indicatorフィールドの値が1であれば放送サービスシグナリングテーブルの情報が使用可能であることを示す。また、Current_next_indicatorフィールドの値が1であれば放送サービスシグナリングテーブルの情報を次に使用可能であることを示す。具体的な実施例にお知恵、Current_next_indicatorフィールドは1ビットフィールドである。
section_numberフィールドは現在のセクションの番号を示す。具体的な実施例において、section_numberフィールドは8ビットフィールドである。
last_section_numberフィールドが最後のセクションの番号を示す。放送サービスシグナリングテーブルの大きさが大きければ複数のセクションに分けられて伝送される。この際、放送受信装置100はsection_numberフィールドとlast_section_numberフィールドに基づいてサービスシグナリングテーブルに必要な全てのセクションの受信可否を判断する。具体的な実施例において、last_section_numberフィールドは8ビットフィールドである。
service_idフィールドは放送サービスを識別する識別子を示す。具体的な実施例において、service_idフィールドは16ビットのフィールドである。
serviec_statusフィールドは放送サービスの現在状態を示す。詳しくは、放送サービスが現在利用可能であるのかを示す。具体的な実施例において、serviec_statusフィールドの値が1であれば放送サービスが現在利用可能であることを示す。具体的な実施例において、放送樹脂装置100はserviec_statusフィールドの値に基づいて該当放送サービスを放送サービスリスト及び放送サービスガイドに表示するのかを決定する。例えば、放送受信装置100は該当放送サービスが使用不可能であれば該当放送サービスを放送リストと放送サービスガイドに表示しなくてもよい。他の具体的な実施例において、放送受信装置100はserviec_statusフィールドの値に基づいて該当放送サービスに関する接近を制限する。例えば、該当放送サービスが使用不可能であれば放送受信装置100は該当放送サービスに対するチャネルアップ/ダウンキーを介した接近を制限する。具体的な実施例において、serviec_statusフィールドは2ビットフィールドである。
SP_indicatorフィールドは該当放送サービス内の一つ以上のコンポーネントにサービスプロテクション(protection)が適用されたのかを示す。例えば、SP_indicatorフィールドの値が1であれば該当放送サービス内の一つ以上のコンポーネントでサービスプロテクションが適用されていることを示す。具体的な実施例において、SP_indicatorフィールドは1ビットフィールドである。
short_service_name_lengthフィールドはshort_service_nameフィールドの大きさを示す。
short_serviec_nameフィールドは放送サービスの名前を示す。詳しくは、short_serviec_nameフィールドは放送サービスの名前を要約して表示する。
channel_numberフィールドは放送サービスの仮想のチャネルナンバーを表示する。
service_categoryフィールドは放送サービスのカテゴリーを示す。詳しくは、service_categoryフィールドはTVサービス、ラジオサービス、放送サービスガイド、RIサービス及び緊急警告(Emergency Alerting)のうちいずれか一つを示す。例えば、ず39の実施例のようにservice_categoryフィールドの値が0x01であればTVサービスを示し、service_categoryフィールドの値が0x02であればラジオサービスを示し、service_categoryフィールドの値が0x08であればサービスガイドを示し、service_categoryフィールドの値が0x09であれば緊急情報を示す。具体的な実施例において、service_categoryフィールドは6ビットフィールドである。
num_componentsフィールドは該当放送サービスが含むメディアコンポーネントの個数を示す。具体的な実施例において、num_componentsフィールドは5ビットフィールドである。
essential_component_indicatorフィールドは該当メディアコンポーネントが該当放送サービス再生(presentation)のために必要な必須メディアコンポーネントであるのかを示す。具体的な実施例において、num_componentsフィールドは1ビットフィールドである。
num_component_level_descriptorフィールドはcomponent_level_descriptorフィールドの個数を示す。具体的な実施例において、num_component_level_descriptorフィールドは4ビットフィールドである。
component_level_descriptorフィールドは該当コンポーネントに関する付加的な属性を含む。
num_service_level_descriptorsフィールドはservice_level_descriptorフィールドじの個数を示す。具体的な実施例において、num_service_level_descriptorsフィールドは4ビットフィールドである。
service_level_descriptorフィールドは該当サービスに関する付加的な属性を含む。
サービスシグナリングテーブルはアンサンブルに関する情報を更に含む。アンサンブルは一つ以上のサービスが同じ前進誤り訂正が適用されて伝送されれば一つ以上のサービスの集合を示す。図91は、本発明の他の実施例による放送サービスシグナリングテーブルを示す。
詳しくは、図91の実施例のように放送サービスシグナリングテーブルはnum_ensemble_level_descriptorsフィールドとensemble_level_descriptorsフィールドを更に含む。
num_ensemble_level_descriptorsフィールドはensemble_level_descriptorsフィールドの個数を示す。具体的な実施例において、num_ensemble_level_descriptorsフィールドは4ビットフィールドである。
ensemble_level_descriptorsフィールドは該当アンサンブルに関する付加的な属性を含む。
また、サービスシグナリングテーブルはメディアコンポーネントを識別するためにメディアコンポーネントを識別するストリーム識別子情報を更に含む。これについては図92を介して詳しく説明する。
図92は、本発明の一実施例によるストリーム識別子ディスプリプタを示す図である。
ストリーム識別子情報はdescriptor_tagフィールド、descriptor_lengthフィールド及びcomponent_tagフィールドのうちいずれか一つを含む。
descriptor_tagフィールドは該当descriptorがストリーム識別子情報を含むdescriptorであることを示す。具体的な実施例において、descriptor_tagフィールドは8ビットフィールドである。
descriptor_lengthフィールドは該当フィールドの後のストリーム識別子情報の長さを示す。具体的な実施例において、descriptor_lengthフィールドは8ビットフィールドである。
component_tagフィールドはメディアコンポーネントを識別するメディアコンポーネント識別子を示す。この際、メディアコンポーネント識別子は該当シグナリング情報テーブルの上で他のメディアコンポーネントのメディアコンポーネント識別子とは異なる唯一(unique)の値を有する。該当具体的な実施例において、component_tagフィールドは8ビットフィールドである。
放送サービスシグナリングテーブルを伝送し受信する動作については図93乃至図97を介して説明する。
前記では放送サービスシグナリングテーブルをビットストリーム形式に説明したが、具体的な実施例によって放送サービスシグナリングテーブルはXML形式であってもよい。
図93は、本発明の一実施例による放送伝送装置が放送サービスシグナルテーブルを伝送する動作を示す図である。
本発明の一実施例による放送伝送装置は、放送信号を伝送する伝送部及び放送伝送装置の動作を制御する制御部を含む。伝送部は伝送部が行う複数の機能それぞれを行う一つまたは複数のプロセッサ、一つまたは複数の回路及び一つまたは複数のハードウェアモジュールを含む。詳しくは、放送受信部110は様々な半導体部品が一つに集積されるシステム・オン・チップである。この際、SOCはグラフィック、オーディオ、ビデオ、モデムなど各種マルチメディア用部品とプロセッサとDRAMなど半導体が一つに統合された半導体であってもよい。制御部は制御部が行う複数の機能それぞれを行う一つまたは複数のプロセッサ、一つまたは複数の回路及び一つまたは複数のハードウェアモジュールを含む。詳しくは、放送受信部110は様々な半導体部品が一つに集積されるシステム・オン・チップである。この際、SOCはグラフィック、オーディオ、ビデオ、モデムなど各種マルチメディア用部品とプロセッサとDRAMなど半導体が一つに統合された半導体であってもよい。
放送伝送装置は制御部を介して伝送パケットに含ませて伝送するデータを獲得するS101。放送伝送措置が伝送するデータはリアルタイムコンテンツまたはリアルタイムコンテンツに関するメタデータである。詳しくは、リアルタイムコンテンツは地上波放送網などを介して伝送される放送A/Vコンテンツまたは放送A/Vコンテンツに関する向上されたデータである。
放送伝送装置は、制御部を介して獲得したデータがデータ伝送のために使用する伝送パケットが含められる容量を超過するのか否かを判断するS103。詳しくは、放送伝送装置が使用する伝送パケットが固定されたパケット長さを使用するプロトコールを基盤にする。この際、伝送しようとするデータがパケットがカバーし得る容量を超えれば円滑なデータの伝送が難しくなる恐れがある。また、伝送しようとするデータがパケットに比べて非常に小さければ、一つのパケットに小容量のデータ一つのみを伝送することは非効率なパケットの活用になりかねない。よって、上述した非効率性を克服するために放送伝送装置は制御部を介して伝送パケットとデータの大きさを比較する。
もし、放送伝送装置が伝送するデータを伝送パケットが含められない容量と判断した場合、放送伝送装置は制御部を介して伝送するデータをセグメンテーション(Segmetation)するS107。セグメンテーションされたデータは複数のパケットに分けられて伝送される。そして、複数の伝送パケットはセグメンテーションされたデータを識別するための情報を追加的に含む。他の実施例において、セグメンテーションされたデータを識別するための情報は伝送パケットではなく別途のデータグラムを介して伝送されてもよい。
放送伝送装置は制御部を介してセグメンテーションされたデータまたは伝送パケットより小さい容量を有するデータをパケッタイジング(packetizing)するS109。詳しくは、放送伝送装置はデータを伝送可能な形態に加工する。加工された放送パケットはパケットヘッダ(Packet header)とパケットペイロード(Packet payload)を含む。また、パケットペイロードはデータとペイロードのヘッダを含む。ここで、ペイロードヘッダはパケットヘッダとは別にパケットペイロードに含まれたペイロードデータをシグナリングするためのフィールドである。また、セグメンテーションされたデータを含むパケットペイロードはペイロードのヘッダと共にセグメンテーションされたデータヘッダを含む。ここで、セグメンテーションされたデータヘッダはペイロードとは別にパケットペイロードに含まれたペイロードデータをシグナリングするためのフィールドである。
一実施例において、放送伝送装置は一つのデータを一つのパケットにパケッタイジングする。他の実施例において、放送伝送装置は複数のデータを一つのパケットにパケッタイジングする。また他の実施例において、放送伝送装置は一つのデータを複数のパケットに彫刻化してパケッタイジングする。
上述したように、データの容量またはパケットの長さに応じてパケッタイジングされた伝送パケットが異なり得る。よって、放送伝送装置は互いに異なる伝送パケットを区別可能な形態に伝送する必要がある。一実施例において、放送伝送装置は制御部を介して伝送パケットのペイロードヘッダにパケットの形態を示す情報を含ませてデータをパケッタイジングする。他の実施例において、放送伝送装置の制御部はペイロードヘッダに含まれた情報のみで伝送するデータを区別することが難しければ、伝送パケットの種類を識別する情報を追加的に含ませてデータをパケッタイジングする。
放送伝送装置は伝送部を介してパケッタイジングされた放送パケットを伝送するS111。一実施例において、尚早パケットは地上波放送網を介して行われる。他の実施例において、放送パケットの伝送はインターネット網を介して行われてもよい。
図94は、本発明の一実施例による放送受信装置がパケッタイジングされた放送パケットを受信する動作を示す図である。
放送受信装置100は、放送受信部110を介してパケッタイジングされた伝送パケットを受信するS201。
放送受信装置100は制御部150を介して受信された伝送パケットからペイロードヘッダを抽出するS203。制御部150は伝送パケットのペイロードからデータを含むペイロードデータとデータをシグナリングするペイロードヘッダを獲得する。詳しくは、放送受信装置100の制御部150はパケットペイロードに含まれた放送コンテンツ及び放送コンテンツに関する向上されたコンテンツのうち少なくとも一つを提供するための付加的な情報を受信した伝送パケットから抽出する。
一実施例において、放送受信装置100の制御部150はペイロードヘッダからペイロードエラー判断情報、ペイロード優先順位情報及びペイロードタイプ情報のうち少なくとも一つを抽出する。詳しくは、ペイロードエラー判断情報は放送パケットに含まれたペイロードにエラーが存在するのか、または該当ペイロードが決められたシンタックス(syntax)を違反する内容を含んでいるのか否かを判断する。
また、優先順位情報はペイロードに含まれたデータの優先順位を示す。詳しくは、優先順位はペイロードに含まれたデータの属性情報を示す。例えば、ファイルフォーマットメディアデータのシグナリング情報を含んでいるペイロードの場合、該当パケットの優先順位情報は最も高い優先順位に設定されている。
また、ペイロードタイプ情報はペイロードデータを含むパケットペイロードのタイプを示す。例えば、放送伝送装置が一つのパケットペイロードに一つのデータをパケッタイジングしたのか、または複数のパケットペイロードに一つのデータを分けてパケッタイジングしたのか否かを示す。
放送受信装置100は制御部150を介して抽出されたペイロードヘッダに含まれた情報からペイロードに含まれたデータがメディアデータであるのか否かを判断するS205。詳しくは、放送受信装置100の制御部150はパケットヘッダ情報に基づいて該当パケットに含まれたペイロードの類型を判断する。一実施例において、ペイロードの類型は放送コンテンツ及び放送コンテンツに関する向上されたコンテンツのうち少なくとも一つを含むメディアデータであってもよい。他の実施例において、ペイロードの類型はメディアデータを提供するのに必要な付加情報を含むメタデータであってもよい。
放送受信装置100の制御部150はペイロードに含まれたデータがメディアデータであると判断した場合、全体のメディアデータが受信した一つの伝送パケットに含まれているのか否かを判断するS207。具体的な実施例において、伝送パケットの長さと全体メディアデータの容量に一つの伝送パケットに全体メディアデータを放送伝送装置がパケッタイジングする。他の実施例において、放送伝送装置は全体目メディアデータを分けてそれぞれ異なる伝送パケットにパケッタイジングする。よって、放送受信装置100の制御部150はコンテンツ出力のための完全な目でライデータを抽出するために放送パケットの類型をペイロードヘッダを介して判断する。
一方、本発明の一実施例において、放送受信装置100の制御部150はペイロードに含まれたメディアデータではないと判断したば場合は下記図117で詳しく説明する。
一つの伝送パケットに全体のメディアデータが含まれていると判断した場合、制御部150は一つのパケットペイロードからメディアデータを抽出する。S209。一実施例において、放送受信装置100の制御部150は一つの伝送パケットから一つのメディアデータのみを抽出する。他の実施例において、放送受信装置100の制御部150は一つの伝送パケットから複数のメディアデータを抽出する。一方、一つの伝送パケットに全体のメディアデータが含まれていないと判断した場合、制御部150はペイロードヘッダ及びセグメンテーションデータヘッダに基づいて複数のパケットペイロード部からメディアデータを抽出するS211。詳しくは、制御部150はペイロードヘッダ及びセグメンテーションデータヘッダから分けられてパケッタイジングされたメディアデータの情報を獲得する。よって、制御部150は獲得した情報に応じて分けられたメディアデータを識別することができる。つまり、制御部150は獲得した情報に応じて分けられたメディアデータの順番を獲得する。制御部150は該当順番に基づいて互いに異なる伝送パケットから獲得したメディアデータを組み合わせる(concatenate)。
放送受信装置100は制御部150を介してコンテンツを提供するS213。一実施例において、制御部150は抽出したメディアデータに基づいてコンテンツを提供する。他の実施例において、制御部150は組み合わせられたメディアデータに基づいてコンテンツを提供する。
A/Vコンテンツを出力する。他の実施例において、放送受信装置100はA/Vコンテンツに関する向上されたデータを出力してもよい。
図95は、本発明の実施例によるパケット構成を示す図である。
パケット基盤のデータ伝送プロトコールの上において、各パケット一般に図91に示したようにパケットヘッダとパケットペイロードで構成される。パケットヘッダはパケットが含んでいるパケットペイロードの情報を含む。パケットペイロードは放送網またはインターネット網で伝送しようとするメディアデータを含む。パケットペイロードが含むメディアデータはオーディオ、ビデオ、向上されたサービス及び付加情報のうち少なくともいずれか一つである。
図96は、本発明の実施例によるリアルタイムコンテンツ伝送のためのRTPパケットの構造を示す図である。
RTPパケットはRPT Header及びRTP Payloadを含む。更に、RTP HeaderはTimestamp、Synchronization source identifier及びContributing source identifierのうち少なくとも一つを含む。
RTP HeaderはV(version)フィールド、P(padding)フィールド、X(extension)フィールド、CCフィールド、M(Marker bit)フィールド、Payload Typeフィールド、Sequence Numberフィールド及びTimestampフィールドのうち少なくとも一つのフィールドを含む。
Vフィールドは該当RTPバージョンの情報を示す。具体的な実施例において、Vフィールドは2ビットである。
Pフィールドはペイロード内のpaddingビットの存在下非を示す。具体的な実施例において、Pフィールドは1ビットである。
XフィールドはRTP Header内のextensionフィールドの存在可否を示す。具体的な実施例において、Xフィールドは1ビットである。
CCフィールドはContributing sourceの数を示す。具体的な実施例において、CCフィールドは4ビットである。
M(Marker bit)フィールドはPayload Typeに応じて互いに異なる意味を示す。例えば、transport objectがファイルであればファイルの最後を示す。他の例として、transport objectがビデオまたはオーディオデータであれば関連するaccess unitの最初または最後のオブジェクトであることを示す。具体的な実施例において、Mフィールドは1ビットである。
Payload TypeフィールドはRTP Payloadのタイプを示す。具体的な実施例において、Payload Typeフィールドは7ビットである。
Sequence NumberフィールドはRTPパケットのシーケンスナンバーを示す。具体的な実施例において、Sequence Numberフィールドは16ビットである。
TimestampフィールドはRTPパケットに関する時間情報を示す。TimestampフィールドはPayload Typeフィールドの値に応じて異なるように解析される。具体的な実施例において、Timestampフィールドは32ビットである。
RTP PayloadはRTP HeaderのPayload Typeに応じてオーディオ/ビデオaccess unitが含まれる。例えば、H.264の場合NAL(network abstract layer) unitなどが含まれる。
図97は、本発明の一実施例によるISO base media format(以下、ISO BMFF)を基盤にするメディアファイルフォーマットを示す図である。
図97に示したように、メディアファイルフォーマットは一般に一つのftypと一つまたはそれ以上のmoov、moof及びmdatを含む。
ftypはメディアファイルのタイプ及び適合性を示す。ftypはメディアファイルでできるだけ前に位置する。
moovは全てのメディアデータのためのコンテナである。詳しくは、プレゼンテーションのシングルトラック(track)のためのコンテナボックスである。プレゼンテーションは一つまたはそれ以上のトラックで構成される。それぞれのトラックはプレゼンテーション内で他のトラックとは独立している。一実施例において、トラックはメディアデータを含み、他の実施利例において、トラックはパケッタイジングされたストリーミングプロトコールのための情報を含む。
mdatはメディアデータのコンテナであり、moofはmdatのための情報を含んでいる。
図98は、本発明の一実施例によるパケットペイロードのペイロードヘッダの構成を示す図である。
現在、リアルタイム伝送プロトコールは殆どメディアファイルのアクセスユニットなどを基盤に伝送している。詳しくは、アクセスユニットとはメディアファイルまたはデータを伝送する最小単位を意味する。よって、メディアファイルフォーマット基盤のデータをリアルタイムで伝送する方案に関する考慮が不十分なことろがある。
本発明の一実施例による放送伝送装置は、一つの伝送パケットに含まれたペイロードを介して一つのファイルファーマット基盤のメディアデータを伝送する。この場合、伝送パケットはシングルユニットパケット(single unit packet)であるといえる。他の実施例において、放送伝送装置は一つの伝送パケットに含まれたペイロードを介して複数のファイルフォーマット基盤のメディアデータを伝送する。この場合の伝送パケットはアグリゲーションパケット(Aggregation packet)であるといえる。また他の実施例による放送伝送装置は一つのファイルフォーマット基盤のメディアデータを様々な伝送パケットに分けて伝送する。この場合の伝送パケットはフラッグメンテッドパケット(Fragmented packet)であるといえる。更に他の実施例において、放送伝送装置は一つの伝送パケットのペイロードを介してメディアストリームに関する一つまたは複数のメタデータを伝送する。更に他の実施例において、放送伝送装置は一つのメタデータを複数の伝送パケットのペイロードを介して伝送する。
また、本発明の一実施例による放送伝送装置は多様なプロトコールを介してメディアデータを伝送する。上述したプロトコールはリアルタイム伝送プロトコール(real−time transport protocol(RTP))、非同期階層化コーディング(asynchronous layered coding(ALD))及び階層化コーディング伝送(layered coding transport(LCT))のうち少なくとも一つである。
詳しくは、放送伝送装置は伝送パケットのヘッダにペイロードタイプに関する情報を示すフィールドを挿入し、該当フィールドを介してペイロード内にファイルフォーマット基盤のメディアデータが含まれていることを示す。例えば、RPTの場合、ヘッダのPayload typeフィールドがペイロードのデータタイプを示し、該当フィールドに特定値をファイルフォーマット基盤のメディアデータのためのPayload type値として割り当てる。そして、この場合RTPパケットヘッダのMフィールドは一つのメディアファイルの最後を含むデータがパケットのペイロードに含まれれば1にセッティングされる。
上述した課題を解決するため、本発明の一実施例によるペイロードヘッダはペイロードが含むデータの上にエラーまたはシンタックスエラーがあるのか否かを示す情報、データの優先順位を示す情報及びデータのタイプを示す情報のうち少なくとも一つを含む。この場合、ペイロードヘッダに含まれたペイロードが含むデータ上のエラーまたはシンタックスエラーを示す情報をFフィールドという。一実施例において、ペイロードヘッダに含まれたペイロードが含むデータ上のエラーまたはシンタックスエラーを示す情報はforbidden_zero_bitであって、ペイロードが含むデータ上にエラーが発生するかシンタックス違反が発生すれば1にセッティングされる。詳しくは、ペイロードヘッダに含まれたペイロードが含むデータ上にエラーまたはシンタックスエラーを示す情報は1ビットである。
また、この場合ペイロードヘッダに含まれたデータの優先順位を示す情報はPriorityフィールドといえる。一実施例において、データの優先順位を示す情報はペイロードデータの優先順位を示すフィールドである。そして、データの優先順位を示す情報はペイロードデータがメディアファイルフォーマット上で重要なメタデータを含むか否かを示す。
ISO BMFFを例に挙げると、ftypまたはmoovなどを含むペイロードデータの場合、データの優先順位を示す情報は最も高い順位にセッティングされる。一実施例において、データの優先順位を示す情報は放送伝送装置の制御部を介して、最も高い優先順位(highest)、最も高い優先順位に比べ相対的に低い順位(medium)、最も低い順位(low)を示す。この場合、データの優先順位を示す情報は最も高い優先順位で0x00、最も高い優先順位に比べ相対的に低い順位で0x01、そして最も低い順位で0x02に設定される。上述した設定値は一実施例に過ぎず、他の任意の値に設定されてもよい。
また、この場合データのタイプを示す情報をTypeフィールドという。詳しくは、データのタイプを示す情報を介して放送受信装置100の制御部150は伝送パケットが一つのパケットに一つのデータを伝送するパケットであるのか、一つのパケットで複数の互いに異なるデータを伝送するパケットであるのか、または一つのデータを複数個に分けたデータを伝送するパケットであるのかを識別する。
また、放送受信装置100の制御部150はデータのタイプを示す情報を介して伝送パケットがコンテンツの時間情報を含むメタデータを伝送するパケットであるのか、伝送パケットがコンテンツの説明情報を含むメタデータを伝送するパケットであるのかを識別する。
一実施例において、放送伝送装置が一つのパケットで一つのデータを伝送するパケットであればデータのタイプを示す情報を0x00に設定する。また、放送伝送装置は一つのパケットで複数の互いに異なるデータを伝送するパケットであればデータのタイプを示す情報を0x01に設定する。また、放送伝送装置は一つのデータを分けたデータを伝送するパケットであればデータのタイプを示す情報を0x02に設定する。
また、放送伝送装置はメディアデータではなくコンテンツの再生またはデコーティング時間情報を含むメタデータをパケッタイジングして伝送する。この場合、放送伝送装置はデータのタイプを示す情報を0x03に設定する。一方、上述した時間情報をタイムライン(timeline)データという。
また、放送伝送装置はコンテンツの説明情報を含むメタデータをパケッタイジングして伝送する。この場合、放送伝送装置ははデータのタイプを示す情報を0x04に設定する。一方、上述した情報をラベリング(labeling)データという。
しかし、上述した設定値は一実施例に過ぎず、本発明が上述した値に限ることはない。具体的な実施例において、typeフィールドは5ビットである。
図99乃至図100は、一つのパケットに一つのメディアがパケッタイジングされた伝送パケットのペイロード構成を示す。
図99に示したように、一つのパケットに一つのメディアデータが含まれたパケットをシングルユニットパケットという。シングルユニットパケットのペイロードはペイロードヘッダとペイロードデータを含む。ペイロードデータは一つのファイルフォーマット基盤のメディアデータを含むフラグメンテッドデータを含む。一実施例において、伝送プロトコールが固定長さの伝送パケットを使用すれば、ペイロードデータはフラグメンテッドデータ以外にパッディングビットを追加に含む。ここで、パッディングビットとは伝送パケットでデータを詰めてから残った空間を詰めるためのビットをいう。
図100は、図99に示した伝送パケットの具体的な例を示す図である。図100に示したように、ペイロードヘッダはペイロードが含むデータ上にエラーまたはシンタックスエラーがあるのか否かを示す情報、データの優先順位を示す情報およびデータのタイプを示す情報のうち少なくとも一つを含む。
図100に示した一実施例において、ペイロードが含むデータ上にエラーまたはインタックスエラーがあるのか否かを示す情報はエラー及びシンタックスの違反がないとの内容を示す値を含む。具体的な実施例において、該当値は0である。
データの優先順位を示す情報はペイロードデータ内のメディアファイルがftypなどの重要なデータを含むため最も高い優先順位を有する。上述したように、ftypの場合メディアファイルをシグナリングするための情報を含むため最も高い優先順位を有する。具体的な実施例において、最も高い優先順位を示す値は0x00である。
データのタイプを示す情報は一つのパケットペイロード内に一つのメディアファイルが全て含まれているためシングルユニットパケットを示す。具体的な実施例において、データのタイプを示す情報は0x00値を有する。追加にメディアファイルの長さと伝送プロトコールに応じてパッディングビットが選択的にペイロードデータに挿入される。
図101乃至図102は、一つのパケットに複数の互いに異なるメディアデータがパケッタイジングされた伝送パケットの構成を示す。上述したパケットはアグリゲーションパケットといえる。図101に示したように、一つの伝送パケットのペイロードが複数の互いに異なるファイルフォーマット基盤のメディアデータを含む場合、ペイロードデータは複数のアグリゲーションユニットを含む。それぞれのアグリゲーションユニットは互いに異なるファイルフォーマット基盤のメディアデータを含む。追加に伝送プロトコールが固定長さのパケットを使用すればペイロードデータはパッディングビットを含む。
一実施例において、一つのアグリゲーションユニットはアグリゲーションユニットの長さを示す情報及びアグリゲーションデータのうち少なくとも一つを含む。この場合、アグリゲーションユニットの長さを示す情報をAggregation unit lengthフィールドという。具体的な実施例において、アグリゲーションユニットは16ビットである。また、アグリゲーションユニットデータは一つのファイルが含むデータを示す。
図102はアグリゲーションユニットの構成を示す他の実施例であって、一つのアグリゲーションユニットは図101の実施例で追加にアグリゲーションユニット内に含まれたファイルのタイプを示す情報を更に含む。
アグリゲーションのタイプを示す情報をAggregation unit typeフィールドという。具体的な実施例において、放送伝送装置はアグリゲーションタイプを0x00に設定する。
他の実施例において、アグリゲーションタイプはMPEG−DASH(Dynamic Adaptive Streaming over HTTP))におけるセルフ・イニシアライジングセグメント(Self−initializing Segment)形態のファイルを該当アグリゲーションユニットが含んでいることを示す。ここで、セルフ・イニシアライジングセグメントは別途のイニシアライジングセグメントなしにイニシアライジングセグメントとメディアセグメントを統合したものである。詳しくは、メディアセグメントとメディアセグメントのメディア形態を含む。具体的な実施例において、この場合、放送伝送装置はアグリゲーションタイプを0x01に設定する。
更に他の実施例において、アグリゲーションタイプはMPEG−DASHにおけるイニシアライジングセグメント形態のファイルを該当アグリゲーションユニットが含んでいることを示す。ここで、イニシアライジングセグメントはISO BMFFに従うフォーマットである。詳しくは、イニシアライジングセグメントはftyp、moovを含むべきである。そして、moofを含んではならない。具体的な実施例において、この場合、放送伝送装置はアグリゲーションタイプを0x02に設定する。
図103乃至図109は、一つのメディアデータが複数の伝送パケットに分けられてパケッタイジングされた伝送パケット(以下、フラッグメンテッドパケット)のペイロード構成を示す図である。図103は、フラッグメントパケットのペイロード構成の一実施例を示す図である。図103に示したように、フラッグメンテッドパケットのペイロードはフラグメンテーションユニット(fragmentation unit)を含む。追加にフラグメンテッドパケットのペイロードは伝送プロトコールが固定長さのパケットを使用する場合、パッディングビットが含まれる。
一実施例において、フラグメンテーションユニット(FU)はフラグメンテーションユニットヘッダ(Fragmentation unit header)及びフラグメンテーションユニットデータ(Fragmentation unit data)のうち少なくともいずれか一つを含む。フラグメンテーションユニットデータは一つのファイルフォーマット基盤のメディアデータの一部分を含む。フラグメンテーションユニットデータは一つのファイルフォーマット基盤のメディアデータの一部分を含む。フラグメンテーションユニットヘッダはフラグメンテーションユニットデータの情報を含む。
詳しくは、フラグメンテーションユニットヘッダはフラグメンテーションユニットデータが全体ファイルのメディアデータのうち開始部分のデータを含んでいるのか否かの情報、フラグメンテーションユニットデータが全体ファイルのメディアデータのうち終了部分のデータを含んでいるのか否かを示す情報、及びフラグメンテーションユニットのタイプを示す情報のうち少なくともいずれか一つを含む。
一実施例において、全体ファイルのメディアデータのうち開始部分のデータを含んでいるのか否かを示す情報をStart bitフィールドという。詳しくは、開始部分のデータは全体メディアデータの最初のビットを含む全体データの一部である。
例えば、該当ペイロードのフラグメントユニットが開始部分のデータを含んでいる場合、放送伝送装置は全体ファイルのメディアデータのうち開始部分のデータを含んでいるのか否かを示す情報を1に設定する。詳しくは、全体ファイルンのメディアデータのうち開始部分のデータを含んでいるのか否かを示す情報は1ビットである。
一実施例において、全体ファイルのメディアデータのうち最後の部分のデータを含んでいるのか否かを示す情報をEnd bitフィールドという。詳しくは、最後の部分のデータは全体メディアデータの最後のビットを含む全体データの一部である。
例えば、該当ペイロードのフラグメンテーションユニットデータが最後の部分のデータを含んでいる場合、放送伝送装置は全体ファイルのメディアデータのうち最後の部分のデータを含んでいるのか否かを示す情報を1に設定する。詳しくは、全体ファイルのメディアデータのうち最後の部分のデータを含んでいるのか否かを示す情報は1ビットである。
一実施例において、フラグメンテーションユニットのタイプを示す情報はフラグメンテーションユニットタイプフィールドという。
一実施例において、フラグメンテーションユニットタイプは該当パケットがファイルフォーマット基盤の基本的なファイルをフラグメンテーションユニットが含んでいることを示す。詳しくは、ファイルフォーマット基盤の基本的なファイルはISO BMFFを基盤にするファイルフォーマットを有するメディアファイルである。具体的な実施例において、放送伝送装置はフラグメンテーションユニットタイプを0x00に設定する。
他の実施例において、フラグメンテーションユニットタイプはMPEG−DASH(Dynamic Adaptive Streaming over HTTP))におけるセルフ・イニシアライジングセグメント形態のファイルを該当フラグメンテーションユニットが含んでいることを示す。具体的な実施例において、この場合、放送伝送装置はフラグメンテーションユニットタイプを0x01に設定する。
更に他の実施例において、フラグメンテーションユニットタイプはMPEG−DASHにおけるイニシアライジングセグメント形態のファイルを該当フラグメンテーションユニットが含んでいることを示す。具体的な実施例において、この場合、放送伝送装置はフラグメンテーションユニットタイプを0x02に設定する。
更に他の実施例において、フラグメンテーションユニットタイプはMPEG−DASHにおけるメディアセグメント形態のファイルを該当フラグメンテーションユニットが含んでいることを示す。具体的な実施例において、この場合、放送伝送装置はフラグメンテーションユニットタイプを0x03に設定する。
詳しくは、フラグメンテーションユニットタイプを示す情報は6ビットである。
図104は、フラグメンテッドパケットのペイロード構成の他の実施例を示す図である。図104の実施例は伝送パケットのヘッダに伝送パケットの順番に関する情報が存在しない場合に適用される。
図104に示したように、フラグメンテーションユニット(FU)に含まれたフラグメンテーションユニットヘッダはフラグメンテーションユニットデータが全体ファイルのメディアデータのうち開始部分のデータを含んでいるのか否かの情報、フラグメンテーションユニットデータが全体ファイルのメディアデータのうち終了部分のデータを含んでいるのか否かを示す情報、及びフラグメンテーションユニットのタイプを示す情報、及びフラグメンテーションユニットが全体データにおける順番を示す情報のうち少なくともいずれか一つを含む。上述した情報のうちフラグメンテーションユニットの順番を示す情報を除く残りの情報は図103で説明した通りである。
フラグメンテーションユニットの順番を示す情報はFragmentation numberフィールドという。詳しくは、放送伝送装置はファイルフォーマット基盤のメディアデータが複数のフラッグメンテッドパケットに分けられた場合、フラグメンテーションユニットの順番を示す情報に値を設定して該当パケットの順番を割り当てる。詳しくは、Fragmentation numberフィールドは8ビットである。
図105は、本発明の一実施例において、放送伝送装置がISO BMFF基盤のメディアファイルをフラグメンテーションして複数個のパケットに分けることを示す図である。図105に示したように、ISO BMFF基盤のメディアファイルはftyp、moovと複数のmoof及びmdatを含む。
放送伝送装置はISO BMFF基盤のメディアファイルを複数個に分けてそれぞれ異なるフラグメンテーションユニットデータに含ませる。また、放送伝送装置はISO BMFF基盤のメディアファイルを分けながらペイロードヘッダに関する情報を含ませる。
図106は、図105の放送伝送装置はパケッタイジングした第1フラグメンテーションユニットデータの具体的な実施例を示す図である。
図106に示したように、本発明の一実施例において、放送伝送装置はペイロードのFフィールドを該当パケットにエラーまたはシンタックスのエラーがないと判断して0に設定する。
また、放送伝送装置はPriorityフィールドを最も高い優先順位を示す値に設定する。詳しくは、該当値は0x00である。
また、放送伝送装置はTypeフィールドを該当パケットが一つのファイルフォーマット基盤のメディアファイルを様々なペイロードに分けて伝送するパケットを示す値に設定する。詳しくは、該当値は0x02である。
ペイロードデータはフラグメンテーションユニットを含み、更にフラグメンテーションユニットはStart bitフィールド、フラグメンテーションユニットタイプフィールド及びフラグメンテーションユニットデータフィールドを含む。
放送伝送装置はStart bitフィールドを該当パケットがメディアファイルの開始データを含む内容を示す値に設定する。詳しくは、図105において第1フラグメンテーションユニットがメディアデータの開始データを含むため、放送伝送装置は該当内容を示す値をStart bitフィールドに設定する。
一方、放送伝送装置は図106で例示したように第1フラグメンテーションユニットのEnd bitフィールドをメディアファイルの最後の部分のデータを含んでいないとの内容を示す値に設定する。具体的な実施例において、放送伝送装置は該当パケットがメディアファイルの最後の部分のデータを含んでいないとの内容を示すためにEnd bitフィールドを0に設定する。
一方、放送伝送装置は図106で例示したように第1フラグメンテーションユニットがファイルフォーマット基盤の基本的な形態のファイルを含んでいるとの内容をフラグメンテーションユニットタイプフィールドに設定する。詳しくは、ファイルフォーマット基盤の基本的な形態とは、ISO BMFFに従うファイルフォーマットデータである。具体的な実施例において、放送伝送装置はフラグメンテーションユニットタイプフィールドを0x00に設定し該当内容を示す。
図107乃至図109は、図105のフラグメンテーションユニットデータのうち開始データを除く残りのデータを含むフラグメンテーションユニットの一実施例を示す図である。
図107に示したように、本発明の一実施例において、放送伝送装置はペイロードヘッダのFフィールドを該当パケットにエラーまたはシンタックスエラーがないことを示す値に設定する。具体的な実施例において、放送伝送装置はFフィールドを0に設定する。また、放送伝送装置は図107に示したペイロードデータが相対的に低い優先順位を示すことを示す値としてPriorityフィールドを設定する。
具体的な実施例において、第2フラグメンテーションユニットからは全体メディアデータをシグナリングするデータを含まない可能性がある。よって、第1フラグメンテーションユニットより優先順位が相対的に低いため、Priorityフィールドが相対的に低い優先順位を有する値に設定される。例えば、該当値は0x01である。
また、放送伝送装置はTypeフィールドを該当パケットが一つのファイルフォーマット基盤のメディアファイルを様々なペイロードに分けて伝送するパケットを示すFragmented packetとして0x02に設定する。図108は、ペイロードデータが開始データを含むフラグメンテーションユニットデータ及び最後のデータを含むフラグメンテーションユニットデータを含まない場合のペイロード構成を示す。
本発明の一実施例において、放送伝送装置は図108のフラグメンテーションユニットデータが開始データ及び最後のデータを含んでいないため、Start bitフィールド及びEnd bitフィールドを該当情報を示す値として設定する。具体的な実施例において、放送伝送装置はStart bit及びEnd bitフィールドを全て0に設定する。
また、放送伝送装置はフラグメンテーションユニットタイプフィールドを特定値に設定する。詳しくは、ファイルフォーマット基盤の基本的な形態とは、ISO BMFFに従うファイルフォーマットデータである。具体的な実施例において、放送伝送装置はフラグメンテーションユニットタイプフィールドを0x00に設定し該当内容を示す。パケットに分けられたそれぞれのファイルフォーマット基盤のメディアデータは全体ファイルで固有の順番を有する。放送受信装置100は制御部150を介して分けられたフラグメンテーションユニットデータが全体データのうち開始部分を含むことをStart bitフィールドに基づいて識別する。また、フラグ面でーションユニットデータが全体データのうち最後の部分を示すことをEnd bitフィールドに基づいて識別する。しかし、Start bitフィールド及びEnd bitフィールドのみでは識別が不可能な場合がある。
フラグメンテーションユニットデータが全体データのうち開始データまたは最後のデータを含んでいない場合、放送受信装置100は一実施例においてペイロードに含まれたフラグメンテーションユニットデータの順番を示す情報を介して該当パケットを識別する。詳しくは、フラグメンテーションユニットデータの順番を示す情報はフラグメンテーションナンバーフィールドである。マタ、放送伝送装置は該当フラグメンテーションユニットデータの順番を上述したフラグメンテーションフィールドに設定する。
しかし、他の実施例において、伝送パケットはフラグメンテーションユニットデータの順番情報を含まなくてもよい。この場合、一実施例において、放送伝送装置はパケットヘッダにフラグメンテーションユニットデータの順番を識別するための情報を挿入する。パケットヘッダに含まれたフラグメンテーションユニットデータの順番を識別するための情報はシーケンスナンバーフィールドである。他の実施例において、放送伝送装置はIPデータグラムのオフセット情報にフラグメンテーションユニットデータの順番を識別するための情報を挿入してもよい。
図109は、分けられた全体メディアのうち最後のデータを含むフラグメンテーションユニットを含むペイロードの構成を示す図である。詳しくは、図109はペイロードデータが開始データを含むフラグメンテーションユニットデータを含まないが、最後のデータを含むフラグメンテーションユニットデータを含む場合のペイロード構成を示す。
本発明の一実施例において、放送伝送装置はず58のフラグメンテーションユニットデータが最後のデータを含んでいるため、Start bitフィールド及びEnd bitフィールドを該当情報を示す値として設定する。具体的な実施例において、放送伝送装置はStart bitフィールドを0に設定する。そして、放送伝送装置はEnd bitフィールドを1に設定する。
また、放送伝送装置はフラグメンテーションユニットタイプフィールドを該当パケットが含むメディアデータがISO BMFF基盤のftypから始まる基本的な形態のファイルを含む内容を示すように設定する。具体的な実施例において、放送伝送装置はフラグメンテーションユニットタイプフィールドを0x00に設定する。
放送伝送地が伝送パケットを介して伝送するデータは上述したメディアデータと共にメタデータ(metadata)がある。メタデータはメディアデータを提供するために必要な付加情報を示す。以下、図107乃至図117ではメタデータを伝送パケットにパケッタイジングして伝送及び受信する放送伝送装置は、放送伝送装置の動作方法、放送受信装置及び放送受信装置の動作方法を提案する。
また、以下ではメタデータの一例としてタイムライン情報を中心に説明する。タイムライン情報とはメディアコンテンツのための一連の時間情報である。詳しくは、タイムライン情報は再生またはデコーディングするための一連の時間情報である。
また、タイムラインの情報は基本タイムライン(Base timeline)情報を含む。基本タイムラインとは、複数の互いに異なる伝送網を介して伝送されるメディアデータを同期化するために必要な基準タイムラインを意味する。詳しくは、第1伝送網を介して伝送されるメディアデータのタイムラインに第2伝送網を介して伝送されるメディアデータのタイムラインをマッピングする場合、第1伝送網を介して伝送されるメディアデータのタイムラインが基本タイムラントなる。
一方、放送伝送装置はメタデータをXMLのフォーマットで表現する。また、放送伝送装置はメタデータをシグナリングテーブルに含まれるデスクリプタの形態に表現してもよい。
図110は、本発明の一実施例によるメタデータのタイムラインシグナリングテーブルを示す図である。
本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインに関するメタデータであることを示す情報または該当マタデータがタイムラインコンポーネントアクセスユニット(timeline component access unit)構造を含んでいることを示す情報を含む。上述した情報をidentifierフィールドという。具体的な実施例において、identifierフィールドは8ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットのタイムライン情報の長さを示す情報を含む。上述した情報をAU_lengthフィールドという。具体的な実施例において、AU_lengthフィールドは32ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットに関するサービス及びコンテンツコンポーネントに関する位置情報を含んでいるのか否かを示す情報を含む。上述した情報をlocation_flagフィールドという。具体的な実施例において、location_flagフィールドは1ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットが含むタイムスタンプのバージョン情報を含む。タイムスタンプとは連続したタイムラインで該当アクセスユニットが出力されるべき時間情報を示す。上述した情報をtimestamp_versionフィールドという。具体的な実施例において、timestamp_versionフィールドは1ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットのタイムスタンプのタイプ情報を含む。上述した情報をlocation_typeフィールドという。
一実施例において、タイムラインコンポーネントアクセスユニットに関するサービスまたはコンテンツコンポーネントのデコーディング時点を示す値が設定される。詳しくは、コンテンツコンポーネントのデコーティング時点はデコーティングタイムスタンプ(decoding timestamp)という。具体的な一実施例において、放送伝送装置はタイムスタンプのタイプ情報を該当情報がデコーディング時点を示せば0x00に設定する。
他の実施例において、タイムラインコンポーネントアクセスユニットに関するサービスまたはコンテンツコンポーネント再生時点を示す値が設定される。詳しくは、コンテンツコンポーネントの再生時点はプレゼンテーションタイムスタンプ(presentation timestamp)という。具体的な一実施例において、放送伝送装置はタイムスタンプのタイプ情報を該当情報がプレゼンテーション時点を示せば0x01に設定する。
一方、具体的な実施例において、timestamp_typeフィールドは1ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットのタイムラインスタンプフォーマット情報を含む。上述した情報をtimestamp_formatフィールドという。
一実施例において、タイムスタンプフォーマット情報はタイムラインコンポーネントアクセスユニットが含むタイムスタンプがメディアタイム(Media time)のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x00に設定して該当アクセスユニットのタイムスタンプフォーマットがメディアタイムフォーマットであることを示す。
他の実施例において、タイムスタンプフォーマット情報はタイムラインコンポーネントアクセスユニットに含まれたタイムスタンプがネットワークタイムプロトコール(network time protocol(NTP))のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x01に設定して該当アクセスユニットのタイムスタンプフォーマットがNTPフォーマットであることを示す。
また他の実施例において、タイムスタンプフォーマット情報はタイムラインコンポーネントアクセスユニットが含むタイムスタンプがプレシジョンタイムプロトコール(precision time protocol(PTP))のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x02に設定して該当アクセスユニットのタイムスタンプフォーマットがPTPフォーマットであることを示す。
更に他の実施例において、タイムスタンプフォーマット情報はタイムラインコンポーネントアクセスユニットが含むタイムスタンプがタイムコード(timecode)のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x03に設定して該当アクセスユニットのタイムスタンプフォーマットがタイムコードフォーマットであることを示す。一方、具体的な実施例において、timestamp_formatフィールド4ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインコンポーネントアクセスユニットが含む情報に関するサービスまたはコンテンツのコンポーネントに関する位置情報を含む。上述した情報をlocationフィールドという。
また、本発明の一実施例において、タイムラインシグナリングテーブルは上述した位置情報の長さを示す情報を含む。位置情報の長さを示す情報をlocation_lengthフィールドという。具体的な実施例において、location_lengthフィールド8ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインマッチングの基準になり得る基本タイムラインのタイムスタンプフォーマットバージョン情報を含む。上述した情報をorigin_timestamp_versionフィールドという。
一実施例において、origin_timestamp_versionフィールドが0に設定されればタイムスタンプフォーマットが32ビットのフォーマットを有することを示す。他の実施例において、origin_timestamp_versionフィールドが1に設定されればタイムスタンプフォーマットが64ビットのフォーマットを有することを示す。
また、本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムラインのタイムスタンプタイプ情報を含む。上述した情報をorigine_timestamp_typeフィールドという。
一実施例において、origine_timestamp_typeフィールドは基本タイムラインに関するサービスまたはコンテンツコンポーネントのデコーディング時点を示す値が設定される。詳しくは、コンテンツコンポーネントのデコーディング時点はデコーティングタイムスタンプ(decoding timestamp)という。具体的な一実施例において、放送伝送装置は該当情報がデコーディング時点を示す場合、origine_timestamp_typeフィールドを0x00に設定する。
他の実施例において、origine_timestamp_typeフィールドは基本タイムラインに関するサービスまたはコンテンツコンポーネントの再生時点を示す値が設定される。詳しくは、コンテンツコンポーネントの再生時点はプレゼンテーションタイムスタンプ(presentation timestamp)という。具体的な一実施例において、放送伝送装置は該当情報がプレゼンテーション時点を示す場合、origine_timestamp_typeフィールド0x01に設定する。
本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムラインに対するタイムスタンプフォーマット情報を含む。上述した情報をorigine_timestamp_formatフィールドという。
一実施例において、origine_timestamp_formaフィールドは基本タイムラインのタイムスタンプがメディアタイムのフォーマットであることを示す。具体的な一実施例において、放送伝送装置はorigine_timestamp_formaフィールドを0x00に設定して該当基本タイムラインのタイムスタンプフォーマットがメディアタイムフォーマットであることを示す。
他の実施例において、origine_timestamp_formaフィールドは基本タイムラインのタイムスタンプがネットワークタイムプロトコール(NTP)のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はorigine_timestamp_formaフィールドを0x01に設定して該当基本タイムラインのタイムスタンプフォーマットがNTPフォーマットであることを示す。
また他のの実施例において、origine_timestamp_formaフィールドは基本タイムラインのタイムスタンプがプレシジョンタイムプロトコール(PTP)のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x02に設定して該当基本タイムラインのタイムスタンプフォーマットがPTPフォーマットであることを示す。
更に他のの実施例において、origine_timestamp_formaフィールドは基本タイムラインのタイムスタンプがタイムコード(timecode)のフォーマットであることを示す。具体的な一実施例において、放送伝送装置はtimestamp_formatフィールドを0x03に設定して該当基本タイムラインのタイムスタンプフォーマットがタイムコードフォーマットであることを示す。
また、本発明の一実施例において、タイムラインシグナリングテーブルはタイムラインマッチングの基準になり得る基本タイムラインに関するサービス及びコンテンツコンポーネントの位置情報を含んでいるのか否かを含む情報を含む。上述した情報をorigin_location_flagフィールドという。一実施例において、origin_location_flagフィールドが0以外の値に設定される場合、timeline AUはorigin_location_lengthールド及びorigin_locationフィールドのうち少なくともいずれか一つを含む。
また、本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムラインに関するサービスまたはコンテンツに対する位置情報を含む。上述した情報をorigin_locationフィールドという。具体的な一実施例において、origin_locationフィールドに含まれる情報はIPアドレス、ポートナンバーまたはURIの形態である。
また、本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムラインに関するサービス及びコンテンツに対する位置情報の長さの情報を含む。上述した情報をorigin_location_lengthフィールドという。具体的な一実施例において、origin_location_lengthフィールドは8ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルはマッピングの基本になる基本タイムラインがメディアタイムの形態であれば、使用可能なタイムスケール(time scale)の情報を含む。上述した情報をorigin_timescaleフィールドという。例えば、MPEG−2 TSの場合、タイムスケールは9000Hzを示す。具体的な一実施例において、origin_timescaleフィールドは32ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムライン上のメディアタイム情報を含む。上述した情報をorigin_media_timeフィールドという。一方、origin_media_timeフィールドはorigin_timestamp_typeフィールドに応じてその意味が異なり得る。他とば、origin_timestamp_typeフィールドがPTSを意味すればorigin_media_timeフィールドは再生時点を示す。他の例として、origin_timestamp_typeフィールドがDTSを意味すればorigin_media_timeフィールドはデコーディング時点を示す。具体的な一実施例において、origin_media_timeフィールドはorigin_timestamp_versionフィールドが0に設定されれば32ビットであり、origin_timestamp_versionフィールドが1に設定されれば64ビットである。
また、本発明の一実施例において、タイムラインシグナリングテーブルは基本タイムラインタイムスタンプ情報を含む。上述した情報をorigin_timestampフィールドという。基本タイムラインタイムスタンプ情報はorigin_timestamp_formatフィールドの値に応じて互いに異なるフォーマットのタイムスタンプを示す。また、origin_timestamp_typeフィールドの値に応じて基本タイムラインタイムスタンプ情報が互いに異なる意味を示す。例えば、origin_timestamp_typeフィールドがPTSをシグナリングすれば基本タイムラインタイムスタンプ情報は再生時間を示す。
例えば、origin_timestamp_typeフィールドがDTSを示し、origin_timestamp_formatフィールドが0x01であれば、該当origin_timestamp_typeフィールドはNTPで表現されたデコーディング時点を示す。具体的な一実施例において、origin_timestampフィールドはorigin_timestamp_versionフィールドが0であれば32ビットであり、origin_timestamp_versionフィールドが1であれば64ビットである。
一実施例において、origin_timestamp_formatフィールドがreservedを示す場合、timeline AUはprivate_data_lengthフィールド及びprivate_data_byte()フィールドのうち少なくとも一つを含む。
private_data_lengthフィールドはprivate_data_byte()フィールドのバイト単位の長さを示す。具体的な一実施例において、private_data_lengthフィールドは16ビットである。
private_data_byte()フィールドはprivate_data_lengthフィールドが示す長さだけprivatelyを定義するか、後に拡張内容を含む。
図111は、伝送パケットのペイロードデータに一つのメタデータがパケット化されたペイロードデータの構成を示す図である。一実施例において、ペイロードデータはメタデータを含み、メタデータはメディアストリーム関連タイムラインデータを含む。また、一実施例において、放送伝送装置が伝送プロトコールに固定長さのパケットを含めばペイロードデータはパディングデータを追加に含む。
図112は、伝送パケットのペイロードデータがタイムラインに対するメタデータを含む場合の実施例を示す図である。
図112に示したように、一実施例において、ペイロードヘッダはFフィールド、Priorityフィールド及びTypeフィールドのうち少なくとも一つを含む。
一実施例において、放送伝送装置はFフィールドをペイロード内にエラーが存在せずsyntaxの違反もないことを示す値に設定する。詳しくは、放送伝送装置はFフィールドを0に設定する。また、放送伝送装置はPriorityフィールドをペイロードデータがメディアファイル構成の重要なデータを全て含むため、最も高い優先順位を示す値に設定する。詳しくは、放送伝送装置はPriorityフィールドを0x00に設定する。また、放送伝送装置はTypeフィールドをペイロード内にタイムライン情報のメタデータを含む情報を示す値に設定する。詳しくは、放送伝送装置はTypeフィールドを0x03に設定する。また、メタデータは図110のシンタックスを含む。
図113は、一つの伝送パケットに多数のメタデータがパケット化された場合を示す図である。
図113に示したように、一つの伝送パケットが多数のメタデータを含む場合イをアグリゲーションパケットという。一実施例において、ペイロードデータは複数のアグリゲーションユニットを含む。
一実施例において、アグリゲーションユニットはメタデータの長さを示す情報を含む。他の実施例において、アグリゲーションユニットはメタデータヘッダフィールドが別途に存在する場合、メタデータヘッダフィールド及びメタデータフィールドの長さの合計を示す情報を含む。上述した情報はmetadata lengthフィールドという。
図114は、一つの伝送パケットが多数個のタイムライン情報を含む場合を示す図である。詳しくは、一つのメディアストリームに関してそれぞれの基準が異なる複数個のタイムライン情報を一つの伝送パケットが含んでいる場合を示す。一実施例において、伝送パケットはペイロードパケットを含むが、ペイロードヘッダの内容は図113の内容のようである。
また、一実施例において、ペイロードデータは2つのアグリゲーションユニットを含む。しかし、ペイロードデータが含むアグリゲーションユニットの個数は2つ以上であってもよい。
一実施例において、それぞれのアグリゲーションユニットは図113に示したようにmetadata lengthフィールド、metadata headerフィールド及びタイムライン情報を含むメタデータフィールドのうち少なくともいずれか一つを含む。
しかし、図114に示した第1アグリゲーションユニットは第1タイムラインを含むメタデータフィールドを含み、第2アグリゲーションユニットは第2タイムラインを含むメタデータフィールドを含む。具体的な実施例において、タイムラインは互いに異なる基準に基づくデータを有する。例えば、第1タイムラインはメディアタイムラインに基づくデータを有し、第2タイムラインはNTPに基づくデータを有する。
図115は、一つのメタデータを複数個の伝送パケットに分けてパケット化したパケットペイロードを示す図である。
一実施例において、一つのメタデータの長さが伝送パケットの長さより長いことがあるが、この場合、放送伝送装置は該当メタデータを様々な伝送パケットに分けて伝送する。図115に示したように、伝送パケットはペイロードヘッダ、メタデータフラッグメントヘッダ及びメタデータフラッグメントのうち少なくとも一つを含む。追加に伝送プロトコールが固定長さのパケットを使用する場合、伝送パケットはパッディングビットを含んでもよい。
図115に示したように、一実施例において、メタデータフラッグメントヘッダは該当伝送パケットの該当伝送パケットのペイロードデータに含まれたメタデータフラッグメントが全体メタデータの開始部分を含んでいるのか否かを示す情報を含む。詳しくは、開始部分のデータは全体メディアデータの最初のビットを含む全体データの一部である。上述した情報はstart bitフィールドという。具体的な実施例において、start bitフィールド1ビットである。一実施例において、放送伝送装置は該当伝送パケットが含んでいるメタデータフラッグメントが全体のメタデータの開始部分を含んでいる場合にstart bitフィールドを1に設定する。
他の一実施例において、メタデータフラッグメントヘッダは該当伝送パケットの該当伝送パケットのペイロードデータに含まれたメタデータフラッグメントが全体メタデータの終了部分を含んでいるのか否かを示す情報を含む。詳しくは、終了部分のデータは全体メディアデータの最後のビットを含む全体データの一部である。上述した情報はend bitフィールドという。具体的な実施例において、end bitフィールド1ビットである。一実施例において、放送伝送装置は該当伝送パケットが含んでいるメタデータフラッグメントが全体のメタデータの終了部分を含んでいる場合にend bitフィールドを1に設定する。
また他の実施例において、メタデータヘッダはメタデータタイプを示す情報を含む。上述した情報はmetadata typeフィールドという。具体的な実施例において、メタデータタイプが該当メタデータフラッグメントがタイムライン情報を含んでいることを示す。この場合、放送伝送装置はmetadata typeフィールドを0x00に設定する。他の実施例において、メタデータタイプは該当メタデータフラッグメントがラベリング関連メタデータを含んでいることを示す。この場合、放送伝送装置はmetadata typeフィールドを0x01に設定する。また、具体的な実施例において、metadata typeフィールドは5ビットである。
図116は、メタデータフラグメントヘッダの他の実施例を示す図である。ここで、図115と同じ部分の説明は省略する。
本発明の一実施例において、フラッグメントヘッダは該当パケットペイロードに含まれたメタデータフラッグメントの順番を示す情報を含む。上述した情報はfragment numberという。放送受信装置100はパケットペイロードに含まれたメタデータフラッグメント順番情報に基づいて該当パケットが何番目のメタデータを含んでいるのかを判断する。
図117は、本発明の一実施例による放送受信装置が放送パケットを受信する動作を示す図である。
放送受信装置100の制御部150は図94のS205でペイロードに含まれたデータがメディアデータではないと判断した場合、一つの伝送パケットに全体のメタデータが含まれているのか否かを判断するS301。詳しくは、制御部105はペイロードヘッダ情報からペイロードに含まれたデータがメディアデータではなくメタデータであることを判断する。そして、制御部150は該当メタデータの全体が一つの伝送パケットに全て含まれて伝送されたのか否かを判断する。上述したように一つの伝送パケットに一つまたは複数の互いに異なるメタデータが含まれる。または、一つのメタデータが分けられて複数の互いに異なる伝送パケットに含まれる。
本発明の一実施例において、放送受信装置100の制御部150が一つの伝送パケットに全体のメタデータが含まれていると判断した場合、制御部150は一つのパケットペイロードからメタデータを抽出するS303。詳しくは、制御部150はペイロードヘッダを抽出し、抽出したペイロードに基づいてメタデータを抽出する。一実施例において、制御部150は一つのパケットペイロードから一つのメタデータを抽出する。他の実施例において、制御部150は一つのパケットペイロードから複数のメタデータを抽出してもよい。本発明のまた他の実施例において、放送受信装置100の制御部150が一つのメタデータが複数の伝送パケットに分けられて含まれていると判断することがある。この場合、制御部150は複数のパケットペイロードからメタデータを抽出するS305。具体的な実施例において、一つのメタデータが複数の伝送パケットに分けられてパケット化される。放送受信装置100の制御部150はパケットペイロードからメタデータシグナリングデータを獲得する。そして、制御部150は獲得したシグナリングデータに基づいて複数のパケットペイロードからメタデータを抽出する。
放送受信装置100の制御部150は抽出したメタデータに基づいてコンテンツを提供するS307。具体的な一実施例において、制御部150はメタデータからコンテンツの再生またはデコーティング時間情報を獲得する。また他の実施例において、制御部150はメタデータからコンテンツを説明する情報を獲得してもよい。
図118は、放送網を介してはRTPプロトコールを利用してビデオストリームを伝送し、インターネット網を介してはファイルフォーマット基盤のメディアデータを利用してビデオストリームを伝送する場合を示す図である。この場合、放送受信装置100はタイムライン関連メタデータを含むRTPパケット或いはIP/UDPパケットを受信した後、RTPプロトコール基盤のオーディオストリームとDASH基盤のビデオストリーム間のタイムラインをマッチングして関連するストリーム間の復号化及び再生を可能にする。
上述したように、従来の放送伝送装置は伝送パケットに含まれたデータ(またはオブジェクト)の再生に関する時間情報をペイロードに載せて伝送していた。または放送伝送装置は時間情報を伝送するための別途のシグナリングを伝送していた。従来のような方法の場合、別途の伝送パケットまたはパケットペイロードに時間情報を載せるためパケットヘッダの容量または伝送パケットの容量が相対的に小さくなる長所があった。しかし、従来の方法の場合、伝送しようとするデータと別途のパケットで時間情報を伝送するため正確で迅速な同期画面では効率が落ちることがあった。
一方、本発明の実施例ではリアルタイムのコンテンツを支援するための伝送パケットのパケットヘッダにパケットデコーティングまたは再生に関する時間情報を含ませる。よって、該当パケットの時間情報が該当パケットのヘッダに含まれているため、従来の方法に比べ相対的に正確で迅速な同期化が可能になる。特に、本発明の一実施例では上述したデコーディングまたは再生に関する時間情報をパケットヘッダ内の拡張されたヘッダ(Extended Header)に設定して伝送パケットをパケット化する内容を提案する。ここで、拡張されたヘッダは必須ではないが、容量変換が可能な選択的なヘッダフィールドを含むパケットヘッダの一部であってもよい。また、伝送パケットはオブジェクトに基づいて生成され、よって、オブジェクトは伝送パケットを介して伝送しようとする対象になり得る。オブジェクトはセッションに含まれて伝送されてもよい。
図119は、本発明の一実施例による伝送パケットの構成を示す図である。図119に示した伝送パケットは信頼性のあるデータ伝送を支援する伝送プロトコールを利用する。具体的な実施例において、信頼性のあるデータ伝送プロトコールは非同期階層化コーディング(ALC)である。他の実施例において、信頼性のあるデータ伝送プロトコールは階層化コーディング伝送(LCT)である。
本発明の一実施例によるパケットヘッダパケットのバージョン情報を含む。詳しくは、該当伝送プロトコールを利用する伝送パケットのバージョン情報を含む。具体的な実施例において、上述した情報はVフィールドである。また、Vフィールドは4ビットである。
また、本発明の一実施例によるパケットヘッダは、混雑制御(congestion control)のための情報の長さに関する情報を含む。詳しくは、混雑制御のための情報の長さと混雑制御のための情報の長さの基本単位にかけられる関連する倍数情報を含む。
具体的な実施例において、上述した情報はCフィールドである。一実施例においてCフィールドは0x00に設定されるが、この場合、混雑制御のための情報の長さが32ビットであることを示す。他の実施例においてCフィールドは0x01に設定されるが、この場合、混雑制御のための情報の長さが64ビットである。また他の実施例においてCフィールドは0x02に設定されるが、この場合、混雑制御のための情報の長さが96ビットである。更に他の実施例においてCフィールドは0x03に設定されるが、この場合、混雑制御のための情報の長さが128ビットである。Cフィールドは2ビットである。
また、本発明の一実施例によるパケットヘッダはプロトコールに特化した情報を含む。具体的な実施例において、上述した情報はPSIフィールドである。また、PSIフィールドは2ビットである。
また、本発明の一実施例によるパケットヘッダは伝送セッションの識別情報を示すフィールドの長さに関する情報を含む。詳しくは、伝送セッションの識別情報を示すフィールドの倍数情報を含む。上述した情報はSフィールドという。Sフィールドは1ビットである。
また、本発明の一実施例によるパケットヘッダは伝送オブジェクトの識別情報を示すフィールドの長さに関する情報を含む。詳しくは、伝送オブジェクトの識別情報を示すフィールドの基本長さにかけられる倍数情報を含む。上述した情報はOフィールドという。Oフィールドは12ビットである。
また、本発明の一実施例によるパケットヘッダは伝送セッションの識別情報を示すフィールドの長さに関する追加の情報を含む。そして、パケットヘッダは伝送オブジェクトの識別情報を示すフィールドの長さに関する追加の情報を含む。追加の情報はハーフワード(half−word)の追加可否情報である。伝送パケットの識別情報を示すフィールド及び伝送オブジェクトの識別情報を示すフィールドは存在すべきであるため、SフィールドとHフィールドまたはOフィールドとHフィールドは同時に0(Zero)を示すことができない。
また、本発明の一実施例によるパケットヘッダは、セッションが終了されるか終了が迫ることを示す情報を含む。上述した情報をAフィールドという。具体的な実施例において、Aフィールドがセッションの終了または終了の切迫を示せば1に設定される。よって、通常Aフィールドは0に設定される。放送伝送装置がAフィールドを1に設定する場合、セッションを介して最後のパケットが伝送されていることを示す。Aフィールドが1に設定されると、放送伝送装置は該当パケットを従う全てのパケットの伝送が終了されるまでAフィールドを1に維持すべきである。また、放送受信装置はAフィールドが1に設定される場合、放送伝送装置がセッションを介したパケット伝送をもうすぐ中断することを認識する。つまり、放送受信装置はAフィールドが1に設定されるとセッションを介してそれ以上のパケット伝送はないと認識する。一実施例において、Aフィールドは1ビットである。
また、本発明の一実施例によるパケットヘッダは、オブジェクトの伝送が終了されるか終了が迫ることを示す情報を含む。上述した情報をBフィールドという。具体的な実施例において、放送伝送装置はオブジェクトの伝送終了が迫ればBフィールドは1に設定される。よって、通常Bフィールドは0に設定される。伝送オブジェクトを識別する情報が伝送パケットに存在しなければBフィールドは1に設定される。そして、アウト・オブ・バンド(out−of−band)情報によって識別されたオブジェクト伝送の終了が迫ることを示す。また、Bフィールドはオブジェクトのための最後のパケットが伝送されれば1に設定される。また、Bフィールドはオブジェクトのための最後の数秒パケットが伝送されれば1に設定される。放送伝送装置は特定オブジェクトのためのパケットのフィールドが1に設定されると、該当パケットを従う全てのパケットの伝送が終了されるまでBフィールドを1に設定すべきである。放送受信装置100はBフィールドが1に設定されると、放送伝送装置がオブジェクトのためのパケットの伝送をもうすぐ中断することを認識する。つまり、放送受信装置100は1に設定されたBフィールドからセッションを介したそれ以上のオブジェクトの伝送はないと認識する。一実施例において、Bフィールドは1ビットである。
また、本発明の一実施例によるパケットヘッダは、ヘッダの総長さを示す情報を含む。上述した情報をHDR_LENフィールドという。HDR_LENフィールドは32の倍数ビットである。具体的な実施例において、HDR_LENフィールドが5に設定されればパケットヘッダの総長さは32の5倍数である160ビットである。また、HDR_LENフィールドは8ビットである。
また、本発明の一実施例によるパケットヘッダは、ヘッダパケットに含まれたペイロードのエンコーディングまたはデコーディングに関する情報を含む。上述した情報をCodeintフィールドという。一実施例において、Codeintフィールドは8ビットである。
また、本発明の一実施例によるパケットヘッダは、ヘッダの混雑を制御するための情報を含む。上述した情報をCongestion Control Information(以下、CCI)フィールドという。具体的な実施例において、CCIフィールドはCurrent time slot index(CTSI)フィールド、channel numberフィールド及びpacket sequence numberフィールドのうち少なくともいずれか一つを含む。
また、本発明の一実施例によるパケットヘッダは、伝送セッションを識別するための情報を含む。上述した情報は伝送セッション識別子(Transport Session Identifier(以下、TSI))である。また、TSI情報を含むパケットヘッダ内のフィールドをTSIフィールドという。
また、本発明の一実施例によるパケットヘッダは、伝送セッションを介して伝送されるオブジェクトを識別するための情報を含む。上述した情報は伝送オブジェクト識別子(Transport Object Identifier(以下、TOI))である。また、TOI情報を含むパケットヘッダ内のフィールドをTOIフィールドという。
また、本発明の一実施例によるパケットヘッダは、追加の情報を伝送するための情報を含む。上述した情報をHeader Extensionフィールドという。一実施例において、追加の情報は伝送オブジェクトの再生に関する時間情報である。他の実施例において、追加の情報は伝送オブジェクトのデコーディングに関する時間情報である。
また、本発明の一実施例による伝送パケットはペイロード識別情報を含む。一実施例において、識別情報はForward Error Correction(FEC) schemeに関するペイロード識別情報である。ここで、FECはRFC 5019に定義されているペイロードフォーマットのある類型である。FECはRTPまたはSRTPで使用される。上述した情報はFEC Payload IDフィールドという。
一実施例において、FEC Payload IDフィールドはオブジェクトのソースブロックを識別するための情報を含む。上述した情報はSource block numberフィールドという。例えば、Source block numberフィールドがNに設定されるとオブジェクト内のソースブロックは0からN−1にナンバリングされる。
他の実施例において、FEC Payload IDフィールドは特定エンコーディングシンボルを識別するための情報を含む。上述した情報はEncording symbol IDフィールドという。
また、本発明の一実施例において、伝送パケットはペイロード内のデータを含む。上述したデータを含んでいるフィールドをEncoding symbol(s)フィールドという。一実施例において、放送受信装置100はEncoding symbol(s)フィールドを抽出してオブジェクトを再構成する。詳しくは、パケットペイロードを介して伝送されるソースブロックからEncoding symbol(s)フィールド内のデータが生成される。
図120は、本発明の一実施例によるパケットヘッダの構成示す図である。
リアルタイムコンテンツの伝送を支援するためには、放送受信装置100が受信した伝送パケットにパケットの属性情報及びデコーディングまたは再生に関するタイミング情報が含まれることが効果的である。よって、上述した課題を解決するために、図120に示したようにパケットヘッダが構成される。
図120のパケットヘッダは図119のパケットヘッダと殆どの構成が同じである。よって、同じ部分の説明は省略する。
本発明の一実施例によるパケットヘッダは伝送のためのオブジェクトタイプを示す情報を含む。上述した情報はtypeフィールドという。typeフィールドは2ビットである。
具体的な実施例において、typeフィールドは伝送のためのオブジェクトのタイプがレギュラファイル(regular file)であることを示す。ここで、レギュラファイルはISO BMFF基盤のメディアファイルである。詳しくは、レギュラファイルはメディアファイルをISO BMFF形式にエンカプセレーションしたものである。この場合、typeフィールドは01(2)に設定される。他の実施例において、typeフィールドは伝送のためのオブジェクトのタイプがHTTP entityタイプであることを示す。この場合、typeフィールドは10(2)に設定される。また他の実施例において、typeフィールドは伝送のためのオブジェクトのタイプがオーディオアクセスユニット(Audio access unit)またはビデオアクセスユニット(Video access unit)であることを示す。また、typeフィールドはオブジェクトのタイプがネットワーク観念的階層(NAL)ユニットであることを示してもよい。この場合、typeフィールドは11(2)に設定される。
また、本発明の一実施例によるパケットヘッダは伝送パケットが伝送オブジェクトの最初の部分または最後の部分を含んでいることを示す。伝送パケットが伝送オブジェクトの最初の部分または最後の部分を示すことを示す情報はマーカービット(marker bit))である。具体的な実施例において、マーカービットはMフィールドである。詳しくは、Mフィールドはtypeフィールドの値に応じて異なるように解析される。例えば、伝送のためのオブジェクトタイプがファイルであれば該当伝送パケットがファイルの最後の部分を含んでいることを示す。ここで、最後の部分とはファイルの最後のビットを含んでいる部分である。他の例として、伝送のためのオブジェクトタイプがAVデータ(Audio or Video)であれば該当伝送パケットがアクセスユニットの最初または最後のビットを含んでいることを示す。
図121及び図122は、時間情報を含む拡張されたヘッダの構成を示す図である。図121及び図122に示した拡張されたヘッダは図120に示したヘッダ拡張フィールドに含まれる。
図121に示したように、本発明の一実施例による拡張されたヘッダは拡張されたヘッダのタイプ情報を含む。上述した情報はHET(Header Extension Type)フィールドという。
また、一実施例による拡張されたヘッダは拡張されたヘッダの長さ情報を含む。上述した情報はHEL(Header Extension Length)フィールドという。
また、一実施例による拡張されたヘッダは放送伝送装置の現在の時間を示す。つまり、拡張されたヘッダは放送伝送装置の該当パケットの伝送時間情報を含む。例えば、放送伝送装置はサーバである。具体的な実施例において、放送伝送装置の現在の時間を示す情報はSender Current Time(以下、SCT)フィールドである。
また、一実施例による拡張されたヘッダはSCTフィールドが64ビットであるのか否かを示す。詳しくは、拡張されたヘッダはSCTフィールドが64ビットで構成されて拡張されたヘッダに含まれているのか否かを示す。具体的な実施例において、SCTフィールドが64ビットであるのか否かを示す情報はSCT Hiフィールドである。
また、一実施例による拡張されたヘッダはSCTフィールドが32ビットであるのか否かを示す。詳しくは、拡張されたヘッダはSCTフィールドが32ビットで構成されて拡張されたヘッダに含まれているのか否かを示す。具体的な実施例において、SCTフィールドが32ビットであるのか否かを示す情報はSCT Lowフィールドである。
また、一実施例による拡張されたヘッダは伝送のためのオブジェクトの予想される残余時間情報を含む。上述した情報はExpected Residual Time(以下、ERT)フィールドという。
また、一実施例による拡張されたヘッダはERTフィールドが該当パケットに存在するのか否かを示す。該当情報はERT flagフィールドである。
また、一実施例による拡張されたヘッダはセッションが最後に変化した時間情報を含む。上述した情報はSLCフィールドである。
また、一実施例による拡張されたヘッダはSLCフィールドが該当パケットに存在するのか否かを示す。該当情報はSLC flagフィールドである。
また、一実施例による拡張されたヘッダは放送伝送装置が利用する伝送プロトコールに応じて拡張して使用し得るフィールドを含む。該当情報はPI−specitif Useフィールドである。
図122は、図121の拡張されたヘッダに構成を追加した他の実施例による拡張されたヘッダを示す図である。
他の実施例による拡張されたヘッダはパケットペイロードに含まれたデータのタイミング情報を含む。上述した情報はTimestampフィールドである。例えば、Timestampフィールドはパケットペイロードに含まれたデータの最初のバイトがデコーディングされる時点に対する情報を含む。他の例として、Timestampフィールドはデータの再生時点に関する情報を含む。加えて、Timestampフィールドはタイムスケール情報またはタイムスケールに基づくタイミング情報を含んでもよい。ここで、タイムスケール情報は伝送オブジェクトのデコーディングまたは再生時点に対する時間を示す単位である。タイムスケールに基づいたタイミング情報である場合、放送受信装置はTimestampフィールドの値をタイムスケールをかけてデコーディングまたは再生時点に関する情報を獲得する。
他の実施例による拡張されたヘッダはTimestampフィールドのフォーマット情報を含む。上述した情報はTS formatフィールドである。具体的な実施例において、TS formatフィールドは伝送パケットに含まれたタイミング情報がメディアタイムのフォーマットであることを示す。メディアタイムは任意のメディアタイムラインによるメディア再生時間である。この場合、TS formatフィールドは0x01に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がNTPのフォーマットであることを示す。この場合、TS formatフィールドは0x02に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がノーマル再生タイムのフォーマットであることを示す。ノーマル再生タイムのフォーマットは再生開始時点から相対的に表現される再生時間であり、これは時、分、秒、秒以下の小数点単位で表現される。この場合、TS formatフィールドは0x03に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がSMPTE time codeのフォーマットであることを示す。SMPTE(Society of Motion Picture and Television Engineers) time codeはSMPTEで定義したタイムコードである。詳しくは、SMPTEタイムコードはSMPTEでビデオの個別的なフレームラベリングのために定義した時間情報形式である。この場合、TS formatフィールドは0x04に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報が90KHz基盤のタイミング情報であることを示す。この場合、TS formatフィールドは0x05に設定される。
また他の実施例による拡張されたヘッダはTimestampフィールドの構成を示す。タイミング情報の構成を示す情報をTS versionフィールドという。例えば、TS versionフィールドはtimestampフィールドが32ビットであることを示す。この場合、TS versionフィールドは0に設定される。他の例として、TS versionフィールドはtimestampフィールドが64ビットであることを示す。この場合、TS versionフィールドは1に設定される。
図123乃至図126は、本発明の一実施例による拡張されたヘッダの構成を示す図である。詳しくは、図123乃至図126に示した拡張されたヘッダ構造は伝送のためのオブジェクトタイプ情報及びタイミング情報のうち少なくとも一つを含む。また、該当拡張されたヘッダ構造は上述した拡張されたヘッダフィールドに含まれる。また、コンテンツを伝送するパケットヘッダの一部として称される。
図123に示したように、本発明の他の実施例による拡張されたヘッダの構造(EXT_OBJ_INFO)はヘッダ拡張部分のタイプ情報を含む。上述したタイプ情報はHETフィールドという。また、拡張されたヘッダ構造は拡張部分の長さ情報を含む。上述した長さ情報はHELフィールドという。また、拡張されたヘッダ構造は伝送オブジェクトのタイプ情報を含む。上述したオブジェクトタイプ情報はObject typeフィールドという。
具体的な実施例において、Object typeフィールドは伝送オブジェクトがレギュラファイルのタイプであることを示す。ここで、レギュラファイルはISO BMFF基盤のメディアファイルである。詳しくは、レギュラファイルはメディアファイルをISO BMFF形式にエンカプセレーションしたものである。この場合、Object typeフィールドは0x01に設定される。他の実施例において、Object typeフィールドは伝送オブジェクトがHTTP entityタイプであることを示す。この場合、Object typeフィールドは0x02に設定される。また他の実施例において、Object typeフィールドは伝送オブジェクトがオーディオデータタイプであることを示す。Object typeフィールドは伝送オブジェクトがAACを基盤にするオーディオデータタイプであることを示す。この際、AACに基づくオーディオデータタイプはAACにエンコーディングされたオーディオデータである。この場合、Object typeフィールドは0x03に設定される。更に他の実施例において、Object typeフィールドは伝送オブジェクトがビデオデータタイプであることを示す。詳しくは、Object typeフィールドは伝送オブジェクトがH.264タイプであることを示す。この場合、Object typeフィールドは0x04に設定される。更に他の実施例において、Object typeフィールドは伝送オブジェクトがHEVC基盤のビデオデータタイプであることを示す。この際、HEVC基盤のビデオタイプはHEVCにエンコーディングされたビデオデータである。この場合、Object typeフィールドは0x05に設定される。更に他の実施例において、Object typeフィールドは伝送オブジェクトがISO BMFF基盤のファイルタイプであることを示す。この場合、Object typeフィールドは0x06に設定される。更に他の実施例において、Object typeフィールドは伝送オブジェクトがメタデータであることを示す。この場合、Object typeフィールドは0x07に設定される。
また、本発明の他の実施例による拡張されたヘッダの構造(EXT_OBJ_INFO)はヘッダ伝送パケットが伝送オブジェクトの最初の部分または最後の部分を含むことを示す。伝送パケットが伝送オブジェクトの最初の部分または最後の部分を示す情報はマーカービットである。具体的な実施例において、マーカービットはMフィールドである。詳しくは、MフィールドはObject typeフィールドの値に応じて異なるように解析される。例えば、伝送のためのオブジェクトタイプがファイルであれば該当伝送パケットがファイルの最後の部分を含んでいることを示す。ここで、最後の部分とはファイルの最後のビットを含んでいる部分である。他の例として、伝送のためのオブジェクトタイプがAVデータであれば該当伝送パケットがアクセスユニットの最初または最後のビットを含んでいることを示す。
また、本発明の他の実施例による拡張されたヘッダの構造(EXT_OBJ_INFO)はパケットペイロードに含まれたデータのタイミング情報を含む。上述した情報はTimestampフィールドである。例えば、Timestampフィールドはパケットペイロードに含まれたデータの最初のバイトがデコーディングされる時点に対する情報を含む。他の例として、Timestampフィールドはデータの再生時点に関する情報を含む。加えて、Timestampフィールドはタイムスケール情報またはタイムスケールに基づくタイミング情報を含んでもよい。ここで、タイムスケール情報は伝送オブジェクトのデコーディングまたは再生時点に対する時間を示す単位である。タイムスケールに基づいたタイミング情報である場合、放送受信装置はTimestampフィールドの値をタイムスケールをかけてデコーディングまたは再生時点に関する情報を獲得する。
図124は、図123の拡張されたヘッダの構成に一部の構成が追加された他の実施例を示す図である。
図124に示したように、本発明の他の実施例による拡張されたヘッダの構造は該当拡張されたヘッダの構造にTimestampフィールドが存在するのか否かを示す。Timestampフィールドの存在可否を示す情報はTS flagフィールドという。具体的な実施例において、TS flagフィールドが1に設定されればTS flagフィールドは該当ヘッダ構造にTimestampフィールドが存在することを示す。
また、本発明の他の実施例による拡張されたヘッダの構造はTimestampフィールドのフォーマット情報を含む。上述した情報はTS formatフィールドである。具体的な実施例において、TS formatフィールドは伝送パケットに含まれたタイミング情報がメディアタイムのフォーマットであることを示す。メディアタイムは任意のメディアタイムラインによるメディア再生時間である。この場合、TS formatフィールドは0x01に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がNTPのフォーマットであることを示す。この場合、TS formatフィールドは0x02に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がノーマル再生タイムのフォーマットであることを示す。ノーマル再生タイムのフォーマットは再生開始時点から相対的に表現される再生時間であり、これは時、分、秒、秒以下の小数点単位で表現される。この場合、TS formatフィールドは0x03に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がSMPTE time codeのフォーマットであることを示す。SMPTE time codeはSMPTEで定義したタイムコードである。この場合、TS formatフィールドは0x04に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報が90KHz基盤のタイミング情報であることを示す。この場合、TS formatフィールドは0x05に設定される。
また、本発明のまた他の実施例による拡張されたヘッダはTimestampフィールドの構成を示す。詳しくは、拡張されたヘッダの構造はTimestampフィールドに含まれたオブジェクトの再生またはデコーディングに関するタイミング情報の構成を示す。上述した情報をTS versionフィールドという。例えば、TS versionフィールドはtimestampフィールドが32ビットであることを示す。この場合、TS versionフィールドは0に設定される。他の例として、TS versionフィールドはtimestampフィールドが64ビットであることを示す。この場合、TS versionフィールドは1に設定される。
図125は、図123の拡張されたヘッダの構成に一部の構成が追加されたまた他の実施例を示す図である。
図125に示したように、本発明のまた他の実施例による拡張されたヘッダの構造は伝送オブジェクトに関する付加情報を含む。具体的な実施例において、拡張されたヘッダの構造はオブジェクトの位置情報を含む。例えば、オブジェクトの位置情報はISO BMFFを基盤にするセグメントのURL情報を示す。詳しくは、オブジェクトの位置情報はISO BMFFを基盤にするセグメントをダウロード可能なURL情報を示す。この場合、伝送オブジェクトに関する付加情報はExtensionフィールドである。
また、本発明の他の実施例による拡張されたヘッダの構造は該当拡張されたヘッダの構造にExtensionフィールドが存在するのか以下かを示す。この場合、Extensionフィールドが存在するのか否かを示す情報はExt Flagフィールドという。
図126は、図123の新たなヘッダの拡張構造がパケットヘッダの一部に使用された一実施例を示す図である。図126に示したように、パケットヘッダの一部が伝送オブジェクトのタイミング情報を含む。伝送オブジェクトのタイミング情報を含むパケットヘッダの一部はEXT_MEDIA_TIMEフィールドである。
EXT_MEDIA_TIMEフィールドはパケットペイロードに含まれたデータのタイミング情報を含む。上述した情報はTimestampフィールドである。例えば、Timestampフィールドはパケットペイロードに含まれたデータの最初のバイトがデコーディングされる時点に対する情報を含む。他の例として、Timestampフィールドはデータの再生時点に関する情報を含む。加えて、Timestampフィールドはタイムスケール情報またはタイムスケールに基づくタイミング情報を含んでもよい。ここで、タイムスケール情報は伝送オブジェクトのデコーディングまたは再生時点に対する時間を示す単位である。タイムスケールに基づいたタイミング情報である場合、放送受信装置はTimestampフィールドの値をタイムスケールをかけてデコーディングまたは再生時点に関する情報を獲得する。
また、EXT_MEDIA_TIMEフィールドはTimestampフィールドのフォーマット情報を含む。上述した情報はTS formatフィールドである。具体的な実施例において、TS formatフィールドは伝送パケットに含まれたタイミング情報がメディアタイムのフォーマットであることを示す。この場合、TS formatフィールドは0x01に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がNTPのフォーマットであることを示す。この場合、TS formatフィールドは0x02に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がノーマル再生タイムのフォーマットであることを示す。この場合、TS formatフィールドは0x03に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がSMPTE time codeのフォーマットであることを示す。SMPTE time codeはSMPTEで定義したタイムコードである。この場合、TS formatフィールドは0x04に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報が90KHz基盤のタイミング情報であることを示す。この場合、TS formatフィールドは0x05に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がGPS timeフォーマットであることを示す。この場合、TS formatフィールドは0x06に設定される。
また、EXT_MEDIA_TIMEフィールドはTimestampフィールドのフォーマットの構成を示す。拡張されたヘッダの構造はTimestampフィールドのフォーマットに含まれたオブジェクト再生またはデコーディングに関するタイミング情報の構成を示す。上述した情報をTS versionフィールドという。例えば、TS versionフィールドはtimestampフィールドが32ビットであることを示す。この場合、TS versionフィールドは0に設定される。他の例として、TS versionフィールドはtimestampフィールドが64ビットであることを示す。この場合、TS versionフィールドは1に設定される。
また、EXT_MEDIA_TIMEフィールドはタイミング情報に関する追加的な情報を含む。例えば、マッピングされるタイミング情報に関するデータ情報が含まれる。タイミング情報に関する追加の情報はExtensionフィールドという。
また、EXT_MEDIA_TIMEフィールドはExtensionフィールドの構成に関する情報を含む。詳しくは、Extensionフィールドには多様な情報が含まれ、多様な情報ごとにフラッグが集合を成している。この場合、フラッグの集合をExt flagフィールドという。
放送受信装置100が放送受信部を介して受信した伝送オブジェクトが他の形式または他の基準時間を有するタイミング情報と同期化する必要がある。詳しくは、放送受信装置100は伝送オブジェクトのタイミング情報とは異なる形式または基準時間を有する同期化のための基準になる基本タイムラインに伝送オブジェクトのタイミング情報を同期化すべきである。一実施例において、同期化するタイミング情報は伝送オブジェクトの再生タイミングである。他の実施例において、同期化するタイミング情報は伝送オブジェクトのデコーディングタイミングである。この場合、放送伝送装置は他のタイミング情報と伝送オブジェクトのタイミング情報間のマッピング関係に関する情報を放送受信装置100に伝送すべきである。上述した課題を解決するための本発明の一実施例において、上述したtimeline_component_AUを含むメタデータを一つの伝送オブジェクトにして伝送する。
上述した課題を解決するための他の実施例において、上述した拡張されたヘッダは伝送オブジェクトのタイミング情報とは異なる別途のマッピング情報を含む。詳しくは、拡張されたヘッダ(EXT_TIME_MAP)は伝送オブジェクトのタイムスタンプを他のTimelienにマッピングするための情報を含む。例えば、放送受信装置100は制御部150を介して上述した情報を利用してパケットペイロードの再生時間をGPSタイムにマッピングする。この場合、GPSタイムが基本タイムラインである。
図127は、本発明の一実施例による他のタイミング情報とのマッピングを支援するための拡張されたヘッダの構成を示す図である。
図127に示したように、拡張されたヘッダはTimestampフィールドのフォーマット情報を含む。上述した情報はTS formatフィールドである。具体的な実施例において、TS formatフィールドは伝送パケットに含まれたタイミング情報がメディアタイムのフォーマットであることを示す。この場合、TS formatフィールドは0x01に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がNTPのフォーマットであることを示す。この場合、TS formatフィールドは0x02に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がノーマル再生タイムのフォーマットであることを示す。この場合、TS formatフィールドは0x03に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がSMPTE time codeのフォーマットであることを示す。SMPTE time codeはSMPTEで定義したタイムコードである。この場合、TS formatフィールドは0x04に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報が90KHz基盤のタイミング情報であることを示す。この場合、TS formatフィールドは0x05に設定される。また、TS formatフィールドは伝送パケットに含まれたタイミング情報がGPS timeフォーマットであることを示す。この場合、TS formatフィールドは0x06に設定される。
また、拡張されたヘッダはTimestampフィールドのバージョンまたは構成を示す。拡張されたヘッダの構造はTimestampフィールドのフォーマットに含まれたオブジェクト再生またはデコーディングに関するタイミング情報の構成を示す。上述した情報をTS versionフィールドという。例えば、TS versionフィールドはtimestampフィールドが32ビットであることを示す。この場合、TS versionフィールドは0に設定される。他の例として、TS versionフィールドはtimestampフィールドが64ビットであることを示す。この場合、TS versionフィールドは1に設定される。
また、拡張されたヘッダは伝送オブジェクトのタイムスタンプがマッピングされるタイムラインのタイミング情報が存在するのか否かを示す。この場合、存在可否を示す情報はOTS flagフィールドという。具体的な一実施例において、OTS flagフィールドが1に設定された場合、伝送オブジェクトのタイムスタンプがマッピングされるタイムラインのタイミング情報が存在することを示す。
また、拡張されたヘッダは伝送オブジェクトのタイムスタンプがマッピングされるタイムラインのスタンプフォーマットを示す。詳しくは、伝送オブジェクトのタイムスタンプはオブジェクトの再生時間及びデコーディング時間のうち少なくとも一つである。また、伝送オブジェクトがタイムスタンプとマッピングされるタイムラインは基本タイムラインである。ここで、基本タイムラインは複数の互いに異なるタイムライン間の同期化のために必要な基準タイムラインである。
上述した情報はOTS formatフィールドである。具体的な実施例において、OTS formatフィールドは伝送パケットに含まれた伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプがメディアタイムのフォーマットであることを示す。この場合、OTS formatフィールドは0x01に設定される。また、OTS formatフィールドは伝送パケットに含まれたタイミング情報がNTPのフォーマットであることを示す。この場合、TS formatフィールドは0x02に設定される。また、OTS formatフィールドは伝送パケットに含まれた伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプがノーマル再生タイムのフォーマットであることを示す。この場合、OTS formatフィールドは0x03に設定される。また、OTS formatフィールドは伝送パケットに含まれた伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプがSMPTE time codeのフォーマットであることを示す。SMPTE time codeはSMPTEで定義したタイムコードである。この場合、OTS formatフィールドは0x04に設定される。また、OTS formatフィールドは伝送パケットに含まれた伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプが90KHz基盤のタイミング情報であることを示す。この場合、OTS formatフィールドは0x05に設定される。また、OTS formatフィールドは伝送パケットに含まれた伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプがGPS timeフォーマットであることを示す。この場合、OTS formatフィールドは0x06に設定される。
また、拡張されたヘッダはオブジェクトのタイムスタンプと伝送オブジェクトのタイムスタンプとマッピングされるタイムラインのタイムスタンプのバージョンまたは構成を示す。詳しくは、伝送オブジェクトのタイムスタンプはオブジェクト再生時間またはデコーディング時間のうち少なくとも一つである。また、伝送オブジェクトのタイムスタンプとマッピングされるタイムラインは基本タイムラインである。ここで、基本タイムラインは複数の互いに異なるタイムライン間の同期化のために必要な基準タイムラインである。
この場合、伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプの構成またはバージョンを示す情報をOTS versionフィールドという。例えば、OTS versionフィールドは伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプが32ビットであることを示す。この場合、OTS versionフィールドは0に設定される。他の例として、OTS versionフィールドは伝送オブジェクトのタイムスタンプとマッピングされるタイムスタンプが64ビットであることを示す。この場合、OTS versionフィールドは1に設定される。
また、拡張されたヘッダは位置情報を含むか否かを示す。この場合、位置情報を含むか否かを示す情報はLocation flagフィールドである。例えば、Location flagフィールドが1に設定されれば該当拡張されたヘッダに位置情報が含まれていることを示す。
また、拡張されたヘッダは伝送オブジェクトのタイムスタンプ及び伝送オブジェクトのタイムスタンプと伝送オブジェクトのタイムスタンプとマッピングされるタイムラインのタイミング情報を含む。上述した情報はTimestampフィールドという。
また、拡張されたヘッダは拡張されたヘッダのタイムスタンプと伝送オブジェクトのタイムスタンプとマッピングされる伝送オブジェクトに関するタイミング情報を含む。上述した情報はOrigin time stampフィールドという。
また、拡張されたヘッダは伝送オブジェクトのタイムスタンプとマッピングされるタイムラインに関するデータの位置情報を含む。上述した情報はLocationフィールドという。一実施例において、特定ISO BMFF基盤のデータセグメントのタイムラインとマッピングが必要であればLocationフィールドは該当セグメントのURLを含む。
図128は、本発明の一実施例による放送伝送装置の動作方法を示す図である。
放送伝送装置は制御部を介して伝送のためのオブジェクトを獲得するS401。一実施例において、オブジェクトはAVコンテンツである。他の実施例において、オブジェクトはAVコンテンツに関する向上されたデータである。
放送伝送装置は制御部を介してオブジェクトの時間情報及びフォーマット情報を獲得するS403。一実施例において、時間情報は伝送オブジェクトのタイムスタンプである。他の実施例において、時間情報は伝送オブジェクトのタイムスタンプとマッピングされるタイムラインのタイミング情報である。また他の実施例において、時間情報は拡張されたヘッダ構造のタイムスタンプである。更にの実施例において、時間情報は拡張されたヘッダ構造のタイムスタンプとマッピングされる伝送オブジェクトのタイミング情報である。また、フォーマット情報はレギュラファイル、HTTPエンティティ及びオーディオまたはビデオアクセスユニットのうち少なくとも一つである。
詳しくは、伝送オブジェクトのタイムスタンプはオブジェクトの再生時間及びデコーディング時間のうち少なくとも一つである。また、伝送オブジェクトがタイムスタンプとマッピングされるタイムラインは基本タイムラインである。ここで、基本タイムラインは複数の互いに異なるタイムライン間の同期化のために必要な基準タイムラインである。例えば、基本タイムラインがGPS timeであってもよく、伝送オブジェクトをGPS timeと同期化するための情報が上述した拡張されたヘッダに含まれてもよい。
放送伝送装置は制御部を介して獲得した時間情報及びフォーマット情報をパケットヘッダに設定して伝送パケットをパケット化するS405。詳しくは、放送伝送装置の制御部は獲得した時間情報を含むパケットヘッダ及びデータを含むパケットデータを伝送プロトコールに応じてパケット化する。他の実施例において、放送伝送装置は制御部を介してパケットヘッダに選択的に含まれる拡張されたヘッダに時間情報及びフォーマット情報を設定する。
詳しくは、時間情報はオブジェクトの再生時間に関する情報である。再生時間に関する情報は伝送オブジェクトの再生時点(タイミング情報)及びデコーディング時点(タイミング情報)のうち少なくとも一つである。他の実施例において、追加の情報は伝送オブジェクトのタイプ情報である。放送伝送装置は一般的なパケットヘッダに拡張されたヘッダの存在するか否か、拡張されたヘッダの長さ及び拡張されたヘッダのタイプ情報のうち少なくとも一つを設定する。
放送伝送装置は伝送部を介してパケット化された伝送パケットを伝送するS407。伝送部は伝送パケットを地上波放送網及びインターネット網のうち少なくとも一つを介して伝送する。
図129は、本発明の一実施例による放送受信装置の動作方法を示す図である。
放送受信装置100は放送受信部110を介して伝送パケットを受信するS411。図128において、説明のように伝送パケットはパケットヘッダ及びパケットペイロードを含むが、パケットヘッダは拡張されたヘッダを選択的に含む。
放送受信装置100の制御部150は受信した伝送パケットからパケットヘッダ及び拡張されたヘッダを抽出するS412。具体的な実施例において、制御部150は伝送パケットに含まれたパケットヘッダを抽出する。また、パケットヘッダに選択的に含まれる拡張されたヘッダをパケットヘッダから抽出する。
放送受信装置100の制御部150はパケットヘッダに基づいて伝送オブジェクトに関する時間情報及び伝送オブジェクトのフォーマット情報のうち少なくとも一つを獲得するS413。他の実施例において、制御部150はパケットヘッダに選択的に含まれる拡張されたヘッダから前記時間情報及びフォーマット情報のうち少なくとも一つを獲得する。具体的な実施例において、制御部150は拡張されたヘッダに基づいて伝送オブジェクトのタイムスタンプを獲得する。また、制御部150は伝送オブジェクトのフォーマット情報を獲得する。伝送オブジェクトのフォーマット情報はレギュラファイル、HTTPエンティティ及びオーディオまたはビデオアクセスユニットのうち少なくとも一つを示す。ここで、レギュラファイルとはISO BMFF基盤のメディアファイルである。
放送受信装置100の制御部150はパケットヘッダから他の時間情報とマッピングするための情報を獲得できるのか否かを判断するS414。詳しくは、制御部150は該当伝送オブジェクトのための時間情報とマッピングされる他の時間情報がパケットヘッダに存在するのか否かを判断する。他の実施例において、制御部150はパケットヘッダに選択的に含まれる拡張されたヘッダから抽出された特定情報に基づいて判断する。
一実施例において、制御部150がパケットヘッダから他の時間情報とマッピングするための情報を獲得できると判断した場合、制御部150はパケットヘッダからマッピングのための情報を獲得するS415。ここで、他の時間情報は上述した基本タイムラインのタイミング情報である。また、タイミング情報は伝送オブジェクトの再生タイミング情報及びデコーディングタイミング情報のうち少なくとも一つを含む。具体的な実施例において、制御部150はパケットヘッダに基づいて伝送オブジェクトとマッピングされるタイムラインのタイミング情報を獲得する。他の実施例において、制御部150はパケットヘッダに基づいてパケットヘッダのタイムスタンプとマッピングされる伝送オブジェクトのタイミング情報を獲得する。また、制御部150はパケットヘッダに基づいて伝送オブジェクトとマッピングされるデータの位置情報を獲得する。また他の実施例において、制御部150はパケットヘッダに選択的に含まれる拡張されたヘッダからマッピングのための情報を獲得してもよい。
放送受信装置100の制御部150は獲得した時間情報に基づいて伝送オブジェクトを出力するS416。一実施例において、制御部150が他の時間情報とマッピング情報を獲得できなかった場合、該当伝送オブジェクトのタイムスタンプに基づいてオブジェクトを出力する。他の実施例において、制御部150が他の時間情報とマッピング情報を獲得した場合、該当マッピング情報及びオブジェクトのタイムスタンプに基づいてオブジェクトを出力する。
図130は、伝送パケットの構成に対する情報を含むパケットヘッダの構成を示す図である。
本発明の一実施例によるパケットヘッダは全体の伝送オブジェクトのうち最初または最後の部分のデータがパケットペイロードに含まれていることを示す。この場合、最初または最後の部分のデータが含まれていることを示す情報はマーカービットである。また、マーカービットはMフィールドである。Mフィールドは1ビットである。
また、本発明の一実施例によるパケットヘッダは該当伝送パケットの構成に関する情報を含む。この場合、伝送パケットの構成に関する情報はTypeフィールドである。Typeフィールドは2ビットである。
他の場合、伝送パケットの構成に関する情報はCodepointフィールドである。Codepointフィールドは8ビットである。
具体的な一実施例において、Typeフィールドは該当伝送パケットがレギュラパケット構造であることを示す。詳しくは、該当パケットが図119に示した従来の伝送パケット構造をそのまま使用していることを示す。この場合、伝送パケットはパケットヘッダ、拡張されたヘッダ、パケットペイロード識別子及びデータのうち少なくともいずれか一つを含む。また、放送伝送装置はTypeフィールドを0x00に設定する。
また、具体的な一実施例において、Typeフィールドは該当伝送パケットがペイロードを含んでいないことを示す。詳しくは、該当伝送パケットがパケットヘッダ及び拡張されたヘッダのみを含んでいることを示す。この場合、放送伝送装置はTypeフィールドを0x01に設定する。
また、具体的な一実施例において、Typeフィールドは該当伝送パケットが全体の伝送オブジェクトに対するオフセット情報を含むことを示す。ここで、オフセット情報とは該当伝送パケットのエンコーディングシンボルフィールドが含んでいるデータのオフセット情報である。つまり、オフセット情報は全体の伝送オブジェクトから該当伝送パケットの構造と構成は同じであるが、ペイロード識別子フィールドがデータオフセットフィールドに代替される。この場合、放送伝送装置はTypeフィールドを0x02に設定する。
また、具体的な一実施例において、Typeフィールドは該当伝送パケットが従来のレギュラ伝送パケットの構造とは異なる構成を含むことを示す。この場合、放送伝送装置はTypeフィールドを0x03に設定する。具体的な一実施例において、Typeフィールドは該当伝送パケットがペイロード識別子フィールドを含んでいないことを示す。この場合、放送伝送装置はTypeフィールドを0x04に設定する。図131は、図130の伝送パケットの構成を示す図である。図131に示したように、Typeフィールドは伝送パケットの構造を示す。しかし、図131に示した伝送パケットに限ることはなく、必ずしも図131に設定された値に本発明が限定されることはない。
図132は、本発明の一実施例による放送伝送装置の動作方法を示す図である。
放送伝送装置は制御部を介して伝送のためのオブジェクトを獲得する(S421)。一実施例において、伝送パケットの構造は従来のレギュラパケット構造である。他の実施例において、伝送パケットの構造は従来のパケットヘッダ及び拡張されたヘッダののみで構成された構造である。また他の実施例において、伝送パケットの構造は従来のペイロード識別子を代替する構成を含む構造である。更に他の実施例において、伝送パケットの構造はペイロード識別子を含まない構造である。
放送伝送装置は制御部を介して獲得した伝送パケットの構造に基づいて、該当構造の情報を示す値をパケットヘッダに設定して伝送パケットをパケット化する(S423)。詳しくは、制御部は該当構造の情報をTypeフィールドに設定する。
放送伝送装置は伝送部を介してパケット化された伝送パケットを伝送する(S425)。一実施例において、伝送部はパケット化された伝送パケットを地上波の放送網で伝送する。他の実施例において、伝送部はパケット化された伝送パケットをインターネット網で伝送してもよい。
図133は、本発明の一実施例による放送受信装置の動作方法を示す図である。
放送受信装置100は放送受信部110を介して伝送パケットを受信する(S431)。一実施例において、放送受信部110は地上波放送網を介して伝送パケットを受信する。他の実施例において、IPコミュニケーションユニット130はインターネット網を介して伝送パケットを受信する。
放送受信装置100は制御部150を介して受信した伝送パケットからパケットヘッダを抽出する(S433)。詳しくは、伝送パケットはパケットヘッダ及びパケットペイロードのうち少なくとも一つを含む。よって、制御部150は伝送パケットからペイロードをシグナリングするパケットヘッダを抽出する。
放送受信装置100は抽出したパケットヘッダから伝送パケットの構成情報を獲得する(S435)。詳しくは、パケットヘッダは伝送パケットの構造を示す情報を含む。よって、放送受信装置100は制御部150を介してパケットヘッダから伝送パケットの構造を示す情報を獲得する。一実施例において、伝送パケットの構造は従来のレギュラ伝送パケット構造である。他の実施例において、伝送パケットの構造は従来のパケットヘッダ及び拡張されたヘッダのみを含む構造である。また他の実施例において、伝送パケットの構造はパケットペイロード識別子を代替するオフセット情報を含む構造である。更に他の実施例において、伝送パケットの構造はパケットペイロード識別子を含まない構造である。
図134は、本発明の一実施例に係るSPD(Suggested Presentation Delay)を含むタイムラインリファレンス情報AU(timeline reference information AU)を示す図である。
本発明は、前述したタイムラインリファレンス情報AUにSPD(Suggested Presentation Delay)を挿入して送信することを提案する。また、本発明は、前述したLCTパケットフィールドの拡張にSPDを挿入して送信することを提案する。これによって、別個の網(例えば、インターネット網と放送網)で伝送されるメディアストリームのタイムラインを受信機で再構成して円滑に再生することができる。また、SPDの反映されたタイムラインリファレンス/タイムスタンプを伝送することによって、別個の受信環境に存在する受信機間の同期化を効果的に支援することができる。
SPDは、外部網又は内部網で伝送されるメディアストリームの生成時点を基準に消費時点までの提案遅延時間を意味することができる。又は、実施例によって、SPDは、メディアストリームのエンコーディング時点を基準にデコーディング時点までの提案遅延時間を意味することもできる。又は、メディアストリームのランダムアクセス(Random Access)が可能な特定単位を放送ストリームに含めるとき、当該単位の最初のバイトが含まれる時間と当該単位の最後のバイトが含まれる時間との差を意味することもできる。当該データ単位は、RAP(Random Access Point)を含むことができる。SPDの基準となる両時点は実施例によって変更されてもよい。SPD、すなわち、提案遅延時間は、受信機のバッファタイム(Buffer Time;BT)による再生時間の差を補完するために用いることができる。複数個の受信機において、実際のネットワーク帯域(practical network bandwidth)が異なることから、バッファタイムも受信機ごとに異なりうる。バッファタイムの差によって、同じメディアデータが伝送側から放送されても、受信機での再生時間はそれぞれ異なりうる。これを補完して、タイムラインリファレンス又はタイムスタンプ値にSPDを反映することによって、いずれの受信機でも同一時間に同一メディアを再生することができる。又は、メディアストリームのランダムアクセスが可能な特定単位が放送ストリームで伝送されるとき、当該単位に含まれた最も早い再生時刻(presentation time)を導出するために用いられてもよい。当該単位に含まれた最も早い再生時刻(presentation time)は、データを搬送するパケットが生成されたサーバーの時間(Sender Current Time)、上記SPDが考慮された再生タイムスタンプ(presentation timestamp)、及びパケットの実際の受信時間などを考慮して導出することができる。
SPDは、タイムラインリファレンス情報AUを用いて内部網又は外部網で伝送されるメディアストリームのタイムラインを再構成する時に反映することができる。すなわち、内部網又は外部網のタイムラインを再構成する時、内部網又は外部網のタイムラインリファレンス値からSPD値を引いて、提案遅延時間が反映されたタイムラインを構成することができる。
また、SPDは、該当のメディアデータのプレゼンテーションタイム(presentation time)などの情報を含むタイムスタンプが伝達されて同期化が行われる場合に反映することができる。すなわち、タイムスタンプを用いた同期化において、タイムスタンプ値にSPDの値を足して、提案遅延時間が反映された同期化を行うことができる。
前述したように、タイムラインリファレンス情報AUは、別個の網で伝送されるストリーム間の同期化を取るために用いることができる。ここで、図示されたタイムラインリファレンス情報AUは、前述したタイムラインコンポーネントAU(Timeline component AU)、又はタイムラインリファレンス情報AU(timeline reference information AU)の別の実施例であってもよい。
本発明の一実施例に係るSPDを含むタイムラインリファレンス情報AUの各フィールド及び構造を説明する。
AU_identifierフィールドは、前述したAU_identifier情報を意味することができる。すなわち、AU_identifierフィールドは、当該タイムラインリファレンス情報AUを識別することができる。また、AU_identifierフィールドは、当該タイムラインリファレンス情報AUがいかなる構造を有するかを識別することもできる。実施例によって、AU_identifierフィールドは8ビットのサイズを有することができる。
AU_lengthフィールドは、前述したAU_length情報を意味することができる。すなわち、AU_lengthフィールドは、当該タイムラインリファレンス情報AUの長さ情報を含むことができる。このフィールドは、実施例によって、32ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
external_media_URL_flagフィールドは、前述したexternal_media_URL_flag情報を意味することができる。external_media_URL_flagフィールドは、当該タイムラインリファレンス情報AUがexternal_media_URLフィールドを有するか否かを示すフラグ(flag)であってもよい。すなわち、このフィールドは、外部網で伝送されるストリームのURL情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドは、1ビットのサイズを有することができ、bslbfフォーマットを有することができる。
internal_timeline_reference_flagフィールドは、前述したinternal_timeline_reference_flag情報を意味することができる。internal_timeline_reference_flagフィールドは、当該タイムラインリファレンス情報AUがinternal_timeline_referenceフィールドを含んでいるか否かを示すフラグであってもよい。すなわち、このフィールドは、内部網のタイムラインリファレンス情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドは、1ビットのサイズを有することができ、bslbfフォーマットを有することができる。
external_timeline_reference_flagフィールドは、前述したexternal_timeline_reference_flag情報を意味することができる。external_timeline_reference_flagフィールドは、当該タイムラインリファレンス情報AUがexternal _timeline_referenceフィールドを含んでいるか否かを示すフラグであってもよい。すなわち、このフィールドは、外部網のタイムラインリファレンス情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドは、1ビットのサイズを有することができ、bslbfフォーマットを有することができる。
suggested_presentation_delay_flagフィールドは、当該タイムラインリファレンス情報AUがsuggested_presentation_delayフィールドを含むか否かを示すことができる。すなわち、このフィールドは、SPD情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドは、1ビットのサイズを有することができ、bslbfフォーマットを有することができる。suggested_presentation_delayフィールドについては後述する。
フラグフィールド後には、一定のサイズのビットが将来の使用のために残されていてもよい(Reserved for furture use)。本実施例では、4ビットの空間が将来の使用のために残されている。
タイムラインリファレンス情報AUは、内部網のタイムラインリファレンスに関連した情報をさらに含むことができる。external_media_URL_flagフィールドの値によって、タイムラインリファレンス情報AUは、外部網で伝送されるストリームのURL情報をさらに含むことができる。このとき、追加されるフィールドについて説明する。
external_media_URL_lengthフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。external_media_URL_lengthフィールドは、external_media_URLフィールドの長さをバイト単位で表現できる。このフィールドは、8ビットのフィールドであり、uimsbfフォーマットであってもよい。
external_media_URLフィールドも、タイムラインリファレンス情報AUにさらに含まれてもよい。external_media_URLフィールドは、外部網で伝送されるメディアの位置情報及び/又は当該メディアの固有識別情報を含むことができる。この情報に基づいて、外部網で伝送されるメディアに接近することができる。例えば、外部網で伝送されるメディアがDASHによるメディアである場合、メディアの当該MPDのMPD URL、MPD IDなどの情報がexternal_media_URLフィールドに含まれてもよい。このフィールドは、external_media_URL_lengthフィールドが示す値に該当するビット数を有することができる。又は、実施例によって、このフィールドは、external_media_URL_lengthフィールドが示す値に8を乗じた分のビット数を有することができる。
タイムラインリファレンス情報AUは、内部網のタイムラインリファレンスに関連した情報をさらに含むことができる。internal_timeline_reference_flagフィールドの値によって、タイムラインリファレンス情報AUは、内部網のタイムラインに関連した追加フィールドをさらに含むことができる。このとき、追加されるフィールドについて説明する。
internal_timeline_reference_formatフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。internal_timeline_reference_formatフィールドは、タイムラインリファレンス情報AUに含まれた内部網のタイムラインリファレンス情報のフォーマットを示すことができる。例えば、このフィールドが0x00値を有する場合、内部網のタイムラインリファレンス情報はメディアタイム(media time)フォーマット、0x01値を有する場合にはNTP(Network Time Protocol)フォーマット、0x02値を有する場合にはPTPフォーマット、0x03値を有する場合にはタイムコード(timecode)フォーマットを示すことができる。0x04乃至0xFF値を有する場合には、将来の使用のために残しておくことができる(Reserved for future use)。このフィールドは、8ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
internal_timeline_reference_timescale_flagフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。internal_timeline_reference_timescale_flagフィールドは、タイムラインリファレンス情報AUに内部網のタイムラインリファレンス情報の時間単位(time scale)が含まれたか否かを示すフラグであってもよい。このフィールドは、1ビットのサイズを有することができ、bslbfフォーマットを有することができる。
internal_timeline_reference_lengthフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。internal_timeline_reference_lengthフィールドは、タイムラインリファレンス情報AUに含まれた内部網のタイムラインリファレンス情報の長さをバイト単位で示すことができる。このフィールドは、7ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
internal_timeline_reference_timescaleフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。internal_timeline_reference_timescaleフィールドは、タイムラインリファレンス情報AUに含まれた内部網のタイムラインリファレンス情報の時間単位(time scale)をHz単位で示すことができる。このフィールドは、前述したinternal_timeline_reference_timescale_flagフィールド値によって存在してもしなくてもよい。このフィールドは、32ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
internal_timeline_referenceフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。internal_timeline_referenceフィールドは、内部網のタイムラインリファレンス情報を有することができる。このフィールドの値によって、内部網で伝送されるメディアストリームのタイムラインを再構成することができる。このフィールドは、internal_timeline_reference_lengthフィールドが示す値に該当するビット数を有することができる。又は、実施例によって、このフィールドは、internal_timeline_reference_lengthフィールドが示す値に8を乗じた分のビット数を有することもできる。
タイムラインリファレンス情報AUは、外部網のタイムラインリファレンスに関連した情報をさらに含むことができる。external _timeline_reference_flagフィールドの値によって、タイムラインリファレンス情報AUは、外部網のタイムラインに関連した追加フィールドをさらに含むことができる。このとき、追加されるフィールドについて説明する。
この場合、タイムラインリファレンス情報AUは、external_timeline_reference_formatフィールド、external_timeline_reference_timescale_flagフィールド、external_timeline_reference_lengthフィールド、external_timeline_reference_timescaleフィールド、及び/又はexternal_timeline_referenceフィールドがさらに含むことができる。
追加された各フィールドは、外部網で伝送されるメディアストリームに関する情報を有することができる。各フィールドは、前述した内部網で伝送されるメディアストリームに関するフィールドと対応して、類似の動作を行うことができる。ただし、この場合、各フィールドは、内部網ではなく外部網に関する情報を有することができる。
すなわち、external_timeline_reference_formatフィールド、external_timeline_reference_timescale_flagフィールド、external_timeline_reference_lengthフィールド、external_timeline_reference_timescaleフィールド、external_timeline_referenceフィールドは、それぞれ、前述したinternal_timeline_reference_formatフィールド、internal_timeline_reference_timescale_flagフィールド、internal_timeline_reference_lengthフィールド、internal_timeline_reference_timescaleフィールド、internal_timeline_referenceフィールドと類似の動作を行うことができる。
外部網で伝送されるメディアストリームに関するフィールドはそれぞれ、外部網で伝送されるメディアストリームのフォーマット、時間単位情報の存否、長さ、時間単位、タイムラインリファレンスを示すことができる。
タイムラインリファレンスフィールドAUは、SPDに関連したフィールドをさらに含むことができる。suggested_presentation_delay_flagフィールドの値によって、タイムラインリファレンスフィールドAUは、SPDに関連した追加フィールドをさらに含むことができる。このとき、追加されるフィールドについて説明する。
suggested_presentation_delay_timescale_flagフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。suggested_presentation_delay_timescale_flagフィールドは、当該タイムラインリファレンス情報AUにsuggested_presentation_delay_timescaleフィールドが含まれているか否かを示すことができる。suggested_presentation_delay_timescaleフィールドについては後述する。すなわち、このフィールドは、SPDの時間単位関連情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドが0に設定され、SPDの時間単位関連情報が存在しない場合に、SPDの時間単位はノーマルクロック(normal clock)値で表現されてもよい。このフィールドは1ビットのフィールドであり、blsbfフォーマットを有することができる。
suggested_presentation_delay_lengthフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。このフィールドは、SPDの長さをバイト単位で示すことができる。このフィールドは、7ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
suggested_presentation_delay_timescaleフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。このフィールドは、SPDの時間単位(time scale)をHz単位で示すことができる。このフィールドは、前述したsuggested_presentation_delay_timescale_flagフィールドの値によってその存否が決定されてもよい。このフィールドは32ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
suggested_presentation_delayフィールドがタイムラインリファレンス情報AUにさらに含まれてもよい。このフィールドは、SPD情報を有することができる。すなわち、このフィールドは、外部網又は内部網で伝送されるメディアストリームの生成時点を基準に消費時点までの提案遅延時間情報を含むことができる。タイムラインリファレンス情報AUを用いて内部網/外部網のメディアストリームのタイムラインを再構成する時、それぞれの内部網/外部網のタイムラインリファレンス値からこのフィールドの値を引いた値を反映することができる。これによって、提案遅延時間の反映されたタイムラインを構成することができる。このフィールドは、前述したsuggested_presentation_delay_lengthフィールドが示す値に該当するビット数を有することができる。又は、実施例によって、このフィールドは、suggested_presentation_delay_lengthフィールドが示す値に8を乗じた分のビット数を有することもできる。このフィールドはuimsbfフォーマットを有することができる。
図135は、本発明の他の実施例に係るSPD(Suggested Presentation Delay)を含むタイムラインリファレンス情報AU(timeline reference information AU)を示す図である。
図示された他の実施例に係るSPDを含むタイムラインリファレンス情報AUは、複数個の内部網又は外部網のタイムラインリファレンス情報を含むことができる。前述したように、タイムラインリファレンス情報AUは、別個の網で伝送されるメディアストリーム間にタイムラインの同期化を取るために用いることができる。
AU_identifierフィールド、AU_lengthフィールド、suggested_presentation_delay_flagフィールド、external_media_URL_lengthフィールド、及び/又はexternal_media_URLフィールドは、前述したとおりである。external_media_location_flagフィールドは、前述したexternal_media_URLフィールドのような役割を担うことができる。
nb_of_timeline_referenceフィールドは、当該タイムラインリファレンス情報AUに含まれたタイムラインリファレンスの個数を示すことができる。前述したように、本実施例のタイムラインリファレンス情報AUは、複数個のタイムラインリファレンス情報を有することができる。このフィールドは6ビットのサイズを有することができ、uimsbfフォーマットを有することができる。
nb_of_timeline_referenceフィールドが示す個数分のタイムラインリファレンス関連情報が、タイムラインリファレンス情報AUに含まれてもよい。各タイムラインリファレンスに対して、次のようなフィールドが存在してもよい。
timeline_reference_typeフィールドは、当該タイムラインリファレンスがいかなるタイプのタイムラインリファレンスであるかを示すことができる。例えば、このフィールドの値が0である場合、当該タイムラインリファレンスが内部網で伝送されるメディアストリームのタイムラインリファレンスであってもよい。また、このフィールドの値が1である場合、当該タイムラインリファレンスが外部網で伝送されるメディアストリームのタイムラインリファレンスであってもよい。このフィールドは1ビットのサイズを有することができ、bslbfフォーマットを有することができる。
timeline_reference_identifierフィールドは、当該タイムラインリファレンスの固有識別子を示すことができる。このフィールドは0〜127の整数値で割り当てられてもよい。このフィールドは7ビットのサイズを有し、uimsbfフィールドを有することができる。
timeline_reference_formatフィールドは、当該タイムラインリファレンスのフォーマットを示すことができる。このフィールドは、前述したinternal_timeline_reference_formatフィールド、external_timeline_reference_formatフィールドと同じ方式で当該タイムラインリファレンスのフォーマットを示すことができる。このフィールドは8ビットのサイズを有し、uimsbfフォーマットを有することができる。
timeline_reference_timescale_flagフィールドは、当該タイムラインリファレンスの時間単位(time scale)に関する情報がタイムラインリファレンス情報AUに含まれているか否かを示すことができる。このフィールドは、前述したinternal_timeline_reference_timescale_flagフィールド、external_timeline_reference_timescale_flagフィールドと同じ方式で時間単位関連情報が存在するか否かを示すことができる。このフィールドは1ビットのサイズを有し、bslbfフォーマットを有することができる。
timeline_reference_lengthフィールドは、当該タイムラインリファレンスの長さをバイト単位で示すことができる。このフィールドは、前述したinternal_timeline_reference_lengthフィールド、external_timeline_reference_lengthフィールドと同じ方式で長さを示すことができる。このフィールドは7ビットのサイズを有し、uimsbfフォーマットを有することができる。
timeline_reference_timescaleフィールドは、当該タイムラインリファレンスの時間単位をHz単位で示すことができる。このフィールドは、前述したinternal_timeline_reference_timescaleフィールド、external_timeline_reference_timescaleフィールドと同じ方式で時間単位を示すことができる。このフィールドは32ビットのサイズを有し、uimsbfフォーマットを有することができる。
timeline_referenceフィールドは、当該タイムラインリファレンスのタイムラインリファレンス値を示すことができる。このフィールド値によって、当該内/外部網で伝送されるメディアストリームのタイムラインを再構成することができる。このフィールドは、前述したinternal_timeline_referenceフィールド、external_timeline_referenceフィールドと同じ方式でタイムラインを示すことができる。このフィールドは、前述したtimeline_reference_lengthフィールドが示す値に該当するビット数を有することができる。又は、実施例によって、このフィールドは、timeline_reference_lengthフィールドが示す値に8を乗じた分のビット数を有することもできる。このフィールドはuimsbfフォーマットを有することができる。
SPDと関連したフィールドを前述の構造でタイムラインリファレンス情報AUに含めることができる。suggested_presentation_delay_timescale_flagフィールド、suggested_presentation_delay_lengthフィールド、suggested_presentation_delay_timescaleフィールド及び/又はsuggested_presentation_delayフィールドは、前述した同名のフィールドと同一であってもよい。
図136は、本発明の一実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造を示す図である。
前述したように、LCTパケットは、タイムラインリファレンス関連情報を伝送することができる。LCTパケットのヘッダーを拡張して、別個の網で伝送されるメディアストリーム間に同期化のための情報が伝送することができる。提案された構造は、RTP(Real Time Protocol)などの伝送プロトコルのためのパケットなどに適用されてもよい。また、提案された構造は、伝送プロトコルに適したサービスシグナリング情報と連動して用いられてもよい。サービスシグナリング情報は、当該ストリームが内部又は外部網のタイムラインリファレンスを伝送していることを示す情報、外部網で伝送されるメディアのURL情報、前述した各種フラグ情報、タイムラインリファレンスの時間単位情報など、各パケットに共通して適用可能な情報を含むことができる。
Vフィールド、Cフィールド、PSIフィールド、Sフィールド、Oフィールド、Hフィールド、Resフィールド、Aフィールド、Bフィールド、HDR_LENフィールド、CPフィールド、CCIフィールド、TSIフィールド、TOIフィールドは、前述したとおりである。
HET(Header Extension Type)フィールドは、当該LCTパケットヘッダーの拡張(extension)タイプを示すことができる。このフィールドは127以下の値を割り当てて、LCTパケットヘッダーの拡張タイプを示すことができる。本実施例では、HETフィールドが2の値を有し、LCTパケットヘッダーがEXT_TIMEの拡張タイプを有することを示すことができる。
HEL(Header Extension Length)フィールドは、当該LCTパケットヘッダーの拡張の長さを示すことができる。この長さは、32ビットワード(word)単位で表現することができる。
USEフィールドの細部フィールドは、次のとおりである。SCT HIフィールド、SCT Lowフィールド、ERTフィールド、SLCフィールドは、前述したとおりである。
ITR Hi(Internal Timeline Reference High Flag)フィールドは、当該LCTパケットヘッダーの拡張に、64ビットの内部タイムラインリファレンスフィールドが含まれることを示すことができる。
ITR Low(Internal Timeline Reference Low Flag)フィールドは、当該LCTパケットヘッダーの拡張に、32ビットの内部タイムラインリファレンスフィールドが含まれることを示すことができる。
ETR Hi(External Timeline Reference High Flag)フィールドは、当該LCTパケットヘッダーの拡張に、64ビットの外部タイムラインリファレンスフィールドが含まれることを示すことができる。
ETR Low(External Timeline Reference Low Flag)フィールドは、当該LCTパケットヘッダーの拡張に、32ビットの外部タイムラインリファレンスフィールドが含まれることを示すことができる。
ITR Scaleフィールドは、当該LCTパケットヘッダーの拡張に、32ビットの内部タイムラインリファレンスタイムスケールフィールドが含まれることを示すことができる。
ETR Scaleフィールドは、当該LCTパケットヘッダーの拡張に、32ビットを外部タイムラインリファレンスタイムスケールフィールドが含まれることを示すことができる。
ITR Formatフィールドは、当該LCTパケットヘッダーの拡張に含まれた内部タイムラインリファレンスフィールドのフォーマットを示すことができる。すなわち、このフィールドは、内部網で伝送されるメディアストリームのタイムラインリファレンスのフォーマットを示すことができる。
ETR Formatフィールドは、当該LCTパケットヘッダーの拡張に含まれた外部タイムラインリファレンスフィールドのフォーマットを示すことができる。すなわち、このフィールドは、外部網で伝送されるメディアストリームのタイムラインリファレンスのフォーマットを示すことができる。
ITR Formatフィールド及びETR Formatフィールドの値が0x00である場合、当該タイムラインリファレンスはメディアタイム(media time)フォーマットを有し、0x01である場合にはNTP(Network Time Protocol)フォーマットを有し、0x02である場合にはPTPフォーマットを有し、0x03である場合にはタイムコード(time code)フォーマットを有することができる。0x04乃至0x0Fの値を有する場合には、将来の使用のために残しておくことができる。
URL(外部メディアURLフラグ)フィールドは、当該LCTパケットのヘッダーの拡張に外部メディアURLフィールドが存在するか否かを示すフラグであってもよい。
SPD(Suggested Presentation Delay Flag)フィールドは、当該LCTパケットのヘッダーの拡張にSuggested Presentation Delayフィールドが含まれているか否かを示すフラグであってもよい。
SPD Scaleフィールドは、当該LCTパケットのヘッダーの拡張にsuggested presentation delay timescaleフィールドが含まれているか否かを示すフラグであってもよい。このフラグフィールドが0に設定される場合、suggested presentation delay timescaleフィールドが存在しなくてもよい。この場合、suggested presentation delayフィールドは、SPDを秒単位のノーマルクロック(normal clock)で表現することができる。
USEフィールドの余りビットは、将来の使用のために残しておくことができる(Reserved for future use)。
Sender Current Timeフィールド、Expected Residual Timeフィールド、Session Last Changedフィールドは、前述したとおりである。
Internal Timeline Referenceフィールドは、内部網で伝送されるメディアストリームのタイムラインリファレンス情報を示すことができる。このフィールドの値に基づいて、内部網で伝送されるメディアストリームのタイムラインを再構成することができる。前述したITR Hiフィールド又はITR Lowフィールドの値によって、このフィールドが存在するか否かが決定されてもよい。
External Timeline Referenceフィールドは、外部網で伝送されるメディアストリームのタイムラインリファレンス情報を示すことができる。このフィールドの値に基づいて、外部網で伝送されるメディアストリームのタイムラインを再構成することができる。前述したETR Hiフィールド又はETR Lowフィールドの値によって、このフィールドが存在するか否かが決定されてもよい。
Internal Timeline Reference Timescaleフィールドは、内部網で伝送されるメディアストリームのタイムラインリファレンスの時間単位をHzで示すことができる。このフィールドは、前述したITR Scaleフィールドによってその存否が決定されてもよい。
External Timeline Reference Timescaleフィールドは、外部網で伝送されるメディアストリームのタイムラインリファレンスの時間単位をHzで示すことができる。このフィールドは、前述したETR Scaleフィールドによってその存否が決定されてもよい。
外部メディアURLフィールドは、外部網で伝送されるメディアの位置情報及び/又は当該メディアの固有識別情報を含むことができる。この情報に基づいて、外部網で伝送されるメディアに接近することができる。例えば、外部網で伝送されるメディアがDASHによるメディアである場合、メディアの当該MPDのMPD URL、MPD IDなどの情報がURLフィールドに含まれてもよい。
suggested presentation delayフィールドは、SPD情報を含むことができる。すなわち、外部網又は内部網で伝送されるメディアストリームの生成時点を基準に消費時点までの提案遅延時間を、このフィールドで表現することができる。内部網又は外部網で伝送されるメディアストリームのタイムラインが再構成される時、各タイムラインリファレンス値からこのフィールドの値を引いた値を反映してタイムラインを構成することができる。
suggested presentation delay timescaleフィールドは、前述したsuggested presentation delayフィールドが示すSPD情報の時間単位を示すことができる。この時間単位は実施例によってHzであってもよい。
Header Extensionsフィールド、FEC Payload IDフィールド、Encoding Symbol(s)フィールドは、前述したとおりである。
図137は、本発明の他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造を示す図である。
本実施例は、前述したSPDを含むLCTパケット構造と類似しているが、Sender Current Timeフィールド、Expected Residual Timeフィールド及び/又はSession Last Changedフィールドが省略されてもよい。このフィールドが省略されることにより、これらのフィールドのフラグフィールドであるSCT Hiフィールド、SCT Lowフィールド、ERTフィールド及び/又はSLCフィールドも省略されてもよい。
省略されたフィールドは、一般目的のタイミング情報であり、内/外部網を介したタイムラインリファレンス情報がLCTパケットに既に含まれており、省略されてもいいわけである。これによって、LCTパケット構造の効率性を挙げることもできる。
図138は、本発明の更に他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造の拡張部分を示す図である。
ALC/LCTパケットヘッダーの拡張は様々なタイプを含むことができる。ヘッダーの拡張タイプとして、サーバーのウォールクロック(wall clock)などの時間関連の情報を伝達するヘッダー拡張(EXT_TIME)を挙げることができる。本実施例は、EXT_TIMEの一実施例を示す。
本実施例で、HETフィールド、HELフィールド、SCT Hiフィールド、SCT Lowフィールド、ERTフィールド(又はERT flagフィールド)、SLCフィールド(又はSLC flagフィールド)、Resフィールド(又はRes.by LCTフィールド)、SPDフィールド(又はSPD flagフィールド)、Sender Current Timeフィールド、Expected Residual Timeフィールド、Session Last Changedフィールド及び/又はSueggested Presentation Delay Timescaleフィールドは、前述したとおりである。
本実施例のLCTパケット構造は、前述したSPDを含むLCTパケット構造と類似しているが、TS formatフィールド、TS versionフィールド及び/又はTimestampフィールドをさらに含むことができる。同図でLCTパケット構造の拡張部分以外の部分は省略されている。
TS formatフィールドは、当該LCTパケットのヘッダー拡張部分に含まれたtimestampフィールドのフォーマットを示すことができる。例えば、このフィールドの値が0x01である場合、タイムスタンプはメディアタイム(media time)フォーマットを有することができ、0x02である場合にはNTPフォーマット、0x03である場合にはノーマルプレイングタイム(normal playing time)フォーマット、0x04である場合にはSMPTEタイムコードフォーマット、0x05である場合には90KHzベースのタイムスタンプフォーマットを有することができる。このフィールドの値が0x00又は0x06乃至0x0Fである場合、将来の使用のために残しておくことができる(Reserved for future use)。
TS versionフィールドは、当該LCTパケットのヘッダー拡張部分に含まれたtimestampフィールドの構成を示すことができる。例えば、このフィールドの値が0である場合、timestampフィールドは32ビット、1である場合、timestampフィールドは64ビットであってもよい。実施例によってsuggested presentation delayフィールドとsuggested presentation delay timescaleフィールドも、このフィールドの値によって同じ方式で長さが定められてもよい。又は、実施例によって、別のフィールドを設けて、suggested presentation delayフィールドとsuggested presentation delay timescaleフィールドの長さを表現してもよい。
SPDT flagフィールドは、前述したSPD scaleフィールドと同一であってもよい。ただし、実施例によって、このフィールドの値が0に設定される場合、suggested presentation delayが存在しないように設定されてもよい。
Timestampフィールドは、当該ALC/LCTパケットのペイロードに含まれたデータに関連したタイミング情報を含むことができる。例えば、このフィールドの値は、ペイロードに含まれたデータの最初のバイトがデコードされる時点に関する情報を示すことができる。また、実施例によって、このフィールドの値は、当該データの再生時刻(presentation time)情報を示すことができる。このフィールドは、タイムスタンプの時間単位及び/又は当該時間単位ベースのタイミング情報などを共に含むことができる。又は、実施例によって、このフィールドは、送信側の現在時間、当該メディアデータのエンコーディング時間、当該メディアデータの最初のバイトがデコードされる時点などのタイミング情報にSPD(提案遅延時間)を加算した値を有することができる。
Sueggested Presentation Delayフィールドは、SPD情報を含むことができる。このフィールドは、当該ALC/LCTパケットのペイロードデータ又はペイロードデータを含むオブジェクトの生成時点を基準に消費時点までの提案遅延時間を示すことができる。前述したtimestampフィールドのタイムスタンプ値を同期化に用いるとき、SPD値を活用することができる。すなわち、タイムスタンプ値にSPD値を加算した値を反映して同期化を行うことによって、提案遅延時間の反映された同期化を取ることができる。
図139は、本発明の更に他の実施例に係るSPD(suggested presentation delay)を含むLCTパケット構造の拡張部分を示す図である。
本発明は、ALC/LCTパケット構造のヘッダー拡張部分において、新しいヘッダー拡張構造であるEXT_OBJ_INFOを提案する。この新しいヘッダー拡張構造は、伝送オブジェクトのタイプ関連情報及び/又は当該伝送オブジェクトに関連したタイミング情報などを含むことができる。この新しいヘッダー拡張構造は、ALC/LCTパケットヘッダーの拡張フィールド(Header Extension)に含めることができ、コンテンツ伝送プロトコルパケットヘッダーの一部などとして用いることができる。
本実施例はEXT_OBJ_INFOの一実施例を示す。本実施例で、HETフィールド、HELフィールド、SPDフィールド(又はSPD flagフィールド)、SDPT flagフィールド、Timestampフィールド、Sueggested Presentation Delayフィールド及び/又はSueggested Presentation Delay Timescaleフィールドは、前述したとおりである。
本実施例のLCTパケット構造は、前述したSPDを含むLCTパケット構造と類似しているが、Object typeフィールド及び/又はMフィールドがさらに含まれてもよい。同図で、LCTパケット構造の拡張部分以外の部分は省略されている。
Object Typeフィールドは、当該伝送オブジェクトのタイプを示すことができる。このフィールドが示す伝送オブジェクトのタイプは、RTPパケットヘッダーのペイロードタイプ値と類似の値を有することができる。実施例によって、このフィールドの値は、様々な伝送オブジェクトのタイプを示すことができる。例えば、このフィールドの値が0x01である場合、伝送オブジェクトのタイプは、普通のファイルフォーマット(regular file)、0x02の場合にはHTTPエンティティ(entity)フォーマット、0x03の場合にはAACベースのオーディオデータフォーマット、0x04の場合にはH.264ベースのビデオデータフォーマット、0x05の場合にはHEVCベースのビデオデータフォーマット、0x06の場合にはDASHセグメント(Segment)又はISOベースメディアファイル(ISO base media file)フォーマット、0x07の場合にはメタデータフォーマットを有することができる。このフィールドの値が0x00又は0x07以上の値の場合は、将来の使用のために残しておくことができる(Reserved for future use)。
Mフィールドは、マーカー(marker)の役割を担うフィールドであり、Object Typeフィールドの値によって様々な対象を示すことができる。例えば、Object Typeフィールドの示すオブジェクトタイプがファイルである場合、Mフィールドはそのファイルの始め又は終わりを示すことができる。また、Object Typeフィールドが示すオブジェクトタイプがビデオ/オーディオデータである場合、Mフィールドは、関連したデータユニットの始め又は終わりを示すことができる。Mフィールドは、マーカービット(marker bit)フィールドと呼ぶこともできる。
本実施例で、Timestampフィールド、suggested presentation delayフィールド及び/又はsuggested presentation delay timescaleフィールドの長さは、32、64ビットなどであって、同じ固定長を有することができる。その長さは、別の長さフィールドで示してもよく、HELフィールドで示してもよい。
図140は、本発明の更に他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造の拡張部分を示す図である。
本実施例は、前述したEXT_OBJ_INFOの他の構造を提案する。前述したEXT_OBJ_INFOの構造に比べて、TS flagフィールド、TS formatフィールド及び/又はTS versionフィールドがさらに含まれてもよい。同図で、LCTパケット構造の拡張部分以外の部分は省略されている。
TS flagフィールドは、当該ヘッダー拡張構造にtimestampフィールドが存在するか否かを示すフラグであってもよい。実施例によって、このフィールドの値が1である場合、timestampフィールドが存在し、0である場合には存在しなくてもよい。実施例によって、このフィールドの値が示す意味が異なってもよい。
TS formatフィールド、TS versionフィールドは、前述したとおりである。ただし、これらのフィールドは、TS flagフィールドが1である場合、すなわち、timestampフィールドが存在すると示される場合において、当該タイムスタンプのフォーマット及びバージョンを示すことができる。
その他の同名のフィールドは、前述したとおりである。
図141は、本発明の更に他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造の拡張部分を示す図である。
本実施例は、前述したEXT_OBJ_INFOの更に他の構造を提案する。前述したEXT_OBJ_INFOの構造に比べて、Ext flagフィールド及び/又はExtentionフィールドをさらに含むことができる。同図で、LCTパケット構造の拡張部分以外の部分は省略されている。
Ext Flagフィールドは、当該ヘッダー拡張構造にextensionフィールドが存在するか否かを示すフラグであってもよい。実施例によって、このフィールドの値が1である場合、extensionフィールドが存在し、0である場合、存在しなくてもよい。実施例によって、このフィールドの値が示す意味が異なってもよい。
Extensionフィールドは、当該伝送オブジェクトに関連した付加情報を含むことができる。例えば、伝送オブジェクトのロケーション(location)情報などが含まれてもよい。ここで、伝送オブジェクトのロケーション情報とは、当該情報が得られる位置情報であり、例えば、DASHセグメントが伝送オブジェクトとして伝送される場合、伝送オブジェクトのロケーションはDASHセグメントのURLであってもよい。このフィールドは、拡張の役割として、伝送オブジェクトと関連した様々な情報が実施例によって追加されてもよい。
その他の同名のフィールドは、前述したとおりである。
図142は、本発明の更に他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造の拡張部分を示す図である。
本発明は、ALC/LCTパケット構造のヘッダー拡張部分において、新しいヘッダー拡張構造であるEXT_MEDIA_TIMEを提案する。この新しいヘッダー拡張構造は、メディアデータのタイミング関連情報、タイムスタンプなどの情報を含むことができる。この新しいヘッダー拡張構造は、ALC/LCTパケットヘッダーの拡張フィールド(Header Extension)に含めることができ、コンテンツ伝送プロトコルパケットヘッダーの一部などとして用いることができる。
本実施例は、EXT_MEDIA_TIMEの一実施例を示す。EXT_MEDIA_TIMEの場合、EXT_OBJ_INFOと違い、Object Typeフィールド、Mフィールド、TS flagフィールドなどが省略されてもよい。同図で、LCTパケット構造の拡張部分以外の部分は省略されている。
TS formatフィールドは、前述したとおりである。ただし、この場合、このフィールドはその値によって、タイムスタンプがGPSタイムフォーマットを有することを示すこともできる。
TS versionフィールドは、前述したとおりである。ただし、この場合、このフィールドは、タイムスタンプの時間単位情報が存在するか否かをさらに示すこともできる。
Ext Flagsフィールドは、extensionフィールドが含む細部フィールドに対するフラグフィールドの集合であってもよい。すなわち、このフィールドは、extensionフィールドの構成を示すことができる。又は、実施例によって、前述したExt flagフィールドのように、extentionフィールドが存在するか否かを示すこともできる。Extensionフィールドは、このフィールドの値によってマップされたタイムライン関連情報などの様々な情報を含むことができる。
その他の同名のフィールドは、前述したとおりである。
図143は、本発明の更に他の実施例に係るSPD(Suggested Presentation Delay)を含むLCTパケット構造の拡張部分を示す図である。
本発明は、ALC/LCTパケット構造のヘッダー拡張部分において、新しいヘッダー拡張構造であるEXT_TIME_MAPを提案する。この新しいヘッダー拡張構造は、ALC/LCTパケットヘッダーの拡張フィールド(Header Extension)に含めることができ、コンテンツ伝送プロトコルパケットヘッダーの一部などとして用いることができる。
EXT_TIME_MAPは、前述したタイムラインコンポーネントAU又はタイムラインリファレンス情報AUを含むメタデータを一つの伝送オブジェクトで伝達する役割を担うことができる。これは、伝送オブジェクトが他のタイムラインとの同期化を必要とする場合、両タイムライン間のマッピング情報を受信機に伝達するためであってもよい。EXT_TIME_MAPによれば、別の伝送オブジェクトが伝達される必要がなく、ヘッダーの拡張部分にこの構造を挿入して必要な情報を伝達することができる。伝達された情報を用いて、当該パケットのペイロードの再生時刻(presentation time)をGPSタイムなどにマップすることができる。
EXT_TIME_MAPは、OTS flagフィールド、OTS formatフィールド、OTS versionフィールド、Location flagフィールド、Original timestampフィールド、Locationフィールドなどをさらに含むことができる。
TS formatフィールドは前述したとおりであるが、実施例によって、このフィールドは、タイムスタンプがGPSタイムフォーマットであることを示すこともできる。
OTS Flagフィールドは、当該パケットヘッダー拡張部分にoriginal timestampフィールドが存在するか否かを示すフラグであってもよい。実施例によって、このフィールドの値が1である場合、original timestampフィールドが存在し、0である場合、存在しなくてもよい。実施例によって、このフィールドの値の意味が異なってもよい。
OTS formatフィールドは、original timestampフィールドのフォーマットを示すことができる。実施例によって、このフィールドは様々なタイムスタンプフォーマットを示すことができる。例えば、このフィールドの値が0x01である場合、タイムスタンプはメディアタイム(media time)フォーマットを有することができ、0x02の場合にはNTPフォーマット、0x03の場合にはノーマルプレイングタイム(normal playing time)フォーマット、0x04の場合にはSMPTEタイムコードフォーマット、0x05の場合には90KHzベースのタイムスタンプフォーマットを有することができる。このフィールドの値が0x00又は0x06乃至0x0Fである場合には、将来の使用のために残しておくことができる(Reserved for future use)。
OTS versionフィールドは、含まれたoriginal timestampフィールドのバージョン或いは構成を示すことができる。例えば、このフィールドの値が0である場合、original timestampフィールドは32ビット、1である場合、original timestampは16ビットのサイズを有することができる。
Location Flagフィールドは、当該パケットヘッダー拡張部分にlocationフィールドが存在するか否かを示すフラグであってもよい。実施例によって、このフィールドの値が1である場合、locationフィールドが存在し、0である場合には存在しなくてもよい。実施例によって、このフィールドの値の意味が異なってもよい。
Timestampフィールドは、前述したとおりである。このフィールドは、Original Timestampフィールドによって表現される伝送オブジェクトのタイムスタンプにマップされるタイムラインのタイムスタンプを含むことができる。このフィールドのタイムスタンプは、original timestampフィールドによって表現されるタイムラインにマップすることができる。
Original Timestampフィールドはtimestampフィールドのタイムスタンプとマッピング関係を有する、伝送オブジェクトのタイムスタンプ情報を含むことができる。このフィールドのタイムスタンプは、timestampフィールドによって表現されるタイムラインにマップすることができる。又は、実施例によって、このフィールドは、送信側の現在時間、当該メディアデータのエンコーディング時間、当該メディアデータの最初のバイトがデコードされる時点などのタイミング情報にSPD(提案遅延時間)を加算した値を有することができる。
Locationフィールドは、マップされるタイムラインに関連したデータのロケーション情報などを含むことができる。例えば、タイムスタンプが特定DASHセグメントのタイムラインにマップされる場合、DASHセグメントに対するURL情報がこのフィールドに含まれてもよい。
その他の同名のフィールドは、前述したとおりである。
前述したLCTパケットのヘッダー又はヘッダーの拡張部分の役割を担うために、ROUTEのプレゼンテーションタイムヘッダー(EXT_ROUTE_PRESENTATION_TIME)が用いられてもよい。また、実施例によって、前述したLCTパケットのヘッダー又はヘッダーの拡張部分の役割を担うために、IETFのRFC5651、“Layered Coding Transport(LCT) Building Block”のEXT_TIMEヘッダーが用いられてもよい。
前述したLCTパケットのヘッダー又はヘッダーの拡張部分は、EXT_ROUTE_PRESENTATION_TIMEの一実施例であってもよい。また、実施例によって、前述したLCTパケットのヘッダー又はヘッダーの拡張部分は、EXT_TIMEヘッダーの一実施例であってもよい。前述したLCTパケットのヘッダー又はヘッダーの拡張部分は、前述したように、タイミング関連情報を伝達することができる。
本発明の更に他の実施例に係るLCTパケットヘッダーは、64ビットNTPタイムスタンプの3番目、4番目及び5番目のオクテットを表現することができる。この実施例のヘッダーは、HETフィールドを有することができ、また、固定長を有することができる。この実施例のヘッダーの値は、SCTよりも大きくてもよい。この実施例のLCTパケットヘッダーは、総4バイトのサイズを有することができる。
本発明の更に他の実施例に係るLCTパケットヘッダーは、64ビットNTPタイムスタンプ値を全て有することもできる。この実施例のヘッダーは、HETフィールド及び/又はHELフィールドを有することができる。この実施例のLCTパケットヘッダーは、総12バイトのサイズを有することができる。したがって、その他のビット数は、将来の使用のために残しておくことができる(Reserved)。
図144は、本発明の一実施例に係る放送コンテンツを送信する方法を示す図である。
本発明の一実施例に係る放送コンテンツを受信する方法は、放送コンテンツに対する第1メディアストリームを生成する段階、放送コンテンツに対する第2メディアストリームを生成する段階、第1メディアストリームを放送網を介して送信する段階、第2メディアストリームに対する要求を受ける段階、及び/又は第2メディアストリームをインターネット網を介して受信機に送信する段階を含むことができる。
まず、放送コンテンツに対する第1メディアストリームを生成することができる。この過程は、第1モジュールで行うことができる。ここで、第1メディアストリームは、放送網で伝送されるメディアストリームであってもよい。前述した実施例で、内部網で伝送されるメディアストリームが第1メディアストリームに該当してもよい。この第1メディアストリームは、複数個のパケットが連続した形態を有することができる。このうち、少なくとも一つのパケットは時間情報を含むことができる。ここで、時間情報とは、時間に関連した全情報を総称する統合的な概念である。実施例によって、前述したタイミング関連LCTパケットヘッダーの拡張部分、タイムラインリファレンス情報AU、タイムラインコンポーネントAUなどがこの時間情報に該当し得る。
前述した放送コンテンツに対する第2メディアストリームを生成することができる。この過程は、第2モジュールで行うことができる。ここで、第2メディアストリームは、インターネット網で伝送されるメディアストリームであってもよい。前述した実施例で、外部網で伝送されるメディアストリームが第2メディアストリームに該当してもよい。第1モジュールと第2モジュールとが統合されて一つのモジュールとして動作してもよい。
生成された第1メディアストリームは、放送網を介して受信側に伝送することができる。この過程は、第3モジュールで行うことができる。また、生成された第2メディアストリームは、インターネット網を介して受信側に伝送することができる。この過程は、第4モジュールで行うことができる。第4モジュールは、受信機から第2メディアストリームに対する要求を受け、その要求に応じて受信側に該当のメディアストリームを伝送することができる。このような要求は、前述したexternal_media_URLフィールドによって行うことができる。
本発明の他の実施例に係る放送コンテンツを送信する方法は、前述した第1メディアストリームのパケットが前述した時間情報を含む拡張ヘッダーを含むことができる。この拡張ヘッダーは、前述したLCTパケットヘッダーの拡張部分であってもよい。ここで、前述した時間情報は、第1メディアストリームの再生時刻(presentation time)を示すタイムスタンプ情報を含むことができる。このタイムスタンプ情報は、前述したtimestampフィールドに該当し得る。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述した拡張ヘッダーがタイムスタンプの一部だけを含むことができる。前述したように、本発明の一実施例に係る拡張ヘッダーは、64ビットNTPタイムスタンプの3番目、4番目及び5番目のオクテットを表現することができる。前述した拡張ヘッダーがタイムスタンプの一部だけを含む場合、タイムスタンプの一部のオクテットだけを含むことができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述した拡張ヘッダーが第2メディアストリームの再生時刻を示すタイムスタンプ情報をさらに含むことができる。ここで、第2メディアストリームの再生時刻を示すタイムスタンプは、前述したoriginal timestampフィールドによって表現されるタイムスタンプを意味することができる。すなわち、前述したように、拡張ヘッダーは、original timestampフィールドをさらに含むことができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述した拡張ヘッダーが、第1メディアストリームの生成時点から消費時点までの提案遅延時間に関する情報をさらに含むことができる。ここで、提案遅延時間に関する情報は前述したSPDを意味することができる。拡張ヘッダーは、suggested presentation delayフィールドをさらに含むことができる。受信機は、このSPDをタイムスタンプ値に加算して、SPDの反映された同期化を取ることができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述した第1メディアストリームの再生時刻を示すタイムスタンプが、SPDが既に反映されたタイムスタンプ値を有することができる。タイムスタンプフィールドは、タイムスタンプ値にSPD値を加算した値を含むことができる。したがって、SPDの反映された再生時刻を表現することができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述したパケットがタイムラインリファレンス情報を含んでもよい。リファレンス情報としては、第1メディアストリームのタイムラインを構成する第1タイムラインリファレンス情報及び/又は第2メディアストリームのタイムラインを構成する第2タイムラインリファレンス情報を含むことができる。それぞれのタイムラインリファレンス情報を、各メディアストリームのタイムラインを再構成するために用いることができる。それぞれのタイムラインリファレンスがマップされ、同期化したタイムラインを構成することができる。これを用いて、別個の網で伝送されるメディアストリームを同期化することができる。このようなペイロードを有するパケットは、一般パケットと同じ方式でパケット化されたタイムラインリファレンス情報AUであってもよい。又は、実施例によってこれらのパケットはタイムラインコンポーネントAUであってもよい。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述したパケットのペイロードが提案遅延時間に関する情報をさらに含んでもよい。この提案遅延時間情報は、第1メディアストリーム及び/又は第2メディアストリームの生成時点から消費時点までの時間を示すことができる。この意味は、実施例によって異なってもよい。前述したように、タイムラインリファレンス値からSPD値を減算して、SPD値の反映されたタイムラインを再構成することができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法は、前述したタイムラインリファレンス情報が、SPD値が既に反映されたタイムラインリファレンス値を有することができる。
本発明の更に他の実施例に係る放送コンテンツを送信する方法で、前述した第1メディアストリームが、前述した放送コンテンツのビデオストリームであり、第2メディアストリームは、放送コンテンツのオーディオストリームであってもよい。
本発明の一実施例に係る放送コンテンツを受信する方法を説明する。本発明の一実施例に係る放送コンテンツを受信する方法は、図示を省略した。
本発明の一実施例に係る放送コンテンツを受信する方法は、放送網で第1メディアストリームを受け取る段階、URL情報を用いて要求することによってインターネット網で第2メディアストリームを受け取る段階、第1、第2メディアストリームに対するタイムラインを構成する段階、構成された各タイムラインをマップして、両メディアストリームのタイムラインの同期化を行う段階、及び/又はタイムスタンプ値に基づいて当該メディアデータを特定時刻に再生する段階を含むことができる。
第1メディアストリームを受け取る段階は、第1受信モジュールで行うことができる。URL情報を用いて要求することによってインターネット網で第2メディアストリームを受け取る段階は、第2受信モジュールで行うことができる。第1、第2メディアストリームに対するタイムラインを構成する段階は、第3受信モジュールで行うことができる。構成された各タイムラインをマップして2メディアストリームのタイムラインの同期化を行う段階は、第4受信モジュールで行うことができる。タイムスタンプ値に基づいて当該メディアデータを特定時刻に再生する段階は、第5受信モジュールで行うことができる。ここで、第3受信モジュールと第4受信モジュールとが統合され、一つのモジュールで行うこともできる。
各タイムラインは、メディアストリーム内のタイムラインリファレンス情報AUのタイムラインリファレンス情報によって再構成することができる。このとき、各タイムラインをマップし、各メディアストリームを同期化させることができる。共に伝達されたSPD情報を用いて、SPDが反映されたタイムラインを再構成することができる。このとき、タイムラインリファレンス値からSPD値を減算して、SPDが反映されてもよい。
また、メディアストリームの各パケットヘッダーにはタイムスタンプ情報が含まれてもよい。このタイムスタンプ情報を用いて各メディアストリームの再生時刻を把握することもできる。共に伝達されたSPD情報を用いて、SPDが反映されたタイムスタンプ値を得ることができる。このとき、タイムスタンプ値にSPD値を加算して、SPDが反映された当該メディアデータの再生時刻を得ることができる。
前述した段階は、実施例によって省略されてもよく、類似/同一の動作を行う他の段階に代替されてもよい。
図145は、本発明の一実施例に係る放送コンテンツを送信する装置を示す図である。
本発明の一実施例に係る放送コンテンツを送信する装置は、第1モジュール、第2モジュール、第3モジュール及び/又は第4モジュールを含むことができる。
各モジュールは、前述した同名の各モジュールと同一であってもよい。第1モジュールはね放送コンテンツに対する第1メディアストリームを生成する段階を行うことができる。第2モジュールは、放送コンテンツに対する第2メディアストリームを生成する段階を行うことができる。第3モジュールは、第1メディアストリームを放送網で送信する段階を行うことができる。第4モジュールは、第2メディアストリームに対する要求を受ける段階、及び/又は2メディアストリームをインターネット網で受信機に送信する段階を行うことができる。
本発明の一実施例に係る放送コンテンツを受信する装置を説明する。この放送コンテンツを受信装置は、図示を省略した。
本発明の一実施例に係る放送コンテンツを受信する装置は、第1受信モジュール、第2受信モジュール、第3受信モジュール、第4受信モジュール及び/又は第5受信モジュールを含むことができる。各モジュールは、前述した同名の各モジュールと同一であってもよい。
前述したモジュールは、実施例によって省略されてもよく、類似/同一の動作を行う他のモジュールに代替されてもよい。
前述した第1モジュール、第2モジュール、第3モジュール、第4モジュール、第1受信モジュール、第2受信モジュール、第3受信モジュール、第4受信モジュール及び/又は第5受信モジュールは、メモリに記憶された連続した実行手順を実行するプロセッサであってもよい。また、前述した第1モジュール、第2モジュール、第3モジュール、第4モジュール、第1受信モジュール、第2受信モジュール、第3受信モジュール、第4受信モジュール及び/又は第5受信モジュールは、装置の内部/外部に設けられるハードウェアエレメントであってもよい。
モジュール又はユニットは、メモリ(又は記憶ユニット)に記憶された連続した実行手順を実行するプロセッサであってもよい。前述した実施例に記述された各段階は、ハードウェア/プロセッサで行うことができる。前述した実施例に記述された各モジュール/ブロック/ユニットは、ハードウェア/プロセッサとして動作することができる。また、本発明で提示する方法はコードとして実行されてもよい。このコードは、プロセッサで読み取り可能な記憶媒体に書き込むことができ、したがって、装置(apparatus)が提供するプロセッサで読み取ることができる。
説明の便宜のために各図を区分して説明したが、各図に示した実施例を併合して新しい実施例を実現するように設計することも可能である。そして、通常の技術者の必要によって、以上説明した実施例を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体を設計することも、本発明の権利範囲に属する。
本発明に係る装置及び方法は、以上説明した実施例の構成及び方法が限定的に適用されるものではなく、上述した実施例の様々な変形が可能なように、各実施例の全部又は一部を選択的に組み合せて構成することもできる。
一方、本発明が提案する方法を、ネットワークデバイスに具備された、プロセッサで読み取り可能な記録媒体に、プロセッサで読み取り可能なコードとして具現することができる。プロセッサで読み取り可能な記録媒体は、プロセッサで読み取り可能なデータが記憶されるいずれの種類の記録装置をも含む。プロセッサで読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサで読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でプロセッサで読み取り可能なコードが記憶されて実行されてもよい。
また、以上では、本発明の好適な実施例について図示及び説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱しない限度で、当該発明の属する技術の分野における通常の知識を有する者にとって様々な変形実施が可能であることは無論である。これらの変形実施も、本発明の技術的思想や展望から個別的に理解してはならない。
そして、本明細書では物の発明、方法の発明の両方が説明されており、必要によって、両発明の説明を補充的に適用してもよい。
本発明の思想や範囲から逸脱しさい範囲で本発明の様々な変更及び変形が可能であることは当業者にとって明らかである。したがって、本発明は、添付の請求項及びその同等範囲内で提供される本発明の変更及び変形を含むことが意図される。
本明細書で装置及び方法発明が皆言及されて、装置及び方法発明皆の説明はお互い補完して適用されることができる。
〔実施例〕
様々な実施例が、本発明を実施するための形態で説明されている。