JP6317872B2 - 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法 - Google Patents

Description

本発明は、概して、ブロードバンドネットワークを介して受信したオーディオビデオ番組の復号方法に関し、特に、ブロードバンドネットワークを介して受信したコンテンツのレンダリングを、ブロードキャストネットワークを介して受信したコンテンツのレンダリングと同期する方法に関する。

このセクションは、以下に説明して特許を請求する本発明の様々な態様に関連する様々な態様の技術を読者に紹介することを意図するものである。この説明は、本発明の様々な態様の理解を容易にする背景情報を読者に提供する役に立つと思われる。従って、言うまでもなくこれらの記載は上記を考慮して読むべきであり、先行技術として認める（admissions of prior art）ものではない。

近年、地上、衛星、及びケーブルネットワークによる従来のテレビブロードキャストのランドスケープが、ブロードバンドインターネットプロトコル（ＩＰ）ネットワークによるテレビ及びビデオサービスの広がりとともに拡大してきている。これらのネットワークは補完的であり、ブロードキャスト配信はライブイベントやマス配信に適応し、ブロードバンド配信はオンデマンド、キャッチアップ、及びパーソナライズドサービスに適応している。このような補完性により、各ネットワークの強みをレバレッジして効率的にテレビ及びビデオサービスを改良するハイブリッドモデルという考え方がある。事前にストリーミング又はプッシュされた、ブロードバンドを介して配信されたパーソナライズドコンテンツで、ブロードキャストイベントをエンリッチ（enrich）することができる。このようなハイブリッドサービスでは、別々のネットワークを介して配信されたコンポーネントを厳密に同期させなければならない。この正確な同期の必要性を示す典型例は、ブロードキャスト番組を見ているユーザが、ブロードキャストされていないがブロードバンドを介して利用できる外国のオーディオシーケンスを選択する場合である。もう一つの例は、ブロードバンドを介して他のビデオコンポーネントを配信することにより、ブロードキャストコンテンツをエンリッチする場合である。他のビデオコンポーネントは、例えば、スケーラブルビデオコーディング（ＳＶＣ）エンハンスメントレイヤやマルチビュービデオコーディング（ＭＶＣ）コンポーネントであり、３次元でイベントを見せたり、同じシーンの別のビューを見せたりするものである。

この追加コンポーネントを配信する方法にはいくつかある。オンデマンド配信に基づく最初のソリューションは、「HTTP Live Streaming, draft-pantos-http-live-streaming-０１ - R.
Pantos, Apple Inc June ８,２００９」に記載されているハイパーテキストトランスファプロトコル（ＨＴＴＰ）ストリーミングを用いることであり、ＲＦＣ３５５０「A
Transport Protocol for Real-Time Applications」リコメンデーションに規定されたリアルタイムトランスファプロトコル（ＲＴＰ）・オーバー・ＵＤＰ／ＩＰを使うことである。後者の場合、リコメンデーションＲＦＣ２３２６に記載されたリアルタイムストリーミングプロトコル（ＲＴＳＰ）などの通信プロトコルがＲＴＰと共に用いられる（associated
to）。マルチキャスト配信に基づく他のソリューションは、「A Transport Protocol for Real-Time Applications」に規定されたＲＴＰプロトコル（ＲＴＰ／ＵＤＰ／ＩＰ）を用いる。

オンデマンド配信の場合、コンテンツ要求は、配信される最初のオーディオビジュアルサンプルのプレゼンテーションタイムスタンプ（ＰＴＳ）を表すタイミング情報を組み込むことができる。ターミナルがマルチキャストストリームをサブスクライブする場合ではない。端末は所与のタイムスタンプに対してマルチキャストストリームを要求できず、クライアントがコンテンツ配信上の制約を受けるブロードキャストネットワークと同様に振る舞う。

ネットワークの特性はそのレイテンシ（latency）とジッター（jitter）である。すなわち、あるネットワークを介した場合と他のネットワークを介した場合とで、コンテンツを配信するのにかかる時間が異なる。

ブロードキャストネットワークの特異性は、受信器が何も要求しなくてもコンテンツがその受信器に届くこと、すなわち、受信器がコンテンツを受け取り続けること、及び配信のジッターは限定的であり、受信器において限られたサイズのバッファで処理できることである。コンテンツ配信時間は、サーバから端末までのブロードキャストネットワークを介したコンテンツ配信時間と、端末がコンテンツをデマルチプレックス、バッファ、及び復号するのに必要な時間とを含む。

ブロードバンドネットワークはパーソナライズ配信ネットワークとみなすことができる。受信者の要求があった時にのみコンテンツを配信するからである。

図１は、ブロードバンドネットワークを介した番組コンテンツの配信を示す。ビデオサーバがセットトップボックス受信器（ＳＴＢ）に番組コンテンツを配信する。セットトップボックスは、コンテンツをディスプレイデバイスに表示するため、そのコンテンツ受信し、復号する。配信は４つの主要ステップとそれに対応する時間に分離できる：
・ 要求がサーバに到達するのにかかる時間はＴ１である。
・ サーバがその要求を処理し番組コンテンツを送信するのにかかる時間はＴ２である。
・ サーバからセットトップボックスまでの番組コンテンツ配信の時間はＴ３である。
・ セットトップボックスが番組コンテンツをバッファ、復号、及び表示するのにかかる時間はＴ４である。

ブロードバンドとブロードキャストがハイブリッドとなった状況での配信は、必ずしも、すべてのコンポーネントの時間フォーマットが同じであることを示すものではない。（ブロードキャストネットワークに広く用いられる）ＭＰＥＧ−２トランスポートストリームフォーマットでは、タイミング情報は番組クロックリファレンス（ＰＣＲ）に基づく。一方、ネットワークタイムプロトコル（ＮＴＰ）は、（ブロードバンドネットワークで広く用いられる）リアルタイムトランスポートプロトコルでエンコードされたストリームのタイミングに用いられるフォーマットである。さらに、２つのコンポーネントの時間フォーマットは同じであるが、時間リファレンスは異なってもよい（オフセット値）。上記のコンポーネント間のタイミング問題を補償するため、タイミングフォーマット及び／又はリファレンスを他のコンポーネントのそれに変換（transpose）するメカニズムを実装しなければならない。ブロードバンドを介して配信されたコンポーネントのタイミングフォーマット及び／又はリファレンスを、ブロードキャストを介して配信されたコンポーネントのタイミングフォーマット及び／又はリファレンスと合わせる。後者は「マスター」コンポーネントである。ここで、タイミングフォーマット及び／又はリファレンスが異なると、このタイミング合わせ動作が暗黙的に行われ、コンポーネントを同期する。タイミング値と言うとき、それは変換後の同じ基準（referential）（同じフォーマット及び同じ初期値）でのタイミング値を言う。この一意的な時間基準（time
referential）はシステムクロックと呼ばれる。

ブロードキャストを介して配信されたコンポーネントは「メインコンポーネント」と呼ばれ、ブロードバンドを介して配信されたコンポーネントは「パーソナライズコンポーネント（personalized component）」と呼ばれる。

ここで、パーソナライズドコンポーネントを配信する方法を説明する。パーソナライズドコンポーネントは、端末により要求され、双方向ブロードバンドネットワークを介して送信される。配信はリニアであっても非リニアであってもよい。

リニア配信では、端末がコンポーネントを一定レートで受信できる。しかし、ネットワークのジッターにより厳密に一定ではない。パーソナライズドコンポーネントの配信をブロードキャストされたメインコンポーネントと同期するには、２つの場合が考えられる。メインコンポーネントの対応フレームが提供される前に、パーソナライズドコンポーネントストリームが受信、復号、及び提供されるか、パーソナライズドコンポーネントが後に到着し、パーソナライズドコンポーネントのフレームがすべて使えないかのいずれかである。

リニア配信メカニズムの典型的な場合は、端末が、インターネットグループ管理プロトコル（ＩＧＭＰプロトコル）で規定されているマルチキャストにジョインする要求を送信することにより、マルチキャストストリームをサブスクライブする時である。マルチキャストストリーム配信では、端末は画定されたタイムスタンプからのストリームを受信できない。この場合、パーソナライズドコンポーネントがメインコンポーネントの対応フレームより後に到着すると、それらのレンダリングを同期させることはできない。

リアルタイムトランスファプロトコル（ＲＴＰ）もリニア配信用に周知である。ＲＴＰプロトコルにより、現在の受信時間リファレンス＋オフセットであるタイムスタンプからのコンテンツを要求できる。端末は、復号してレンダリングする必要が生じる前にコンテンツを受信するよう、予めコンテンツを要求するためにオフセットを推定する。オフセットを正しく推定しないと、パーソナライズドコンポーネントの受信が遅くなり、メインコンポーネントと同期できなくなってしまう。その結果、クライアントは、現在のストリーミングの受信を停止しなければならず、オフセットをより正確に評価して、新しい推測オフセット値に基づき、新しい要求を送信しなければならない。

非リニア配信は端末が不規則にコンテンツを受信するメカニズムである。コンテンツの一部は、それが提示されるより速いレートで配信される。例えば、受信フレームレートは提示フレームレートより高い。非リニア配信のアイデアにより、端末が、提示するには遅いパーソナライズドコンポーネントを受信して、メインコンポーネントにキャッチアップして、それをある時に提示できるようになる。

リアルタイムストリーミングプロトコル（ＲＴＳＰ）サーバは、非リニアでコンテンツを配信することもできる。ＲＴＳＰサーバは、要求パラメータに応じて、例えば、番組の第１のフレーム又は画像グループをバーストで配信し、その後コンテンツを巡航レートで配信できる。ＲＴＳＰを用いる場合、端末はあるプレゼンテーションタイムスタンプを要求する。

ハイパーテキストトランスファプロトコル（ＨＴＴＰ）ストリーミングは、他のタイプの非リニア配信である。パーソナライズドコンポーネントはチャンク（chunks）と呼ばれる多数の連続した部分に分離される。チャンクは、ファイル又はファイルの一部であり、それを記述する情報を含んでいる。その情報は、例えば、タイムスロット、ファイル名、バイトレンジ、ビットレートその他の端末がチャンクのコンテンツを復号してレンダリングするのに有用な情報を含む。ビデオを含むチャンクの符号化は、前のフレームを参照せずに復号できるキーフレームで始まる。キーフレームは、例えば、MPEG圧縮標準（ISO/IEC１３８１８）で規定されているIピクチャ（すなわちIフレーム）である。チャンクは、ＭＰＥＧ圧縮で規定されている１つ以上のフル画像グループ（ＧＯＰ）を含む。端末は、ＨＴＴＰストリーミングを用いてコンテンツを受信するとき、サーバにチャンクを要求する。サーバは、ベストエフォートでチャンクを送信する。コンテンツは連続したバーストとして送信される。

非リニア配信により、端末は、システムクロックに関してメインコンポーネントと同期するキーフレームで始まるパーソナライズドコンテンツを得るために連続して要求を送り、時間リファレンスとプレゼンテーション時間リファレンスとを復号することにより、パーソナライズドコンポーネントのレンダリングをメインコンポーネントのレンダリングに同期できる。

このような同期方法の欠点は、端末がメインコンポーネントと同期するパーソナライズドコンポーネントを要求し、キーフレームで始まるコンテンツを受信し、復号及びプレゼンテーション時間リファレンスが、メインコンポーネントと同期するには受信が遅すぎることを示し、破棄されたコンテンツがレンダリングに関して重要な（何秒にもなる）時間レンジに対応する場合である。端末は、同期が可能であることを復号及びプレゼンテーション時間リファレンスが示すまで、新しい要求を送信し、新しいパーソナライズドコンポーネントを受信しなければならない。

本発明の目的は、先行技術の欠点を解消することである。より具体的には、本発明は、パーソナライズドコンポーネントのレンダリングをメインコンポーネントのレンダリングと同期するのに必要な遅延を最適化するものである。

本発明は、厳密な同期を要するコンポーネントのブロードキャスト配信とそのブロードバンド配信のハイブリッド配信の場合に、オンデマンドコンポーネント（パーソナライズドコンポーネント）へのアクセスのレイテンシを大幅に減らしてユーザ体験を強化する方法を提案する。本発明の方法を用いることにより、結果として、メインコンポーネントと同期させるために、オンデマンド（パーソナライズド）コンポーネントを端末に送信しなければならないタイムリファレンスパラメータの推定がよくないことのインパクトを最小化する。この方法では、ブロードバンドを介して配信されたコンポーネントのフレームは、同時にレンダリングするブロードキャストされたコンテンツフレームが表示された時以降に到着しても、処理される。本方法は、ブロードバンドコンテンツの配信フレームレートはプレゼンテーションフレームレートより高いので、ある時点で、システムクロックリファレンスがブロードキャストコンポーネントのシステムクロックリファレンスとぴたりと合ったブロードバンドコンポーネントの一部が、ブロードキャストコンポーネントの対応する部分と同時に表示できるという事実に基づく。

本発明の方法は、復号タイムスタンプにより与えられるリズムでフレームを復号し、復号したフレームをシステマチックにレンダリングするビデオデコーダの通常の振る舞いは無視する。本方法は、遅く到着したブロードバンドコンポーネントの画像グループの第１のフレームを、レンダリングせずに、できるだけ速く復号する。その結果、これらのフレームは単にレンダリングされない。それにも係わらず、前後のフレームを参照してキーフレームでないフレームの復号を行わなければならないので、復号されたがレンダリングされていないフレームは、時間通りでレンダリングされる画像グループの他のフレームの復号のために用いられる。

本発明の方法は、ブロードバンドネットワークを介して受信した第２の番組コンテンツを復号する方法であって、前記第２の番組コンテンツのレンダリングが第１の番組コンテンツのレンダリングと同期され、前記方法は、プログラムクロックリファレンスに関して前記第１の番組コンテンツを復号するステップと、前記プログラムクロックリファレンスに関して、復号時間情報とプレゼンテーション時間情報を伴う連続した第２のフレームを含む前記第２の番組コンテンツを復号するステップを有する。本方法はさらに、前記復号時間情報が前記番組クロックリファレンスより小さいとき、前記第２の番組コンテンツの第２のフレームを復号するステップと、プレゼンテーション時間情報が、第２のフレームのレンダリングが第１の番組コンテンツのレンダリングと同期できるようであれば、復号した第２のフレームをレンダリングするステップとを有する。

本発明の一実施形態では、前記第２のフレームを復号するステップは、前記第２のフレームの１つに付随する復号タイムスタンプを読み出すステップと、前記復号タイムスタンプと前記番組クロックリファレンスとの間の比較結果により前記第２のフレームの前記１つを復号するステップとを有する。

本発明の一実施形態では、前記復号した第２のフレームをレンダリングするステップは、前記第２のフレームに付随するプレゼンテーションタイムスタンプを読み出すステップと、前記プレゼンテーションタイムスタンプと前記番組クロックリファレンスとの間の比較結果により前記第２のフレームをレンダリングするステップとを有する。

本発明の一実施形態では、前記第１の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続した第１のフレームを有する。

本発明の一実施形態では、前記復号時間情報は復号タイムスタンプを有する。

本発明の一実施形態では、前記プレゼンテーション時間情報はプレゼンテーションタイムスタンプを有する。

本発明の一実施形態では、前記第１の番組コンテンツは、第１のデコーダ装置によりブロードキャストネットワークから受信され、前記第２の番組コンテンツは第２のデコーダ装置によりブロードバンドネットワークから受信される。

また、本発明はデコーダ装置に関し、該装置は、ブロードバンドネットワークから受信した、番組クロックリファレンスに関して復号時間情報とプレゼンテーション時間情報とを伴う連続したフレームを含む番組コンテンツを復号する手段を有する。デコーダ装置の復号手段は、復号時間情報は番組クロックリファレンスより小さいとき、前記フレームを復号するように構成され、前記復号手段は、前記プレゼンテーション時間情報が前記番組クロックリファレンス以上であるとき、前記復号されたフレームをレンダリングする手段をさらに有する。

本発明の一実施形態では、デコーダ装置は、さらに、番組クロックリファレンスと比較される復号時間情報とプレゼンテーション時間情報との間の比較結果により、フレームをフィルタリングするために、復号時間情報とプレゼンテーション時間情報とを分析するように構成されたフィルタリングモジュールを有する。

本発明は、添付した図面を参照して以下の実施形態及び実施例により、よりよく理解でき、説明されるであろう。
ブロードバンドネットワークを介した配信を示す図である。 本発明の第１の実施形態によるシステムを示すブロック図である。 本発明の第１の実施形態による受信器／復号器を示すブロック図である。 本発明の第１の実施形態による加速復号の第１の場合を示す図である。 本発明の第１の実施形態による加速復号の第２の場合を示す図である。 本発明の第１の実施形態による復号方法を示す図である。 本発明の第２の実施形態による受信器／復号器を示すブロック図である。 図２、図３、図７では、示したブロックは純粋に機能的なものであり、必ずしも物理的に分離したものであることを示すものではない。すなわち、これらのブロックは、ハードウェアやソフトウェアとして開発してもよいし、集積回路により実施してもよい。

言うまでもなく、本発明の図面と説明は簡略化され、本発明をよく理解するのに必要な要素を説明しており、明確性のため、一般的なデジタルマルチメディアコンテンツ配信方法やシステムにあるその他の多くの要素は省略している。しかし、本技術分野ではかかる要素は周知であるから、かかる要素の詳細な説明はここではしていない。本開示は、当業者に知られたかかるバリエーションや修正もすべて含むものである。

図２は、本発明の第１の実施形態によるネットワークアーキテクチャを示す。ブロードキャストタイミングをリファレンスとみなし、ブロードバンドネットワークを同期できるように構成する。ビデオソース１は、エンコーダ２に未符号化メインコンポーネントを送る。エンコーダ２は、メインコンポーネントを符号化し、エミッタ３に送信する。エミッタ３によるメインコンポーネントをブロードキャストは、エンコーダ２による符号化と同時におこなってもよいし、後でもよい。メインコンポーネントは、レシーバ／デコーダ６に、放送でブロードキャストされる。エンコーダ２は、オンデマンドサーバ４に、符号化したパーソナライズドコンポーネント番組を提供する。パーソナライズドコンポーネントはメインコンポーネントと同期される。エンコーダ２は、符号化中にパーソナライズドコンポーネントを提供できるが、パーソナライズドコンポーネントは、オンデマンドサーバ４から利用できるようになっていてもよい。パーソナライズドコンポーネントは、ブロードキャストされるメインコンポーネントに関連するパーソナライズドコンポーネントのデータベースで入手できてもよい。両方のコンポーネントの復号タイムスタンプ、プレゼンテーションタイムスタンプ、及びクロックリファレンスなどの時間リファレンス情報は、エンコーダ２により同期される。エンコーダ２によりタイミングフォーマット及び／又はリファレンスが整列される方法は、範囲外である。

レシーバ／デコーダ６は、ユーザからの最初の要求があると、ブロードバンドネットワーク５を介してオンデマンドサーバ４に、パーソナライズドコンポーネントを要求する。パーソナライズドコンポーネントは、オンデマンドサーバ４により、ブロードバンドネットワークを介してレシーバ／デコーダ６に配信される。レシーバ／デコーダ６は、パーソナライズドコンポーネントのレンダリングを、エミッタ３によりブロードキャストされたメインコンポーネントのレンダリングと同期するため、パーソナライズドコンポーネントの加速復号フェーズを処理する。両方のコンポーネントは、ディスプレイデバイス７に表示するため、レシーバ／デコーダ６により、同期してレンダリングされ、出力される。

本発明の実施形態では、パーソナライズドコンポーネントとメインコンポーネントの同期の定義は、当業者が一般的に用いているものである。言い換えると、同期は、例えば、メインコンポーネントとパーソナライズドコンポーネントが両方ともビデオコンテンツである場合、メインコンポーネントをレンダリングするために処理されるＧＯＰに含まれるプレゼンテーション時間リファレンスに近いプレゼンテーション時間リファレンスを含むＧＯＰを、パーソナライズドコンポーネントが処理することである。例えば、２つのビデオコンポーネントがレンダリングに関して同期していると考えられるのは、第１と第２のビデオコンテンツにそれぞれ所属する２つのＧＯＰが、１〜２秒以下の時間的レンジで少なくとも部分的に、両方ともレンダリングされる場合である。オーディオコンポーネントとビデオコンポーネントの同期に関しては、同期は周知の「リップシンク（lip sync）」同期に基づく。これは、声を含むオーディオストリームが、話している（又は歌っている）人の唇の動きに同期するものである。「リップシンク」の目標は、唇の動きを歌っている又は話している声に合わせることである。

図３は、本発明の第１の実施形態によるレシーバ／デコーダ６を示す。デコーダは２つの入力インタフェースを有する。第１の入力インタフェース６０１はブロードキャストされたメインコンポーネントを受信するように接続されている。第２の入力インタフェース６０２は、ブロードバンドネットワークを介して配信されるパーソナライズドコンポーネントを受信するように接続されている。両コンポーネントは、番組識別子（program identifiers）により識別される、連続した画像グループ（ＧＯＰ）を含む連続したパケットとして送信される。ブロードキャスト入力インタフェース６０１とブロードバンド入力インタフェース６０２とは、それぞれの受信コンテンツのデマルチプレックスを行い、受信バッファ６０３の専用バッファエリアに各コンポーネントに対応するデータを格納する。各ＧＯＰは、復号タイムスタンプ（ＤＴＳ）とプレゼンテーションタイムスタンプ（ＰＴＳ）とを伴う最初のフレーム、いわゆるキーフレームから始まる。第１のフレームデコーダ６０７は、受信バッファ６０３中のメインコンポーネントのパケットを読み込んで、通常復号を処理する。ブロードキャスト入力インタフェース６０１からのパケットで受け取ったキーフレームが、現在のプログラムクロックリファレンス（ＰＣＲ）と同じ復号タイムスタンプを有しているとき、第１のフレームデコーダ６０７は、フレームの復号を行い、対応する復号済みフレームをフレームバッファ６０４に格納する。第１のフレームデコーダ６０７は、フレームバッファ６０４中のフレームを読み出し、キーフレームのプレゼンテーションタイムスタンプがＰＣＲ値と等しければ、キーフレームをディスプレイバッファ６０５に転送する。ディスプレイ出力インタフェース６０６は、ディスプレイバッファのコンテンツを読み出し、接続されたディスプレイデバイス（図示せず）にフレームを出力する。復号とディスプレイバッファへの転送のプロセスは、第１のフレームデコーダ６０７が受信バッファ６０３中の次のキーフレームを読み出すまで、ブロードキャスト入力インタフェースから来る現在のＧＯＰの連続するフレームでも同じである。第１のフレームデコーダ６０７は、ＧＯＰのキーフレームのＤＴＳがＰＣＲ値と等しいとき、ＧＯＰの復号を開始し、キーフレームのＰＴＳがＰＣＲ値に等しいとき、ディスプレイバッファ６０５中の復号済みフレームのプレゼンテーションを開始することにより、ブロードキャストされたメインコンポーネントの復号と表示を行う。

第２のフレームデコーダ６０８は、キーフレームのＤＴＳが現在のＰＣＲ値以上になるまで、受信バッファ６０３から読み出したすべての対応するフレームを復号することにより、ブロードバンド入力インタフェース６０２を介して受信したパーソナライズドコンポーネントの復号を行う。これは、ブロードキャスト入力インタフェース６０１から受信したブロードキャストコンテンツと同期してレンダリングするには、ブロードバンド入力インタフェース６０２から遅く到着したＧＯＰの場合である。第２のフレームデコーダ６０８は、関連するＤＴＳが現在のＰＣＲ値より小さくても、受信バッファ６０３からのフレームを復号する。復号済みフレームはフレームバッファ６０４に格納される。第２のフレームデコーダ６０８は、フレームバッファ６０４中のパーソナライズドコンポーネントに対応する復号済みフレームを読み出し、対応するＰＴＳが現在のＰＣＲ値に等しいとき、復号済みフレームをディスプレイバッファ６０５に転送する。パーソナライズドコンポーネントのフレームのＰＴＳが現在のＰＴＳより小さいとき、ディスプレイバッファ中のフレームはコピーされない。第２のフレームデコーダ６０８は、ＤＴＳ情報がＰＣＲより小さいとき、加速復号フェーズを行い、ＤＴＳ値がＰＣＲ値以上になると、通常復号を行う。

図４は、本発明の第１の実施形態による加速復号プロセスを示す。図は、ブロードバンドネットワークを介して受信したパーソナライズドコンポーネントの最初のフレームが、通常の復号レートで復号してメインコンポーネントと同期するには遅すぎる場合を示す。そのため、両コンポーネントの同期レンダリングは、ＤＴＳ値を考慮しない加速復号フェーズを用いることにより実現できる。かかる場合はネットワークレイテンシに依存する。図は、第１のステップでは、ブロードバンドコンテンツ（パーソナライズドコンポーネント）用のバッファのフィリング（filling）が速いことを示している。それは、第２のステップにおいてクルージングレートで送信する前に、ブロードバンドネットワークは符号化及びプレゼンテーションレート（バーストモード）より速いレートで送信できるからである。ブロードバンドバッファフィリングは、パーソナライズドコンテンツの最初のデータが受信されるＢＴＳ１時に始まる。（例えば、MPEG圧縮標準で規定された送信ビットレートを考えると）バッファに十分なデータがある時、加速復号フェーズはＤＴＳ１時間に始まる。加速復号中、フレームは、対応するＤＴＳ情報がＰＣＲ値より小さくても、復号される。デコーダが、ＰＣＲ値がＤＴＳと等しくなるのを待ってフレームの復号を開始する時、通常モードより復号レートが高い。図示した場合、ブロードバンドコンテンツは、遅すぎてブロードキャストコンテンツ（メインコンポーネント）と同期させてレンダリングできなくはないので、加速復号により、ＰＴＳ値がＰＣＲ値以上のブロードバンドコンテンツから画像を復号することができる。レンダリングするために復号されたフレームは破棄されたに。加速復号フェーズにより、ＰＣＲ値以上のＤＴＳ情報を有する画像が受信バッファに格納されると、加速復号フェーズは終了し、ノーマルレートでの復号が続く。

図５は、図４に示した場合よりブロードバンドネットワークレイテンシが大きい、本発明の第１の実施形態による加速復号の場合を示す。ブロードバンドネットワークのレイテンシが大きいので、入来フレームは遅すぎて復号できず、遅すぎて復号の始めに表示できない。ブロードバンドネットワークから復号される最初のフレームは、時刻ＢＴＳ１から、受信バッファに格納される。ブロードバンドのバースト機能のため、バッファのフィリングレートは、ブロードキャストネットワークから受信するコンテンツよりも速い。（例えば、ビットレートに応じて、又は圧縮標準により）時刻ＤＴＳ１に受信バッファに十分なデータがあれば、加速復号フェーズが始まるが、復号フレームは遅すぎてブロードキャストコンテンツと同期してレンダリングできない。プレゼンテーション用に復号されたフレームは破棄され、ブロードキャストコンテンツから復号されたフレームのみがレンダリングされる。加速復号中、時刻ＤＴＳｎに、ブロードキャストコンテンツの復号フレームのＰＴＳは、ＰＣＲ値と一致している。そのため、ブロードバンドコンテンツとブロードキャストコンテンツのレンダリングを同期できる。最後に、時刻ＤＴＳｉに、ブロードバンドネットワークからの入来フレームは、ノーマル復号プレオセスにより復号が間に合うＤＴＳを有している。加速復号フェーズは終了し、復号はノーマルモードで続く。

図６は、加速復号フェーズを含む、第２のフレームデコーダによる復号方法を示すフローチャートである。第２のフレームデコーダは、ブロードバンドネットワークから受信したパーソナライズドコンポーネントの復号とレンダリングを行うものである。第２のフレームデコーダの復号プロセスの始めであるステップＳ１において、受信バッファに受信される最初のフレームは、復号タイムスタンプとプレゼンテーションタイムスタンプに関連するキーフレームである。

ステップＳ２において、第２のフレームデコーダは、フレームを読み出し、ステップＳ３において、それがキーフレームであるか否か判断する。キーフレームでなければ、前のキーフレームに関連する復号タイムスタンプ値を考慮することなく、復号プロセスは次のフレームに続く。プロセスはステップＳ６に進む。この場合は、キーフレームではないＧＯＰの画像に対応する。ステップＳ４において、キーフレームと関連するＰＴＳとＤＴＳ情報が第２のフレームデコーダにより読み出される。ステップＳ５において、第２のフレームデコーダはＤＴＳ値をＰＣＲ値と比較する。ＤＴＳが現在のＰＣＲ値より小さければ、フレームを読むのが遅すぎ、時間通りに復号できない。そのため、フレームは、次のフレームの復号のために復号フレームバッファで利用できるようにするため、ステップＳ６ですぐに復号される。ステップＳ５において、フレームが遅すぎず、ＤＴＳがＰＣＲ値より大きいと、ＰＣＲ値がＤＴＳ以上になるまで、プロセスはステップＳ５でループする。これは、（加速でなく）ノーマル復号モードの場合である。ステップＳ７において、第２のフレームデコーダは、フレームを表示するか破棄するか決めるために、ＰＴＳ値をＰＣＲ値と比較する。ＰＴＳがＰＣＲ値より小さいとき、復号フレームは遅すぎてメインコンポーネントと同期してレンダリングできない。プロセスはステップＳ２にループする。ＰＴＳがＰＣＲ値以上であれば、フレームは遅すぎず、ＰＣＲに合わせてレンダリングされなければならない。プロセスは、ＰＣＲがＰＴＳ以上になるまで、ステップＳ８でループする。この条件が満たされれば、ステップＳ９において、第２のフレームデコーダは、復号フレームバッファからディスプレイバッファにレンダリングするフレームをコピーする。プロセスはステップＳ２でループする。

第２のフレームデコーダにより用いられる復号方法は、ブロードバンドネットワークを介して受信した第２の番組コンテンツを復号する方法である。第２の番組コンテンツのレンダリングは、ブロードキャストネットワークを介して受信した第１の番組コンテンツのレンダリングと同期される。この方法は次のステップを有する：プログラムクロックリファレンスに関して前記第１の番組コンテンツを復号するステップと、前記プログラムクロックリファレンスに関して、復号時間情報とプレゼンテーション時間情報を伴う連続した第２のフレームを含む前記第２の番組コンテンツを復号するステップを有する。本方法は、さらに次のステップを有することを特徴とする：前記復号時間情報が前記プログラムクロックリファレンスより小さいとき、前記第２のフレームを復号するステップ（Ｓ４、Ｓ５、Ｓ６）と、プレゼンテーション時間情報が、第２のフレームのレンダリングが第１の番組コンテンツのレンダリングと同期できるようであれば、復号した第２のフレームをレンダリングするステップ（Ｓ８、Ｓ９）。

実施形態の変形例では、メインコンポーネントとパーソナライズドコンポーネントの復号とレンダリングとは、２つの別々の装置で行われる。２つの装置の各々は、関連コンポーネントを受信する手段、復号する手段、及びレンダリングする手段を有する。パーソナライズドコンポーネントを復号する装置は、ブロードバンドネットワークから受信した、プログラムクロックリファレンスに関して復号時間情報とプレゼンテーション時間情報と関連する連続フレームを有する番組コンテンツの復号をできる、従来のものではない復号を行う。パーソナライズドコンポーネントを復号する装置の復号手段は、復号時間情報がプログラムクロックリファレンスより小さいとき、フレームを復号するように構成され、対応するプレゼンテーション時間情報がプログラムクロックリファレンス以上のとき、復号フレームをレンダリングする手段を有する。

この場合、２つの装置は、受信してレンダリングする現在の番組の復号とレンダリングとに関する情報を交換する手段を有する。特に、パーソナライズドコンポーネントを復号する本装置は、パーソナライズドコンポーネントの対応部分を選択しリモートサーバに要求するため、メインコンポーネントのどの部分が現在復号され、レンダリングされているか知らなければならない。メインコンポーネントを受信し復号する装置により、パーソナライズドコンポーネントを受信し復号する装置に送信される情報は、例えば、番組中の時間インデックス、レンダリングに用いるプログラムクロックリファレンス、又は現在復号されレンダリングされているメインコンポーネントの現在部分を識別できるその他の値である。

かかる装置は、番組クロックリファレンスと比較される復号時間情報とプレゼンテーション時間情報との間の比較結果により、フレームをフィルタリングするために、復号時間情報とプレゼンテーション時間情報とを分析するように構成されたフィルタリングモジュールを有してもよい。
本実施形態のこの変形例によるパーソナライズドコンポーネントの復号に用いる装置は、例えば、ユーザがマルチビュー番組を見られる、ホームゲートウェイに接続されたインターネットタブレットである。メインビューはブロードキャストされ、例えば地上波デジタルテレビセットなどの他の装置でレンダリングされる。

図７は、本発明の第２の実施形態によるレシーバ／デコーダ６を示す。（ブロードバンドネットワークからの）パーソナライズドコンポーネントは、多数の画像グループ（groups of pictures）を含む連続したチャンクよりなる。フィルタリングモジュール６０９は、チャンク内及び／又は画像グループ内のタイムリファレンス情報を読み出して、ブロードバンド入力インタフェース６０２で受信したチャンクコンテンツをフィルタリングする。フィルタモジュール６０９は、受信したコンテンツ内の時間情報を、復号とレンダリングのためにレシーバ／デコーダ６により用いられるプログラムタイムリファレンスと比較する。チャンク又はＧＯＰが遅すぎて、そのコンテンツのレンダリングを、受信したブロードキャストコンテンツのレンダリングと同期できあにことを、フィルタモジュールが検出すると、そのＧＯＰ又はチャンクは受信バッファには送信されない。これにより、第２のフレームデコーダ６０８は、ブロードキャストコンテンツと同期できない、受信バッファ６０３中にあるコンテンツを復号しない。このフィルタリングにより、両コンポーネントのレンダリングが早くなる。

本発明の第３の実施形態では、双方向ブロードバンドネットワークを介して受信したパーソナライズドコンポーネントは、連続したオーディオサンプルブロックを有するオーディオコンテンツである。オーディオサンプルの各ブロックは、その復号とレンダリングのためのタイムリファレンスを有する。レシーバ／デコーダフィルタのフィルタリングモジュールは、時間情報を分析し、タイムリファレンス情報が、サンプルの復号が間に合い、メインコンポーネントと同期してレンダリングできることを示すとき、そのブロックを受信バッファに転送する。

明らかに、本発明は、連続した画像グループ又はチャンクとして担われるビデオ又はオーディオを有するメインコンポーネントとパーソナライズドコンポーネントに限定されない。本発明は、レシーバにおける復号とプレゼンテーションのために必要な、プログラムクロックリファレンス（システムクロック）と比較し得るタイムリファレンス情報を有するすべての同期番組コンテンツに関する。

明細書、特許請求の範囲、及び図面に開示した内容（references）は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで機能を実施することができる。

本明細書において「一実施形態」とは、その実施形態に関して説明する具体的な機能、構造、特徴などが本発明の少なくとも１つの実施形態に含まれ得ることを意味している。本明細書ではいろいろな箇所で「一実施形態とは」と記載するが、必ずしも同じ実施形態を指すものではなく、別の、または代替的な実施形態は、必ずしも他の実施形態と互いに排他的なものではない。

Claims (8)

1. 第２のブロードバンドインタフェースによりブロードバンドネットワークから受信した第２の番組コンテンツを復号する方法であって、前記復号は第２のデコーダ装置により行われ、前記第２の番組コンテンツはプログラムクロックリファレンスに対する復号時間情報に関連する連続する第２のフレームを含み、前記第２のフレームは前記第２の番組コンテンツのフレームのグループに含まれ、前記グループの各フレームは前記プログラムクロックリファレンスに対するプレゼンテーション時間情報に関連し、前記方法は、
   前記復号時間情報と前記プレゼンテーション時間情報とを分析し、前記復号時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、及び前記プレゼンテーション時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、前記フレームをフィルタリングするステップと、
   受信した前記第２の番組コンテンツの第２のフレームが前記プログラムクロックリファレンスの現在値より小さい復号時間情報に関連しているとき、前記第２のフレームを復号し、前記プログラムクロックリファレンスの前記現在値より小さい前記復号時間情報に関連する前記第２のフレームを含む前記グループのフレームを復号するステップと、
   関連する前記プレゼンテーション時間情報が前記プログラムクロックリファレンスの現在値以上であるとき、復号された前記グループのフレームをレンダリングするステップと
   を有することを特徴とする方法。
2. 前記第２の番組コンテンツをレンダリングするステップは、第１の番組コンテンツのレンダリングと同期され、両方の番組のレンダリングが同期され、前記第１の番組コンテンツは前記プログラムクロックリファレンスに対して復号され、前記第１の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続した第１のフレームを含むことを特徴とする、請求項１に記載の方法。
3. 前記復号時間情報は復号タイムスタンプを含む、請求項１または２に記載の方法。
4. 前記プレゼンテーション時間情報はプレゼンテーションタイムスタンプを含む、請求項１乃至３いずれか一項に記載の方法。
5. ブロードバンドネットワークから受信した第２の番組コンテンツを復号するデコーダ装置であって、前記第２の番組コンテンツはプログラムクロックリファレンスに対する復号時間情報に関連する連続する第２のフレームを含み、前記第２のフレームは前記第２の番組コンテンツのフレームのグループに含まれ、前記グループの各フレームは前記プログラムクロックリファレンスに対するプレゼンテーション時間情報に関連し、
   前記デコーダ装置は、前記復号時間情報と前記プレゼンテーション時間情報とを分析し、前記復号時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、及び前記プレゼンテーション時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、前記フレームをフィルタリングするように構成されたフィルタリングモジュールを有し、 前記デコーダ装置は、前記プログラムクロックリファレンスの現在値より小さい復号時間情報に関連する前記第２のフレームのうちの一フレームを復号し、前記プログラムクロックリファレンスの前記現在値より小さい前記復号時間情報に関連する前記第２のフレームを含む前記グループのフレームを復号するように構成された第２のフレームデコーダを有し、
   前記デコーダ装置は、関連する前記プレゼンテーション時間情報が前記プログラムクロックリファレンスの現在値以上であるとき、復号された前記グループのフレームをレンダリングするレンダリング手段を有する
   ことを特徴とする、デコーダ装置。
6. ブロードキャストネットワークから第１の番組コンテンツを受信するように構成されたブロードキャスト入力インタフェースであって、前記第２の番組コンテンツのレンダリングは前記第１の番組コンテンツのレンダリングと同期され、両方の番組のレンダリングが同期される、ブロードキャスト入力インタフェースと、
   前記プログラムクロックリファレンスに対して前記第１の番組コンテンツを復号するように構成された第１のフレームデコーダとを有することを特徴とする、
   請求項５に記載のデコーダ装置。
7. 前記第１の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続する第１のフレームを含むことを特徴とする、請求項６に記載のデコーダ装置。
8. 前記第２のフレームデコーダは、前記第２のフレームのうちの一フレームの復号時間情報が前記プログラムクロックリファレンス以上となるまで加速されたレートで動作し、前記第２のフレームうちの一フレームの復号時間情報が前記プログラムクロックリファレンス以上になると、通常のレートで動作するように構成されることを特徴とする、
   請求項５乃至７いずれか一項に記載のデコーダ装置。

Images