JP6317872B2 - 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法 - Google Patents

異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法 Download PDF

Info

Publication number
JP6317872B2
JP6317872B2 JP2012053624A JP2012053624A JP6317872B2 JP 6317872 B2 JP6317872 B2 JP 6317872B2 JP 2012053624 A JP2012053624 A JP 2012053624A JP 2012053624 A JP2012053624 A JP 2012053624A JP 6317872 B2 JP6317872 B2 JP 6317872B2
Authority
JP
Japan
Prior art keywords
frame
time information
decoding
program
clock reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012053624A
Other languages
English (en)
Other versions
JP2012191623A (ja
Inventor
ローレン アンソニー
ローレン アンソニー
ゴティエ エリック
ゴティエ エリック
ギルバートン フィリップ
ギルバートン フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2012191623A publication Critical patent/JP2012191623A/ja
Application granted granted Critical
Publication of JP6317872B2 publication Critical patent/JP6317872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、概して、ブロードバンドネットワークを介して受信したオーディオビデオ番組の復号方法に関し、特に、ブロードバンドネットワークを介して受信したコンテンツのレンダリングを、ブロードキャストネットワークを介して受信したコンテンツのレンダリングと同期する方法に関する。
このセクションは、以下に説明して特許を請求する本発明の様々な態様に関連する様々な態様の技術を読者に紹介することを意図するものである。この説明は、本発明の様々な態様の理解を容易にする背景情報を読者に提供する役に立つと思われる。従って、言うまでもなくこれらの記載は上記を考慮して読むべきであり、先行技術として認める(admissions of prior art)ものではない。
近年、地上、衛星、及びケーブルネットワークによる従来のテレビブロードキャストのランドスケープが、ブロードバンドインターネットプロトコル(IP)ネットワークによるテレビ及びビデオサービスの広がりとともに拡大してきている。これらのネットワークは補完的であり、ブロードキャスト配信はライブイベントやマス配信に適応し、ブロードバンド配信はオンデマンド、キャッチアップ、及びパーソナライズドサービスに適応している。このような補完性により、各ネットワークの強みをレバレッジして効率的にテレビ及びビデオサービスを改良するハイブリッドモデルという考え方がある。事前にストリーミング又はプッシュされた、ブロードバンドを介して配信されたパーソナライズドコンテンツで、ブロードキャストイベントをエンリッチ(enrich)することができる。このようなハイブリッドサービスでは、別々のネットワークを介して配信されたコンポーネントを厳密に同期させなければならない。この正確な同期の必要性を示す典型例は、ブロードキャスト番組を見ているユーザが、ブロードキャストされていないがブロードバンドを介して利用できる外国のオーディオシーケンスを選択する場合である。もう一つの例は、ブロードバンドを介して他のビデオコンポーネントを配信することにより、ブロードキャストコンテンツをエンリッチする場合である。他のビデオコンポーネントは、例えば、スケーラブルビデオコーディング(SVC)エンハンスメントレイヤやマルチビュービデオコーディング(MVC)コンポーネントであり、3次元でイベントを見せたり、同じシーンの別のビューを見せたりするものである。
この追加コンポーネントを配信する方法にはいくつかある。オンデマンド配信に基づく最初のソリューションは、「HTTP Live Streaming, draft-pantos-http-live-streaming-01 - R.
Pantos, Apple Inc June 8,2009」に記載されているハイパーテキストトランスファプロトコル(HTTP)ストリーミングを用いることであり、RFC3550「A
Transport Protocol for Real-Time Applications」リコメンデーションに規定されたリアルタイムトランスファプロトコル(RTP)・オーバー・UDP/IPを使うことである。後者の場合、リコメンデーションRFC2326に記載されたリアルタイムストリーミングプロトコル(RTSP)などの通信プロトコルがRTPと共に用いられる(associated
to)。マルチキャスト配信に基づく他のソリューションは、「A Transport Protocol for Real-Time Applications」に規定されたRTPプロトコル(RTP/UDP/IP)を用いる。
オンデマンド配信の場合、コンテンツ要求は、配信される最初のオーディオビジュアルサンプルのプレゼンテーションタイムスタンプ(PTS)を表すタイミング情報を組み込むことができる。ターミナルがマルチキャストストリームをサブスクライブする場合ではない。端末は所与のタイムスタンプに対してマルチキャストストリームを要求できず、クライアントがコンテンツ配信上の制約を受けるブロードキャストネットワークと同様に振る舞う。
ネットワークの特性はそのレイテンシ(latency)とジッター(jitter)である。すなわち、あるネットワークを介した場合と他のネットワークを介した場合とで、コンテンツを配信するのにかかる時間が異なる。
ブロードキャストネットワークの特異性は、受信器が何も要求しなくてもコンテンツがその受信器に届くこと、すなわち、受信器がコンテンツを受け取り続けること、及び配信のジッターは限定的であり、受信器において限られたサイズのバッファで処理できることである。コンテンツ配信時間は、サーバから端末までのブロードキャストネットワークを介したコンテンツ配信時間と、端末がコンテンツをデマルチプレックス、バッファ、及び復号するのに必要な時間とを含む。
ブロードバンドネットワークはパーソナライズ配信ネットワークとみなすことができる。受信者の要求があった時にのみコンテンツを配信するからである。
図1は、ブロードバンドネットワークを介した番組コンテンツの配信を示す。ビデオサーバがセットトップボックス受信器(STB)に番組コンテンツを配信する。セットトップボックスは、コンテンツをディスプレイデバイスに表示するため、そのコンテンツ受信し、復号する。配信は4つの主要ステップとそれに対応する時間に分離できる:
・ 要求がサーバに到達するのにかかる時間はT1である。
・ サーバがその要求を処理し番組コンテンツを送信するのにかかる時間はT2である。
・ サーバからセットトップボックスまでの番組コンテンツ配信の時間はT3である。
・ セットトップボックスが番組コンテンツをバッファ、復号、及び表示するのにかかる時間はT4である。
ブロードバンドとブロードキャストがハイブリッドとなった状況での配信は、必ずしも、すべてのコンポーネントの時間フォーマットが同じであることを示すものではない。(ブロードキャストネットワークに広く用いられる)MPEG−2トランスポートストリームフォーマットでは、タイミング情報は番組クロックリファレンス(PCR)に基づく。一方、ネットワークタイムプロトコル(NTP)は、(ブロードバンドネットワークで広く用いられる)リアルタイムトランスポートプロトコルでエンコードされたストリームのタイミングに用いられるフォーマットである。さらに、2つのコンポーネントの時間フォーマットは同じであるが、時間リファレンスは異なってもよい(オフセット値)。上記のコンポーネント間のタイミング問題を補償するため、タイミングフォーマット及び/又はリファレンスを他のコンポーネントのそれに変換(transpose)するメカニズムを実装しなければならない。ブロードバンドを介して配信されたコンポーネントのタイミングフォーマット及び/又はリファレンスを、ブロードキャストを介して配信されたコンポーネントのタイミングフォーマット及び/又はリファレンスと合わせる。後者は「マスター」コンポーネントである。ここで、タイミングフォーマット及び/又はリファレンスが異なると、このタイミング合わせ動作が暗黙的に行われ、コンポーネントを同期する。タイミング値と言うとき、それは変換後の同じ基準(referential)(同じフォーマット及び同じ初期値)でのタイミング値を言う。この一意的な時間基準(time
referential)はシステムクロックと呼ばれる。
ブロードキャストを介して配信されたコンポーネントは「メインコンポーネント」と呼ばれ、ブロードバンドを介して配信されたコンポーネントは「パーソナライズコンポーネント(personalized component)」と呼ばれる。
ここで、パーソナライズドコンポーネントを配信する方法を説明する。パーソナライズドコンポーネントは、端末により要求され、双方向ブロードバンドネットワークを介して送信される。配信はリニアであっても非リニアであってもよい。
リニア配信では、端末がコンポーネントを一定レートで受信できる。しかし、ネットワークのジッターにより厳密に一定ではない。パーソナライズドコンポーネントの配信をブロードキャストされたメインコンポーネントと同期するには、2つの場合が考えられる。メインコンポーネントの対応フレームが提供される前に、パーソナライズドコンポーネントストリームが受信、復号、及び提供されるか、パーソナライズドコンポーネントが後に到着し、パーソナライズドコンポーネントのフレームがすべて使えないかのいずれかである。
リニア配信メカニズムの典型的な場合は、端末が、インターネットグループ管理プロトコル(IGMPプロトコル)で規定されているマルチキャストにジョインする要求を送信することにより、マルチキャストストリームをサブスクライブする時である。マルチキャストストリーム配信では、端末は画定されたタイムスタンプからのストリームを受信できない。この場合、パーソナライズドコンポーネントがメインコンポーネントの対応フレームより後に到着すると、それらのレンダリングを同期させることはできない。
リアルタイムトランスファプロトコル(RTP)もリニア配信用に周知である。RTPプロトコルにより、現在の受信時間リファレンス+オフセットであるタイムスタンプからのコンテンツを要求できる。端末は、復号してレンダリングする必要が生じる前にコンテンツを受信するよう、予めコンテンツを要求するためにオフセットを推定する。オフセットを正しく推定しないと、パーソナライズドコンポーネントの受信が遅くなり、メインコンポーネントと同期できなくなってしまう。その結果、クライアントは、現在のストリーミングの受信を停止しなければならず、オフセットをより正確に評価して、新しい推測オフセット値に基づき、新しい要求を送信しなければならない。
非リニア配信は端末が不規則にコンテンツを受信するメカニズムである。コンテンツの一部は、それが提示されるより速いレートで配信される。例えば、受信フレームレートは提示フレームレートより高い。非リニア配信のアイデアにより、端末が、提示するには遅いパーソナライズドコンポーネントを受信して、メインコンポーネントにキャッチアップして、それをある時に提示できるようになる。
リアルタイムストリーミングプロトコル(RTSP)サーバは、非リニアでコンテンツを配信することもできる。RTSPサーバは、要求パラメータに応じて、例えば、番組の第1のフレーム又は画像グループをバーストで配信し、その後コンテンツを巡航レートで配信できる。RTSPを用いる場合、端末はあるプレゼンテーションタイムスタンプを要求する。
ハイパーテキストトランスファプロトコル(HTTP)ストリーミングは、他のタイプの非リニア配信である。パーソナライズドコンポーネントはチャンク(chunks)と呼ばれる多数の連続した部分に分離される。チャンクは、ファイル又はファイルの一部であり、それを記述する情報を含んでいる。その情報は、例えば、タイムスロット、ファイル名、バイトレンジ、ビットレートその他の端末がチャンクのコンテンツを復号してレンダリングするのに有用な情報を含む。ビデオを含むチャンクの符号化は、前のフレームを参照せずに復号できるキーフレームで始まる。キーフレームは、例えば、MPEG圧縮標準(ISO/IEC13818)で規定されているIピクチャ(すなわちIフレーム)である。チャンクは、MPEG圧縮で規定されている1つ以上のフル画像グループ(GOP)を含む。端末は、HTTPストリーミングを用いてコンテンツを受信するとき、サーバにチャンクを要求する。サーバは、ベストエフォートでチャンクを送信する。コンテンツは連続したバーストとして送信される。
非リニア配信により、端末は、システムクロックに関してメインコンポーネントと同期するキーフレームで始まるパーソナライズドコンテンツを得るために連続して要求を送り、時間リファレンスとプレゼンテーション時間リファレンスとを復号することにより、パーソナライズドコンポーネントのレンダリングをメインコンポーネントのレンダリングに同期できる。
このような同期方法の欠点は、端末がメインコンポーネントと同期するパーソナライズドコンポーネントを要求し、キーフレームで始まるコンテンツを受信し、復号及びプレゼンテーション時間リファレンスが、メインコンポーネントと同期するには受信が遅すぎることを示し、破棄されたコンテンツがレンダリングに関して重要な(何秒にもなる)時間レンジに対応する場合である。端末は、同期が可能であることを復号及びプレゼンテーション時間リファレンスが示すまで、新しい要求を送信し、新しいパーソナライズドコンポーネントを受信しなければならない。
本発明の目的は、先行技術の欠点を解消することである。より具体的には、本発明は、パーソナライズドコンポーネントのレンダリングをメインコンポーネントのレンダリングと同期するのに必要な遅延を最適化するものである。
本発明は、厳密な同期を要するコンポーネントのブロードキャスト配信とそのブロードバンド配信のハイブリッド配信の場合に、オンデマンドコンポーネント(パーソナライズドコンポーネント)へのアクセスのレイテンシを大幅に減らしてユーザ体験を強化する方法を提案する。本発明の方法を用いることにより、結果として、メインコンポーネントと同期させるために、オンデマンド(パーソナライズド)コンポーネントを端末に送信しなければならないタイムリファレンスパラメータの推定がよくないことのインパクトを最小化する。この方法では、ブロードバンドを介して配信されたコンポーネントのフレームは、同時にレンダリングするブロードキャストされたコンテンツフレームが表示された時以降に到着しても、処理される。本方法は、ブロードバンドコンテンツの配信フレームレートはプレゼンテーションフレームレートより高いので、ある時点で、システムクロックリファレンスがブロードキャストコンポーネントのシステムクロックリファレンスとぴたりと合ったブロードバンドコンポーネントの一部が、ブロードキャストコンポーネントの対応する部分と同時に表示できるという事実に基づく。
本発明の方法は、復号タイムスタンプにより与えられるリズムでフレームを復号し、復号したフレームをシステマチックにレンダリングするビデオデコーダの通常の振る舞いは無視する。本方法は、遅く到着したブロードバンドコンポーネントの画像グループの第1のフレームを、レンダリングせずに、できるだけ速く復号する。その結果、これらのフレームは単にレンダリングされない。それにも係わらず、前後のフレームを参照してキーフレームでないフレームの復号を行わなければならないので、復号されたがレンダリングされていないフレームは、時間通りでレンダリングされる画像グループの他のフレームの復号のために用いられる。
本発明の方法は、ブロードバンドネットワークを介して受信した第2の番組コンテンツを復号する方法であって、前記第2の番組コンテンツのレンダリングが第1の番組コンテンツのレンダリングと同期され、前記方法は、プログラムクロックリファレンスに関して前記第1の番組コンテンツを復号するステップと、前記プログラムクロックリファレンスに関して、復号時間情報とプレゼンテーション時間情報を伴う連続した第2のフレームを含む前記第2の番組コンテンツを復号するステップを有する。本方法はさらに、前記復号時間情報が前記番組クロックリファレンスより小さいとき、前記第2の番組コンテンツの第2のフレームを復号するステップと、プレゼンテーション時間情報が、第2のフレームのレンダリングが第1の番組コンテンツのレンダリングと同期できるようであれば、復号した第2のフレームをレンダリングするステップとを有する。
本発明の一実施形態では、前記第2のフレームを復号するステップは、前記第2のフレームの1つに付随する復号タイムスタンプを読み出すステップと、前記復号タイムスタンプと前記番組クロックリファレンスとの間の比較結果により前記第2のフレームの前記1つを復号するステップとを有する。
本発明の一実施形態では、前記復号した第2のフレームをレンダリングするステップは、前記第2のフレームに付随するプレゼンテーションタイムスタンプを読み出すステップと、前記プレゼンテーションタイムスタンプと前記番組クロックリファレンスとの間の比較結果により前記第2のフレームをレンダリングするステップとを有する。
本発明の一実施形態では、前記第1の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続した第1のフレームを有する。
本発明の一実施形態では、前記復号時間情報は復号タイムスタンプを有する。
本発明の一実施形態では、前記プレゼンテーション時間情報はプレゼンテーションタイムスタンプを有する。
本発明の一実施形態では、前記第1の番組コンテンツは、第1のデコーダ装置によりブロードキャストネットワークから受信され、前記第2の番組コンテンツは第2のデコーダ装置によりブロードバンドネットワークから受信される。
また、本発明はデコーダ装置に関し、該装置は、ブロードバンドネットワークから受信した、番組クロックリファレンスに関して復号時間情報とプレゼンテーション時間情報とを伴う連続したフレームを含む番組コンテンツを復号する手段を有する。デコーダ装置の復号手段は、復号時間情報は番組クロックリファレンスより小さいとき、前記フレームを復号するように構成され、前記復号手段は、前記プレゼンテーション時間情報が前記番組クロックリファレンス以上であるとき、前記復号されたフレームをレンダリングする手段をさらに有する。
本発明の一実施形態では、デコーダ装置は、さらに、番組クロックリファレンスと比較される復号時間情報とプレゼンテーション時間情報との間の比較結果により、フレームをフィルタリングするために、復号時間情報とプレゼンテーション時間情報とを分析するように構成されたフィルタリングモジュールを有する。
本発明は、添付した図面を参照して以下の実施形態及び実施例により、よりよく理解でき、説明されるであろう。
ブロードバンドネットワークを介した配信を示す図である。 本発明の第1の実施形態によるシステムを示すブロック図である。 本発明の第1の実施形態による受信器/復号器を示すブロック図である。 本発明の第1の実施形態による加速復号の第1の場合を示す図である。 本発明の第1の実施形態による加速復号の第2の場合を示す図である。 本発明の第1の実施形態による復号方法を示す図である。 本発明の第2の実施形態による受信器/復号器を示すブロック図である。 図2、図3、図7では、示したブロックは純粋に機能的なものであり、必ずしも物理的に分離したものであることを示すものではない。すなわち、これらのブロックは、ハードウェアやソフトウェアとして開発してもよいし、集積回路により実施してもよい。
言うまでもなく、本発明の図面と説明は簡略化され、本発明をよく理解するのに必要な要素を説明しており、明確性のため、一般的なデジタルマルチメディアコンテンツ配信方法やシステムにあるその他の多くの要素は省略している。しかし、本技術分野ではかかる要素は周知であるから、かかる要素の詳細な説明はここではしていない。本開示は、当業者に知られたかかるバリエーションや修正もすべて含むものである。
図2は、本発明の第1の実施形態によるネットワークアーキテクチャを示す。ブロードキャストタイミングをリファレンスとみなし、ブロードバンドネットワークを同期できるように構成する。ビデオソース1は、エンコーダ2に未符号化メインコンポーネントを送る。エンコーダ2は、メインコンポーネントを符号化し、エミッタ3に送信する。エミッタ3によるメインコンポーネントをブロードキャストは、エンコーダ2による符号化と同時におこなってもよいし、後でもよい。メインコンポーネントは、レシーバ/デコーダ6に、放送でブロードキャストされる。エンコーダ2は、オンデマンドサーバ4に、符号化したパーソナライズドコンポーネント番組を提供する。パーソナライズドコンポーネントはメインコンポーネントと同期される。エンコーダ2は、符号化中にパーソナライズドコンポーネントを提供できるが、パーソナライズドコンポーネントは、オンデマンドサーバ4から利用できるようになっていてもよい。パーソナライズドコンポーネントは、ブロードキャストされるメインコンポーネントに関連するパーソナライズドコンポーネントのデータベースで入手できてもよい。両方のコンポーネントの復号タイムスタンプ、プレゼンテーションタイムスタンプ、及びクロックリファレンスなどの時間リファレンス情報は、エンコーダ2により同期される。エンコーダ2によりタイミングフォーマット及び/又はリファレンスが整列される方法は、範囲外である。
レシーバ/デコーダ6は、ユーザからの最初の要求があると、ブロードバンドネットワーク5を介してオンデマンドサーバ4に、パーソナライズドコンポーネントを要求する。パーソナライズドコンポーネントは、オンデマンドサーバ4により、ブロードバンドネットワークを介してレシーバ/デコーダ6に配信される。レシーバ/デコーダ6は、パーソナライズドコンポーネントのレンダリングを、エミッタ3によりブロードキャストされたメインコンポーネントのレンダリングと同期するため、パーソナライズドコンポーネントの加速復号フェーズを処理する。両方のコンポーネントは、ディスプレイデバイス7に表示するため、レシーバ/デコーダ6により、同期してレンダリングされ、出力される。
本発明の実施形態では、パーソナライズドコンポーネントとメインコンポーネントの同期の定義は、当業者が一般的に用いているものである。言い換えると、同期は、例えば、メインコンポーネントとパーソナライズドコンポーネントが両方ともビデオコンテンツである場合、メインコンポーネントをレンダリングするために処理されるGOPに含まれるプレゼンテーション時間リファレンスに近いプレゼンテーション時間リファレンスを含むGOPを、パーソナライズドコンポーネントが処理することである。例えば、2つのビデオコンポーネントがレンダリングに関して同期していると考えられるのは、第1と第2のビデオコンテンツにそれぞれ所属する2つのGOPが、1〜2秒以下の時間的レンジで少なくとも部分的に、両方ともレンダリングされる場合である。オーディオコンポーネントとビデオコンポーネントの同期に関しては、同期は周知の「リップシンク(lip sync)」同期に基づく。これは、声を含むオーディオストリームが、話している(又は歌っている)人の唇の動きに同期するものである。「リップシンク」の目標は、唇の動きを歌っている又は話している声に合わせることである。
図3は、本発明の第1の実施形態によるレシーバ/デコーダ6を示す。デコーダは2つの入力インタフェースを有する。第1の入力インタフェース601はブロードキャストされたメインコンポーネントを受信するように接続されている。第2の入力インタフェース602は、ブロードバンドネットワークを介して配信されるパーソナライズドコンポーネントを受信するように接続されている。両コンポーネントは、番組識別子(program identifiers)により識別される、連続した画像グループ(GOP)を含む連続したパケットとして送信される。ブロードキャスト入力インタフェース601とブロードバンド入力インタフェース602とは、それぞれの受信コンテンツのデマルチプレックスを行い、受信バッファ603の専用バッファエリアに各コンポーネントに対応するデータを格納する。各GOPは、復号タイムスタンプ(DTS)とプレゼンテーションタイムスタンプ(PTS)とを伴う最初のフレーム、いわゆるキーフレームから始まる。第1のフレームデコーダ607は、受信バッファ603中のメインコンポーネントのパケットを読み込んで、通常復号を処理する。ブロードキャスト入力インタフェース601からのパケットで受け取ったキーフレームが、現在のプログラムクロックリファレンス(PCR)と同じ復号タイムスタンプを有しているとき、第1のフレームデコーダ607は、フレームの復号を行い、対応する復号済みフレームをフレームバッファ604に格納する。第1のフレームデコーダ607は、フレームバッファ604中のフレームを読み出し、キーフレームのプレゼンテーションタイムスタンプがPCR値と等しければ、キーフレームをディスプレイバッファ605に転送する。ディスプレイ出力インタフェース606は、ディスプレイバッファのコンテンツを読み出し、接続されたディスプレイデバイス(図示せず)にフレームを出力する。復号とディスプレイバッファへの転送のプロセスは、第1のフレームデコーダ607が受信バッファ603中の次のキーフレームを読み出すまで、ブロードキャスト入力インタフェースから来る現在のGOPの連続するフレームでも同じである。第1のフレームデコーダ607は、GOPのキーフレームのDTSがPCR値と等しいとき、GOPの復号を開始し、キーフレームのPTSがPCR値に等しいとき、ディスプレイバッファ605中の復号済みフレームのプレゼンテーションを開始することにより、ブロードキャストされたメインコンポーネントの復号と表示を行う。
第2のフレームデコーダ608は、キーフレームのDTSが現在のPCR値以上になるまで、受信バッファ603から読み出したすべての対応するフレームを復号することにより、ブロードバンド入力インタフェース602を介して受信したパーソナライズドコンポーネントの復号を行う。これは、ブロードキャスト入力インタフェース601から受信したブロードキャストコンテンツと同期してレンダリングするには、ブロードバンド入力インタフェース602から遅く到着したGOPの場合である。第2のフレームデコーダ608は、関連するDTSが現在のPCR値より小さくても、受信バッファ603からのフレームを復号する。復号済みフレームはフレームバッファ604に格納される。第2のフレームデコーダ608は、フレームバッファ604中のパーソナライズドコンポーネントに対応する復号済みフレームを読み出し、対応するPTSが現在のPCR値に等しいとき、復号済みフレームをディスプレイバッファ605に転送する。パーソナライズドコンポーネントのフレームのPTSが現在のPTSより小さいとき、ディスプレイバッファ中のフレームはコピーされない。第2のフレームデコーダ608は、DTS情報がPCRより小さいとき、加速復号フェーズを行い、DTS値がPCR値以上になると、通常復号を行う。
図4は、本発明の第1の実施形態による加速復号プロセスを示す。図は、ブロードバンドネットワークを介して受信したパーソナライズドコンポーネントの最初のフレームが、通常の復号レートで復号してメインコンポーネントと同期するには遅すぎる場合を示す。そのため、両コンポーネントの同期レンダリングは、DTS値を考慮しない加速復号フェーズを用いることにより実現できる。かかる場合はネットワークレイテンシに依存する。図は、第1のステップでは、ブロードバンドコンテンツ(パーソナライズドコンポーネント)用のバッファのフィリング(filling)が速いことを示している。それは、第2のステップにおいてクルージングレートで送信する前に、ブロードバンドネットワークは符号化及びプレゼンテーションレート(バーストモード)より速いレートで送信できるからである。ブロードバンドバッファフィリングは、パーソナライズドコンテンツの最初のデータが受信されるBTS1時に始まる。(例えば、MPEG圧縮標準で規定された送信ビットレートを考えると)バッファに十分なデータがある時、加速復号フェーズはDTS1時間に始まる。加速復号中、フレームは、対応するDTS情報がPCR値より小さくても、復号される。デコーダが、PCR値がDTSと等しくなるのを待ってフレームの復号を開始する時、通常モードより復号レートが高い。図示した場合、ブロードバンドコンテンツは、遅すぎてブロードキャストコンテンツ(メインコンポーネント)と同期させてレンダリングできなくはないので、加速復号により、PTS値がPCR値以上のブロードバンドコンテンツから画像を復号することができる。レンダリングするために復号されたフレームは破棄されたに。加速復号フェーズにより、PCR値以上のDTS情報を有する画像が受信バッファに格納されると、加速復号フェーズは終了し、ノーマルレートでの復号が続く。
図5は、図4に示した場合よりブロードバンドネットワークレイテンシが大きい、本発明の第1の実施形態による加速復号の場合を示す。ブロードバンドネットワークのレイテンシが大きいので、入来フレームは遅すぎて復号できず、遅すぎて復号の始めに表示できない。ブロードバンドネットワークから復号される最初のフレームは、時刻BTS1から、受信バッファに格納される。ブロードバンドのバースト機能のため、バッファのフィリングレートは、ブロードキャストネットワークから受信するコンテンツよりも速い。(例えば、ビットレートに応じて、又は圧縮標準により)時刻DTS1に受信バッファに十分なデータがあれば、加速復号フェーズが始まるが、復号フレームは遅すぎてブロードキャストコンテンツと同期してレンダリングできない。プレゼンテーション用に復号されたフレームは破棄され、ブロードキャストコンテンツから復号されたフレームのみがレンダリングされる。加速復号中、時刻DTSnに、ブロードキャストコンテンツの復号フレームのPTSは、PCR値と一致している。そのため、ブロードバンドコンテンツとブロードキャストコンテンツのレンダリングを同期できる。最後に、時刻DTSiに、ブロードバンドネットワークからの入来フレームは、ノーマル復号プレオセスにより復号が間に合うDTSを有している。加速復号フェーズは終了し、復号はノーマルモードで続く。
図6は、加速復号フェーズを含む、第2のフレームデコーダによる復号方法を示すフローチャートである。第2のフレームデコーダは、ブロードバンドネットワークから受信したパーソナライズドコンポーネントの復号とレンダリングを行うものである。第2のフレームデコーダの復号プロセスの始めであるステップS1において、受信バッファに受信される最初のフレームは、復号タイムスタンプとプレゼンテーションタイムスタンプに関連するキーフレームである。
ステップS2において、第2のフレームデコーダは、フレームを読み出し、ステップS3において、それがキーフレームであるか否か判断する。キーフレームでなければ、前のキーフレームに関連する復号タイムスタンプ値を考慮することなく、復号プロセスは次のフレームに続く。プロセスはステップS6に進む。この場合は、キーフレームではないGOPの画像に対応する。ステップS4において、キーフレームと関連するPTSとDTS情報が第2のフレームデコーダにより読み出される。ステップS5において、第2のフレームデコーダはDTS値をPCR値と比較する。DTSが現在のPCR値より小さければ、フレームを読むのが遅すぎ、時間通りに復号できない。そのため、フレームは、次のフレームの復号のために復号フレームバッファで利用できるようにするため、ステップS6ですぐに復号される。ステップS5において、フレームが遅すぎず、DTSがPCR値より大きいと、PCR値がDTS以上になるまで、プロセスはステップS5でループする。これは、(加速でなく)ノーマル復号モードの場合である。ステップS7において、第2のフレームデコーダは、フレームを表示するか破棄するか決めるために、PTS値をPCR値と比較する。PTSがPCR値より小さいとき、復号フレームは遅すぎてメインコンポーネントと同期してレンダリングできない。プロセスはステップS2にループする。PTSがPCR値以上であれば、フレームは遅すぎず、PCRに合わせてレンダリングされなければならない。プロセスは、PCRがPTS以上になるまで、ステップS8でループする。この条件が満たされれば、ステップS9において、第2のフレームデコーダは、復号フレームバッファからディスプレイバッファにレンダリングするフレームをコピーする。プロセスはステップS2でループする。
第2のフレームデコーダにより用いられる復号方法は、ブロードバンドネットワークを介して受信した第2の番組コンテンツを復号する方法である。第2の番組コンテンツのレンダリングは、ブロードキャストネットワークを介して受信した第1の番組コンテンツのレンダリングと同期される。この方法は次のステップを有する:プログラムクロックリファレンスに関して前記第1の番組コンテンツを復号するステップと、前記プログラムクロックリファレンスに関して、復号時間情報とプレゼンテーション時間情報を伴う連続した第2のフレームを含む前記第2の番組コンテンツを復号するステップを有する。本方法は、さらに次のステップを有することを特徴とする:前記復号時間情報が前記プログラムクロックリファレンスより小さいとき、前記第2のフレームを復号するステップ(S4、S5、S6)と、プレゼンテーション時間情報が、第2のフレームのレンダリングが第1の番組コンテンツのレンダリングと同期できるようであれば、復号した第2のフレームをレンダリングするステップ(S8、S9)。
実施形態の変形例では、メインコンポーネントとパーソナライズドコンポーネントの復号とレンダリングとは、2つの別々の装置で行われる。2つの装置の各々は、関連コンポーネントを受信する手段、復号する手段、及びレンダリングする手段を有する。パーソナライズドコンポーネントを復号する装置は、ブロードバンドネットワークから受信した、プログラムクロックリファレンスに関して復号時間情報とプレゼンテーション時間情報と関連する連続フレームを有する番組コンテンツの復号をできる、従来のものではない復号を行う。パーソナライズドコンポーネントを復号する装置の復号手段は、復号時間情報がプログラムクロックリファレンスより小さいとき、フレームを復号するように構成され、対応するプレゼンテーション時間情報がプログラムクロックリファレンス以上のとき、復号フレームをレンダリングする手段を有する。
この場合、2つの装置は、受信してレンダリングする現在の番組の復号とレンダリングとに関する情報を交換する手段を有する。特に、パーソナライズドコンポーネントを復号する本装置は、パーソナライズドコンポーネントの対応部分を選択しリモートサーバに要求するため、メインコンポーネントのどの部分が現在復号され、レンダリングされているか知らなければならない。メインコンポーネントを受信し復号する装置により、パーソナライズドコンポーネントを受信し復号する装置に送信される情報は、例えば、番組中の時間インデックス、レンダリングに用いるプログラムクロックリファレンス、又は現在復号されレンダリングされているメインコンポーネントの現在部分を識別できるその他の値である。
かかる装置は、番組クロックリファレンスと比較される復号時間情報とプレゼンテーション時間情報との間の比較結果により、フレームをフィルタリングするために、復号時間情報とプレゼンテーション時間情報とを分析するように構成されたフィルタリングモジュールを有してもよい。
本実施形態のこの変形例によるパーソナライズドコンポーネントの復号に用いる装置は、例えば、ユーザがマルチビュー番組を見られる、ホームゲートウェイに接続されたインターネットタブレットである。メインビューはブロードキャストされ、例えば地上波デジタルテレビセットなどの他の装置でレンダリングされる。
図7は、本発明の第2の実施形態によるレシーバ/デコーダ6を示す。(ブロードバンドネットワークからの)パーソナライズドコンポーネントは、多数の画像グループ(groups of pictures)を含む連続したチャンクよりなる。フィルタリングモジュール609は、チャンク内及び/又は画像グループ内のタイムリファレンス情報を読み出して、ブロードバンド入力インタフェース602で受信したチャンクコンテンツをフィルタリングする。フィルタモジュール609は、受信したコンテンツ内の時間情報を、復号とレンダリングのためにレシーバ/デコーダ6により用いられるプログラムタイムリファレンスと比較する。チャンク又はGOPが遅すぎて、そのコンテンツのレンダリングを、受信したブロードキャストコンテンツのレンダリングと同期できあにことを、フィルタモジュールが検出すると、そのGOP又はチャンクは受信バッファには送信されない。これにより、第2のフレームデコーダ608は、ブロードキャストコンテンツと同期できない、受信バッファ603中にあるコンテンツを復号しない。このフィルタリングにより、両コンポーネントのレンダリングが早くなる。
本発明の第3の実施形態では、双方向ブロードバンドネットワークを介して受信したパーソナライズドコンポーネントは、連続したオーディオサンプルブロックを有するオーディオコンテンツである。オーディオサンプルの各ブロックは、その復号とレンダリングのためのタイムリファレンスを有する。レシーバ/デコーダフィルタのフィルタリングモジュールは、時間情報を分析し、タイムリファレンス情報が、サンプルの復号が間に合い、メインコンポーネントと同期してレンダリングできることを示すとき、そのブロックを受信バッファに転送する。
明らかに、本発明は、連続した画像グループ又はチャンクとして担われるビデオ又はオーディオを有するメインコンポーネントとパーソナライズドコンポーネントに限定されない。本発明は、レシーバにおける復号とプレゼンテーションのために必要な、プログラムクロックリファレンス(システムクロック)と比較し得るタイムリファレンス情報を有するすべての同期番組コンテンツに関する。
明細書、特許請求の範囲、及び図面に開示した内容(references)は、独立に設けることもできるし、適切に組み合わせて設けることもできる。必要に応じて、ハードウェア、ソフトウェア、またはこれらの組み合わせで機能を実施することができる。
本明細書において「一実施形態」とは、その実施形態に関して説明する具体的な機能、構造、特徴などが本発明の少なくとも1つの実施形態に含まれ得ることを意味している。本明細書ではいろいろな箇所で「一実施形態とは」と記載するが、必ずしも同じ実施形態を指すものではなく、別の、または代替的な実施形態は、必ずしも他の実施形態と互いに排他的なものではない。

Claims (8)

  1. 第2のブロードバンドインタフェースによりブロードバンドネットワークから受信した第2の番組コンテンツを復号する方法であって、前記復号は第2のデコーダ装置により行われ、前記第2の番組コンテンツはプログラムクロックリファレンスに対する復号時間情報に関連する連続する第2のフレームを含み、前記第2のフレームは前記第2の番組コンテンツのフレームのグループに含まれ、前記グループの各フレームは前記プログラムクロックリファレンスに対するプレゼンテーション時間情報に関連し、前記方法は、
    前記復号時間情報と前記プレゼンテーション時間情報とを分析し、前記復号時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、及び前記プレゼンテーション時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、前記フレームをフィルタリングするステップと、
    受信した前記第2の番組コンテンツの第2のフレームが前記プログラムクロックリファレンスの現在値より小さい復号時間情報に関連しているとき、前記第2のフレームを復号し、前記プログラムクロックリファレンスの前記現在値より小さい前記復号時間情報に関連する前記第2のフレームを含む前記グループのフレームを復号するステップと、
    関連する前記プレゼンテーション時間情報が前記プログラムクロックリファレンスの現在値以上であるとき、復号された前記グループのフレームをレンダリングするステップと
    を有することを特徴とする方法。
  2. 前記第2の番組コンテンツをレンダリングするステップは、第1の番組コンテンツのレンダリングと同期され、両方の番組のレンダリングが同期され、前記第1の番組コンテンツは前記プログラムクロックリファレンスに対して復号され、前記第1の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続した第1のフレームを含むことを特徴とする、請求項1に記載の方法。
  3. 前記復号時間情報は復号タイムスタンプを含む、請求項1または2に記載の方法。
  4. 前記プレゼンテーション時間情報はプレゼンテーションタイムスタンプを含む、請求項1乃至3いずれか一項に記載の方法。
  5. ブロードバンドネットワークから受信した第2の番組コンテンツを復号するデコーダ装置であって、前記第2の番組コンテンツはプログラムクロックリファレンスに対する復号時間情報に関連する連続する第2のフレームを含み、前記第2のフレームは前記第2の番組コンテンツのフレームのグループに含まれ、前記グループの各フレームは前記プログラムクロックリファレンスに対するプレゼンテーション時間情報に関連し、
    前記デコーダ装置は、前記復号時間情報と前記プレゼンテーション時間情報とを分析し、前記復号時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、及び前記プレゼンテーション時間情報と前記プログラムクロックリファレンスの現在値との間の比較結果により、前記フレームをフィルタリングするように構成されたフィルタリングモジュールを有し、 前記デコーダ装置は、前記プログラムクロックリファレンスの現在値より小さい復号時間情報に関連する前記第2のフレームのうちの一フレームを復号し、前記プログラムクロックリファレンスの前記現在値より小さい前記復号時間情報に関連する前記第2のフレームを含む前記グループのフレームを復号するように構成された第2のフレームデコーダを有し
    前記デコーダ装置は、関連する前記プレゼンテーション時間情報が前記プログラムクロックリファレンスの現在値以上であるとき、復号された前記グループのフレームをレンダリングするレンダリング手段を有する
    ことを特徴とする、デコーダ装置。
  6. ブロードキャストネットワークから第1の番組コンテンツを受信するように構成されたブロードキャスト入力インタフェースであって、前記第2の番組コンテンツのレンダリングは前記第1の番組コンテンツのレンダリングと同期され、両方の番組のレンダリングが同期される、ブロードキャスト入力インタフェースと、
    前記プログラムクロックリファレンスに対して前記第1の番組コンテンツを復号するように構成された第1のフレームデコーダとを有することを特徴とする、
    請求項に記載のデコーダ装置。
  7. 前記第1の番組コンテンツは復号時間情報とプレゼンテーション時間情報とに関連する連続する第1のフレームを含むことを特徴とする、請求項に記載のデコーダ装置。
  8. 前記第2のフレームデコーダは、前記第2のフレームのうちの一フレームの復号時間情報が前記プログラムクロックリファレンス以上となるまで加速されたレートで動作し、前記第2のフレームうちの一フレームの復号時間情報が前記プログラムクロックリファレンス以上になると、通常のレートで動作するように構成されることを特徴とする、
    請求項5乃至7いずれか一項に記載のデコーダ装置。
JP2012053624A 2011-03-11 2012-03-09 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法 Active JP6317872B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP11305271A EP2498494A1 (en) 2011-03-11 2011-03-11 Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
EP11305271.6 2011-03-11

Publications (2)

Publication Number Publication Date
JP2012191623A JP2012191623A (ja) 2012-10-04
JP6317872B2 true JP6317872B2 (ja) 2018-04-25

Family

ID=45768156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012053624A Active JP6317872B2 (ja) 2011-03-11 2012-03-09 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法

Country Status (7)

Country Link
US (1) US10063938B2 (ja)
EP (2) EP2498494A1 (ja)
JP (1) JP6317872B2 (ja)
KR (1) KR101927145B1 (ja)
CN (1) CN102685588B (ja)
AU (1) AU2012201224B2 (ja)
TW (1) TWI544791B (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2800365B1 (en) * 2011-12-29 2019-02-27 Sony Interactive Entertainment Inc. Video playback system
WO2013190789A1 (ja) * 2012-06-22 2013-12-27 ソニー株式会社 受信装置およびその同期処理方法
US20150101004A1 (en) * 2012-06-22 2015-04-09 Sony Corporation Receiver apparatus and synchronization processing method thereof
US9215500B2 (en) 2012-12-17 2015-12-15 Lattice Semiconductor Corporation Full-frame buffer to improve video performance in low-latency video communication systems
US11074394B2 (en) * 2013-07-10 2021-07-27 Comcast Cable Communications, Llc Adaptive content delivery
JP6616064B2 (ja) 2013-07-25 2019-12-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法および受信方法
US9819604B2 (en) * 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
JP6625318B2 (ja) 2013-08-29 2019-12-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 送信方法および受信方法
JP6505996B2 (ja) * 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 受信方法、及び、受信装置
US10080055B2 (en) * 2013-12-23 2018-09-18 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
WO2015105400A1 (en) * 2014-01-13 2015-07-16 Lg Electronics Inc. Apparatuses and methods for transmitting or receiving a broadcast content via one or more networks
KR102202597B1 (ko) * 2014-06-20 2021-01-13 삼성전자주식회사 이종망 기반 방송 서비스를 제공하는 방법 및 장치
KR102312681B1 (ko) 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
US10887644B2 (en) * 2015-09-01 2021-01-05 Sony Corporation Reception device, data processing method, and program
EP3160147A1 (en) * 2015-10-19 2017-04-26 Thomson Licensing Method for fast channel change, corresponding arrangement and device
US10582258B2 (en) * 2015-12-26 2020-03-03 Intel Corporation Method and system of rendering late or early audio-video frames
US10652625B1 (en) 2016-06-27 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
US10812558B1 (en) 2016-06-27 2020-10-20 Amazon Technologies, Inc. Controller to synchronize encoding of streaming content
US10652292B1 (en) * 2016-06-28 2020-05-12 Amazon Technologies, Inc. Synchronization of multiple encoders for streaming content
CN109905763B (zh) * 2019-03-20 2021-09-10 四川长虹电器股份有限公司 优化播放器音频播放卡顿的方法
BE1029802B1 (fr) * 2021-09-28 2023-04-24 Demute Synchronisation d'informations fournies par deux dispositifs différents
CN114173207B (zh) * 2021-11-15 2024-02-23 杭州当虹科技股份有限公司 一种视频帧顺序传输的方法和系统
CN114286149B (zh) * 2021-12-31 2023-07-07 广东博华超高清创新中心有限公司 一种跨设备和系统的音视频同步渲染的方法及系统
CN115174991B (zh) * 2022-06-28 2023-11-24 Vidaa国际控股(荷兰)公司 一种显示设备及视频播放方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262776B1 (en) 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
JP4010617B2 (ja) * 1997-12-03 2007-11-21 株式会社東芝 画像復号化装置及び画像復号化方法
US7031348B1 (en) * 1998-04-04 2006-04-18 Optibase, Ltd. Apparatus and method of splicing digital video streams
JP2004088366A (ja) * 2002-08-26 2004-03-18 Matsushita Electric Ind Co Ltd デジタル放送受信機およびデジタル放送システム
JP2004193673A (ja) * 2002-12-06 2004-07-08 Sony Corp 受信装置及び方法、再生装置及び方法、並びに記録再生装置及び方法
JP2004297628A (ja) * 2003-03-27 2004-10-21 Sanyo Electric Co Ltd ストリーム切替装置およびその装置にコンテンツを提供する装置
JP4134164B2 (ja) * 2003-07-10 2008-08-13 富士通株式会社 メディア再生装置
CN101010959B (zh) * 2004-07-23 2012-01-25 海滩无极限有限公司 传送数据流的方法和系统
US9137502B2 (en) * 2004-08-25 2015-09-15 Broadcom Corporation Method and system for fast digital channel change utilizing time-stamp management
US8320446B2 (en) 2004-11-24 2012-11-27 Qformx, Inc. System for transmission of synchronous video with compression through channels with varying transmission delay
KR20060105890A (ko) 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
BRPI0609562A2 (pt) * 2005-04-26 2011-10-18 Koninkl Philips Electronics Nv dispositivo e método para processar um fluxo de dados codificado em um sistema criptográfico, meio legìvel por computador e elemento de programa
KR20080091153A (ko) * 2005-12-23 2008-10-09 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력 프레임들의 시퀀스를 포함하는 입력 데이터 스트림을처리하는 디바이스 및 방법
EP2103129A4 (en) * 2006-11-20 2014-07-23 Sk Planet Co Ltd SYSTEM, SERVER AND METHOD FOR PROVIDING A SUPPLEMENTARY INFORMATION SERVICE RELATED TO EQUIPPED CONTENT
JP5194564B2 (ja) * 2007-05-29 2013-05-08 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US8693553B2 (en) 2007-12-28 2014-04-08 Nokia Corporation Methods, apparatuses, and computer program products for adaptive synchronized decoding of digital video
US20110116722A1 (en) * 2008-07-04 2011-05-19 Yukinaga Seki Coded stream reproduction device and coded stream reproduction method
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
JP5368470B2 (ja) * 2008-11-06 2013-12-18 パナソニック株式会社 再生装置、再生方法、再生プログラム、及び集積回路
JP5086285B2 (ja) 2009-01-22 2012-11-28 株式会社日立製作所 映像配信システム,映像配信装置,及び同期補正処理装置
JP2010245974A (ja) * 2009-04-08 2010-10-28 Panasonic Corp デジタルテレビ放送再生装置およびその再生方法
IN2012DN01126A (ja) * 2009-08-07 2015-04-10 Ericsson Telefon Ab L M
EP2323392B1 (en) * 2009-11-03 2012-01-04 Tektronix International Sales GmbH Method and apparatus for measuring delay within a compressed digital stream

Also Published As

Publication number Publication date
US20120230389A1 (en) 2012-09-13
KR101927145B1 (ko) 2018-12-10
TWI544791B (zh) 2016-08-01
CN102685588A (zh) 2012-09-19
EP2498494A1 (en) 2012-09-12
TW201242340A (en) 2012-10-16
EP2498495B1 (en) 2022-02-16
CN102685588B (zh) 2019-02-12
AU2012201224B2 (en) 2015-04-16
EP2498495A1 (en) 2012-09-12
US10063938B2 (en) 2018-08-28
KR20120104496A (ko) 2012-09-21
JP2012191623A (ja) 2012-10-04
AU2012201224A1 (en) 2012-09-27

Similar Documents

Publication Publication Date Title
JP6317872B2 (ja) 異なるネットワークを介して受信したコンテンツのレンダリングを同期するデコーダ及びそれにおける方法
EP3047652B1 (en) Correlating timeline information between media streams
US11758209B2 (en) Video distribution synchronization
KR101727050B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
KR101291990B1 (ko) 변경된 스트림 동기화
EP2723086B1 (en) Media content transceiving method and transceiving apparatus using same
EP3047653B1 (en) Correlating timeline information between media streams
EP2690876A2 (en) Heterogeneous network-based linked broadcast content transmitting/receiving device and method
US8731000B2 (en) Decoding earlier frames with DTS/PTS backward extrapolation
Veenhuizen et al. Frame accurate media synchronization of heterogeneous media sources in an HBB context
Köhnen et al. A DVB/IP streaming testbed for hybrid digital media content synchronization
AU2015204359B2 (en) Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
Yun et al. A synchronization and T-STD model for 3D video distribution and consumption over hybrid network
BR102012005228B1 (pt) Método para decodificar um segundo conteúdo de programa recebido através de uma rede de banda larga, e aparelho decodificador
WO2009080116A1 (en) Method and apparatus for distributing media over a communications network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170124

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180402

R150 Certificate of patent or registration of utility model

Ref document number: 6317872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250