JPWO2014115389A1 - ビデオ表示装置及びビデオ表示方法 - Google Patents

Abstract

実施形態によれば、ビデオ表示装置は、第１のデコーダと、第２のデコーダと、制御部と、表示部とを備える。第１のデコーダは、第１の伝送路を通じて第１のビデオ符号化データを受信し、第１のビデオ符号化データを第１の速度でデコードすることによって、第１のビデオを生成する。制御部は、第１のビデオ符号化データが第２のビデオ符号化データよりも早く受信される場合に、第２のデコーダの第２の時刻情報が第１のデコーダの第１の時刻情報に追いつくまでに第１の速度が１倍速未満となる期間が生じるように第１の速度を制御する。表示部は、第１のビデオ符号化データが第２のビデオ符号化データよりも早く受信される場合に、第２の時刻情報が第１の時刻情報に追いつくまで第１のビデオを第１の速度で表示する。

Description

実施形態は、ビデオのデコード及び表示に関する。

従来、ある種のビデオ伝送方式（例えば、デジタル放送など）において、ビデオ符号化データは専用の伝送路（例えば、電波（特に、放送波）の伝送路、専用回線など）を通じて伝送される。ビデオ符号化データは、ビデオ表示装置によって受信される。ビデオ表示装置は、例えば、専用の伝送路において生じる遅延が一定であることを仮定し、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格（ＩＳＯ／ＩＥＣ １３８１８−１）に記載されているＳＴＤ（Ｓｔａｎｄｅａｒｄ Ｔａｒｇｅｔ Ｄｅｃｏｄｅｒ）モデルに基づいてビデオ符号化データをデコード及び表示する。また、ビデオ表示装置は、例えば、受信したビデオ符号化データを逐次デコードし、デコードされたビデオをデコードされたビデオ用のバッファに保存し、保存されたビデオの表示動作を表示タイミングに基づいて制御することがある。尚、このビデオ表示装置の変形例として、デコードされたビデオ用のバッファにおけるオーバーフローの発生時にデコードを一時停止させることが知られている。

近年、インターネット（特に、公衆網）の広帯域化に伴い、ビデオ符号化データをインターネットを通じて伝送するビデオ伝送方式も運用されている。但し、インターネットは、専用の伝送路と比べて、伝送遅延が大きくなり易く、かつ、変化（ジッター）し易いという性質がある。インターネットのように伝送遅延が変化し易い伝送路からのビデオ符号化データをデコード及び表示する際には、ビデオ符号化データを保存する符号化データ用のバッファにおいてオーバーフローまたはアンダーフローが発生し易い。この問題に関して、符号化データ用のバッファの占有量に基づいて、デコーダの再生速度を制御することが知られている。例えば、符号化データ用のバッファの占有量が増加しつつある場合には再生速度は速くなるよう制御され、占有量が減少しつつある場合には再生速度が遅くなるよう制御される。

また、単一の伝送路ではなく複数の伝送路（例えば、放送波及びインターネット）を通じて伝送されるビデオ符号化データを同期してデコード及び表示することについて研究開発が進められている。しかしながら、一般的に、複数の伝送路において生じる伝送遅延は等量でないから、これらを通じて伝送されるビデオ符号化データを同期してデコード及び表示することは容易ではない。例えば、最も伝送遅延の大きい伝送路からのビデオ符号化データに同期して他のビデオ符号化データのデコード及び表示を開始することによって、これらのビデオ符号化データを同期してデコード及び表示することは可能となる。しかしながら、この技法によれば、ビデオの表示開始タイミングは最も伝送遅延の大きい伝送路に依存して決定されるので、特に受信対象の伝送路を切り替えた後の表示待ち時間が長くなる。この表示待ち時間に亘って、視聴者は受信対象の伝送路からのビデオを全く視聴できない。

特開２００７−３１２１２２号公報 特開２０１２−２０５０７５号公報

実施形態は、複数の伝送路を通じてビデオ符号化データが伝送されるビデオ伝送方式においてビデオの表示待ち時間を短縮することを目的とする。

実施形態によれば、ビデオ表示装置は、第１のデコーダと、第２のデコーダと、制御部と、表示部とを備える。第１のデコーダは、第１の伝送路を通じて第１のビデオ符号化データを受信し、第１のビデオ符号化データを第１の速度でデコードすることによって、第１のビデオを生成する。第２のデコーダは、第１の伝送路とは異なる第２の伝送路を通じて第２のビデオ符号化データを受信し、第２のビデオ符号化データを第２の速度でデコードすることによって、第２のビデオを生成する。制御部は、第１のビデオ符号化データが第２のビデオ符号化データよりも早く受信される場合に、第２のデコーダの第２の時刻情報が第１のデコーダの第１の時刻情報に追いつくまでに第１の速度が１倍速未満となる期間が生じるように第１の速度を制御する。表示部は、第１のビデオ符号化データが第２のビデオ符号化データよりも早く受信される場合に、第２の時刻情報が第１の時刻情報に追いつくまで第１のビデオを第１の速度で表示する。

第１の実施形態に係るビデオ表示装置を例示するブロック図。 第１の実施形態に係るビデオ表示装置の動作を例示する図。 第１の実施形態に係るデコーダを例示するブロック図。 第４の実施形態に係るデコーダを例示するブロック図。 第１の実施形態に係るビデオ表示装置の動作を例示する図。 第２の実施形態に係るビデオ表示装置の動作を例示する図。 第３の実施形態に係るビデオ表示装置の動作を例示する図。 第５の実施形態に係るビデオ表示装置を例示するブロック図。 第５の実施形態に係るビデオ表示装置の動作を例示する図。 第５の実施形態に係るビデオ表示装置の動作を例示する図。 表示制御情報を例示する図。 第５の実施形態に係るビデオ表示装置の動作を例示する図。 第１の伝送路を通じて伝送されるビデオ符号化データをデコードすることによって生成されるビデオに含まれる画像を例示する図。 第２の伝送路を通じて伝送されるビデオ符号化データをデコードすることによって生成されるビデオに含まれる画像を例示する図。 図１３Ａ及び図１３Ｂのビデオに含まれる画像に基づく画像を例示する図。 図１３Ａ及び図１３Ｂのビデオに含まれる画像に基づく画像を例示する図。 図１３Ａ及び図１３Ｂのビデオに含まれる画像に基づくサブ画像を例示する図。 第１の伝送路を通じて伝送されるビデオ符号化データをデコードすることによって生成されるビデオに含まれる画像を例示する図。 第２の伝送路を通じて伝送されるビデオ符号化データをデコードすることによって生成されるビデオに含まれる画像を例示する図。 図１６Ａ及び図１６Ｂのビデオに含まれる画像に基づく画像を例示する図。 異なる２つの伝送路を通じて伝送されるビデオ符号化データをデコードすることによって生成されるビデオを例示する図。

以下、図面を参照しながら実施形態の説明が述べられる。尚、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。

以降の説明において、ビデオとは、画像（より正確には、動画像）を意味しているが、画像及びオーディオの一方または両方として読み替えられてもよい。同様に、ビデオの表示とは、画像の表示を意味しているが、画像の表示及びオーディオの出力の一方または両方として読み替えられてもよい。

（第１の実施形態）
図１に例示されるように、第１の実施形態に係るビデオ表示装置は、Ｎ個（Ｎは２以上の整数）のデコーダ１１０−１，・・・，１１０−ｊ（ｊは２以上Ｎ未満の整数），・・・，１１０−Ｎと、復号タイミング制御部１２０と、ビデオ表示部１３０とを備える。図１のビデオ表示装置は、Ｎ個の異なる伝送路１００−１，・・・，１００−ｊ，・・・，１００−Ｎを通じて伝送されるビデオ符号化データを同期してデコード及び表示できる。尚、図１の例ではＮ＝３であるが、Ｎは２であってもよいし４以上の整数であってもよい。

伝送路１００−１は、図示されない送信装置から出力されるビデオ符号化データ１０−１を伝送する。デコーダ１１０−１は、伝送路１００−１を通じてビデオ符号化データ１１−１を受信する。ビデオ符号化データ１１−１は、伝送路１００−１において伝送遅延が生じている点でビデオ符号化データ１０−１とは区別される。

ここで、ビデオ符号化データ１０−１（及びビデオ符号化データ１１−１）は、例えばＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格のＴｒａｎｓｐｏｒｔ Ｓｔｒｅａｍであってもよい。或いは、ビデオ符号化データ１０−１（及びビデオ符号化データ１１−１）は、ストリームが到着する時刻情報と、当該ストリームの復号タイミング及び再生タイミングの情報とが格納されたマルチメディアコンテナであってもよい。尚、ビデオ符号化データ１０−１（及びビデオ符号化データ１１−１）は、メインストリームに記述されている時刻情報とサブストリームに記述されている時刻情報とが異なっている場合であっても同期表示を可能とするために両者の時刻情報のずれを補償するための情報が用意されるマルチメディアコンテナであってもよい。

デコーダ１１０−１は、ビデオ符号化データ１１−１に含まれる時刻情報（例えば、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格におけるＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ））に基づいて、デコーダ１１０−１内部のクロック（例えば、ＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）カウンタ）を制御する。デコーダ１１０−１は、クロックによって計時される時刻情報１２−１（例えば、ＳＴＣカウンタ値）を復号タイミング制御部１２０へ出力する。

デコーダ１１０−１は、復号タイミング制御部１２０から復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいてビデオ符号化データ１１−１をデコードすることによってビデオ１４−１を生成する。デコーダ１１０−１はビデオ１４−１をビデオ表示部１３０へと出力する。

尚、上記説明において、伝送路１００−１、デコーダ１１０−１、ビデオ符号化データ１０−１、ビデオ符号化データ１１−１、時刻情報１２−１、復号タイミング制御情報１３−１及びビデオ１４−１は、伝送路１００−ｊ、デコーダ１１０−ｊ、ビデオ符号化データ１０−ｊ、ビデオ符号化データ１１−ｊ、時刻情報１２−ｊ、復号タイミング制御情報１３−ｊ及びビデオ１４−ｊと読み替えられてもよいし、伝送路１００−Ｎ、デコーダ１１０−Ｎ、ビデオ符号化データ１０−Ｎ、ビデオ符号化データ１１−Ｎ、時刻情報１２−Ｎ、復号タイミング制御情報１３−Ｎ及びビデオ１４−Ｎと読み替えられてもよい。

伝送路１００−１，・・・，伝送路１００−ｊ，・・・，伝送路１００−Ｎのうち少なくとも一部が、例えば、地上デジタル放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ Ｓａｔｅｌｌｉｔｅ）デジタル放送またはＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓａｔｅｌｌｉｔｅ）デジタル放送の伝送路であってもよいし、ケーブルテレビの伝送路であってもよい。或いは、伝送路１００−１，・・・，伝送路１００−ｊ，・・・，伝送路１００−Ｎのうち少なくとも一部が、専用網または公衆網に相当するＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網であってもよい。

具体的には、伝送路１００−１，・・・，伝送路１００−ｊ，・・・，伝送路１００−Ｎのうちの任意のペアである第１の伝送路及び第２の伝送路は、以下に例示されるものであってよい。

第１の伝送路が、デジタル放送（即ち、地上デジタル放送、ＢＳデジタル放送若しくはＣＳデジタル放送の伝送路、または、ケーブルテレビ）の伝送路であり、第２の伝送路はＩＰ網であってもよい。

第１の伝送路及び第２の伝送路が、いずれも、デジタル放送の伝送路であって、物理レイヤにおいて異なってもよい。例えば、第１の伝送路が地上デジタル放送の伝送路であり、第２の伝送路がＢＳデジタル放送の伝送路であってもよい。

第１の伝送路及び第２の伝送路が、いずれも、デジタル放送の伝送路であって、物理レイヤにおいて共通するものの論理レイヤにおいて異なっていてもよい。例えば、第１の伝送路が地上デジタル放送のうちいわゆるフルセグ放送の伝送路であり、第２の伝送路が地上デジタル放送のうちいわゆるワンセグ放送の伝送路であってもよい。

復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。復号タイミング制御部１２０は、デコーダ（デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎを含む）の動作状態に基づいて、デコーダ１１０−１を１倍速または１倍速未満の速度で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

具体的には、デコーダ１１０−１の動作開始時に他の全てのデコーダが動作しているならば、復号タイミング制御部１２０はデコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。他方、デコーダ１１０−１の動作開始時に他の少なくとも１つのデコーダが動作していないならば、復号タイミング制御部１２０は、デコーダ１１０−１を１倍速未満の速度で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。更に、デコーダ１１０−１が１倍速未満の速度で動作している間に１倍速で動作中の他のデコーダからの時刻情報が時刻情報１２−１に追いつくと、復号タイミング制御部１２０はデコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

尚、上記説明において、デコーダ１１０−１、ビデオ符号化データ１１−１、時刻情報１２−１及び復号タイミング制御情報１３−１は、デコーダ１１０−ｊ、ビデオ符号化データ１１−ｊ、時刻情報１２−ｊ及び復号タイミング制御情報１３−ｊと読み替えられてもよいし、デコーダ１１０−Ｎ、ビデオ符号化データ１１−Ｎ、時刻情報１２−Ｎ及び復号タイミング制御情報１３−Ｎと読み替えられてもよい。

復号タイミング制御部１２０は、時刻情報１２−１，・・・，時刻情報１２−ｊ，・・・，時刻情報１２−Ｎを通じて、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を判定することができる。復号タイミング制御部１２０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を示すデコーダ動作情報１５をビデオ表示部１３０へと出力する。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎからビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを入力し、復号タイミング制御部１２０からデコーダ動作情報１５を入力する。ビデオ表示部１３０は、デコーダ動作情報１５を通じてデコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を検知できる。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎが１倍速で動作しているならば、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを１倍速で表示する。

例えば、ビデオ表示部１３０は、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの一部または全部に含まれる画像を組み合わせることによって生成される画像１６を表示する。画像の組み合わせとは、オーバーレイであってもよいし、ブレンディングであってもよい。具体的には、サイズの異なる複数の画像をピクチャーインピクチャーで表示するための画像１６が生成されてもよいし、画素数の異なる複数の画像がこれらの画素数を揃えられてから画素単位で加算されることによって１枚の画像１６が生成されてもよい。

また、ビデオ表示部１３０は、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの一部に含まれる画像に基づくサブ画像１７を出力してもよい。サブ画像１７は、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの一部に含まれる画像を組み合わせたものであってもよいし、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎのいずれかに含まれる画像であってもよい。サブ画像１７は、マルチディスプレイのための画像であり、画像１６とは異なりサブディスプレイ（図示されない）に表示される。更に、ビデオ表示部１３０は、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの一部または全部に含まれるオーディオに基づくオーディオ１８を出力してもよい。ここで、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの一部に含まれるオーディオがサラウンドチャンネル数を拡張するために使用されてもよい。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎのうち少なくとも１つが１倍速で動作していないならば、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎのうちいずれか１つを、対応するデコーダ（典型的には、最も早く動作を開始したデコーダ）の動作速度と同じ速度で表示する。

図１のビデオ表示装置の動作が図２及び図５に例示されている。これら図２及び図５の例では、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの伝送開始タイミングは同一であって、これらの表示タイミング（及び出力タイミング）も同一である。また、図５の例では、表示タイミング（及び出力タイミング）は、ＳＴＣカウンタ値を用いて表現される。尚、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの表示タイミング（及び出力タイミング）は、異なっていてもよい。この場合には、例えばビデオ符号化データ間の表示タイミング（及び出力タイミング）のずれを示す付加情報が伝送されてもよい。

図２及び図５の例では、ビデオ１４−１はベースとなるビデオに相当し、ビデオ１４−Ｎはビデオ１４−１と同期して表示される付加的なビデオに相当し、ビデオ１４−ｊはビデオ１４−１及びビデオ１４−Ｎと同期して表示される付加的なビデオに相当するものとする。また、伝送路１００−１における伝送遅延が最も小さく、伝送路１００−ｊにおける伝送遅延が最も大きいものとする。

伝送路１００−１における伝送遅延が最も小さいので、ビデオ符号化データ１１−１はビデオ符号化データ１１−ｊ及びビデオ符号化データ１１−Ｎに比べて早い時刻（０（１））にデコーダ１１０−１によって受信される。デコーダ１１０−１は、ビデオ符号化データ１１−１に含まれる時刻情報に基づいて、デコーダ１１０−１内部のクロックを制御する。デコーダ１１０−１は、クロックによって計時される時刻情報１２−１を復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。このときデコーダ１１０−ｊ及びデコーダ１１０−Ｎが動作していないので、復号タイミング制御部１２０はデコーダ１１０−１をｐ倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。ここで、ｐは１未満の値である。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１をｐ倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、これを表示する。ここで、ビデオ１４−１の表示速度は、デコーダ１１０−１の動作速度に依存するのでｐ倍速である。

伝送路１００−Ｎにおける伝送遅延が２番目に小さいので、ビデオ符号化データ１１−Ｎはビデオ符号化データ１１−ｊに比べて早い時刻（０（Ｎ））にデコーダ１１０−Ｎによって受信される。デコーダ１１０−Ｎは、ビデオ符号化データ１１−Ｎに含まれる時刻情報に基づいて、デコーダ１１０−Ｎ内部のクロックを制御する。デコーダ１１０−Ｎは、クロックによって計時される時刻情報１２−Ｎを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−Ｎから時刻情報１２−Ｎを入力する。このときデコーダ１１０−ｊが動作していないので、復号タイミング制御部１２０はデコーダ１１０−Ｎをｑ倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。ここで、ｑは１未満の値である。尚、ｑは、ｐより大きくてもよいが、好ましくはｐ以下である。ｑ≦ｐの場合には、デコーダ１１０−ｊの時刻情報１２−ｊがデコーダ１１０−１（即ち、表示中のビデオ１４−１）の時刻情報１２−１に追いつくよりも前に、当該時刻情報１２−ｊがデコーダ１１０−Ｎの時刻情報１２−Ｎに追いつく。

デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−Ｎをｑ倍速でデコードすることによってビデオ１４−Ｎを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−Ｎを入力する。但し、時刻情報１２−Ｎが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−Ｎを表示しない（ビデオ１４−Ｎの表示時刻に表示が完了したものとして扱い、ビデオ１４−Ｎを破棄する）。

伝送路１００−ｊにおける伝送遅延が最も大きいので、ビデオ符号化データ１１−ｊは最も遅い時刻（０（ｊ））にデコーダ１１０−ｊによって受信される。デコーダ１１０−ｊは、ビデオ符号化データ１１−ｊに含まれる時刻情報に基づいて、デコーダ１１０−ｊ内部のクロックを制御する。デコーダ１１０−ｊは、クロックによって計時される時刻情報１２−ｊを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−ｊから時刻情報１２−ｊを入力する。このときデコーダ１１０−１及びデコーダ１１０−Ｎが動作しているので、復号タイミング制御部１２０はデコーダ１１０−ｊを１倍速で動作させるための復号タイミング制御情報１３−ｊをデコーダ１１０−ｊへと出力する。

デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊを入力する。デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊに基づいて、ビデオ符号化データ１１−ｊを１倍速でデコードすることによってビデオ１４−ｊを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−ｊを入力する。但し、時刻情報１２−ｊが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−ｊを表示しない（ビデオ１４−ｊの表示時刻に表示が完了したものとして扱い、ビデオ１４−ｊを破棄する）。

前述の通り、ｑ＜１である。従って、デコーダ１１０−ｊの動作後のある時刻（Ｔ１（Ｎ））に時刻情報１２−ｊが時刻情報１２−Ｎに追いつく。Ｔ１（Ｎ）は、ｑ、伝送路１００−ｊにおける伝送遅延及び伝送路１００−Ｎにおける伝送遅延によって決まる。このとき、復号タイミング制御部１２０は、デコーダ１１０−Ｎを１倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。

デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−Ｎを１倍速でデコードすることによってビデオ１４−Ｎを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−Ｎを入力する。但し、時刻情報１２−Ｎ（時刻情報１２−ｊと等しい）が時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−Ｎを表示しない（ビデオ１４−Ｎの表示時刻に表示が完了したものとして扱い、ビデオ１４−Ｎを破棄する）。

前述の通り、ｐ＜１である。従って、デコーダ１１０−ｊの動作後のある時刻（Ｔ１（ｊ））に時刻情報１２−ｊ及び時刻情報１２−Ｎが時刻情報１２−１に追いつく。Ｔ１（ｊ）は、ｐ、伝送路１００−１における伝送遅延及び伝送路１００−ｊにおける伝送遅延によって決まる。このとき、復号タイミング制御部１２０は、デコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１を１倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力する。このとき、デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎは１倍速で動作しているので、ビデオ表示部１３０はビデオ１４−１、ビデオ１４−ｊ及びビデオ１４−Ｎを１倍速で表示する。

本実施形態に係るデコーダ（例えば、図１のデコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎに相当する）が図３に例示される。尚、図３において、包括的な説明を述べるために、「−１」、「−ｊ」「−Ｎ」などの添え字が省略されている。

デコーダ１１０は、分離部１１１と、ＳＴＣカウンタ１１２と、画像バッファ１１３と、画像デコーダ１１４と、画像表示バッファ１１５とを備える。デコーダ１１０は、必要に応じて、オーディオバッファ１１６と、オーディオデコーダ１１７と、オーディオ出力バッファ１１８とを更に備えてもよい。以降の説明では、デコーダ１１０は、オーディオバッファ１１６と、オーディオデコーダ１１７と、オーディオ出力バッファ１１８とを備えているものとする。

分離部１１１は、ビデオ符号化データ１１を伝送路（例えば、図１の伝送路１００−１、伝送路１００−ｊまたは伝送路１００−Ｎ）から入力する。ビデオ符号化データ１１には、例えば、時刻情報１９（例えば、ＰＣＲ）、画像符号化データ２０（例えば、ビデオＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）に対応する）、オーディオ符号化データ２４（例えば、オーディオＰＥＳに対応する）などが多重化されている。分離部１１１は、ビデオ符号化データ１１を分離（逆多重化）することによって、時刻情報１９、画像符号化データ２０及びオーディオ符号化データ２４を得る。分離部１１１は、時刻情報１９をＳＴＣカウンタ１１２へと出力し、画像符号化データ２０を画像バッファ１１３へと出力し、オーディオ符号化データ２４をオーディオバッファ１１６へと出力する。

ＳＴＣカウンタ１１２は、計時動作時には、クロックをカウントすることによって時刻情報１２を得る。ＳＴＣカウンタ１１２は、時刻情報１２を、復号タイミング制御部（例えば、図１の復号タイミング制御部１２０）、画像表示バッファ１１５、ならびに、オーディオ出力バッファ１１８へと出力する。ＳＴＣカウンタ１１２による計時動作は、分離部１１１からの時刻情報１９によって制御される。例えば、ＳＴＣカウンタ１１２が計時動作を停止している間に時刻情報１９としてのＰＣＲが最初に入力されると、当該ＰＣＲが初期時刻としてロードされると共にＳＴＣカウンタ１１２は計時動作を開始する。更に、ＳＴＣカウンタ１１２は、計時動作の開始後に入力された時刻情報１９としてのＰＣＲに基づいて時刻情報１２を補正することもできる。

ＳＴＣカウンタ１１２は、復号タイミング制御部（例えば、図１の復号タイミング制御部１２０）から復号タイミング制御情報１３を入力する。ＳＴＣカウンタ１１２の計時動作の速度は、復号タイミング制御情報１３によって制御される。復号タイミング制御情報１３は、デコーダ１１０の動作速度を１倍速または１倍速未満の速度に制御するためのものである。

ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格によれば、ＳＴＣカウンタ１１２の通常の動作周波数（即ち、時刻情報１２がカウントアップされる周波数）は２７ＭＨｚである。ＳＴＣカウンタ１１２は、デコーダ１１０を例えば１／２倍速で動作させるために、ＳＴＣカウンタ１１２の動作周波数を通常の半分である１３．５ＭＨｚに変更してもよい。或いは、ＳＴＣカウンタ１１２は、デコーダ１１０を例えば１／２倍速で動作させるために、時刻情報１２を２クロック毎にカウントアップしてもよい。

画像バッファ１１３は、分離部１１１から画像符号化データ２０を入力し、これを保存する。画像バッファ１１３に保存された画像符号化データ２０は、画像デコーダ１１４によって必要に応じて読み出される。

画像デコーダ１１４は、画像バッファ１１３に保存された画像符号化データ２０を必要に応じて読み出し、これをデコードすることによって画像２２及び表示時刻情報を得る。画像デコーダ１１４は、デコードされた画像２２及び表示時刻情報を画像表示バッファ１１５へと出力する。尚、画像デコーダ１１４は、画像表示バッファ１１５からデコード一時停止信号２３を入力すると、デコードを停止する。

画像表示バッファ１１５は、画像デコーダ１１４から画像２２及び表示時刻情報を入力し、これらを保存する。画像表示バッファ１１５は、ＳＴＣカウンタ１１２からの時刻情報１２の示す時刻が表示時刻情報の示す時刻に達すると、当該表示時刻情報に対応する画像２２をビデオ表示部（例えば、図１のビデオ表示部１３０）へと出力する。画像表示バッファ１１５から出力された画像２２は、ビデオ表示部によって表示されるか否かに関わらず、画像表示バッファ１１５から削除される。

更に、画像表示バッファ１１５は、占有量に基づいて、デコード一時停止信号２３を画像デコーダ１１４へと出力できる。例えば、画像表示バッファ１１５は、占有量がフルに達すると、デコード一時停止信号２３を画像デコーダ１１４へと出力する。係る動作によれば、画像表示バッファ１１５のオーバーフローを予防することができる。尚、時間経過に伴って画像２２及び表示時刻情報が画像表示バッファ１１５から削除されると画像表示バッファ１１５の占有量が低下するので、画像表示バッファ１１５はデコード一時停止信号２３を解除する。この結果、画像デコーダ１１４は、画像符号化データ２０のデコードを再開できる。

オーディオバッファ１１６は、分離部１１１からオーディオ符号化データ２４を入力し、これを保存する。オーディオバッファ１１６に保存されたオーディオ符号化データ２４は、オーディオデコーダ１１７によって必要に応じて読み出される。

オーディオデコーダ１１７は、オーディオバッファ１１６に保存されたオーディオ符号化データ２４を必要に応じて読み出し、これをデコードすることによってオーディオ２７及び出力時刻情報を得る。オーディオデコーダ１１７は、デコードされたオーディオ２７及び出力時刻情報をオーディオ出力バッファ１１８へと出力する。尚、オーディオデコーダ１１７は、オーディオ出力バッファ１１８からデコード一時停止信号２６を入力すると、デコードを停止する。

オーディオ出力バッファ１１８は、オーディオデコーダ１１７からオーディオ２７及び出力時刻情報を入力し、これらを保存する。オーディオ出力バッファ１１８は、ＳＴＣカウンタ１１２からの時刻情報１２の示す時刻が出力時刻情報の示す時刻に達すると、当該出力時刻情報に対応するオーディオ２７をビデオ表示部（例えば、図１のビデオ表示部１３０）へと出力する。オーディオ出力バッファ１１８から出力されたオーディオ２７は、ビデオ表示部によって出力されるか否かに関わらず、オーディオ出力バッファ１１８から削除される。

更に、オーディオ出力バッファ１１８は、占有量に基づいて、デコード一時停止信号２６をオーディオデコーダ１１７へと出力できる。例えば、オーディオ出力バッファ１１８は、占有量がフルに達すると、デコード一時停止信号２６をオーディオデコーダ１１７へと出力する。係る動作によれば、オーディオ出力バッファ１１８のオーバーフローを予防することができる。尚、時間経過に伴ってオーディオ２７及び出力時刻情報がオーディオ出力バッファ１１８から削除されるとオーディオ出力バッファ１１８の占有量は低下するので、オーディオ出力バッファ１１８はデコード一時停止信号２６を解除する。この結果、オーディオデコーダ１１７は、オーディオ符号化データ２４のデコードを再開できる。

ここで、画像バッファ１１３、画像表示バッファ１１５、オーディオバッファ１１６及びオーディオ出力バッファ１１８の容量は、ビデオ符号化データ１１と他のビデオ符号化データとの間の伝送遅延差を考慮して定められることが好ましい。例えば、デコーダ１１０が１倍速未満の速度で動作する期間が長い（即ち、伝送遅延差が大きい）ほど、画像バッファ１１３、画像表示バッファ１１５、オーディオバッファ１１６及びオーディオ出力バッファ１１８の容量は大きく設計されてもよい。

以上説明したように、第１の実施形態に係るビデオ表示装置は、複数の伝送路を通じてビデオ符号化データが伝送されるビデオ伝送方式において、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信すると、当該ビデオ符号化データを１倍速未満の速度でデコード及び表示する。従って、このビデオ表示装置によれば、複数の伝送路のうちの最小の伝送遅延によってビデオの表示待ち時間が決まる。例えば、図２及び図５の例であれば、最も小さな伝送遅延（０（１））から所定の処理遅延を経たタイミングでビデオを表示することが可能であって、このタイミングは他の伝送遅延（０（ｊ）及び０（Ｎ））に左右されない。即ち、このビデオ表示装置によれば、係るビデオ伝送方式において、ビデオの表示待ち時間を短縮化すること（即ち、ビデオの表示待ち時間を、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信する場合と同程度にすること）が可能である。

（第２の実施形態）
第２の実施形態に係るビデオ表示装置は、図１に例示されたビデオ表示装置において復号タイミング制御部１２０及びビデオ表示部１３０の動作を変形したものである。
復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。復号タイミング制御部１２０は、デコーダ（デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎを含む）の動作状態に基づいて、デコーダ１１０−１を１倍速または１倍速未満の速度で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

具体的には、デコーダ１１０−１の動作開始時に他の少なくとも１つのデコーダが動作しているならば、復号タイミング制御部１２０はデコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。他方、デコーダ１１０−１の動作開始時に他の全てのデコーダが動作していないならば、復号タイミング制御部１２０は、デコーダ１１０−１をｐ倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。ここで、ｐは１未満の値である。

また、あるデコーダ（便宜的に、第１のデコーダと称される）がｐ倍速で動作している間に、１倍速で動作中の他のデコーダ（便宜的に、第２のデコーダと称される）からの時刻情報が第１のデコーダからの時刻情報に追いつくと、復号タイミング制御部１２０はデコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を判定する。第２のデコーダを除く全てのデコーダ（第１のデコーダを含む）がｐ倍速で動作している場合には、復号タイミング制御部１２０はこれらのデコーダを１倍速で動作させるための復号タイミング制御情報をこれらのデコーダへと出力する。他方、第２のデコーダを除く少なくとも１つのデコーダが１倍速で動作している場合には、復号タイミング制御部１２０は第２のデコーダをｐ倍速で動作させるための復号タイミング制御情報を第２のデコーダへと出力する。

尚、上記説明において、デコーダ１１０−１、ビデオ符号化データ１１−１、時刻情報１２−１及び復号タイミング制御情報１３−１は、デコーダ１１０−ｊ、ビデオ符号化データ１１−ｊ、時刻情報１２−ｊ及び復号タイミング制御情報１３−ｊと読み替えられてもよいし、デコーダ１１０−Ｎ、ビデオ符号化データ１１−Ｎ、時刻情報１２−Ｎ及び復号タイミング制御情報１３−Ｎと読み替えられてもよい。

復号タイミング制御部１２０は、時刻情報１２−１，・・・，時刻情報１２−ｊ，・・・，時刻情報１２−Ｎを通じて、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を判定することができる。復号タイミング制御部１２０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を示すデコーダ動作情報１５をビデオ表示部１３０へと出力する。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎからビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを入力し、復号タイミング制御部１２０からデコーダ動作情報１５を入力する。ビデオ表示部１３０は、デコーダ動作情報１５を通じてデコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を検知できる。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの全てが１倍速で動作している（即ち、全てのデコーダからの時刻情報が同期している）ならば、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを１倍速で表示する。ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの表示技法は第１の実施形態と同一または類似であってよい。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎのうち少なくとも１つがｐ倍速で動作している（即ち、少なくとも１つのデコーダからの時刻情報が他のｐ倍速で動作中のデコーダからの時刻情報に追いついていない）ならば、このデコーダからのビデオをｐ倍速で表示する。

本実施形態に係るビデオ表示装置の動作が図６に例示されている。図６の例では、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの伝送開始タイミングは同一であって、これらの表示タイミング（及び出力タイミング）も同一である。また、図６の例では、表示タイミング（及び出力タイミング）は、ＳＴＣカウンタ値を用いて表現される。尚、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの表示タイミング（及び出力タイミング）は、異なっていてもよい。この場合には、例えばビデオ符号化データ間の表示タイミング（及び出力タイミング）のずれを示す付加情報が伝送されてもよい。

図６の例では、ビデオ１４−１はベースとなるビデオに相当し、ビデオ１４−Ｎはビデオ１４−１と同期して表示される付加的なビデオに相当し、ビデオ１４−ｊはビデオ１４−１及びビデオ１４−ｊと同期して表示される付加的なビデオに相当するものとする。また、伝送路１００−１における伝送遅延が最も小さく、伝送路１００−ｊにおける伝送遅延が最も大きいものとする。

伝送路１００−１における伝送遅延が最も小さいので、ビデオ符号化データ１１−１はビデオ符号化データ１１−ｊ及びビデオ符号化データ１１−Ｎに比べて早い時刻（０（１））にデコーダ１１０−１によって受信される。デコーダ１１０−１は、ビデオ符号化データ１１−１に含まれる時刻情報に基づいて、デコーダ１１０−１内部のクロックを制御する。デコーダ１１０−１は、クロックによって計時される時刻情報１２−１を復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。このときデコーダ１１０−ｊ及びデコーダ１１０−Ｎが動作していないので、復号タイミング制御部１２０はデコーダ１１０−１をｐ倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１をｐ倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、これを表示する。ここで、ビデオ１４−１の表示速度は、デコーダ１１０−１の動作速度に依存するのでｐ倍速である。

伝送路１００−Ｎにおける伝送遅延が２番目に小さいので、ビデオ符号化データ１１−Ｎはビデオ符号化データ１１−ｊに比べて早い時刻（０（Ｎ））にデコーダ１１０−Ｎによって受信される。デコーダ１１０−Ｎは、ビデオ符号化データ１１−Ｎに含まれる時刻情報に基づいて、デコーダ１１０−Ｎ内部のクロックを制御する。デコーダ１１０−Ｎは、クロックによって計時される時刻情報１２−Ｎを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−Ｎから時刻情報１２−Ｎを入力する。このときデコーダ１１０−１が動作しているので、復号タイミング制御部１２０はデコーダ１１０−Ｎを１倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。

デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−Ｎを１倍速でデコードすることによってビデオ１４−Ｎを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−Ｎを入力する。但し、時刻情報１２−Ｎが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−Ｎを表示しない（ビデオ１４−Ｎの表示時刻に表示が完了したものとして扱い、ビデオ１４−Ｎを破棄する）。

伝送路１００−ｊにおける伝送遅延が最も大きいので、ビデオ符号化データ１１−ｊは最も遅い時刻（０（ｊ））にデコーダ１１０−ｊによって受信される。デコーダ１１０−ｊは、ビデオ符号化データ１１−ｊに含まれる時刻情報に基づいて、デコーダ１１０−ｊ内部のクロックを制御する。デコーダ１１０−ｊは、クロックによって計時される時刻情報１２−ｊを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−ｊから時刻情報１２−ｊを入力する。このときデコーダ１１０−１及びデコーダ１１０−Ｎが動作しているので、復号タイミング制御部１２０はデコーダ１１０−ｊを１倍速で動作させるための復号タイミング制御情報１３−ｊをデコーダ１１０−ｊへと出力する。

デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊを入力する。デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊに基づいて、ビデオ符号化データ１１−ｊを１倍速でデコードすることによってビデオ１４−ｊを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−ｊを入力する。但し、時刻情報１２−ｊが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−ｊを表示しない（ビデオ１４−ｊの表示時刻に表示が完了したものとして扱い、ビデオ１４−ｊを破棄する）。

前述の通り、ｐ＜１である。従って、デコーダ１１０−Ｎの動作後のある時刻（Ｔ１（Ｎ））に時刻情報１２−Ｎが時刻情報１２−１に追いつく。Ｔ１（Ｎ）は、ｐ、伝送路１００−１における伝送遅延及び伝送路１００−Ｎにおける伝送遅延によって決まる。このとき、復号タイミング制御部１２０は、デコーダ１１０−Ｎをｐ倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。

デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−Ｎをｐ倍速でデコードすることによってビデオ１４−Ｎを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−Ｎを入力する。このとき、デコーダ１１０−１及びデコーダ１１０−Ｎがｐ倍速で動作し、デコーダ１１０−ｊが１倍速で動作しているので、ビデオ表示部１３０はビデオ１４−１及びビデオ１４−Ｎをｐ倍速で表示する。

前述の通り、ｐ＜１である。従って、デコーダ１１０−ｊの動作後のある時刻（Ｔ１（ｊ））に時刻情報１２−ｊが時刻情報１２−１及び時刻情報１２−Ｎに追いつく。Ｔ１（ｊ）は、ｐ、伝送路１００−１における伝送遅延及び伝送路１００−ｊにおける伝送遅延によって決まる。このとき、復号タイミング制御部１２０は、デコーダ１１０−１及びデコーダ１１０−Ｎを１倍速で動作させるための復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎをデコーダ１１０−１及びデコーダ１１０−Ｎへと出力する。

デコーダ１１０−１及びデコーダ１１０−Ｎは、復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−１及びデコーダ１１０−Ｎは、復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−１及びビデオ符号化データ１１−Ｎを１倍速でデコードすることによってビデオ１４−１及びビデオ１４−Ｎを生成し、これらをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１及びビデオ１４−Ｎを入力する。このとき、デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎは１倍速で動作しているので、ビデオ表示部１３０はビデオ１４−１、ビデオ１４−ｊ及びビデオ１４−Ｎを１倍速で表示する。

以上説明したように、第２の実施形態に係るビデオ表示装置は、複数の伝送路を通じてビデオ符号化データが伝送されるビデオ伝送方式において、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信すると、当該ビデオ符号化データを１倍速未満の速度（ｐ倍速）でデコード及び表示する。従って、このビデオ表示装置によれば、複数の伝送路のうちの最小の伝送遅延によってビデオの表示待ち時間が決まる。例えば、図６の例であれば、最も小さな伝送遅延（０（１））から所定の処理遅延を経たタイミングでビデオを表示することが可能であり、このタイミングは他の伝送遅延（０（ｊ）及び０（Ｎ））に左右されない。即ち、このビデオ表示装置によれば、係るビデオ伝送方式において、ビデオの表示待ち時間を短縮化すること（即ち、ビデオの表示待ち時間を、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信する場合と同程度にすること）が可能である。

更に、このビデオ表示装置は、伝送遅延が最小でない伝送路を通じてビデオ符号化データを受信すると、当該ビデオ符号化データを１倍速でデコードする。そして、１倍速で動作中の第２のデコーダからの時刻情報がｐ倍速で動作中の第１のデコーダからの時刻情報に追いつくと、このビデオ表示装置は第１のデコーダによってデコードされた第１のビデオに加えて第２のデコーダによってデコードされた第２のビデオを更に表示できる。故に、伝送遅延が最小でない伝送路を通じて受信されたビデオ（例えば、図６のビデオ１４−Ｎ）についても早期の視聴が可能となる。

（第３の実施形態）
第２の実施形態に係るビデオ表示装置は、図１に例示されたビデオ表示装置において復号タイミング制御部１２０及びビデオ表示部１３０の動作を変形したものである。
復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。復号タイミング制御部１２０は、デコーダ（デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎを含む）の動作状態に基づいて、デコーダ１１０−１を１倍速または１倍速未満の速度で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

具体的には、デコーダ１１０−１の動作開始時に、復号タイミング制御部１２０はデコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１が全てのデコーダの中で最初に動作を開始しているならば、復号タイミング制御部１２０は、ある時点で、デコーダ１１０−１を０倍速で動作（即ち、停止）させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。ある時点とは、例えばビデオ１４−１のうち最初の画像がビデオ表示部１３０によって表示される時点であってもよいし、以降の任意の時点であってもよい。

デコーダ１１０−１が全てのデコーダの中で２番目以降に動作を開始しているならば、復号タイミング制御部１２０は、時刻情報１２−１が最初に動作を開始した他のデコーダ（便宜的に、第１のデコーダと称される）からの時刻情報に追いつくと、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を判定する。デコーダ１１０−１を除く全てのデコーダ（第１のデコーダを含む）からの時刻情報が一致しているならば、復号タイミング制御部１２０はこれらのデコーダを１倍速で動作させるための復号タイミング制御情報をこれらのデコーダへと出力する。他方、デコーダ１１０−１を除く少なくとも１つのデコーダからの時刻情報が第１のデコーダからの時刻情報に一致していないならば、復号タイミング制御部１２０はデコーダ１１０−１を０倍速で動作（即ち、停止）させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

尚、上記説明において、デコーダ１１０−１、ビデオ符号化データ１１−１、時刻情報１２−１及び復号タイミング制御情報１３−１は、デコーダ１１０−ｊ、ビデオ符号化データ１１−ｊ、時刻情報１２−ｊ及び復号タイミング制御情報１３−ｊと読み替えられてもよいし、デコーダ１１０−Ｎ、ビデオ符号化データ１１−Ｎ、時刻情報１２−Ｎ及び復号タイミング制御情報１３−Ｎと読み替えられてもよい。

復号タイミング制御部１２０は、時刻情報１２−１，・・・，時刻情報１２−ｊ，・・・，時刻情報１２−Ｎを通じて、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を判定することができる。復号タイミング制御部１２０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を示すデコーダ動作情報１５をビデオ表示部１３０へと出力する。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎからビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを入力し、復号タイミング制御部１２０からデコーダ動作情報１５を入力する。ビデオ表示部１３０は、デコーダ動作情報１５を通じてデコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの動作状態を検知できる。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎの全てが１倍速で動作している（即ち、全てのデコーダからの時刻情報が同期している）ならば、ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎを１倍速で表示する。ビデオ１４−１，・・・，ビデオ１４−ｊ，・・・，ビデオ１４−Ｎの表示技法は第１の実施形態と同一または類似であってよい。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎのうち最初に動作開始したものが停止前に１倍速で動作しているならば、このデコーダからのビデオを１倍速で表示する。

ビデオ表示部１３０は、デコーダ１１０−１，・・・，デコーダ１１０−ｊ，・・・，デコーダ１１０−Ｎのうち少なくとも１つが動作開始後に停止しているならば、このデコーダからのビデオを０倍速で表示する（例えば、静止画として表示する）。

本実施形態に係るビデオ表示装置の動作が図７に例示されている。図７の例では、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの伝送開始タイミングは同一であって、これらの表示タイミング（及び出力タイミング）も同一である。また、図７の例では、表示タイミング（及び出力タイミング）は、ＳＴＣカウンタ値を用いて表現される。尚、ビデオ符号化データ１０−１、ビデオ符号化データ１０−ｊ及びビデオ符号化データ１０−Ｎの表示タイミング（及び出力タイミング）は、異なっていてもよい。この場合には、例えばビデオ符号化データ間の表示タイミング（及び出力タイミング）のずれを示す付加情報が伝送されてもよい。

図７の例では、ビデオ１４−１はベースとなるビデオに相当し、ビデオ１４−Ｎはビデオ１４−１と同期して表示される付加的なビデオに相当し、ビデオ１４−ｊはビデオ１４−１及びビデオ１４−ｊと同期して表示される付加的なビデオに相当するものとする。また、伝送路１００−１における伝送遅延が最も小さく、伝送路１００−ｊにおける伝送遅延が最も大きいものとする。

伝送路１００−１における伝送遅延が最も小さいので、ビデオ符号化データ１１−１はビデオ符号化データ１１−ｊ及びビデオ符号化データ１１−Ｎに比べて早い時刻（０（１））にデコーダ１１０−１によって受信される。デコーダ１１０−１は、ビデオ符号化データ１１−１に含まれる時刻情報に基づいて、デコーダ１１０−１内部のクロックを制御する。デコーダ１１０−１は、クロックによって計時される時刻情報１２−１を復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−１から時刻情報１２−１を入力する。このとき、復号タイミング制御部１２０はデコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１を１倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、これを表示する。ここで、ビデオ１４−１の表示速度は、デコーダ１１０−１の動作速度に依存するので１倍速である。

デコーダ１１０−１が全てのデコーダの中で最初に動作を開始しているので、復号タイミング制御部１２０はある時点（Ｔ１（１））で、デコーダ１１０−１を０倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。更に、ビデオ表示部１３０は、デコーダ１１０−１が動作開始後に停止しているので、ビデオ１４−１を０倍速で表示する。

伝送路１００−Ｎにおける伝送遅延が２番目に小さいので、ビデオ符号化データ１１−Ｎはビデオ符号化データ１１−ｊに比べて早い時刻（０（Ｎ））にデコーダ１１０−Ｎによって受信される。デコーダ１１０−Ｎは、ビデオ符号化データ１１−Ｎに含まれる時刻情報に基づいて、デコーダ１１０−Ｎ内部のクロックを制御する。デコーダ１１０−Ｎは、クロックによって計時される時刻情報１２−Ｎを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−Ｎから時刻情報１２−Ｎを入力する。このとき、復号タイミング制御部１２０はデコーダ１１０−Ｎを１倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。

デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−Ｎは、復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−Ｎを１倍速でデコードすることによってビデオ１４−Ｎを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−Ｎを入力する。但し、時刻情報１２−Ｎが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−Ｎを表示しない（ビデオ１４−Ｎの表示時刻に表示が完了したものとして扱い、ビデオ１４−Ｎを破棄する）。

伝送路１００−ｊにおける伝送遅延が最も大きいので、ビデオ符号化データ１１−ｊは最も遅い時刻（０（ｊ））にデコーダ１１０−ｊによって受信される。デコーダ１１０−ｊは、ビデオ符号化データ１１−ｊに含まれる時刻情報に基づいて、デコーダ１１０−ｊ内部のクロックを制御する。デコーダ１１０−ｊは、クロックによって計時される時刻情報１２−ｊを復号タイミング制御部１２０へと出力する。

復号タイミング制御部１２０は、デコーダ１１０−ｊから時刻情報１２−ｊを入力する。このとき、復号タイミング制御部１２０はデコーダ１１０−ｊを１倍速で動作させるための復号タイミング制御情報１３−ｊをデコーダ１１０−ｊへと出力する。

デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊを入力する。デコーダ１１０−ｊは、復号タイミング制御情報１３−ｊに基づいて、ビデオ符号化データ１１−ｊを１倍速でデコードすることによってビデオ１４−ｊを生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−ｊを入力する。但し、時刻情報１２−ｊが時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−ｊを表示しない（ビデオ１４−ｊの表示時刻に表示が完了したものとして扱い、ビデオ１４−ｊを破棄する）。

前述の通り、デコーダ１１０−１は停止している。従って、デコーダ１１０−Ｎの動作後のある時刻（Ｔ１（Ｎ））に時刻情報１２−Ｎが時刻情報１２−１に追いつく。Ｔ１（Ｎ）は、伝送路１００−１における伝送遅延及び伝送路１００−Ｎにおける伝送遅延によって決まる。このとき、時刻情報１２−ｊが時刻情報１２−１に追いついていないので、復号タイミング制御部１２０はデコーダ１１０−Ｎを０倍速で動作させるための復号タイミング制御情報１３−Ｎをデコーダ１１０−Ｎへと出力する。更に、ビデオ表示部１３０は、デコーダ１１０−１及びデコーダ１１０−Ｎが動作開始後に停止しているので、ビデオ１４−１及びビデオ１４−Ｎを０倍速で表示する。

前述の通り、デコーダ１１０−１及びデコーダ１１０−Ｎは停止している。従って、デコーダ１１０−ｊの動作後のある時刻（Ｔ１（ｊ））に時刻情報１２−ｊが時刻情報１２−１及び時刻情報１２−Ｎに追いつく。Ｔ１（ｊ）は、伝送路１００−１における伝送遅延及び伝送路１００−ｊにおける伝送遅延によって決まる。このとき時刻情報１２−１及び時刻情報１２−Ｎは一致しているので、復号タイミング制御部１２０はデコーダ１１０−１及びデコーダ１１０−Ｎを１倍速で動作させるための復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎをデコーダ１１０−１及びデコーダ１１０−Ｎへと出力する。

デコーダ１１０−１及びデコーダ１１０−Ｎは、復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎを入力する。デコーダ１１０−１及びデコーダ１１０−Ｎは、復号タイミング制御情報１３−１及び復号タイミング制御情報１３−Ｎに基づいて、ビデオ符号化データ１１−１及びビデオ符号化データ１１−Ｎを１倍速でデコードすることによってビデオ１４−１及びビデオ１４−Ｎを生成し、これらをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１及びビデオ１４−Ｎを入力する。このとき、デコーダ１１０−１、デコーダ１１０−ｊ及びデコーダ１１０−Ｎは１倍速で動作しているので、ビデオ表示部１３０はビデオ１４−１、ビデオ１４−ｊ及びビデオ１４−Ｎを１倍速で表示する。

以上説明したように、第３の実施形態に係るビデオ表示装置は、複数の伝送路を通じてビデオ符号化データが伝送されるビデオ伝送方式において、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信すると、当該ビデオ符号化データを１倍速でデコード及び表示する。従って、このビデオ表示装置によれば、複数の伝送路のうちの最小の伝送遅延によってビデオの表示待ち時間が決まる。例えば、図７の例であれば、最も小さな伝送遅延（０（１））から所定の処理遅延を経たタイミングでビデオを表示することが可能であり、このタイミングは他の伝送遅延（０（ｊ）及び０（Ｎ））に左右されない。即ち、このビデオ表示装置によれば、係るビデオ伝送方式において、ビデオの表示待ち時間を短縮化すること（即ち、ビデオの表示待ち時間を、伝送遅延の最も小さい伝送路を通じてビデオ符号化データを受信する場合と同程度にすること）が可能である。

また、このビデオ表示装置は、伝送遅延が最小でない伝送路を通じてビデオ符号化データを受信すると、当該ビデオ符号化データを１倍速でデコードする。そして、１倍速で動作中の第２のデコーダからの時刻情報が停止中の第１のデコーダからの時刻情報に追いつくと、このビデオ表示装置は第１のデコーダによってデコードされた第１のビデオに加えて第２のデコーダによってデコードされた第２のビデオを更に（例えば、静止画として）表示できる。故に、伝送遅延が最小でない伝送路を通じて受信されたビデオ（例えば、図７のビデオ１４−Ｎ）についても早期の視聴が可能となる。

更に、このビデオ表示装置は、伝送遅延の最も小さい伝送路を通じて受信されたビデオ符号化データのデコード及び表示をある時点で停止させる。そして、このビデオ表示装置は、全てのデコーダからの時刻情報が一致してから、上記ビデオ符号化データのデコード及び表示を再開する。従って、このビデオ表示装置によれば、伝送遅延の最も大きい伝送路からビデオ符号化データを受信するデコーダは、他のデコーダと速やかに同期できる。即ち、早期に全部のビデオを表示することが可能となる。

（第４の実施形態）
第４の実施形態に係るビデオ表示装置は、第１乃至第３の実施形態に係るビデオ表示装置と比べて、デコーダの詳細において異なる。第４の実施形態に係るビデオ表示装置の動作は、第１乃至第３の実施形態に係るビデオ表示装置と同一または類似であってよい。

本実施形態に係るデコーダが図４に例示される。尚、図４において、包括的な説明を述べるために、「−１」、「−ｊ」「−Ｎ」などの添え字が省略されている。デコーダ２１０は、分離部１１１と、ＳＴＣカウンタ２１２と、画像バッファ１１３と、画像デコーダ２１４と、画像表示バッファ２１５とを備える。デコーダ２１０は、必要に応じて、オーディオバッファ１１６と、オーディオデコーダ２１７と、オーディオ出力バッファ２１８とを更に備えてもよい。以降の説明では、デコーダ２１０は、オーディオバッファ１１６と、オーディオデコーダ２１７と、オーディオ出力バッファ２１８とを備えているものとする。図４に示される分離部１１１、画像バッファ１１３及びオーディオバッファ１１６は、図３に示されたものと同一または類似である。

ＳＴＣカウンタ２１２は、計時動作時には、クロックをカウントすることによって時刻情報１２を得る。ＳＴＣカウンタ２１２は、時刻情報１２を、復号タイミング制御部（例えば、図１の復号タイミング制御部１２０）、画像デコーダ２１４、画像表示バッファ２１５、オーディオデコーダ２１７、ならびに、オーディオ出力バッファ２１８へと出力する。ＳＴＣカウンタ２１２による計時動作は、分離部１１１からの時刻情報１９によって制御される。例えば、ＳＴＣカウンタ２１２が計時動作を停止している間に時刻情報１９としてのＰＣＲが最初に入力されると、当該ＰＣＲが初期時刻としてロードされると共にＳＴＣカウンタ２１２は計時動作を開始する。更に、ＳＴＣカウンタ２１２は、計時動作の開始後に入力された時刻情報１９としてのＰＣＲに基づいて時刻情報１２を補正することもできる。

ＳＴＣカウンタ２１２は、復号タイミング制御部（例えば、図１の復号タイミング制御部１２０）から復号タイミング制御情報１３を入力する。ＳＴＣカウンタ２１２の計時動作の速度は、復号タイミング制御情報１３によって制御される。

ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格によれば、ＳＴＣカウンタ２１２の通常の動作周波数（即ち、時刻情報１２がカウントアップされる周波数）は２７ＭＨｚである。ＳＴＣカウンタ２１２は、デコーダ２１０を例えば１／２倍速で動作させるために、ＳＴＣカウンタ２１２の動作周波数を通常の半分である１３．５ＭＨｚに変更してもよい。或いは、ＳＴＣカウンタ２１２は、デコーダ２１０を例えば１／２倍速で動作させるために、時刻情報１２を２クロック毎にカウントアップしてもよい。

画像デコーダ２１４は、画像バッファ１１３に保存された画像符号化データ２０を必要に応じて読み出し、これをデコードすることによって画像２２及び表示時刻情報を得る。具体的には、画像デコーダ２１４は、ＳＴＣカウンタ２１２からの時刻情報１２の示す時刻が復号時刻情報（ＤＴＳ：Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ Ｓｔａｍｐ）の示す時刻に達すると、当該ＤＴＳに対応する画像符号化データ２０をデコードする。ＤＴＳは、デコード単位（例えば、フレーム、フィールドなど）に付随して符号化されていることもあれば、過去のデコード結果に基づいて推定されることもある。画像デコーダ２１４は、デコードされた画像２２及び表示時刻情報を画像表示バッファ２１５へと出力する。

画像表示バッファ２１５は、画像デコーダ２１４から画像２２及び表示時刻情報を入力し、これらを保存する。画像表示バッファ２１５は、ＳＴＣカウンタ２１２からの時刻情報１２の示す時刻が表示時刻情報の示す時刻に達すると、当該表示時刻情報に対応する画像２２をビデオ表示部（例えば、図１のビデオ表示部１３０）へと出力する。画像表示バッファ２１５から出力された画像２２は、ビデオ表示部によって表示されるか否かに関わらず、画像表示バッファ２１５から削除される。

オーディオデコーダ２１７は、オーディオバッファ１１６に保存されたオーディオ符号化データ２４を必要に応じて読み出し、これをデコードすることによってオーディオ２７及び出力時刻情報を得る。具体的には、オーディオデコーダ２１７は、ＳＴＣカウンタ２１２からの時刻情報１２の示す時刻がＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）の示す時刻に達すると、当該ＰＴＳに対応するオーディオ符号化データ２４をデコードする。尚、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ規格によれば、オーディオに関してＰＴＳ＝復号時刻情報（ＤＴＳ）が成立する。ＰＴＳは、デコード単位（例えば、オーディオフレーム）に付随して符号化されていることもあれば、過去のデコード結果に基づいて推定されることもある。オーディオデコーダ２１７は、デコードされたオーディオ２７及び出力時刻情報をオーディオ出力バッファ２１８へと出力する。

オーディオ出力バッファ２１８は、オーディオデコーダ２１７からオーディオ２７及び出力時刻情報を入力し、これらを保存する。オーディオ出力バッファ２１８は、ＳＴＣカウンタ２１２からの時刻情報１２の示す時刻が出力時刻情報の示す時刻に達すると、当該出力時刻情報に対応するオーディオ２７をビデオ表示部（例えば、図１のビデオ表示部１３０）へと出力する。オーディオ出力バッファ２１８から出力されたオーディオ２７は、ビデオ表示部によって出力されるか否かに関わらず、オーディオ出力バッファ２１８から削除される。

ここで、画像バッファ１１３及びオーディオバッファ１１６の容量は、ビデオ符号化データ１１と他のビデオ符号化データとの間の伝送遅延差及び符号化遅延差、ならびに、各伝送路における伝送遅延のジッターなどを考慮して定められることが好ましい。例えば、デコーダ２１０が１倍速未満の速度で動作する期間が長い（即ち、伝送遅延差が大きい）ほど、画像バッファ１１３及びオーディオバッファ１１６の容量が大きく設計されてもよい。

また、ジッターが考慮されたよりも大きくなると、画像バッファ１１３及びオーディオバッファ１１６は一時的にオーバーフローまたはアンダーフローするおそれがある。そこで、例えば、画像バッファ１１３及びオーディオバッファ１１６がアンダーフローするおそれがある場合には、ビデオを１倍速未満の速度で表示することでアンダーフローが予防されてもよい。他方、画像バッファ１１３及びオーディオバッファ１１６がオーバーフローするおそれがある場合には、ビデオを１倍速よりも大きな速度で表示することでオーバーフローが予防されてもよい。画像バッファ１１３及びオーディオバッファ１１６がアンダーフローまたはオーバーフローするおそれがあるか否かは、例えばこれらのバッファの占有量、当該占有量の変化などに基づいて判定できる。

概括すれば、図４のデコーダ２１０は、図３のデコーダ１１０と以下の点で異なる。
図３のデコーダ１１０において、画像デコーダ１１４及びオーディオデコーダ１１７の動作速度は時刻情報１２によって直接的には制御されない。しかしながら、画像表示バッファ１１５及びオーディオ出力バッファ１１８から画像２２及びオーディオ２７が削除される速度は時刻情報１２ならびに表示時刻情報（及び出力時刻情報）によって制御される。更に、画像表示バッファ１１５及びオーディオ出力バッファ１１８は占有量に基づいてデコード一時停止信号２３及びデコード一時停止信号２６を画像デコーダ１１４及びオーディオデコーダ１１７へと出力する。従って、画像デコーダ１１４及びオーディオデコーダ１１７の動作速度は時刻情報１２よって間接的に制御されることになる。他方、図４のデコーダ２１０において、画像デコーダ２１４及びオーディオデコーダ２１７の動作速度は時刻情報１２及び復号時刻情報によって制御される。

以上説明したように、第４の実施形態に係るビデオ表示装置において、画像デコーダ及びオーディオデコーダの動作速度は、ＳＴＣカウンタからの時刻情報ならびに復号時刻情報によって制御される。従って、このビデオ表示装置によれば、ビデオ表示バッファ及びオーディオ出力バッファは、デコード一時停止信号を出力する機能を必要としない。また、このビデオ表示装置は、前述の第１乃至第３の実施形態と同一または類似の動作をすることで、これらの実施形態と同一または類似の効果を得ることができる。

尚、前述の第１乃至第４の実施形態において、ビデオ表示装置は全てのデコーダの時刻情報が同期してから全てのビデオを１倍速で表示している。しかしながら、一部の伝送路の品質が低い（例えば、伝送誤り率が非常に高い、伝送遅延が非常に大きいなど）場合には、全てのデコーダの時刻情報が同期するまでに長時間を要してビデオの視聴に支障をきたすおそれがある。そこで、ビデオ表示装置は、例えば伝送路の品質が閾値を下回る場合に当該伝送路からのビデオ符号化データを一時的に無視してもよい。即ち、ビデオ表示装置は、低品質の伝送路からビデオ符号化データを受信するデコーダを除く全てのデコーダの時刻情報が同期していればこれらのデコーダからのビデオを１倍速で表示してもよい。尚、このような動作後に、無視されていた伝送路の品質が改善して正常な受信が可能となれば、ビデオ表示装置はこの伝送路からビデオ符号化データを受信するデコーダを同期の対象として復帰させてもよい。

（第５の実施形態）
図８に例示されるように、第５の実施形態に係るビデオ表示装置は、２個のデコーダ１１０−１，１１０−２と、復号タイミング制御部３２０と、ビデオ表示部１３０と、制御情報解釈部３４０とを備える。図８のビデオ表示装置は、２個の異なる伝送路１００−１，１００−２を通じて伝送されるビデオ符号化データを同期してデコード及び表示できる。尚、図８の例では、伝送路の数は２個であるが、伝送路の数は３個以上であってもよい。

制御情報解釈部３４０は、ユーザ情報２８及び表示制御情報２９のうち少なくとも一方を入力する。制御情報解釈部３４０は、ユーザ情報２８及び表示制御情報２９のうち少なくとも一方を解釈することによって、ビデオ１４−１及びビデオ１４−２の表示状態に関する制御情報３０を得る。制御情報解釈部３４０は、制御情報３０を復号タイミング制御部３２０へと出力する。

ユーザ情報２８は、ユーザからの操作情報であってもよいし、ユーザの属性情報であってもよい。例えば、ユーザからの操作情報は、ビデオ１４−１及びビデオ１４−２を同期して表示することの指示であってもよいし、ビデオ１４−１及びビデオ１４−２のいずれか一方の表示を終了することの指示であってもよい。

また、ユーザからの操作情報は、ビデオ１４−１以外の複数のビデオ（サブコンテンツと呼ぶこともできる）からビデオ１４−１に同期して表示されるサブコンテンツを選択する指示であってもよいし、表示しないサブコンテンツを選択する指示であってもよい。制御情報解釈部３４０は、係るサブコンテンツを選択する指示に相当するユーザ操作を受理するための情報（例えば、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ））をユーザに提示してもよい。

ビデオ表示装置は、いずれのサブコンテンツが同期表示のために選択されるかに関わらず全てのサブコンテンツを受信してもよいし、同期して表示されるサブコンテンツが選択される毎に当該サブコンテンツの伝送を図示されない送信装置に要求してもよい。これら複数のサブコンテンツは、同一の伝送路を通じて伝送されてもよいし、相異なる伝送路を通じて伝送されてもよい。複数のサブコンテンツをビデオ１４−１に同期して表示する場合には、復号タイミング制御部３２０は、前述の第１乃至第３の実施形態において説明されたように、最も伝送遅延の大きな伝送路を基準に各デコーダの動作速度を調整する。最も伝送遅延の大きな伝送路を介して受信されるサブコンテンツがビデオ１４−１に同期するまで、他のサブコンテンツは、破棄されてもよいし、ビデオ１４−１に追いついた後に当該ビデオ１４−１に同期して表示されてもよい。

ユーザの属性情報は、例えば、ユーザの年齢、性別、趣味、嗜好、過去の視聴履歴、過去の購買履歴などのユーザプロファイルを含んでもよい。また、ユーザの属性情報は、現在の視聴者の構成情報（例えば、人数、年齢構成、性別構成などの複数のユーザ間の関係を示す情報）を含んでもよい。制御情報解釈部３４０は、ユーザの属性情報に基づいて、ビデオ１４−１以外の複数のサブコンテンツからビデオ１４−１に同期して表示されるサブコンテンツを自動的に選択してもよいし、表示しないサブコンテンツを自動的に選択してもよい。

表示制御情報２９は、コンテンツ（即ち、伝送路１００−１及び伝送路１００−２の少なくとも一方を通じて伝送されるビデオ符号化データ）に明示的または暗黙的に付随する制御情報である。例えば、表示制御情報２９は、ビデオ１４−２が、ビデオ１４−１と同期して表示される時刻を示す情報を含むことができる。

復号タイミング制御部３２０は、制御情報解釈部３４０から制御情報３０を入力する。復号タイミング制御部３２０は、制御情報３０に従って、ビデオ１４−１及びビデオ１４−２を同期して表示させるようにデコーダ１１０−１及びデコーダ１１０−２を制御してもよいし、ビデオ１４−１及びビデオ１４−２のいずれか一方の表示を終了させるようにデコーダ１１０−１及びデコーダ１１０−２を制御してもよい。具体的には、復号タイミング制御部３２０は、デコーダ１１０−１及びデコーダ１１０−２から時刻情報１２−１及び時刻情報１２−２を入力し、当該時刻情報１２−１及び時刻情報１２−２に基づいて、デコーダ１１０−１及びデコーダ１１０−２を適切な速度（これは、制御情報３０、伝送路１００−１及び伝送路１００−２の伝送遅延差、などによって決まる）で動作させるための復号タイミング制御情報１３−１及び復号タイミング制御情報１３−２をデコーダ１１０−１及びデコーダ１１０−２へと出力する。

例えば、ビデオ１４−１が表示されていてビデオ１４−２が表示されていない時にビデオ１４−１及びビデオ１４−２を同期して表示することを指示する制御情報３０が入力されたものの時刻情報１２−２が時刻情報１２−１に比べて遅れている場合には、復号タイミング制御部３２０は、時刻情報１２−１及び時刻情報１２−２が同期するまでデコーダ１１０−１を１倍速未満の速度で動作させてもよい。

尚、ビデオ１４−１が、例えば、シーンチェンジ、暗転、無音などの特定の状況に該当する場合に、当該ビデオ１４−１の表示が一時的に停止されてもよい。これら特定の状況に該当するビデオ１４−１はその表示期間の変化がユーザに知覚されにくいので、当該ビデオ１４−１の表示を一時的に停止することにより、ユーザに与える違和感を抑制しつつビデオ１４−１の表示遅延を大きくすることが可能となる。

また、復号タイミング制御部３２０がデコーダ１１０−１を１倍速未満の速度で動作させる場合に、この速度が一定である必要はない。例えば、デコーダ１１０−１の動作速度は、１倍速→０．９倍速→０．８倍速→０．９倍速→１倍速のように段階的に変化してもよい。デコーダ１１０−１の動作速度を段階的に変化させることにより、ユーザに与える違和感を抑制しつつビデオ１４−１の表示遅延を大きくすることが可能となる。

ビデオ１４−１及びビデオ１４−２が同期して表示されている時にビデオ１４−２の表示を終了することを指示する制御情報３０が入力されると、復号タイミング制御部３２０は、デコーダ１１０−２の動作を停止させてもよいし、デコーダ１１０−２の動作を維持しつつビデオ１４−２をビデオ表示部１３０に破棄させてもよい。伝送路１００−２の伝送遅延が伝送路１００−１の伝送遅延に比べて大きい場合に、ビデオ１４−１が単独で表示されている時の表示遅延は、ビデオ１４−１及びビデオ１４−２が同期して表示されている時の表示遅延に比べて小さくすることが可能である。故に、復号タイミング制御部３２０は、ビデオ１４−１の表示遅延を小さくするために、デコーダ１１０−１を１倍速よりも大きな速度で動作させてもよい。

尚、ビデオ１４−１が、例えば、シーンチェンジ、暗転、無音などの特定の状況に該当する場合に、当該ビデオ１４−１の表示がスキップされてもよい。これら特定の状況に該当するビデオ１４−１はその表示期間の変化がユーザに知覚されにくいので、当該ビデオ１４−１の表示をスキップすることにより、ユーザに与える違和感を抑制しつつビデオ１４−１の表示遅延を小さくすることが可能となる。

また、復号タイミング制御部３２０がデコーダ１１０−１を１倍速よりも大きな速度で動作させる場合に、この速度が一定である必要はない。例えば、デコーダ１１０−１の動作速度は、１倍速→１．１倍速→１．２倍速→１．１倍速→１倍速のように段階的に変化してもよい。デコーダ１１０−１の動作速度を段階的に変化させることにより、ユーザに与える違和感を抑制しつつビデオ１４−１の表示遅延を小さくすることが可能となる。

復号タイミング制御部３２０は、制御情報３０と、ビデオ１４−１及びビデオ１４−２の現行の表示状態（これは、時刻情報１２−１及び時刻情報１２−２に基づいて判定可能である）とに基づいて、デコーダ１１０−１及びデコーダ１１０−２の動作状態を判定することができる。復号タイミング制御部３２０は、デコーダ１１０−１及びデコーダ１１０−２の動作状態を示すデコーダ動作情報１５をビデオ表示部１３０へと出力する。

ビデオ表示部１３０は、デコーダ１１０−１及びデコーダ１１０−２からビデオ１４−１及びビデオ１４−２を入力し、復号タイミング制御部３２０からデコーダ動作情報１５を入力する。ビデオ表示部１３０は、デコーダ動作情報１５を通じてデコーダ１１０−１及びデコーダ１１０−２の動作状態を検知できる。ビデオ表示部１３０は、デコーダ１１０−１及びデコーダ１１０−２が共に１倍速で動作しており、かつ、ビデオ１４−１及びビデオ１４−２を同期して表示する必要がある場合には、以下に例示されるように動作できる。

例えば、ビデオ表示部１３０は、ビデオ１４−１及びビデオ１４−２に含まれる画像を組み合わせることによって生成される画像１６を表示する。画像の組み合わせとは、オーバーレイであってもよいし、ブレンディングであってもよい。具体的には、ビデオ表示部１３０は、ビデオ１４−１に含まれる画像（図１３Ａ）及びビデオ１４−２に含まれる画像（図１３Ｂ）をピクチャーインピクチャーで表示するための画像１６（図１４）を生成してもよい。図１４の例によれば、ユーザは、ビデオ１４−１と、当該ビデオ１４−１とは異なるアングルまたは画角で撮影されたビデオ１４−２とを同時に視聴することができる。

ビデオ表示部１３０は、ビデオ１４−１に含まれる画像（図１３Ａ）に基づく画像１６（図１５Ａ）と、ビデオ１４−２に含まれる画像（図１３Ｂ）に基づくサブ画像１７（図１５Ｂ）とを表示してもよい。サブ画像１７は、マルチディスプレイのための画像であり、画像１６が表示されるディスプレイ（例えば、ＴＶなど）とは異なるサブディスプレイ（例えば、タブレット端末、スマートフォンなど）に表示される。

ビデオ表示部１３０は、ビデオ１４−１及びビデオ１４−２の一部または全部に含まれるオーディオに基づくオーディオ１８を出力してもよい。ここで、ビデオ１４−１及びビデオ１４−２の一部に含まれるオーディオがサラウンドチャンネル数を拡張するために使用されてもよい。

ビデオ表示部１３０は、ビデオ１４−１に含まれる画像（図１６Ａ）とビデオ１４−２に含まれる画像（図１６Ｂ）とを加算することによって１枚の画像１６（図１７）を生成してもよい。図１７の例によれば、ビデオ１４−１に含まれる画像をそのまま画像１６として表示する場合に比べて、画像１６の画質、解像度、色域、フレームレートなどを向上させることができる。尚、図１６Ａの画像及び図１６Ｂの画像が解像度において異なる場合には、ビデオ表示部１３０は、これらの画素数を揃えてから画素単位で加算することによって１枚の画像１６を生成してもよいし、これらの画素数を揃えることなく画素単位で加算することによって１枚の画像１６を生成してもよい。

例えば、サッカーの試合中継では、限られた解像度の下で選手の表情などを視聴者に伝えるために当該選手にズームアップした画像が撮影されることがある。ビデオ１４−２に含まれる画像の撮影範囲がビデオ１４−１に含まれる画像の撮影範囲よりも広いならば、ビデオ表示部１３０は、これらを同期して表示することによって、ビデオ１４−１に含まれる画像の画質、解像度、色域、フレームレートなどを損なうことなくビデオ１４−２に含まれる画像と撮影範囲が同一の画像１６を生成することができる。即ち、ユーザは、ビデオ１４−１の内容に加えてビデオ１４−１に写っていない周辺部分（例えば、サッカーの試合中継においてズームアップされた選手の周辺の様子）も視聴できる。尚、ビデオ１４−２のうちビデオ１４−１と撮影範囲の重複する領域については、差分情報に置き換えられてもよいし、空白であってもよい（この場合には、ビデオ１４−１が当該領域にはめ込み合成されてもよい）。

図１８に例示されるように、ビデオ１４−１がＣＭを含む番組コンテンツである場合に、ビデオ１４−２は当該ＣＭの差し替え用のＣＭであってもよい。ビデオ表示部１３０が必要に応じてＣＭの表示期間に亘ってビデオ１４−１及びビデオ１４−２を同期して表示する（例えば、ビデオ１４−１の代わりにビデオ１４−２に含まれる画像に基づく画像１６を表示する）ことにより、ユーザは所望のＣＭを選択視聴できる。

図８のビデオ表示装置の動作が、図９及び図１０に例示される。これら図９及び図１０の例では、ビデオ符号化データ１０−１及びビデオ符号化データ１０−２の伝送開始タイミングは同一であって、これらの表示タイミング（及び出力タイミング）も同一である。尚、ビデオ符号化データ１０−１及びビデオ符号化データ１０−２の表示タイミング（及び出力タイミング）は、異なっていてもよい。この場合には、例えばビデオ符号化データ間の表示タイミング（及び出力タイミング）のずれを示す付加情報が伝送されてもよい。

図９及び図１０の例では、ビデオ１４−１はベースとなるビデオに相当し、ビデオ１４−２はビデオ１４−１と同期して表示される付加的なビデオに相当するものとする。また、伝送路１００−１における伝送遅延ｄ１が、伝送路１００−２における伝送遅延ｄ２よりも小さいものとする。但し、本実施形態は、以降の説明を適宜読み替えることにより、伝送遅延ｄ２が伝送遅延ｄ１に比べて小さい場合にも適用可能である。

図９は、ビデオ１４−１が表示されていてビデオ１４−２が表示されていない時にビデオ１４−１及びビデオ１４−２を同期して表示することの指示に相当するユーザ情報２８（或いは、表示制御情報２９）を与えられた場合の図８のビデオ表示装置の動作を例示する。

ビデオ表示装置は、時刻ｔ０に上記ユーザ情報２８を与えられる。即ち、ビデオ表示装置は、時刻ｔ０まで、ビデオ１４−１を１倍速で表示するもののビデオ１４−２を表示しない。このとき、ビデオ１４−１の表示遅延は伝送遅延ｄ１に依存する。

伝送遅延ｄ２が伝送遅延ｄ１に比べて大きいので、時刻ｔ０では時刻情報１２−２が時刻情報１２−１に追いついていない。故に、時刻ｔ０では、ビデオ表示装置はビデオ１４−１及びビデオ１４−２を同期して表示できない。従って、復号タイミング制御部３２０は、時刻情報１２−２が時刻情報１２−１に追いつくように、デコーダ１１０−１をｐ倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。ここで、ｐは１未満の値である。

例えば、復号タイミング制御部３２０は、時刻情報１２−１及び時刻情報１２−２に基づいて伝送遅延ｄ１に対する伝送遅延ｄ２の伝送遅延差（＝ｄ２−ｄ１）を算出してもよい。図９の例では、伝送遅延差が正であるから、デコーダ１１０−１を１倍速未満の速度で動作させる必要がある。尚、伝送遅延差が負であれば、デコーダ１１０−１ではなくデコーダ１１０−２を１倍速未満の速度で動作させる必要がある。仮に、伝送遅延差が２秒でありｐ＝０．８３３であるならば、ビデオ１４−１は１秒あたり０．１６７秒遅く表示されるので、１２秒後に時刻情報１２−２が時刻情報１２−１に追いつくことになる。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１をｐ倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、これを表示する。ここで、ビデオ１４−１の表示速度は、デコーダ１１０−１の動作速度に依存するのでｐ倍速である。

伝送遅延ｄ２が伝送遅延ｄ１に比べて大きいので、ビデオ符号化データ１１−２はビデオ符号化データ１１−１に比べて遅い時刻にデコーダ１１０−２によって受信される。デコーダ１１０−２は、ビデオ符号化データ１１−２に含まれる時刻情報に基づいて、デコーダ１１０−２内部のクロックを制御する。デコーダ１１０−２は、クロックによって計時される時刻情報１２−２を復号タイミング制御部３２０へと出力する。

復号タイミング制御部３２０は、デコーダ１１０−２から時刻情報１２−２を入力する。復号タイミング制御部３２０は、デコーダ１１０−２を１倍速で動作させるための復号タイミング制御情報１３−２をデコーダ１１０−２へと出力する。

デコーダ１１０−２は、復号タイミング制御情報１３−２を入力する。デコーダ１１０−２は、復号タイミング制御情報１３−２に基づいて、ビデオ符号化データ１１−２を１倍速でデコードすることによってビデオ１４−２を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−２を入力する。但し、時刻情報１２−２が時刻情報１２−１に追いついていないので、ビデオ表示部１３０はビデオ１４−２を表示しない（ビデオ１４−２の表示時刻に表示が完了したものとして扱い、ビデオ１４−２を破棄する）。

前述の通り、ｐ＜１である。従って、デコーダ１１０−２の動作後のある時刻（ｔｓ）に時刻情報１２−２が時刻情報１２−１に追いつく。ｔｓは、ｐ、伝送遅延ｄ１、伝送遅延ｄ２、ならびに、時刻ｔ０によって決まる。このとき、復号タイミング制御部３２０は、デコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１を１倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力する。このとき、デコーダ１１０−１及びデコーダ１１０−２は１倍速で動作しているので、ビデオ表示部１３０はビデオ１４−１及びビデオ１４−２を１倍速で表示する。このとき、ビデオ１４−１及びビデオ１４−２の表示遅延は伝送遅延ｄ２に依存する。

図１０は、ビデオ１４−１及びビデオ１４−２が同期して表示されている時にビデオ１４−２を表示しないことの指示に相当するユーザ情報２８（或いは、表示制御情報２９）を与えられた場合の図８のビデオ表示装置の動作を例示する。

ビデオ表示装置は、時刻ｔｅに上記ユーザ情報２８を与えられる。即ち、ビデオ表示装置は、時刻ｔｅまで、ビデオ１４−１及びビデオ１４−２を同期して１倍速で表示する。このとき、ビデオ１４−１及びビデオ１４−２の表示遅延は伝送遅延ｄ２に依存する。そして、単にデコーダ１１０−２の動作を停止（或いは、ビデオ１４−２を破棄）するだけでは、ビデオ１４−１の表示遅延は変化しない。即ち、ビデオ１４−１の表示遅延は、ビデオ１４−１が単独で表示される場合に比べて、伝送遅延差（＝ｄ２−ｄ１）ぶん遅れている。

従って、復号タイミング制御部３２０は、ビデオ１４−１の表示遅延を小さくするために、デコーダ１１０−１をｒ倍速で動作させるための復号タイミング制御情報をデコーダ１１０−１へと出力する。ここで、ｒは１より大きな値である。尚、表示遅延を小さくすることは、ビデオ１４−１が即時性のコンテンツ（例えば、災害警報、生放送番組など）を含む場合に好適である。尚、ビデオ１４−１の表示をスキップすることにより表示遅延を直ちに最小化することも可能であるが、ビデオ１４−１の内容を考慮せずに表示をスキップすることはユーザに違和感を与えるおそれがある。

例えば、復号タイミング制御部３２０は、時刻情報１２−１及び時刻情報１２−２に基づいて伝送遅延ｄ１に対する伝送遅延ｄ２の伝送遅延差（＝ｄ２−ｄ１）を算出してもよい。図１０の例では、伝送遅延差が正であるから、デコーダ１１０−１を１倍速よりも大きな速度で動作させる必要がある。尚、伝送遅延差が負であれば、デコーダ１１０−１をそのまま１倍速で動作させればよい。仮に、伝送遅延差が２秒でありｒ＝１．２であるならば、ビデオ１４−１は１秒あたり０．２秒早く表示されるので、１０秒後にビデオ１４−１の表示遅延は最小化されることになる。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１をｒ倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、これを表示する。ここで、ビデオ１４−１の表示速度は、デコーダ１１０−１の動作速度に依存するのでｒ倍速である。

前述のとおり、ｒ＞１である。従って、時刻ｔｅの後のある時刻（ｔｒ）にビデオ１４−１の表示遅延が最小化される（即ち、当該表示遅延が伝送遅延ｄ１に依存する大きさになる）。ｔｒは、ｒ、伝送遅延ｄ１、伝送遅延ｄ２、ならびに、時刻ｔｅによって決まる。このとき、復号タイミング制御部３２０は、デコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

デコーダ１１０−１は、復号タイミング制御情報１３−１を入力する。デコーダ１１０−１は、復号タイミング制御情報１３−１に基づいて、ビデオ符号化データ１１−１を１倍速でデコードすることによってビデオ１４−１を生成し、これをビデオ表示部１３０へと出力する。ビデオ表示部１３０は、ビデオ１４−１を入力し、当該ビデオ１４−１を１倍速で表示する。このとき、ビデオ１４−１の表示遅延は伝送遅延ｄ１に依存する。

図９及び図１０の例では、ビデオ１４−１及びビデオ１４−２の両方が図示された期間の全体に亘って表示可能である。しかしながら、例えば、ビデオ１４−２の表示可能期間がビデオ１４−１の表示可能期間に比べて制限されていてもよい。

具体的には、図１１に示される表示制御情報２９が制御情報解釈部３４０に与えられてもよい。図１１の表示制御情報２９は、ビデオ１４−１に関して、ソースが放送波であること、チャンネル番号が３であること、サービス番号が５１７であること、自動表示コンテンツであること、表示開始時刻が１９９５年６月４日，１２：００：００（ＵＴＣ）であること、表示期間が無限（即ち、放送終了まで）であること、をそれぞれ示している。更に、図１１の表示制御情報２９は、ビデオ１４−２に関して、ソースがインターネットであること、ＵＲＩがｒｔｓｐ：／／ｆｏｏ／ｂａｒ．ｔｓであること、ユーザからの操作情報に基づいて表示されるコンテンツであること、表示開始時刻が１９９５年６月４日，１２：１２：３０（ＵＴＣ）であること、表示終了時刻が１９９５年６月４日，１２：１７：３０（ＵＴＣ）であること、表示期間が５分であること、をそれぞれ示している。この表示制御情報２９は、ビデオ符号化データ１１−１及びビデオ符号化データ１１−２の少なくとも一方に暗黙的または明示的に記述されていてもよい。

図１２は、図１１に示される表示制御情報２９が与えられた場合の図８のビデオ表示装置の動作を例示する。図１２の例では、伝送路１００−１における伝送遅延ｄ１が、伝送路１００−２における伝送遅延ｄ２よりも大きいものとする。また、伝送遅延ｄ１に対する伝送遅延ｄ２の伝送遅延差（＝ｄ２−ｄ１）は２秒であるとする。復号タイミング制御部３２０は、係る伝送遅延差を、例えば、事前測定してもよいし、システム設定に基づいて検出してもよい。

ビデオ表示装置は、当初、ビデオ１４−１を１倍速で表示する。但し、伝送遅延ｄ２は伝送遅延ｄ１に比べて大きいので、ビデオ１４−２の表示開始時刻までに、ビデオ１４−１の表示遅延に上記伝送遅延差ぶんの遅れが生じることが望ましい。故に、ビデオ１４−２の表示開始時刻よりも前のある時刻に、復号タイミング制御部３２０は、デコーダ１１０−１をｐ倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。ここで、ｐは１未満の値である。

復号タイミング制御部３２０が、係る復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する時刻（即ち、デコーダ１１０−１がｐ倍速で動作する期間の開始位置）は、ｐ、ビデオ１４−２の表示開始時刻（図１２の例では１２：１２：３０）、ならびに、上記伝送遅延差（図１２の例では２秒）によって決まる。例えば、ｐ＝０．８３３であるならば、１２秒間でビデオ１４−１の表示に用いるＳＴＣ値は２秒遅れることになる。故に、復号タイミング制御部３２０は、ビデオ１４−２の表示開始時刻の１２秒前（即ち、ビデオ１４−１の表示に用いるＳＴＣ値が１２：１２：２０である時）に、デコーダ１１０−１を０．８３３倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力すればよい。

図１２の例では、ビデオ１４−２の表示開始時刻である１２：１２：３０に、時刻情報１２−２が時刻情報１２−１に追いつく。このとき、復号タイミング制御部３２０は、デコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

ビデオ１４−２の表示終了時刻である１２：１７：３０に、ビデオ１４−２の表示が終了する。このとき、ビデオ１４−１の表示遅延は、伝送遅延ｄ１よりも大きな伝送遅延ｄ２に依存しており、ビデオ１４−１が単独で表示される場合に比べて伝送遅延差（＝ｄ２−ｄ１）ぶん遅れている。係るビデオ１４−１の表示遅延は、早期にかつシームレスに最小化されることが望ましい。故に、復号タイミング制御部３２０は、ビデオ１４−１の表示遅延を小さくするために、デコーダ１１０−１をｒ倍速で動作させるための復号タイミング制御情報をデコーダ１１０−１へと出力する。ここで、ｒは１より大きな値である。

ビデオ１４−１の表示遅延が最小化される時刻（即ち、デコーダ１１０−１がｒ倍速で動作する期間の終了位置）は、ｒ、ビデオ１４−２の表示終了時刻（図１２の例では１２：１７：３０）、ならびに、上記伝送遅延差（図１２の例では２秒）によって決まる。例えば、ｒ＝１．２であるならば、１０秒間でビデオ１４−１の表示に用いるＳＴＣ値は２秒進むことになる。故に、ビデオ１４−１の表示遅延は、ビデオ１４−２の表示終了時刻から１０秒後（即ち、ビデオ１４−１の表示に用いるＳＴＣ値が１２：１７：４２である時）に最小化される。このとき、復号タイミング制御部３２０は、デコーダ１１０−１を１倍速で動作させるための復号タイミング制御情報１３−１をデコーダ１１０−１へと出力する。

以上説明したように、第５の実施形態に係るビデオ表示装置は、複数の伝送路を通じて伝送される複数のビデオ符号化データに基づくビデオの表示状態が切り替えられる場合に、係る表示状態の切り替えをシームレスに行う。例えば、ビデオ表示装置は、表示中のビデオに加えて別のビデオを同期して表示する場合に、伝送遅延が最大でない伝送路に対応するデコーダを１倍速未満で動作させることにより、表示中のビデオと別のビデオとをシームレスに同期させることができる。また、ビデオ表示装置は、表示中のビデオのうち一部のビデオの表示を終了する場合に、残部のビデオに対応するデコーダを必要に応じて１倍速よりも大きな速度で動作させることにより当該残部のビデオの表示遅延をシームレスに最小化させることができる。

上記各実施形態の処理は、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。上記各実施形態の処理を実現するプログラムは、コンピュータで読み取り可能な記憶媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記憶媒体に記憶される。記憶媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記憶媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０−１，１０−２，１０−ｊ，１０−Ｎ，１１，１１−１，１１−２，１１−ｊ，１１−Ｎ・・・ビデオ符号化データ
１２，１２−１，１２−２，１２−ｊ，１２−Ｎ・・・時刻情報
１３，１３−１，１３−２，１３−ｊ，１３−Ｎ・・・復号タイミング制御情報
１４，１４−１，１４−２，１４−ｊ，１４−Ｎ・・・ビデオ
１５・・・デコーダ動作情報
１６，２２・・・画像
１７・・・サブ画像
１８，２７・・・オーディオ
１９・・・時刻情報
２０・・・画像符号化データ
２３，２６・・・デコード一時停止信号
２４・・・オーディオ符号化データ
２８・・・ユーザ情報
２９・・・表示制御情報
３０・・・制御情報
１００−１，１００−２，１００−ｊ，１００−Ｎ・・・伝送路
１１０，１１０−１，１１０−２，１１０−ｊ，１１０−Ｎ，２１０・・・デコーダ
１１１・・・分離部
１１２，２１２・・・ＳＴＣカウンタ
１１３・・・画像バッファ
１１４，２１４・・・画像デコーダ
１１５，２１５・・・画像表示バッファ
１１６・・・オーディオバッファ
１１７，２１７・・・オーディオデコーダ
１１８，２１８・・・オーディオ出力バッファ
１２０，３２０・・・復号タイミング制御部
１３０・・・ビデオ表示部
３４０・・・制御情報解釈部

Claims (18)

1. 第１の伝送路を通じて第１のビデオ符号化データを受信し、当該第１のビデオ符号化データを第１の速度でデコードすることによって、第１のビデオを生成する第１のデコーダと、
   前記第１の伝送路とは異なる第２の伝送路を通じて第２のビデオ符号化データを受信し、当該第２のビデオ符号化データを第２の速度でデコードすることによって、第２のビデオを生成する第２のデコーダと、
   前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２のデコーダの第２の時刻情報が前記第１のデコーダの第１の時刻情報に追いつくまでに前記第１の速度が１倍速未満となる期間が生じるように前記第１の速度を制御する制御部と、
   前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２の時刻情報が前記第１の時刻情報に追いつくまで前記第１のビデオを前記第１の速度で表示する表示部と
   を具備する、ビデオ表示装置。
2. 前記制御部は、前記第２のビデオ符号化データが前記第１のビデオ符号化データよりも遅く受信される場合に、前記第２の速度を１倍速に制御し、前記第２の時刻情報が前記第１の時刻情報に追いついてから前記第１の速度を１倍速に制御する、請求項１のビデオ表示装置。
3. 前記表示部は、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２の時刻情報が前記第１の時刻情報に追いついてから前記第１のビデオ及び前記第２のビデオを前記第１の速度及び前記第２の速度のいずれか一方で表示する、請求項１のビデオ表示装置。
4. 前記表示部は、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２の時刻情報が前記第１の時刻情報に追いついてから前記第１のビデオに含まれる第１の画像及び前記第２のビデオに含まれる第２の画像を組み合わせることによって生成される第３の画像を前記第１の速度及び前記第２の速度のいずれか一方で表示する、請求項１のビデオ表示装置。
5. 前記表示部は、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２の時刻情報が前記第１の時刻情報に追いついてから前記第１のビデオに含まれる第１の画像を前記第１の速度及び前記第２の速度のいずれか一方で表示すると共に前記第２のビデオに含まれる第２の画像をサブ画像として前記第１の画像と同じ速度で表示する、請求項１のビデオ表示装置。
6. 前記第１の伝送路はデジタル放送の伝送路であり、前記第２の伝送路はＩＰ網である、請求項１のビデオ表示装置。
7. 前記第１の伝送路及び前記第２の伝送路は、デジタル放送の伝送路であって物理レイヤにおいて異なる、請求項１のビデオ表示装置。
8. 前記第１の伝送路及び前記第２の伝送路は、デジタル放送の伝送路であって物理レイヤにおいて共通し論理レイヤにおいて異なる、請求項１のビデオ表示装置。
9. ユーザ情報及び表示制御情報の少なくとも一方を解釈することによって、前記第１のビデオ及び前記第２のビデオの表示状態に関する制御情報を得る解釈部を更に具備し、
   前記制御部は、前記制御情報と前記第１のビデオ及び前記第２のビデオの現行の表示状態とに基づいて前記第１の速度及び前記第２の速度を制御する、
   請求項１のビデオ表示装置。
10. 前記制御部は、前記第１のビデオが表示されていて前記第２のビデオが表示されていない時に当該第１のビデオ及び当該第２のビデオを同期して表示することを指示する制御情報が入力され、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合には、前記第２のデコーダの第２の時刻情報が前記第１のデコーダの第１の時刻情報に追いつくまでに前記第１の速度が１倍速未満となる期間が生じるように前記第１の速度を制御する、請求項９のビデオ表示装置。
11. 前記制御部は、前記第１の速度が１倍速未満となる期間において、前記第１のビデオが特定の状況に該当する場合に、当該第１のビデオの表示を一時的に停止させる、請求項１０のビデオ表示装置。
12. 前記制御部は、前記第１のビデオ及び前記第２のビデオが同期して表示されている時に当該第２のビデオの表示を終了することを指示する制御情報が入力され、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合には、前記第１の速度が１倍速より大きくなる期間が生じるように前記第１の速度を制御する、請求項９のビデオ表示装置。
13. 前記制御部は、前記第１の速度が１倍速より大きくなる期間において、前記第１のビデオが特定の状況に該当する場合に、当該第１のビデオの表示をスキップさせる、請求項１２のビデオ表示装置。
14. 前記制御部は、前記第１のビデオ及び前記第２のビデオを含む複数のビデオを同期して表示することを指示する制御情報が入力されると、当該複数のビデオのうち伝送遅延の最も大きなビデオを基準に当該複数のビデオを同期して表示させる、請求項９のビデオ表示装置。
15. 前記解釈部は、前記第１のビデオ及び前記第２のビデオを含む複数のビデオから、同期して表示されるビデオを選択する指示に相当するユーザ操作を受理するための情報をユーザに提示する、請求項９のビデオ表示装置。
16. 前記ユーザ情報は、ユーザの属性情報を含み、
    前記解釈部は、前記ユーザの属性情報に基づいて、前記第１のビデオ及び前記第２のビデオを含む複数のビデオから、同期して表示されるビデオを自動的に選択する、
    請求項９のビデオ表示装置。
17. 前記表示制御情報は、前記第２のビデオが前記第１のビデオと同期して表示される時刻を示す情報を含み、
    前記制御部は、前記第１のビデオ及び前記第２のビデオを同期して表示することを指示する制御情報が入力され、前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合には、前記第２のビデオの表示開始時刻の前に前記第１の速度が１倍速未満となる期間が生じるように前記第１の速度を制御し、
    前記第１の速度が１倍速未満となる期間の開始位置は、前記第２のビデオの表示開始時刻と、前記第１の伝送路と前記第２の伝送路との間の伝送遅延差と、当該期間における前記第１の速度とに基づいて、決定される、
    請求項９のビデオ表示装置。
18. 第１の伝送路を通じて第１のビデオ符号化データを受信することと、
    第１のデコーダが前記第１のビデオ符号化データを第１の速度でデコードすることによって、第１のビデオを生成することと、
    前記第１の伝送路とは異なる第２の伝送路を通じて第２のビデオ符号化データを受信することと、
    第２のデコーダが前記第２のビデオ符号化データを第２の速度でデコードすることによって、第２のビデオを生成することと、
    前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２のデコーダの第２の時刻情報が前記第１のデコーダの第１の時刻情報に追いつくまでに前記第１の速度が１倍速未満となる期間が生じるように前記第１の速度を制御することと、
    前記第１のビデオ符号化データが前記第２のビデオ符号化データよりも早く受信される場合に、前記第２の時刻情報が前記第１の時刻情報に追いつくまで前記第１のビデオを前記第１の速度で表示することと
    を具備する、ビデオ表示方法。

Images