JPWO2013136754A1 - 表示装置、及び送信装置 - Google Patents

Abstract

複数の映像フレームと、映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報とを含むストリームを受信する受信部と、複数の映像フレームのそれぞれを、第１表示タイミング情報によって定められる表示タイミングで表示する表示部と、画像と、画像の表示タイミングを定める第２表示タイミング情報とを記憶する記憶部と、第２表示タイミング情報によって定められる表示タイミングを補正することで、記憶部に記憶される画像を、表示部に表示される映像フレームに同期させて表示するための補正量を定める補正情報を取得する取得部とを備え、表示部は、さらに、第２表示タイミング情報によって定められる表示タイミングを補正情報によって定められる補正量分補正した補正タイミングで、記憶部に記憶される画像を表示することを特徴とする表示装置。

Description

本発明は、放送コンテンツとそれに付随するコンテンツとを同期して再生する技術に関する。

放送波によって伝送される映像（以下、「放送映像」と呼ぶ。）と、インターネット回線等の通信網によって伝送される映像（以下、「通信映像」と呼ぶ。）とを受信し、これらの映像を互いに同期させて表示する表示装置が知られている。

例えば、非特許文献１記載のＨｙｂｒｉｄｃａｓｔ（登録商標）システムにおいて、放送映像を送信する放送局は、放送映像が映像製作者の意図した通りのタイミングで通信映像と同期して表示されるように、放送映像を構成する映像フレームのそれぞれに、表示されるべきタイミングを示す表示タイミング情報（例えば、ＰＴＳ（Presentation Time Stamp））を付与して放送映像を送信し、通信映像を送信する通信サービス提供局は、通信映像が映像製作者の意図した通りのタイミングで放送映像と同期して表示されるように、通信映像を構成する映像フレームのそれぞれに表示タイミング情報を付与して通信映像を送信する。そして、表示装置は、受信した放送映像を構成する映像フレームのそれぞれと、受信した通信映像を構成する映像フレームのそれぞれとを、付与された表示タイミング情報で示されるタイミングで表示する。

このことによって、この表示装置は、放送映像と通信映像とを、映像製作者の意図した通りのタイミングで同期させて表示する。

ＮＨＫ技研 Ｒ＆Ｄ Ｎｏ．１２４ "Ｈｙｂｒｉｄｃａｓｔ ＴＭの概要と技術"

ところで、放送局が放送する番組の放送時刻が、急遽変更されてしまう場合がある。これは、例えば、急遽、緊急ニュース放送が放送されることになり、後続番組の放送時刻が変更される場合等が該当する。

このような場合に、放送時刻が変更された番組の放送映像は、当初映像製作者が意図していた表示タイミングと異なる表示タイミングで表示されなければならなくなるため、この放送映像を構成する映像フレームのそれぞれには、当初付与しようとしていた表示タイミング情報とは異なる表示タイミング情報が付与されることとなる。

番組の放送時刻が変更された場合において、表示装置が、通信サービス提供局から送信された、その番組に対応する通信映像を既に受信して記憶しているときには、その番組の放送映像を構成する映像フレームのそれぞれと、その通信映像を構成する映像フレームのそれぞれとを、付与された表示タイミング情報で示されるタイミングで表示したとしても、これらの映像は、映像製作者の意図した通りのタイミングで同期して表示されない。

そこで、本発明は係る問題に鑑みてなされたものであり、番組の放送時刻が変更された場合において、その番組に対応する通信映像を既に受信して記憶しているときであっても、放送映像と通信映像とを、映像製作者の意図した通りのタイミングで同期させて表示することを可能とする表示装置を提供することを目的とする。

上記課題を解決するために本発明に係る表示装置は、受信した、複数の映像フレームを含むストリームに、別途取得して記憶している画像を同期させて表示する表示装置であって、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報とを含むストリームを受信する受信部と、前記受信部によって受信されたストリームに含まれる複数の映像フレームのそれぞれを、前記受信部によって受信されたストリームに含まれる第１表示タイミング情報によって定められる表示タイミングで表示する表示部と、画像と、当該画像の表示タイミングを定める第２表示タイミング情報とを記憶する記憶部と、前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを補正することで、前記記憶部に記憶される画像を、前記表示部に表示される映像フレームに同期させて表示するための補正量を定める補正情報を取得する取得部とを備え、前記表示部は、さらに、前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを前記取得部によって取得された補正情報によって定められる補正量分補正した補正タイミングで、前記記憶部に記憶される画像を表示することを特徴とする。

上述の構成を備える本発明に係る表示装置は、番組の放送時刻が変更された場合において、その番組に対応する通信映像を既に受信して記憶しているときであっても、放送映像と通信映像とを、映像製作者の意図した通りのタイミングで同期させて表示することを可能とすることができる。

放送システム１００の概念図 放送局１２０と通信サービス提供局１３０との概略構成を示す模式図 放送局１２０と通信サービス提供局１３０とで取り扱われる映像の一例を示す模式図 （ａ）表示装置１１０の外観図、（ｂ）放送映像を画面上に表示しているシーンを示す模式図、（ｃ）放送映像と通信映像とを画面上に同期させて重畳して表示しているシーンを示す模式図 表示装置１１０の構成図 主要ビデオデコード部の構成図 （ａ）ストリームがバッファリングされている様子を示す模式図、（ｂ）第１ＧＯＰ情報テーブルと第２ＧＯＰ情報テーブルとの構成図 タイミング図 出力開始処理のフローチャート 第１変形主要ビデオデコード部の構成図 第２変形主要ビデオデコード部の構成図 第３変形主要ビデオデコード部の構成図 （ａ）倍速前のＴＳパケット列のタイミング図、（ｂ）倍速後のＴＳパケット列のタイミング図、（ｃ）合成ストリームのＴＳパケット列のタイミング図 第４変形主要ビデオデコード部の構成図 タイミング図 第５変形主要ビデオデコード部の構成図 （ａ）ＣＧ画像データのデータ構成図、（ｂ）タイミング図 第６変形主要ビデオデコード部の構成図 変形第１ＧＯＰ情報テーブルと変形第２ＧＯＰ情報テーブルとの構成図 タイミング図 変換器２１００の構成図 タイミング図 主要ビデオデコード部の構成図 タイミング図 タイミング図 タイミング図 同期再生制御モジュールのＡＰＩ一覧 ＨＴＭＬ５コンテンツ拡張例 ＨＴＭＬ５コンテンツ拡張例 ＨＴＭＬ５コンテンツ拡張例 主要ビデオデコード部の構成図 ＭＰＥＧ−２ ＴＳ形式のデジタルストリームの構成図 ビデオストリームの階層構造図 アクセスユニットの構成図 ＥＳパケット列にビデオストリームがどのように格納されるかを示す模式図 ＴＳパケットのデータ構造図 ＰＭＴのデータ構造図 ピクチャの参照構造図 ＴＴＳストリームの構造図 表示装置４０００の構成図

＜実施の形態＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、放送局から、放送波を介して送信される放送映像を受信し、通信サービス提供局から、インターネット回線を介して送信される通信映像を受信し、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して表示する表示装置について説明する。

この表示装置は、通信サービス提供局から、通信映像と、通信映像を構成する映像フレームそれぞれの表示タイミングを示すＰＴＳ（以下、「通信映像ＰＴＳ」と呼ぶ。）とを含む通信ストリームを受信する。また、放送局から、放送映像と、放送映像を構成する映像フレームそれぞれの表示タイミングを示すＰＴＳ（以下、「放送映像ＰＴＳ」と呼ぶ。）と、通信映像ＰＴＳによって示される表示タイミングを補正する補正量を示すＳＴＣ＿ｏｆｆｓｅｔ（System Time Counter offset）とを含む放送ストリームを受信する。そして、受信した放送映像を構成する映像フレームのそれぞれを、放送映像ＰＴＳによって示される表示タイミングで表示し、受信した通信映像を構成する映像フレームのそれぞれを、通信映像ＰＴＳによって示される表示タイミングに対して、ＳＴＣ＿ｏｆｆｓｅｔによって示される補正量だけ補正した表示タイミングで表示する。

このことによって、この表示装置は、放送映像ＰＴＳによって示される、放送映像を構成する映像フレームの表示タイミングが、なんらかの事情によって、映像製作者の意図した通りの表示タイミングからずれてしまう場合であっても、そのずれを補正する補正量を示すＳＴＣ＿ｏｆｆｓｅｔを受信することで、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して表示することができる。

以下、この表示装置の構成について図面を参照しながら説明する。

＜構成＞
図１は、放送局１２０と通信サービス提供局１３０と表示装置１１０とを含む放送システム１００の概念図である。

同図において、放送局１２０は、放送映像と、放送映像ＰＴＳと、通信映像ＰＴＳによって示される表示タイミングを補正する補正量を示すＳＴＣ＿ｏｆｆｓｅｔとを含む、ＭＰＥＧ（Moving Picture Experts Group）−２ ＴＳ（Transport Stream）形式の放送ストリームを生成し、生成した放送ストリームを、放送アンテナ１２１から放送波を介して送信する。

ここで、ＳＴＣ＿ｏｆｆｓｅｔは、例えば、ＰＭＴ（Program Map Table）、ＥＩＴ（Event Information Table）といった、ＰＳＩ／ＳＩ（Program Specific Information / Service Information）に格納される。

通信サービス提供局１３０は、放送映像と同期して表示されるべき通信映像と、通信映像ＰＴＳとを含む、ＭＰＥＧ−２ ＴＳ形式の通信ストリームを生成し、生成した通信ストリームを、インターネット通信網１４０を介して表示装置１１０に送信する。

表示装置１１０は、放送局１２０から送信される放送ストリームを、受信アンテナ１１１から受信して放送映像を復元し、通信サービス提供局１３０から送信される通信ストリームをインターネット通信網１４０から受信して放送映像を復元する。そして、放送映像を構成する映像フレームのそれぞれを、放送映像ＰＴＳによって示される表示タイミングで表示し、通信映像を構成する映像フレームのそれぞれを、通信映像ＰＴＳによって示される表示タイミングに対して、ＳＴＣ＿ｏｆｆｓｅｔによって示される補正量だけ補正した表示タイミングで表示する。

図２は、放送局１２０と通信サービス提供局１３０との概略構成を示す模式図である。

同図に示されるように、放送局１２０は、放送映像撮影手段２１０と放送映像編集手段２１１と放送ストリーム生成手段２１２とＰＴＳタイミング決定手段２１３と放送ストリーム記憶手段２１４と出力手段２１５とから構成される。出力手段２１５は、さらに、ＳＴＣオフセット付与手段２１６を含む。

そして、通信サービス提供局１３０は、通信映像撮影手段２２０と通信映像編集手段２２１と通信ストリーム生成手段２２２と通信ストリーム記憶手段２２４と出力手段２２５とから構成される。

放送映像撮影手段２１０は、ビデオカメラ等といった撮影機器を含み、映像、音声を撮影する機能を有する。この放送映像撮影手段２１０は、必ずしも、放送局１２０内部に固定されているものではなく、必要に応じて、放送局１２０外部においても、映像、音声の撮影を行うことが可能なものである。

放送映像編集手段２１１は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、放送映像撮影手段２１０によって撮影された、映像、音声を編集する機能を有する。

通信映像撮影手段２２０は、ビデオカメラ等といった撮影機器を含み、映像、音声を撮影する機能を有する。この通信映像撮影手段２２０は、必ずしも、通信サービス提供局１３０内部に固定されているものではなく、必要に応じて、通信サービス提供局１３０外部においても、映像、音声の撮影を行うことが可能なものである。

通信映像編集手段２２１は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、通信映像撮影手段２２０によって撮影された、映像、音声を編集する機能を有する。

以下では、放送映像編集手段２１１と通信映像編集手段２２１とによってなされる編集の具体例について、図面を参照しながら説明する。

図３は、放送局１２０と通信サービス提供局１３０とで取り扱われる映像の一例示す模式図である。

以下では、サッカーの試合において、放送映像撮影手段２１０が比較的視野の広い映像を撮影し、通信映像撮影手段２２０が、放送映像撮影手段２１０による撮影とは別視点からの映像（例えば、特定選手がズームアップされた映像）を撮影する場合であって、放送映像撮影手段２１０によって撮影された映像と、通信映像撮影手段２２０によって撮影された映像とが、同時刻に撮影された映像フレームが、同時刻に表示されることを想定して、これらの映像が編集される場合を例として説明する。また、以下では、説明が必要以上に煩雑になってしまわないように、音声についての説明を省略して、映像についての説明を中心に行う。

図３に示されるように、放送映像撮影手段２１０は、比較的視野の広い映像である撮影映像３０１を撮影する。

放送映像編集手段２１１は、放送映像撮影手段２１０によって撮影された撮影映像３０１から、放送するシーンを切り出して、切り出した映像に対して、例えば、スコア情報３０３といったグラフィックスを重ね合わせる。

通信映像撮影手段２２０は、放送映像撮影手段２１０による撮影とは別視点からの映像を撮影する。

通信映像編集手段２２１は、放送映像編集手段２１１によって切り出されたシーンと同時刻帯のシーンを、通信映像撮影手段２２０によって撮影された撮影映像３１１から切り出して、切り出した映像に対して、例えば、選手情報３１３といったグラフィックスを重ね合わせる。

再び図２に戻って、放送局１２０と通信サービス提供局１３０との説明を続ける。

ＰＴＳタイミング決定手段２１３は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、放送映像編集手段２１１によって編集された映像を構成する映像フレームのそれぞれについて、付与するＰＴＳの値を決定する機能を有する。

放送ストリーム生成手段２１２は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、放送映像編集手段２１１によって編集された映像、音声と、ＰＴＳタイミング決定手段２１３によって決定されたＰＴＳの値とから、ビデオストリームとオーディオストリームと字幕ストリームとシステムパケットとが多重化された、ＭＰＥＧ−２ ＴＳ形式の放送ストリームを生成する機能を有する。

ここで、放送ストリーム生成手段２１２は、例えば、映像であれば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ等のビデオコーデックで符号化してビデオストリームと生成し、例えば、音声であれば、ＡＣ３（Audio Code number 3）、ＡＡＣ（Advanced Audio Coding）等のオーディオコーデックで符号化する。

放送ストリーム記憶手段２１４は、ハードディスクドライブ等の記憶装置を含み、放送ストリーム生成手段２１２によって生成された放送ストリームを記憶する機能を有する。

通信ストリーム生成手段２２２は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、通信映像編集手段２２１によって編集された映像と、ＰＴＳタイミング決定手段２１３によって決定されたＰＴＳとから、ビデオストリームとオーディオストリームとが多重化された、ＭＰＥＧ−２ ＴＳ形式の通信ストリームを生成する機能を有する。ここで、通信ストリーム生成手段２２２は、通信映像編集手段２２１によって編集された映像を構成する映像フレームのそれぞれについて、放送映像編集手段２１１によって編集された映像を構成する映像フレームのうちの同時刻に撮影された映像フレームに付与されるＰＴＳの値と同じ値のＰＴＳが付与されるように、通信ストリームの生成を行う。

ここで、通信ストリーム生成手段２２２は、放送ストリーム生成手段２１２と同様に、例えば、映像であれば、ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ等のビデオコーデックで符号化してビデオストリームと生成し、例えば、音声であれば、ＡＣ３、ＡＡＣ等のオーディオコーデックで符号化する。

通信ストリーム記憶手段２２４は、ハードディスクドライブ等の記憶装置を含み、通信ストリーム生成手段２２２によって生成された通信ストリームを記憶する機能を有する。

ＳＴＣオフセット付与手段２１６は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、以下のＳＴＣオフセット付与機能を有する。

ＳＴＣオフセット付与機能：（１）放送ストリーム記憶手段２１４に記憶される映像ストリームに対応する番組の放送時刻が変更になった場合に、放送時刻が変更になる前における各映像フレームについての放送映像ＰＴＳの値と、放送時刻が変更になった後における各映像フレームについての放送映像ＰＴＳの値との差分量を算出し、算出した差分量を、ＳＴＣ＿ｏｆｆｓｅｔとして、新たな放送ストリームに含まれる、ＰＳＩ／ＳＩに格納し、（２）放送ストリーム記憶手段２１４に記憶される映像ストリームに対応する番組の放送時刻が変更にならなかった場合には、差分量の値が“０”となるＳＴＣ＿ｏｆｆｓｅｔを、ＰＳＩ／ＳＩに格納する機能。

出力手段２１５は、プロセッサ、メモリ等を具備するコンピュータシステム、出力アンプ等を含み、ＳＴＣオフセット付与手段２１６によってＰＳＩ／ＳＩにＳＴＣ＿ｏｆｆｓｅｔが格納された放送ストリームを、所定のフォーマットで所定の周波数帯の放送信号に変調し、変調した放送信号を、放送アンテナ１２１から送信する機能を有する。

出力手段２２５は、プロセッサ、メモリ等を具備するコンピュータシステムを含み、通信ストリーム記憶手段２２４に記憶される通信ストリームを、インターネット通信網１４０を介して表示装置１１０に出力する機能と、表示装置１１０に含まれる後述のバッファ５４２において、入力される通信ストリームを遅延させる場合における遅延量（ディレイ値）を指定するＡＴＣ＿ｄｅｌａｙ（Arrival Time Counter delay）を、インターネット通信網１４０を介して表示装置１１０に出力する機能とを有する。

図４（ａ）は、表示装置１１０の外観図であり、図４（ｂ）は、表示装置１１０が、受信した放送ストリームから放送映像を復元し、復元した放送映像を画面上に表示しているシーンを示す模式図であり、図４（ｃ）は、表示装置１１０が、受信した放送ストリームと通信ストリームとから放送映像と通信映像とを復元して、復元した放送映像に、復元した通信映像を重畳させて、放送映像と通信映像とを画面上に同期させて表示しているシーンを示す模式図である。

図４（ａ）に示されるように表示装置１１０には、リモコン４１０が付属している。そして、表示装置１１０を利用するユーザは、リモコン４１０を利用して、表示装置１１０を操作する。

図４（ｃ）に示されるように、この表示装置１１０は、放送映像と通信映像とを同期させて表示する場合に、放送映像の一部の領域に、通信映像を、Ｐｉｃｔｕｒｅ−Ｉｎ−Ｐｉｃｔｕｒｅとして重畳させて表示する。

図５は、表示装置１１０の構成を示す構成図である。

同図に示されるように、表示装置１１０は、チューナ５０１と通信インターフェース５０２と外部機器インターフェース５０３とリモコンインターフェース５０４と放送ストリームデコード手段５１０と通信ストリームデコード手段５２０とアプリケーション実行制御部５３０と同期開始パケット決定部５４０と入力開始制御部５４１とバッファ５４２とＡＴＣディレイ部５４３と字幕プレーン５５１と第１ビデオプレーン５５２と背景プレーン５５３とグラフィックスプレーン５５４と第２ビデオプレーン５５５とプレーン合成処理部５６０と音声合成処理部５７０とディスプレイ５８０とスピーカ５９０とから構成される。

さらに、放送ストリームデコード手段５１０は、第１多重分離部５１１と第１オーディオデコーダ５１２と字幕デコーダ５１３と第１ビデオデコーダ５１４とシステムパケットマネージャ５１５とから構成され、通信ストリームデコード手段５２０は、第２多重分離部５２１と第２ビデオデコーダ５２３と第２オーディオデコーダ５２２とから構成される。

チューナ５０１は、放送局１２０から送信された放送信号を、受信アンテナ１１１を利用して受信して復調し、復調で得られた放送ストリームを放送ストリームデコード手段５１０に出力する機能を有する。

通信インターフェース５０２は、例えば、ＮＩＣ（Network Interface Card）等を含み、通信サービス提供局１３０から出力された通信ストリームを、インターネット通信網１４０から受信してバッファ５４２に出力する機能と、通信サービス提供局１３０から出力されたＡＴＣ＿ｄｅｌａｙを受信してＡＴＣディレイ部５４３に出力する機能と、アプリケーション実行制御部５３０が実行するアプリケーション、アプリケーション実行制御部５３０が描画するＣＧ（Computer Graphics）画像等を、インターネット通信網１４０から取得して、アプリケーション実行制御部５３０に出力する機能とを有する。

バッファ５４２は、通信インターフェース５０２から送られて来る通信ストリームを、ＡＴＣディレイ部５４３から指定されるディレイだけ遅延させて、通信ストリームデコード手段５２０に出力する機能を有する。

ＡＴＣディレイ部５４３は、通信インターフェース５０２からＡＴＣ＿ｄｅｌａｙが送られて来た場合に、バッファ５４２に、通信インターフェース５０２から送られて来る通信ストリームを、そのＡＴＣ＿ｄｅｌａｙによって指定されるディレイ値だけディレイさせて、通信ストリームデコード手段５２０に出力させる機能を有する。

外部機器インターフェース５０３は、例えば、ＵＳＢ（Universal Serial Bus）ポート等を含み、接続される外部機器（例えば、カメラ、モーションセンサー、ＵＳＢメモリ等）から信号を受け取り、受け取った信号をアプリケーション実行制御部５３０に出力する機能を有する。

リモコンインターフェース５０４は、リモコン４１０から送られて来る信号を受信し、受信した信号をアプリケーション実行制御部５３０に出力する機能を有する。

第１多重分離部５１１は、チューナ５０１から送られて来る放送ストリームから、ビデオストリームとオーディオストリームと字幕ストリームとシステムパケットとを分離して、分離したビデオストリームを第１ビデオデコーダ５１４に出力し、分離したオーディオストリームを第１オーディオデコーダ５１２に出力し、分離した字幕ストリームを字幕デコーダ５１３に出力し、分離したシステムパケットをシステムパケットマネージャ５１５に出力する機能を有する。

第２多重分離部５２１は、バッファ５４２から送られて来る放送ストリームから、ビデオストリームとオーディオストリームとを分離して、分離したビデオストリームを第２ビデオデコーダ５２３に出力し、分離したオーディオストリームを第２オーディオデコーダ５２２に出力する機能を有する。

第１ビデオデコーダ５１４は、第１多重分離部５１１から送られて来るビデオストリームをデコードして、非圧縮の映像フレームを生成し、生成した映像フレームを、そのフレームに対応付けられたＰＴＳのタイミングで第１ビデオプレーン５５２に出力する機能を有する。

第２ビデオデコーダ５２３は、第２多重分離部５２１から送られて来るビデオストリームをデコードして非圧縮の映像フレームを生成し、生成した映像フレームを、そのフレームに対応付けられたＰＴＳのタイミングで第２ビデオプレーン５５５に出力する機能を有する。

第１オーディオデコーダ５１２は、第１多重分離部５１１から送られて来るオーディオストリームをデコードして非圧縮のＬＰＣＭ（Linear Pulse Code Modulation）方式のオーディオフレームを生成し、生成したオーディオフレームを、そのフレームに対応付けられたＰＴＳのタイミングで音声合成処理部５７０に出力する機能を有する。

第２オーディオデコーダ５２２は、第２多重分離部５２１から送られて来るオーディオストリームをデコードして、非圧縮のＬＰＣＭ方式のオーディオフレームを生成し、生成したオーディオフレームを、そのフレームに対応付けられたＰＴＳのタイミングで音声合成処理部５７０に出力する機能を有する。

字幕デコーダ５１３は、第１多重分離部５１１から送られて来る字幕フレームをデコードして非圧縮のイメージフレームを生成し、生成したイメージフレームを、そのイメージフレームに対応付けられたＰＴＳのタイミングで字幕プレーン５５１に出力する機能を有する。

システムパケットマネージャ５１５は、以下の２つの機能を有する。

データ提供機能：第１多重分離部５１１から送られて来るシステムパケットを解析して、アプリケーション実行制御部５３０からの要求に応じて、アプリケーション実行制御部５３０が必要とするデータを提供する機能。

ここで、提供するデータには、例えば、ＥＩＴ（Encoded information type）パケット等に格納される番組情報、ＰＭＴ（Program Map Table）パケットに格納されるストリームの属性情報、ＤＳＭ−ＣＣ（Digital Storage Media ？ Command and Control）等で提供されるＢＭＬ（broadcast Markup Language）コンテンツの情報等がある。

通知機能：第１多重分離部５１１から送られて来るシステムパケットの中に、アプリケーション実行制御部５３０に対する、アプリケーションの実行制御信号（例えば、アプリケーションの実行開始信号、アプリケーションの実行終了信号等）を含むパケットが含まれている場合に、そのパケットを受け取ったタイミングで、アプリケーション実行制御部５３０に、アプリケーションの制御信号を通知する機能。

アプリケーション実行制御部５３０は、通信インターフェース５０２によって取得されたアプリケーションを実行する機能を有する。例えば、アプリケーションがＨＴＭＬ（Hyper Text Markup Language）コンテンツである場合には、Ｗｅｂブラウザであり、アプリケーションがＪａｖａ（登録商標）である場合には、ＪａｖａＶＭである。

ここで、アプリケーションは、放送リソースアクセスＡＰＩ（Application Programming Interface）を経由して、システムパケットマネージャ５１５より、現在表示中の放送番組の番組情報や、ストリームの属性情報等を取得する。また、アプリケーションは、再生制御ＡＰＩを経由して、放送ストリームデコード手段５１０、通信ストリームデコード手段５２０の動作、停止等を制御する。また、アプリケーションは、グラフィックス描画ＡＰＩを経由して、ＣＧ画像を、背景プレーン５５３、グラフィックスプレーン５５４に出力する。また、アプリケーションは、プレーン合成処理部５６０におけるプレーンの合成方法を制御する。プレーンの合成方法としては、ビデオプレーンに対して拡大、縮小等のスケーリングや、ポジショニング等が含まれる。また、アプリケーションは、外部機器インターフェース５０３、リモコンインターフェース５０４からのデータを取得して、ユーザの操作に合わせて、画像の表示内容を変更してグラフィカルユーザインターフェースを実現する。

字幕プレーン５５１は、字幕デコーダ５１３から送られて来たフレームを格納するためのバッファであり、第１ビデオプレーン５５２は、第１ビデオデコーダ５１４から送られて来たフレームを格納するためのバッファであり、背景プレーン５５３は、アプリケーション実行制御部５３０から送られて来た背景画像を格納するためのバッファであり、グラフィックスプレーン５５４は、アプリケーション実行制御部５３０から送られて来たＣＧ画像を格納するためのバッファであり、第２ビデオプレーン５５５は、第２ビデオデコーダ５２３から送られて来たフレームを格納するためのバッファである。

プレーン合成処理部５６０は、字幕プレーン５５１と第１ビデオプレーン５５２と背景プレーン５５３とグラフィックスプレーン５５４と第２ビデオプレーン５５５とに格納されている画像を合成して１枚の画像を生成し、生成した画像をディスプレイに出力する機能を有する。

ここで、プレーン合成処理部５６０は、画像の合成において、背面側から順に、背景プレーン５５３、第１ビデオプレーン５５２、第２ビデオプレーン５５５、字幕プレーン５５１、グラフィックスプレーン５５４の順で重畳して画像の合成を行う。また、アプリケーション実行制御部５３０によって実行されるアプリケーションからの合成方法の制御に応じて、ビデオプレーンに対して拡大、縮小等のスケーリングや、ポジショニング等を行う。

音声合成処理部５７０は、第１オーディオデコーダ５１２から出力されたオーディオフレームと第２オーディオデコーダ５２２から出力されたオーディオフレームとをミキシング（音の重ね合わせ）してスピーカ５９０に出力する機能を有する。

図６は、図５中の第１多重分離部５１１と第２多重分離部５２１と第１ビデオデコーダ５１４と第２ビデオデコーダ５２３と同期開始パケット決定部５４０と入力開始制御部５４１との部分（以下、この部分を「主要ビデオデコード部」と呼ぶ。）の構成を、さらに詳細に示した詳細構成図である。

第１多重分離部５１１は、データバッファ６０１とデコーダ入力器６０２とＰＩＤ（Packet ID）フィルタ６０３と第１ＡＴＣカウンタ６２０とから構成され、第２多重分離部５２１は、データバッファ６１１とデコーダ入力器６１２とＰＩＤフィルタ６１３と第２ＡＴＣカウンタ６４０とから構成され、第１ビデオデコーダ５１４は、ＴＢ６０４とＭＢ６０５とＥＢ６０６とビデオデコーダ６０７とから構成され、第２ビデオデコーダ５２４は、ＴＢ６１４とＭＢ６１５とＥＢ６１６とビデオデコーダ６１７とから構成される。

また、この主要ビデオデコード部には、図５中に記載されていなかった、水晶振動子６６０と第１ＳＴＣカウンタ６３０と第２ＳＴＣカウンタ６５０とが追加されている。

データバッファ６０１とデータバッファ６１１、デコーダ入力器６０２とデコーダ入力器６１２、ＰＩＤフィルタ６０３とＰＩＤフィルタ６１３、第１ＡＴＣカウンタ６２０と第２ＡＴＣカウンタ６４０、第１ＳＴＣカウンタ６３０と第２ＳＴＣカウンタ６５０、ＴＢ６０４とＴＢ０１４、ＭＢ６０５とＭＢ６１５、ＥＢ６０６とＥＢ６１６、ビデオデコーダ６０７とビデオデコーダ６１７は、それぞれ互いに同様の構成となっている。よってここでは、これらのうちの一方である、データバッファ６０１とデコーダ入力器６０２とＰＩＤフィルタ６０３と第１ＡＴＣカウンタ６２０と第１ＳＴＣカウンタ６３０とＴＢ６０４とＭＢ６０５とＥＢ６０６とビデオデコーダ６０７とについて説明する。

水晶振動子６６０は、水晶の圧電効果を利用して、２７ＭＨｚの周波数で発振する振動子である。

第１ＡＴＣカウンタ６２０は、水晶振動子６６０の発信を利用して、ＡＴＣ時間軸を刻むカウンタであって、２７ＭＨｚの周波数で値をインクリメントする機能を有する。

第１ＳＴＣカウンタ６３０は、水晶振動子６６０の発信を利用して、ＳＴＣ時間軸を刻むカウンタであって、９０ＫＨｚの周波数で値をインクリメントする機能を有する。この第１ＳＴＣカウンタ６３０は、ＰＩＤフィルタ６０３から出力されたＰＣＲ（Program Clock reference）パケットの到着タイミングで、このＰＣＲパケットのＰＣＲ値で、ＳＴＣ時間軸を校正する。第１多重分離部５１１にストリームが入力され続けている期間には、ＰＣＲパケットが入力され続けることとなり、ＰＣＲパケットが到着するタイミングで、ＳＴＣカウンタのＳＴＣ値が、ＰＣＲ値で校正され続けることとなる。

データバッファ６０１は、ストリームを一時的に格納するためのバッファであって、入力開始制御部５４１によって定められるタイミングで、格納するストリームをデコーダ入力器６０２に出力する機能を有する。データバッファ６０１は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ハードディスク等を含む。

デコーダ入力器６０２は、データバッファ６０１に格納されるストリームを校正するＴＳパケットを、データバッファ６０１に格納されるタイミングで、ＰＩＤフィルタ６０３に入力する機能を有する。なお、データバッファ６０１に格納されるストリームがＴＴＳ（Timestamped TS）ストリームである場合には、ＴＳパケットに付与されるＡＴＳと、ＡＴＣカウンタの値とが一致するタイミングで、該当するＴＳパケットをＰＩＤフィルタ６０３に入力する。なお、ここでは、放送ストリームと通信ストリームとの双方が、ＴＴＳストリームであるとして、以下説明する。

ＰＩＤフィルタ６０３は、デコーダ入力器６０２から送られて来たＴＳパケットを、そのＴＳパケットのＰＩＤに従って、そのＰＩＤに対応するデコーダ、システムパケットマネージャ５１５又は第１ＳＴＣカウンタ６３０に出力する機能を有する。例えば、ＰＩＤの値がオーディオストリームを示す場合には、第１オーディオデコーダ５１２に出力し、ＰＩＤの値がビデオストリームを示す場合には、第１ビデオデコーダ５１４に出力し、ＰＩＤの値がＰＣＲパケットを示す場合には、第１ＳＴＣカウンタ６３０に出力する。

ＴＢ６０４は、ＰＩＤフィルタ６０３から送られて来るＴＳパケットを蓄積するためのバッファである。

ＭＢ６０５は、ＴＢ６０４からＥＢ６０６にＴＳパケットを出力するにあたって、一旦ＰＥＳパケットを蓄積するためのバッファであって、ＴＢ６０４からＭＢ６０５にＴＰパケットが送信される際に、ＴＳパケットからＴＳヘッダとアダプテーションフィールドとを取り除く機能を有する。

ＥＢ６０６は、符号化状態にあるピクチャを格納するためのバッファであって、ＭＢ６０５からＥＢ６０６にＰＥＳパケットが送信される際に、ＰＥＳパケットからＰＥＳパケットヘッダを取り除く機能を有する。

ビデオデコーダ６０７は、ＥＢ６０６に格納されている、符号化状態にあるピクチャを、対応する復号時刻（ＤＴＳ：Decode Time Stamp）毎にデコードする機能と、デコードしたピクチャを、対応する表示時刻（ＰＴＳ）毎に、第１ビデオプレーン５５２に出力する機能とを有するデコーダである。

同期開始パケット決定部５４０は、データバッファ６０１に格納されているストリームに含まれているパケットの中と、データバッファ６１１に格納されているストリームに含まれているパケットの中とから、それぞれ、同期して表示を開始するパケット（以下、「同期開始ＴＳパケット」と呼ぶ。）を決定する機能を有する。

以下、図面を用いて、同期開始パケット決定部５４０の行う開始表示ＴＳパケットの決定の方法について説明する。

図７（ａ）は、データバッファ６０１に放送ストリームのＴＴＳストリームがバッファリングされ、データバッファ６１１に通信ストリームのＴＴＳストリームがバッファリングされている様子を示す模式図である。

図７（ａ）中のＶと書かれている箱は、それぞれ、ストリームに含まれるＧＯＰ（Group Of Pictures）の先頭のＴＳパケットを表わし、箱の上の数字は、そのパケットが記憶されている、データバッファ６０１又はデータバッファ６１１のメモリアドレスを表わしている。一般に、ＧＯＰの先頭フレームは、Ｉピクチャである。

図７（ａ）中のＳＩと書かれている箱は、ストリームに含まれるＳＩを表わし、ここではＳＩに格納されているＳＴＣ＿Ｏｆｆｓｅｔが“−２０００”であるとして説明する。

同期開始パケット決定部５４０は、まず、データバッファ６０１に記憶されている放送ストリームから、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭パケットのＴＳパケットのＰＴＳ値と、ＳＩに格納されているＳＴＣ＿Ｏｆｆｓｅｔとを取得して、第１ＧＯＰ情報テーブルを生成する。

図７（ｂ）に、同期開始パケット決定部５４０によって生成される第１ＧＯＰ情報テーブルの一例である第１ＧＯＰ情報テーブル７１０を示す。

図７（ｂ）に示されるように、第１ＧＯＰ情報テーブル７１０は、アドレス７１１とＰＴＳ７１２とＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３とが対応付けられたテーブルである。

アドレス７１１は、同期開始パケット決定部５４０によって取得された、ＧＯＰの先頭のＴＳパケットのメモリアドレスである。

ＰＴＳ７１２は、対応するアドレス７１１に記憶されている、ＧＯＰの先頭のＴＳパケットのＰＴＳ値である。

ＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３は、対応するＰＴＳ７１２のＰＴＳ値に、同期開始パケット決定部５４０によって取得されたＳＴＣ＿ｏｆｆｓｅｔの値を加算して得られた値（以下、「ＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ値」と呼ぶ。）である。

次に、同期開始パケット決定部５４０は、データバッファ６１１に記憶されている通信ストリームから、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭パケットのＴＳパケットのＰＴＳ値とを取得して、第２ＧＯＰ情報テーブルを生成する。

図７（ｂ）に、同期開始パケット決定部５４０によって生成される第２ＧＯＰ情報テーブルの一例である第２ＧＯＰ情報テーブル７２０を示す。

図７（ｂ）に示されるように、第２ＧＯＰ情報テーブル７２０は、アドレス７２１とＰＴＳ７２２とが対応付けられたテーブルである。

アドレス７２１は、第１ＧＯＰ情報テーブル７１０のアドレス７１１と同様のものであり、ＰＴＳ７２２は、第１ＧＯＰ情報テーブル７１０のＰＴＳ７１２と同様のものである。

そして、同期開始パケット決定部５４０は、第１ＧＯＰ情報テーブル７１０と第２ＧＯＰ情報テーブル７２０とを比較して、ＰＴＳ７１２の値と、ＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３の値とが一致する組み合わせの中から、ＰＴＳ７１２の値が最も小さい組み合わせを探す。

そして、その組み合わせのＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３に対応付けられているアドレス７１１に格納されているＴＳパケットと、その組み合わせのＰＴＳ７２２に対応付けられているアドレス７２１に格納されているＴＳパケットとを、それぞれ、放送ストリームにおける同期開始ＴＳパケット、通信ストリームにおける同期開始ＴＳパケットとして算定する。

図７（ｂ）の例では、データバッファ６０１のメモリアドレス“５００”に格納されているＴＳパケットが、放送ストリームにおける同期開始ＴＳパケットとして算定され、データバッファ６１１のメモリアドレス“１５０”に格納されているＴＳパケットが、通信ストリームにおける同期開始ＴＳパケットとして選定されることとなる。

入力開始制御部５４１は、データバッファ６０１に格納されている放送ストリームを、デコーダ入力器６０２に出力するタイミングを決定する機能と、データバッファ６１１に格納されている通信ストリームを、デコーダ入力器６１２に出力するタイミングを決定する機能とを有する。

以下、図面を用いて、入力開始制御部５４１の行う、出力タイミングの決定の方法について説明する。

図８は、デコーダ入力器６０２とデコーダ入力器６１２とが、それぞれ、放送ストリームのＴＳパケット列と通信ストリームのＴＳパケット列とを、ＰＩＤフィルタ６０３とＰＩＤフィルタ６１３とに出力するタイミング、及び、パケット列がデコードされて得られる映像フレームが、ビデオプレーンに出力されるタイミングを示すタイミング図である。

ここでは、説明が必要以上に煩雑になってしまうことを避けるために、放送ストリームと通信ストリームとが、それぞれ映像ストリームのみによって構成されているとして説明し、後述のＡＴＣ１、ＡＴＣ２、ＳＴＣ１、ＳＴＣ２等の数値、フレームレート等は、実際の時間単位を無視して設定されている。実際に計算する場合には、実際の数値単位や、フレームレート等を考慮に入れた上で計算する必要がある。

同図において、ＡＴＣ１は、第１ＡＴＣカウンタ６２０によって定められるＡＴＣ時間軸を示す。

放送ストリームのＴＳパケット列８０１は、ＡＴＣ１時間軸における、デコーダ入力器６０２から出力される各ＴＳパケットのタイミングを示しており、各箱の幅は、各ＴＳパケットが、デコーダ入力器６０２からＰＩＤフィルタ６０３へ伝送される時間を示している。

例えば、ＴＳパケット８２０は、ＡＴＣ１時間軸における時刻１３００において、デコーダ入力器６０２から出力されることが示されている。

ここでは、Ｖ１と記されているＴＳパケット８２０は、放送ストリームの同期開始ＴＳパケットを示しており、ＰＣＲ１と記されているＴＳパケット８１０は、放送ストリームの同期開始ＴＳパケットの直近のＰＣＲパケットを示している。そして、ＴＳパケット８２０がデコードされて得られる映像フレームは、フレームＩＤが３０であるものとする。

ＡＴＣ２は、第２ＡＴＣカウンタ６４０によって定められるＡＴＣ時間軸を示す。

通信ストリームのＴＳパケット列８０２は、ＡＴＣ２時間軸における、デコーダ入力器６１２から出力される各ＴＳパケットのタイミングを示しており、各箱の幅は、各ＴＳパケットが、デコーダ入力器６１２からＰＩＤフィルタ６１３へ伝送される時間を示している。

例えば、ＴＳパケット８４０は、ＡＴＣ２時間軸における時刻３４００において、デコーダ入力器６１２から出力されることが示されている。

ここでは、Ｖ２と記されているＴＳパケット８４０は、通信ストリームの同期開始ＴＳパケットを示しており、ＰＣＲ２と記されているＴＳパケット８３０は、通信ストリームの同期開始ＴＳパケットの直近のＰＣＲパケットを示している。そして、ＴＳパケット８４０がデコードされて得られる映像フレームは、フレームＩＤが３０であるものとする。

ＳＴＣ１は、第１ＳＴＣカウンタ６３０によって定められるＳＴＣ時間軸を示す。

放送ストリームのフレームＩＤ８０３は、放送ストリームのＴＳパケット列がデコードされて得られる映像フレームが、第１ビデオプレーン５５２に出力されるタイミングを示している。

ここでは、ＴＳパケット８１０がデコードされて得られるフレームＩＤが３０となる映像フレームは、ＳＴＣ１時間軸における時刻２６００、すなわち、ＡＴＣ１時間軸における時刻１６００に、第１ビデオプレーン５５２に出力されることが示されている。

Ｄ１は、ＴＳパケットがデコーダ入力器６１２から出力されてから、対応するデコードされた映像フレームが第１ビデオプレーン５５２に出力されるまでにかかる時間である。この例では、ＡＴＣ１時間軸において３００、ＳＴＣ１時間軸において３００だけかかることが示されている。Ｄ１の算出式については後述する。

ＳＴＣ２は、第２ＳＴＣカウンタ６５０によって定められるＳＴＣ時間軸を示す。

映像ストリームのフレームＩＤ８０４は、放送ストリームのＴＳパケット列がデコードされて得られる映像フレームが、第２ビデオプレーン５５５に出力されるタイミングを示している。

ここでは、ＴＳパケット８４０がデコードされて得られるフレームＩＤが３０となる映像フレームは、ＳＴＣ２時間軸における時刻６６００、すなわち、ＡＴＣ２時間軸における時刻３６００に、第２ビデオプレーン５５５に出力されることが示されている。

Ｄ２は、ＴＳパケットがデコーダ入力器６２２から出力されてから、対応するデコードされた映像フレームが第２ビデオプレーン５５５に出力されるまでにかかる時間である。この例では、ＡＴＣ２時間軸において２００、ＳＴＣ２時間軸において２００だけかかることが示されている。Ｄ２の算出式については後述する。

同図から、ＴＳパケット８２０がデコードされて得られる映像フレームと、ＴＳパケット８４０がデコードされて得られる映像フレームとが、それぞれ同時に、第１ビデオプレーン５５２と第２ビデオプレーン５５５とに出力されるためには、ＴＳパケット８２０をデコーダ入力器６０２から出力するタイミングと、ＴＳパケット８４０をデコーダ入力器６１２から出力するタイミングとを、Ｄ１−Ｄ２だけずらす必要があることがわかる。

入力開始制御部５４１は、Ｄ１−Ｄ２の値を算出して、同期開始パケット決定部５４０によって決定された、放送ストリームの同期開始ＴＳパケット（図８におけるＴＳパケット８２０）と、通信ストリームの同期開始ＴＳパケット（図８におけるＴＳパケット８４０）とが、それぞれ同時に、第１ビデオプレーン５５２と第２ビデオプレーン５５５とに出力されるように、ＴＳパケット８２０をデコーダ入力器６０２から出力するタイミングと、ＴＳパケット８４０をデコーダ入力器６１２から出力するタイミングとが、算出したＤ１−Ｄ２の値だけずれるように、データバッファ６０１に格納されている放送ストリームを、デコーダ入力器６０２に出力するタイミングと、データバッファ６１１に格納されている通信ストリームを、デコーダ入力器６１２に出力するタイミングとを決定する。

以下、Ｄ１−Ｄ２の値の算出方法について説明する。

ＴＳパケットＸに付与されるＡＴＳ値を返す関数をＡＴＳ（Ｘ）とし、ＴＳパケットＸに付与されるＰＣＲ値を取得する関数をＰＣＲ（Ｘ）とし、ＴＳパケット８２０がデコードされて得られる映像フレームが、第１ビデオプレーン５５２に出力されるタイミングをＳｙｎｃＰＴＳ１とすると、Ｄ１は、次式のように表わすことができる。

［数１］
D1 = SyncPTS1 ？ PCR(PCR1) ？ ATS(V1) + ATS(PCR1)

また、ＴＳパケット８４０がデコードされて得られる映像フレームが、第２ビデオプレーン５５５に出力されるタイミングをＳｙｎｃＰＴＳ２とすると、Ｄ２は、次式のように表わすことができる。

［数２］
D2 = SyncPTS2 ？ PCR(PCR2) ？ ATS(V2) + ATS(PCR2)

従って、Ｄ１−Ｄ２は、

［数３］
D1 ？ D2 = SyncPTS1 ？ PCR(PCR1) ？ ATS(V1) + ATS(PCR1)
[ SyncPTS2 ？ PCR(PCR2) - ATS(V2) + ATS(PCR2)]

と表わされる。

この式に、図８に示される各値を代入すると、

［数４］
D1 ？ D2 = 2600 ？ 2200 ？ 1300 + 1200
？ [ 600 ？ 300 ？ 3400 + 3600 ]
= 300 ？ 200
= 100
となる。

以上のように構成される表示装置１１０の行う動作について、以下図面を参照しながら説明する。

＜動作＞
表示装置１１０は、その特徴的な動作として、放送ストリームのＴＳパケット列に含まれる放送映像と、通信ストリームのＴＳパケット列に含まれる通信映像とが、映像製作者の意図したタイミング通りに同期して表示されるように、放送ストリームのＴＳパケット列についてのデコーダ入力器６０２への出力開始タイミングと、通信ストリームのＴＳパケット列についてのデコーダ入力器６１２への出力開始タイミングとを算定し、算定した出力開始タイミングで、放送ストリームのＴＳパケット列と通信ストリームのＴＳパケット列との出力を開始する出力開始処理を行う。

以下、この出力開始処理について説明する。

＜出力開始処理＞
図９は、出力開始処理のフローチャートである。

出力開始処理は、データバッファ６０１への放送ストリームの入力と、データバッファ６１１への通信ストリームの入力とが開始されたことで開始される。

出力開始処理が開始されると、同期開始パケット決定部５４０は、放送ストリームのうちの、データバッファ６０１へ格納済みのＴＳパケット列から、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭パケットのＴＳパケットのＰＴＳ値と、ＳＩに格納されているＳＴＣ＿Ｏｆｆｓｅｔとを取得して（ステップＳ９００）、第１ＧＯＰ情報テーブルを生成する（ステップＳ９１０）。

次に、同期開始パケット決定部５４０は、通信ストリームのうちの、データバッファ６１１へ格納済みのＴＳパケット列から、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭パケットのＴＳパケットのＰＴＳ値とを取得して（ステップＳ９２０）、第２ＧＯＰ情報テーブルを生成する（ステップＳ９３０）。

そして、同期開始パケット決定部５４０は、第１ＧＯＰ情報テーブル７１０と第２ＧＯＰ情報テーブル７２０とを比較して、ＰＴＳ７１２の値と、ＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３の値とが一致する組み合わせが存在するか否かを調べる（ステップＳ９４０）。

ステップＳ９４０の処理において、一致する組み合わせが存在する場合に（ステップＳ９４０：Ｙｅｓ）、同期開始パケット決定部５４０は、一致する組み合わせの中から、ＰＴＳ７１２の値が最も小さい組み合わせを探す。そして、その組み合わせのＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３に対応付けられているアドレス７１１に格納されているＴＳパケットと、その組み合わせのＰＴＳ７２２に対応付けられているアドレス７２１に格納されているＴＳパケットとを、それぞれ、放送ストリームにおける同期開始ＴＳパケット、通信ストリームにおける同期開始ＴＳパケットとして算定する（ステップＳ９５０）。

放送ストリームにおける同期開始ＴＳパケットと、通信ストリームにおける同期開始ＴＳパケットとが算定されると、入力開始制御部５４１は、Ｄ１−Ｄ２を算出し（ステップＳ９６０）、放送ストリームの同期開始ＴＳパケットの出力タイミングと、通信ストリームの同期開始ＴＳパケットの出力タイミングとが算出したＤ１−Ｄ２となるように、放送ストリームのＴＳパケット列についてのデコーダ入力器６０２への出力開始タイミングと、通信ストリームのＴＳパケット列についてのデコーダ入力器６１２への出力開始タイミングとを算定し、算定した出力開始タイミングで、放送ストリームのＴＳパケット列と通信ストリームのＴＳパケット列との出力を開始する（ステップＳ９７０）。

ステップＳ９７０の処理が終了した場合、及び、ステップＳ９４０の処理において、一致する組み合わせが存在しない場合に（ステップＳ９４０：Ｎｏ）、表示装置１１０は、その出力開始処理を終了する。

＜考察＞
上記構成の表示装置１１０は、通信ストリームを構成する映像フレームのそれぞれを、各映像フレームに対応付けられているＰＴＳに対して、ＳＴＣ＿Ｏｆｆｓｅｔの値だけ加算して得られるタイミングで表示することとなる。そして、このことによって、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して表示する。
＜変形例１＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、実施の形態における表示装置１１０の一部を変形した第１変形表示装置について説明する。

実施の形態における表示装置１１０は、ＡＴＣカウンタとして、第１ＡＴＣカウンタ６２０と第２ＡＴＣカウンタ６４０との２つのカウンタを備え、ＳＴＣカウンタとして、第１ＳＴＣカウンタ６３０と第２ＳＴＣカウンタ６５０との２つのカウンタを備える構成であった。

これに対して、変形例１における第１変形表示装置は、ＡＴＣカウンタを１つ、ＳＴＣカウンタを１つ備える構成の例である。

以下、変形例１における第１変形表示装置の構成について、図面を参照しながら、実施の形態における表示装置１１０との相違点を中心に説明する。

＜構成＞
第１変形表示装置は、実施の形態における表示装置１１０から、主要ビデオデコード部が第１変形主要ビデオデコード部に変更されるように変形されている。

図１０は、第１変形主要ビデオデコード部の構成図である。

同図に示されるように、第１変形主要ビデオデコード部は、実施の形態における主要ビデオ変形部（図６参照）から、第２ＡＴＣカウンタ６４０と第２ＳＴＣカウンタ６５０とが削除され、ＡＴＣ＿Ｏｆｆｓｅｔ加算器１０４０とＳＴＣ＿Ｏｆｆｓｅｔ加算器１０５０とが追加されるように変形されている。

ＡＴＣ＿Ｏｆｆｓｅｔ加算器１０４０は、放送ストリームに対する通信ストリームのＡＴＣオフセット値を示すＡＴＣ＿Ｏｆｆｓｅｔを算出し、第１ＡＴＣカウンタ６２０から送られて来たＡＴＣ時刻に対して、算出したＡＴＣ＿Ｏｆｆｓｅｔを加算して出力する機能を有する。

ここで、放送ストリームのＳＴＣ時間軸における値Ｘに対応するＡＴＣ値を返す関数をＡＴＣ１（Ｘ）とし、通信ストリームの時間軸における値Ｘに対応するＡＴＣ値を返す関数をＡＴＣ２（Ｘ）とすると、ＡＴＣ＿Ｏｆｆｓｅｔは、次式のように表わすことができる。

［数５］
ATC＿Offset = ATC2(SyncPTS2) ？ ATC1(SyncPTS1)

この式は、以下のように変形することができる。

［数６］
ATC＿Offset = [ SyncPTS2 + ATC2(PCR2) ？ PCR(PCR2) ]
？ [SyncPTS1 + ATC(PCR1) ？ PCR(PCR1) ]
= STC＿Offset + [ ATC2(PCR2) ？ PCR(PCR2) ]
？ [ ATC1(PCR1) ？ PCR(PCR1) ]

この式に、図８に示される各値を代入すると、

［数７］
ATC＿Offset = ？2000 + [ 3300 ？ 300 ] ？ [ 1200 -2200 ]
= 2000
となる。

ＳＴＣ＿Ｏｆｆｓｅｔ加算器１０５０は、第１ＳＴＣカウンタ６３０から送られて来たＳＴＣ時刻に対して、放送ストリームに含まれるＳＴＣ＿Ｏｆｆｓｅｔを加算して出力する機能を有する。

＜考察＞
上記構成の第１変形表示装置は、ＳＴＣ１時間軸に沿って放送ストリームのデコードを行い、ＳＴＣ１時間軸に対してＳＴＣ＿Ｏｆｆｓｅｔが加算されたＳＴＣ２時間軸に沿って、映像ストリームのデコードを行う。そして、このことによって、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して表示する。
＜変形例２＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、変形例１における第１変形表示装置の一部を変形した第２変形表示装置について説明する。

変形例１における第１変形表示装置は、通信サービス提供局１３０が送信する通信ストリームがＭＰＥＧ−２ ＴＳ形式であるＴＴＳストリームである場合に対応する構成であった。

これに対して、変形例２における第２変形表示装置は、通信サービス提供局１３０が送信する通信ストリームがＰＥＳパケット列で構成されるＰＥＳストリームである場合に対応する構成の例である。

以下、変形例２における第２変形表示装置の構成について、図面を参照しながら、変形例１における第１変形表示装置との相違点を中心に説明する。

＜構成＞
第２変形表示装置は、変形例１における第１変形表示装置から、第１変形主要ビデオデコード部が第２変形主要ビデオデコード部に変更されるように変形されている。

図１１は、第２変形主要ビデオデコード部の構成図である。

同図に示されるように、第２変形主要ビデオデコード部は、変形例１における第１変形主要ビデオデコード部（図１０参照）から、デコーダ入力器６１２とＰＩＤフィルタ６１３とＡＴＣ＿Ｏｆｆｓｅｔ加算器１０４０が削除され、第２ビデオデコーダ５２３が第２ビデオデコーダ１１２３に変更されるように変形されている。

第２ビデオデコーダ１１２３は、変形例１における第２ビデオデコーダ５２３から、ＴＢ６１４とＭＢ６１５とが削除され、ＥＢ６１６がＥＢ１１１６に変更されるように変形されている。

ＥＢ１１１６は、符号化状態にあるピクチャを格納するためのバッファであって、データバッファ６１１からＥＢ６０６にＰＥＳパケットが送信される際に、ＰＥＳパケットからＰＥＳパケットヘッダを取り除く機能を有する。

第２変形表示装置において、入力開始制御部５４１は、放送ストリームの、データバッファ６０１からデコーダ入力器６０２への出力の開始について、ＥＢ１１１６に十分なデータが溜まるまで（例えば、ＥＢ６１６に１秒分のデータが溜まるまで、ＥＢ１１１６の記憶容量がフルになるまで等が考えられる）待ってから行う。そして、通信ストリームのデータバッファ６１１からＥＢ１１１６への出力について、ＥＢ１１１６がアンダーフローしてしまわないように、連続的にデータの出力を行う。

＜考察＞
上記構成の第２変形表示装置は、変形例１における第１変形表示装置と同様に、ＳＴＣ１時間軸に沿って放送ストリームのデコードを行い、ＳＴＣ１時間軸に対してＳＴＣ＿Ｏｆｆｓｅｔが加算されたＳＴＣ２時間軸に沿って、映像ストリームのデコードを行う。そして、このことによって、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して表示する。
＜変形例３＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、実施の形態における表示装置１１０の一部を変形した第３変形表示装置について説明する。

実施の形態における表示装置１１０は、第１ビデオデコーダ５１４から出力される映像フレームと、第２ビデオデコーダ５２３から出力される映像フレームとを、プレーン合成処理部５６０が合成する構成であった。

これに対して、第３変形表示装置は、第１ビデオデコーダ５１４から出力される映像フレームと、第２ビデオデコーダ５２３から出力される映像フレームとを再び多重化する構成の例である。

以下、変形例３における第３変形表示装置の構成について、図面を参照しながら、実施の形態における表示装置１１０との相違点を中心に説明する。

＜構成＞
第３変形表示装置は、実施の形態における表示装置１１０から、主要ビデオデコード部が第３変形主要ビデオデコード部に変更されるように変形されている。

図１２は、第３変形主要ビデオデコード部の構成図である。

同図に示されるように、第３変形主要ビデオデコード部は、実施の形態における主要ビデオ変形部（図６参照）から、プレーン合成処理部５６０とビデオデコーダ６０７とビデオデコーダ６１７とが削除され、多重化器１２６０とＴＳ再生機１２７０とが追加されるように変形されている。

多重化器１２６０は、ＥＢ６０６から出力される、符号化状態にある映像フレーム列からＴＳパケット列（以下、「第２放送ストリーム」と呼ぶ。）を生成し、ＥＢ６１６から出力される、符号化状態にある映像フレーム列からＴＳパケット列（以下、「第２通信ストリーム」と呼ぶ。）を生成し、生成した第２放送ストリームと第２通信ストリームとを多重化して、合成ストリームを出力する機能を有する。

ここでは、多重化器１２６０は、第２放送ストリームと第２通信ストリームとを多重化する際に、例えば、第２放送ストリームのシステムレートと、第２通信ストリームのシステムレートとを倍速化して多重化する。

図１３（ａ）は、システムレートが倍速化される前における、第２放送ストリームのＴＳパケット列と第２通信ストリームのＴＳパケット列とのタイミングを示すタイミング図である。ここでは、倍速前のシステムレートが２４Ｍｂｐｓであるとする。

各箱は、ＴＳパケット列を構成するＴＳパケットを示し、各箱の幅であるｄｔは、各ＴＳパケットが、ＰＩＤフィルタへ入力されてから出力されるまでの時間を示し、ここでは、ｄｔ＝１８８×８／２４０００００００となっている。

図１３（ｂ）は、システムレートが倍速化された後における、第２放送ストリームのＴＳパケット列と第２通信ストリームのＴＳパケット列とのタイミングを示すタイミング図である。ここでは、システムレートが２４Ｍｂｐｓから４８Ｍｂｐｓへと倍速化されている。そして、このことによって、ｄｔ＝１８８×８／４８０００００００となっている。

図１３（ｃ）は、合成ストリームのＴＳパケット列のタイミングを示すタイミング図である。

図１３（ｂ）と図１３（ｃ）とからわかるように、第２放送ストリームのシステムレートと、第２通信ストリームのシステムレートとを倍速化して多重化することで、第２放送ストリームと第２通信ストリームとの多重化を、比較的容易に行うことができる。

ＡＴＣ２からＡＴＣ１への変換方法は、例えば、変形例１で説明したＡＴＣ＿Ｏｆｆｓｅｔを算出する方法等がある。

再び、図１２に戻って、第３変形主要ビデオデコード部の説明を続ける。

ＴＳ再生機１２７０は、多重化器１２６０から送られて来た合成ストリームから、第２放送ストリームと第２通信ストリームとを分離し、第２放送ストリームに含まれる映像フレームと第２通信ストリームに含まれる映像フレームと同期して出力する機能を有する。

＜考察＞
上記構成の第３変形表示装置によると、多重化器１２６０が生成する合成ストリームは、ＳＴＣ＿ｏｆｆｓｅｔが加味された上で多重化されたものとなる。このことにより、多重化器１２６０が生成する合成ストリームは、通常のＴＳストリームと同様のものとなる。従って、多重化器１２６０が生成する合成ストリームを光ディスク等に記憶させて、別の再生機器で再生させることが可能となる。
＜変形例４＞
＜概要＞
以下、本実施の形態に係る表示装置の一実施形態として、実施の形態における表示装置１１０の一部を変形した第４変形表示装置について説明する。

実施の形態における表示装置１１０は、放送映像と通信映像との同期表示を、ＡＴＣ１、ＡＴＣ２、ＳＴＣ１、ＳＴＣ２の４つの時間軸を利用して行う構成であった。

これに対して、変形例４における第４変形表示装置は、放送映像と通信映像との同期表示を、これら４つの時間軸にＡｂｓＴｉｍｅ時間軸を加えた計５つの時間軸を利用して行う構成の例である。

以下、変形例４における第４変形表示装置の構成について、図面を参照しながら、実施の形態における表示装置１１０との相違点を中心に説明する。

＜構成＞
第４変形表示装置は、実施の形態における表示装置１１０から、主要ビデオデコード部が第４変形主要ビデオデコード部に変更されるように変形されている。

図１４は、第４変形主要ビデオデコード部の構成図である。

同図に示されるように、第４変形主要ビデオデコード部は、実施の形態における主要ビデオ変形部（図６参照）から、同期開始パケット決定部５４０と入力開始制御部５４１とが削除され、同期開始パケット決定部１４４０と同期開始パケット決定部１４５０と入力開始制御部１４４１と入力開始制御部１４５１と水晶振動子１４６０とＡｂｓＴｉｍｅカウンタ１４１０とＡｂｓＴｉｍｅカウンタ１４１１とが追加されるように変形されている。

そして、破線より上の構成要素が第１の筐体（例えば、テレビ受像機）に格納され、破線より下の構成要素が第２の筐体（例えば、タブレット端末）に格納されている。

水晶振動子１４６０は、水晶振動子６６０と同様に、水晶の圧電効果を利用して、２７ＭＨｚの周波数で発振する振動子である。

ＡｂｓＴｉｍｅカウンタ１４１０とＡｂｓＴｉｍｅカウンタ１４１１とは、それぞれ、水晶振動子６６０、水晶振動子１４６０の発信を利用して、ＡｂｓＴｉｍｅ時間軸を刻むカウンタであって、２７ＭＨｚの周波数で値をインクリメントする機能を有する。

ここで、ＡｂｓＴｉｍｅは、ＲＴＣ（Real Time Clock）である。

また、ＡｂｓＴｉｍｅカウンタ１４１０とＡｂｓＴｉｍｅカウンタ１４１１とは、互いに通信する機能を有し、ＮＴＰ（Network Time Protocol）等を利用して、ＡｂｓＴｉｍｅカウンタ１４１０の刻むＡｂｓＴｉｍｅとＡｂｓＴｉｍｅカウンタ１４１０の刻むＡｂｓＴｉｍｅとは、時刻が合わせられている。

同期開始パケット決定部１４４０と同期開始パケット決定部１４５０とは、互いに通信する機能を有し、同期開始パケット決定部１４４０と同期開始パケット決定部１４５０とからなるブロックが、実施の形態における同期開始パケット決定部５４０と同等の機能を実現する。

入力開始制御部１４４１と入力開始制御部１４５１とは、互いに通信する機能を有し、入力開始制御部１４４１と入力開始制御部１４５１とからなるブロックが、実施の形態における入力開始制御部５４１と同等の機能を実現する。ここで、入力開始制御部１４４１と入力開始制御部１４５１とは、データバッファ６０１に格納されている放送ストリームを、デコーダ入力器６０２に出力するタイミングを決定する機能の実現と、データバッファ６１１に格納されている通信ストリームを、デコーダ入力器６１２に出力するタイミングを決定する機能の実現とにおいて、ＡＴＣ１、ＡＴＣ２、ＳＴＣ１、ＳＴＣ２の４つの時間軸にＡｂｓＴｉｍｅ時間軸を加えた計５つの時間軸を利用する。

以下、図面を用いて、入力開始制御部５４１の行う、出力タイミングの決定について説明する。

図１５は、図９のタイミング図に、時間軸ＡｂｓＴｉｍｅが追加されたタイミング図である。この図は、同期再生を開始するＡｂｓＴｉｍｅ時間軸上の値であるＳｙｎｃＡｂｓＴｉｍｅが５６００である場合の図となっている。

この場合に、放送ストリームの同期開始ＴＳパケット（Ｖ１）のデコーダ入力器６０２への入力開始タイミングは、ＡｂｓＴｉｍｅ時間軸上では、ＳｙｎｃＡｂｓＴｉｍｅ − Ｄ１で計算でき、５６００−３００＝５３００となる。この放送ストリームの同期開始ＴＳパケット（Ｖ１）のデコーダ入力器６０２へのＡｂｓＴｉｍｅ時間軸上の入力開始タイミングをＩｎｐｕｔＡｂｓＴｉｍｅ１とする。また、この場合に、通信ストリームの同期開始ＴＳパケット（Ｖ２）のデコーダ入力器６１２への入力開始タイミングは、ＡｂｓＴｉｍｅ時間軸上では、ＳｙｎｃＡｂｓＴｉｍｅ − Ｄ２で計算でき、５６００−２００＝５４００となる。この放送ストリームの同期開始ＴＳパケット（Ｖ２）のデコーダ入力器６１２へのＡｂｓＴｉｍｅ時間軸上の入力開始タイミングをＩｎｐｕｔＡｂｓＴｉｍｅ２とする。入力開始制御部１４４１は、ＩｎｐｕｔＡｂｓＴｉｍｅ１のタイミングで、放送ストリームの同期開始ＴＳパケット（Ｖ１）のデコーダ入力器６０２への入力を開始する。入力開始制御部１４５１は、ＩｎｐｕｔＡｂｓＴｉｍｅ２のタイミングで、通信ストリームの同期開始ＴＳパケット（Ｖ２）のデコーダ入力器６１２への入力を開始する。これにより、ＳｙｎｃＡｂｓＴｉｍｅのタイミングで、それぞれ同期してそれぞれのビデオフレームの表示開始することが可能となる。

＜考察＞
上記構成の第４変形表示装置によると、第１ビデオプレーン５５２に格納される画像を、第１の筐体に備えられたディスプレイで表示し、第２ビデオプレーン５５５に格納される画像を、第２の筐体に備えられたディスプレイで表示することで、受信した放送映像と受信した通信映像とを、映像製作者の意図した通りのタイミングで同期して、それぞれ、第１の筐体と第２の筐体とで表示することが可能となる。
＜変形例５＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、変形例１における第１変形表示装置の一部を変形した第５変形表示装置について説明する。

変形例１における第１変形表示装置は、通信サービス提供局１３０が送信する通信ストリームがＭＰＥＧ−２ ＴＳ形式である場合に対応する構成であった。

これに対して、変形例５における第５変形表示装置は、通信サービス提供局１３０が、放送映像に同期して表示するグラフィックスデータを送信する場合に対応する構成の例である。グラフィックスデータとして、例えば、放送映像がサッカーの試合の場合における、選手名等の選手に関する情報等が考えられる。

以下、変形例５における第５変形表示装置の構成について、図面を参照しながら、変形例１における第１変形表示装置との相違点を中心に説明する。

＜構成＞
第５変形表示装置は、変形例１における第１変形表示装置から、第１変形主要ビデオデコード部が第５変形主要ビデオデコード部に変更されるように変形されている。

図１６は、第５変形主要ビデオデコード部の構成図である。

同図に示されるように、第５変形主要ビデオデコード部は、変形例１における第１変形主要ビデオデコード部（図１０参照）から、データバッファ６１１とデコーダ入力器６１２とＰＩＤフィルタ６１３とＴＢ６１４とＭＢ６１５とＥＢ６１６とビデオデコーダ６１７と第２ビデオプレーン５５５とＡＴＣ＿Ｏｆｆｓｅｔ加算器１０４０とが削除され、アプリケーション実行制御部５３０とグラフィックスプレーン５５４とが追加されるように変形されている。

変形例５において、アプリケーション実行制御部５３０は、アプリケーションを実行することで、通信インターフェース５０２によって取得されたＣＧ画像データからＣＧ画像を描画して、グラフィックスプレーン５５４に出力する。

図１７（ａ）は、ＣＧ画像データのデータ構成の一例を示すデータ構成図である。

同図に示されるように、ＣＧ画像データは、ＤＴＳとＰＴＳとが付与された描画指示データとなっている。描画指示データとは、スクリプトコードであって、例えば、アプリケーションフォーマットがＨＴＭＬの場合には、ＪａｖａＳｃｒｉｐｔ（登録商標）のグラフィックスの描画コードである。

アプリケーション実行制御部５３０は、アプリケーションを実行することで、ＳＴＣ＿Ｏｆｆｓｅｔ加算器１０５０から出力されるＳＴＣ２の時間軸におけるＤＴＳのタイミングで描画を開始し、描画したＣＧ画像をグラフィックスプレーン５５４に出力する。

ここで、アプリケーションは、例えば、ＧｅｔＣｕｒｒｅｎｔＴｉｍｅ（ｓｔｃ）といった関数で現在時刻を取得して、ＤＴＳで示されるタイミングで描画を開始し、例えば、ＳｙｎｃＢｕｆｆｅｒ（ｏｕｔｐｕｔＰＴＳ）といった関数で、指定時刻（ｏｕｔｐｕｔＰＴＳ）に描画したＣＧ画像を出力する。

変形例５において、グラフィックスプレーン５５４は、ダブルバッファ構造になっている。

図１７（ｂ）は、ＣＧ画像の描画と表示とのタイミングを示すタイミング図である。

図１７（ｂ）に示されるように、アプリケーション実行制御部５３０は、グラフィックスプレーン５５４のダブルバッファのうちの一方のバッファに、ＤＴＳで示されるタイミングで描画を開始し、グラフィックスプレーン５５４は、ＰＴＳで示されるタイミングで、描画されたＣＧ画像を表示する。

このように、グラフィックスプレーン５５４をダブルバッファ構造とすることで、滑らかなＣＧ画像の表示を実現することができる。

なお、アプリケーション実行制御部５３０は、同期開始パケット決定部５４０と入力開始制御部５４１との替わりに、アプリケーションを実行することでこれらの機能を実現するとしてもよい。この場合、例えば、ＧｅｔＧＯＰＴａｂｌｅ（ｇｏｐ＿ｔａｂｌｅ）といった関数でＧＯＰ情報テーブルを取得し、取得したＧＯＰ情報テーブルに含まれるＰＴＳ等を元に同期開始ＴＳパケットを決定し、ＳｅｔＳｔａｒｔＰＴＳ（ｐｔｓ）やＳｅｔＳｔａｒｔＦｒａｍｅＩＤ（ｆｒａｍｅＩＤ）といった関数で、実行開始を指示する。

＜考察＞
上記構成の第５変形表示装置は、変形例１における第１変形表示装置と同様に、ＳＴＣ１時間軸に沿って放送ストリームのデコードを行い、ＳＴＣ１時間軸に対してＳＴＣ＿Ｏｆｆｓｅｔが加算されたＳＴＣ２時間軸に沿って、ＣＧ画像の描画と出力とを行う。そして、このことによって、受信した放送映像と受信したＣＧ画像とを、映像製作者の意図した通りのタイミングで同期して表示する。
＜変形例６＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、変形例５における第５変形表示装置の一部を変形した第６変形表示装置について説明する。

第６変形表示装置は、変形例５における第５変形表示装置に対して、ＣＧ画像を描画するハードウエアアクセラレータであるグラフィックスエンジンが追加された構成の例である。

以下、変形例６における第６変形表示装置の構成について、図面を参照しながら、変形例５における第５変形表示装置との相違点を中心に説明する。

＜構成＞
第６変形表示装置は、変形例５における第５変形表示装置から、第５変形主要ビデオデコード部が第６変形主要ビデオデコード部に変更されるように変形されている。

図１８は、第６変形主要ビデオデコード部の構成図である。

同図に示されるように、第６変形主要ビデオデコード部は、変形例５における第５変形主要ビデオデコード部（図１６参照）から、ＥＢ１８４０とグラフィックスエンジン１８５０とが追加されるように変形されている。

ＥＢ１８４０は、ＣＧ画像データを格納するためのバッファである。

変形例６において、アプリケーション実行制御部５３０は、アプリケーションを実行することで、通信インターフェース５０２によって取得されたＣＧ画像データをＥＢ１８４０に蓄える。

グラフィックスエンジン１８５０は、ＥＢ１８４０に格納されたＣＧ画像データから、ＤＴＳで示されるタイミングで描画して、グラフィックスプレーン５５４に出力する機能を有する。
＜変形例７＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、実施の形態における表示装置１１０の一部を変形した第７変形表示装置について説明する。

実施の形態における表示装置１１０は、放送ストリームにおける同期を開始するＧＯＰの先頭映像フレームのフレームＩＤと、通信ストリームにおける同期を開始するＧＯＰの先頭映像フレームのフレームＩＤとが一致する場合に対応する構成であった。

これに対して、変形例７における第７変形表示装置は、放送ストリームにおける同期を開始するＧＯＰの先頭映像フレームのフレームＩＤと、通信ストリームにおける同期を開始するＧＯＰの先頭映像フレームのフレームＩＤとが一致しない場合に対応する構成の例となっている。

この例では、放送局１２０が送信する放送ストリームに含まれる映像フレームのそれぞれと、通信サービス提供局１３０が送信する通信ストリームに含まれる映像フレームのそれぞれとに、自映像フレームを識別するためのフレームＩＤが付与される。

ここでは、放送ストリームにおいて、映像フレームのそれぞれは、先頭側から表示順にインクリメントされたフレームＩＤが付与され、通信ストリームにおいて、映像フレームのそれぞれは、先頭側から表示順にインクリメントされたフレームＩＤが付与される。そして、放送ストリームに含まれる映像フレームへのフレームＩＤの付与と、通信ストリームに含まれる映像フレームへのフレームＩＤの付与とは、互いに同期して表示される映像フレームに対して同一のフレームＩＤが付与されるように行われる。

以下、変形例７における第７変形表示装置の構成について、図面を参照しながら、実施の形態における表示装置１１０との相違点を中心に説明する。

＜構成＞
第７変形表示装置は、実施の形態における表示装置１１０から、主要ビデオデコード部が第７変形主要ビデオデコード部に変更されるように変形されている。

ここでは、第７変形主要ビデオデコード部を図示せずに、実施の形態における主要ビデオデコード部を示す図６を用いて、第７変形主要ビデオデコード部の説明を行う。

第７変形例において、同期開始パケット決定部５４０は、データバッファ６０１に記憶されている放送ストリームから、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭のＴＳパケットのＰＴＳ値と、ＧＯＰの先頭のＴＳパケットのフレームＩＤと、ＳＩに格納されているＳＴＣ＿Ｏｆｆｓｅｔとを取得し、データバッファ６１１に記憶されている通信ストリームから、ＧＯＰの先頭のＴＳパケットのメモリアドレスと、ＧＯＰ先頭パケットのＴＳパケットのＰＴＳ値と、ＧＯＰの先頭のＴＳパケットのフレームＩＤとを取得して、変形第１ＧＯＰ情報テーブルと変形第２ＧＯＰ情報テーブルとを生成する。

図１９に、同期開始パケット決定部５４０によって生成される変形第１ＧＯＰ情報テーブルの一例である変形第１ＧＯＰ情報テーブル１９１０と、同期開始パケット決定部５４０によって生成される変形第２ＧＯＰ情報テーブルの一例である変形第２ＧＯＰ情報テーブル１９２０とを示す。

同図に示されるように、変形第１ＧＯＰ情報テーブル１９１０は、アドレス１９１１とＰＴＳ１９１２とＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ１９１３とフレームＩＤ１９１４とが対応付けられたテーブルである。

アドレス１９１１とＰＴＳ１９１２とＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ１９１３とは、それぞれ、実施の形態におけるアドレス７１１とＰＴＳ７１２とＰＴＳ＋ＳＴＣ＿ｏｆｆｓｅｔ７１３と同様のものである（図７（ｂ）参照）。

フレームＩＤ１９１４は、対応するアドレス１９１１に記憶されている、ＧＯＰの先頭のＴＳパケットのフレームＩＤである。

図１９に示されるように、変形第２ＧＯＰ情報テーブル１９１０は、アドレス１９２１とＰＴＳ１９２２とフレームＩＤ１９２４とが対応付けられたテーブルである。

アドレス１９２１とＰＴＳ１９２２とフレームＩＤ１９２４とは、それぞれ、アドレス１９１１とＰＴＳ１９１２とフレームＩＤ１９１４と同様のものである（図７（ｂ）参照）。

ここでは、放送ストリームのＧＯＰテーブル情報のアドレス５００のエントリのフレームＩＤが３０であるのに対して、通信ストリームのＧＯＰテーブル情報のアドレス１５０のエントリのフレームＩＤが３２となっている。

このようなケースでは、同期開始パケット決定部５４０は、放送ストリームのＧＯＰテーブル情報から、同期再生を開始するエントリを決め、図１９の例ではフレームＩＤ＝３０とすると、通信ストリームの変形第２ＧＯＰ情報テーブル１９２０から、該当フレームＩＤよりも後方にあるフレームＩＤのエントリを探索し、図１９の例では、フレームＩＤ＝３２のエントリが対象となる。

図２０は、第７変形表示装置において、デコーダ入力器６０２とデコーダ入力器６１２とが、それぞれ、放送ストリームのＴＳパケット列と通信ストリームのＴＳパケット列とを、ＰＩＤフィルタ６０３とＰＩＤフィルタ６１３とに出力するタイミング、及び、パケット列がデコードされて得られる映像フレームが、ビデオプレーンに出力されるタイミングを示すタイミング図である。

入力開始制御部５４１は、図２０のように、デコーダへの入力タイミングを決定する。まず、図８で説明した方法と同様に、Ｄ１、Ｄ２を計算する。次に、放送ストリームの同期開始ＰＴＳ（ＳｙｎｃＰＴＳ１）と、通信ストリームの同期開始ＰＴＳ（ＳｙｎｃＰＴＳ２）を同一時間軸に射影したときの差分値（Ｄ３）を算出する。Ｄ３の計算式は、Ｄ３＝ＳｙｎｃＰＴＳ２＋ＳＴＣ＿Ｏｆｆｓｅｔ−ＳｙｎｃＰＴＳ１で算出される。入力開始制御部５４１は、Ｖ１のデコーダへの入力を開始した後、Ｄ１＋Ｄ３−Ｄ２の値だけ遅らせて、Ｖ２のデコーダへの入力を開始する。このように構成することで、同期を開始するＧＯＰの先頭時刻が、放送ストリームと通信ストリームとで一致しない場合において、放送ストリームと通信ストリームの同期再生が可能となる。

なお、図１９のように、放送ストリームと通信ストリームのＧＯＰ構造が一致しない場合には、時間軸の遅い方である通信ストリームのＧＯＰ先頭の表示時刻まで、放送ストリームの表示を行わないようにしてもよい。または、図２０のように、放送ストリームから先に出し始めてもよい。もしくは、ユーザが選択できるようにしてもよい。

なお、フレームＩＤの値が、放送ストリームと通信ストリームで共通のＰＴＳやＴｉｍｅＣｏｄｅの値であってもよい。このように構成することで、例えば、図２０におけるＤ３の計算が、その値を使うだけでよくなり、容易になる。
＜変形例８＞
＜概要＞
以下、本発明に係る表示装置の一実施形態として、実施の形態における表示装置１１０の一部を変形した第８変形表示装置について説明する。

実施の形態における表示装置１１０は、放送局１２０が送信する放送ストリームが、ＭＰＥＧ−２ ＴＳ形式のＴＴＳストリームである場合に対応する構成であった。

これに対して、変形例８における第８変形表示装置は、放送局１２０が送信する放送ストリームが、ＭＰＥＧ−２ ＴＳ形式のＴＳストリームである場合に対応する構成の例である。

以下、変形例８における第８変形表示装置の構成について、図面を参照しながら、実施の形態における表示装置１１０との相違点を中心に説明する。

＜構成＞
第８変形表示装置は、実施の形態における表示装置１１０において、チューナ５０１と第１多重分離部５１１との間に（図５参照）、変換器２１００が追加されるように変形されている。

図２１は、変換器２１００の構成を示す構成図である。

同図に示されるように、変換器２１００は、水晶振動子２１３０とＡＴＣカウンタ２１４０とＴＳパケットフィルタリング器２１１０とＡＴＳ付与器２１２０とから構成される。

水晶振動子２１３０とＡＴＣカウンタ２１４０とは、それぞれ、実施の形態における水晶振動子６６０（図６参照）と第１ＡＴＣカウンタ６２０と同様のものである。

ＴＳパケットフィルタリング器２１１０は、ＥＩＴの番組情報、及びＰＭＴパケットのプログラム内のストリーム構成情報を利用して、ユーザが選択する番組を構成するＴＳパケットのみをフィルタリングして、ＡＴＳ付与器２１２０に入力する。

ＡＴＳ付与器２１２０は、ＴＳパケットフィルタリング器２１１０を経由して入力される１８８バイトのＴＳパケットに対して、ＡＴＣカウンタ２１４０のＡＴＣ値を参照して、ＴＳパケットの先頭にＡＴＳ値を付与し、１９２バイトのＴＳパケットを生成する。ＡＴＳのフィールドは４バイトなので、０ｘ０から０ｘＦＦＦＦＦＦＦＦ0の値を取り、ＡＴＣ値が０ｘＦＦＦＦＦＦＦＦ以上の値になった場合には、再びＷｒａｐ−ａｒｏｕｎｄとして０に戻る。なお、Ｂｌｕ−ｒａｙの場合には、ＴＳパケットの先頭４Ｂｙｔｅの先頭２ｂｉｔはコピー制御情報に利用されるため、ＡＴＳ値は３０ｂｉｔであり、３０ｂｉｔでＷｒａｐ−ａｒｏｕｎｄする。

変換器２１００は、図２１に示される構成を取ることによって、放送ストリームの各ＴＳパケットに対して、その先頭部にＡＴＳを付与する機能を有する。

そして、チューナ５０１と第１多重分離部５１１との間に、変換器２１００が配置されることで、第１多重分離部５１１に入力される放送ストリームは、ＴＴＳストリームとなる。
＜他の変形例＞
放送ストリームと通信ストリームの同期再生を実現する上では、放送ストリームと通信ストリームをバッファリングしてデータがそろってから再生する必要があり、また通信ネットワークのネットワーク遅延を考慮して、遅延再生が必要となる。

図２２は遅延再生時の課題を示している。タイムラインＡは、表示時刻（ＡｂｓＴｉｍｅ）であり、ＮＴＰ等の手段により同期が合わされたＲＴＣ等の端末共通時刻情報を示している。タイムラインＢは、通常の放送波で再生する場合に、表示時刻（ＡｂｓＴｉｍｅ）
で表示される放送ストリームのビデオのＰＴＳを示している。タイムラインＣは、同期再生を実現する際に、遅延再生する場合に、表示時刻（ＡｂｓＴｉｍｅ）で表示される放送ストリームのビデオのＰＴＳを示している。タイムラインＢとタイムラインＣ間に記載される矢印は、同期再生の再生ルートを示している。まず、ＡｂｓＴｉｍｅ１００から２００の間はバッファリングを行い、データバッファに放送ストリームと通信ストリームのデータを格納する。次に、ＡｂｓＴｉｍｅ２００から５００の間は、放送ストリームと通信ストリームの同期再生を実行する。ＡｂｓＴｉｍｅ５００で同期再生を終了し、ＡｂｓＴｉｍｅ５００からは通常再生に戻る。このようなケースの場合には、放送ストリームにおいて、ＰＴＳ１４００からＰＴＳ１５００までのデータが表示されなくなる問題が発生する。例えば、このシーンがＣＭである場合には、同期表示するユーザは、ＣＭを見ないため、放送局のビジネスが成り立たなくなってしまう課題がある。

そこで、この課題に対応するためのストリームのデコード手段を図２３に示す。図２３は放送ストリームのデコーダ入力器６０２の前にセレクタ２３０２が追加されており、放送ストリームだけでなく、補足ストリームのデータを入力可能としている。補足ストリームとは、遅延再生によって、放送ストリームのデータが欠けることを補うためのストリームである。補足ストリームはあらかじめデータバッファ２３０１（例えば、ＨＤＤ等）にダウンロードして格納されていると好ましい。図２４では、放送ストリームと通信ストリームのバッファリングの期間において、補足ストリームの再生を行い、図２３で追加されたセレクタ２３０２を切り替え、バッファリングが完了と同時に放送ストリームと通信ストリームの同期再生を実行する。放送ストリームのＰＴＳ１４００−１５００のコンテンツと、補足ストリームのコンテンツを一致させておけば、ユーザは放送ストリームの映像を欠けることなく見ることが可能となる。

なお、このようにバッファリング中の表示コンテンツを放送局の意図通りのコンテンツにするために、同期再生時刻を制御できることが好ましい。つまり、同期開始する表示時刻（ＡｂｓＴｉｍｅ）をアプリケーションのＡＰＩ等でセットできることが好ましい。その情報を、放送ストリームや通信ストリームもしくはアプリケーションから取得する通信データ等に格納してもよい。同期開始する表示時刻を制御する方法は、図１４で示した方法で実現すればよい。

なお、図２６に示すように、同期再生の一部または全部において、同期再生の再生速度を上げて、同期再生終了時の表示時刻ＡｂｓＴｉｍｅにおける放送ストリームのＰＴＳが一致するように構成してもよい。図２６の例では、遅延再生のタイムラインＣにおいて、ＰＴＳ１１００からＰＴＳ１５００まで早送り再生され、通常再生のタイムラインＢと同じタイミングで終了する。

なお、図２５に示すように、放送ストリームに対して、遅延停止禁止期間を識別する情報を、放送ストリームや通信ストリームもしくはアプリケーションから取得する通信データ等に格納してもよい。例えば、図２５上段の例では、放送ストリームにおいて、ＰＴＳ１４００からＰＴＳ１５００には、遅延停止禁止区間が設定されている。この場合には、ＡｂｓＴｉｍｅ５００にユーザから同期再生終了指示がされたとしても、同期再生処理を終了せず、遅延停止禁止区間が終了するまで遅延再生を継続させた後、通常再生に戻る。このような構成にすることによって、放送局が表示して欲しい映像を、同期再生においてもユーザに表示することが可能となる。なお、ユーザ終了指示のタイミングが、遅延停止禁止区間に入っているかどうかの判別は、バッファリング期間も考慮する必要がある。例えば、図２５の例では、バッファリング期間は、１０００から１１００であり、長さは１００であるため、ＡｂｓＴｉｍｅ４００から５００の間、つまり放送ストリーム１３００から１４００再生中においても遅延停止禁止区間として処理する。

なお、図２５に示すように、放送ストリームに対して、遅延許可、禁止区間を識別する情報を、放送ストリームや通信ストリームもしくはアプリケーションから取得する通信データ等に格納してもよい。例えば、図２５下段の例では、放送ストリームにおいて、ＰＴＳ１１００からＰＴＳ１５００までは、遅延許可区間、ＰＴＳ１５００以降は遅延禁止区間に設定されている。この場合には、ＡｂｓＴｉｍｅ２００からＡｂｓＴｉｍｅ６００までは遅延再生を実行しＡｂｓＴｉｍｅ６００以降は、通常再生に戻る。このような情報を再生装置に通知することによって、放送局の意図通りに遅延再生のＯｎ／Ｏｆｆを制御でき、番組の切り替わり等をスムーズに遷移させることができる。

なお、放送ストリームの途中で、ＳＴＣ不連続点が発生する場合や、放送ストリームの途中で、別映像が挿入される場合には同期を停止するようにしてもよい。このためには、放送ストリームや通信ストリームや通信データ等に、同期停止信号が格納され、その信号を受信するとストリームデコード手段は、同期再生を停止して、通常再生に戻る。このことをアプリケーションに通知するために、ＡＰＩやＥｖｅｎｔがアプリケーション側に用意される。アプリケーションは、必要に応じてリスタートする。

なお、例えば、サッカー中継を遅延再生している場合に、インターネットの情報（例えば、Ｔｗｉｔｔｅｒのコメント）を表示すると、インターネットの情報は遅延していないため、映像とインターネットの情報が同期しない問題が発生する。この問題を解決するためには、同期再生のストリームデコード手段は、グラフィックスを表示するアプリケーション制御部に、遅延時間を取得するＡＰＩを提供する。遅延時間は、デコード開始時刻とバッファリング開始時刻のそれぞれＡｂｓＴｉｍｅを保持しておき、その差分を計算すればよい。もしくは、現在時刻（ＡｂｓＴｉｍｅ）と、現在デコード中のストリームのＴＯＴパケットの時刻データを比較することで、大まかな遅延時間は算出できる。この遅延時間を利用することで、インターネットの情報（例えば、Ｔｗｉｔｔｅｒのコメント）も、現在時刻−遅延時間までのデータを抽出して表示する。このようにすることで、表示する映像とインターネット情報の同期表示が可能となる。

なお、同期再生をしている番組から、別の番組に移行する場合に、バッファリングをリセットしてしまうと、再度同期再生番組に戻った場合に、再度バッファリングをすると、ユーザにとって煩雑である。そこで、ザッピングをする場合には、ユーザにバッファリング継続するかどうかを尋ねるメニューを提示してもよい。バッファリング継続が選択される場合には、通信ストリームはデータバッファへのバッファリングを継続する。また、バッファリング継続するかどうかはプリファレンスメニューで設定できてもよい。

なお、同期再生を行う番組に必要なデータは、できるだけあらかじめダウンロードすることが求められる。そこで、再生装置において、放送番組の視聴予約や録画予約をした場合に、同期再生に必要なデータをＨＤＤ等にダウンロードしておくようにしてもよい。なお、同期再生を行う録画番組においては、遅延せずに録画処理を行う。

なお、同期再生において、緊急放送を正しくユーザに伝えるために、緊急放送の信号が放送ストリームに含まれる場合には、直ちに遅延再生を停止し、通常の放送再生に戻るようにしてもよい。データバッファに格納される放送ストリームは、常に、緊急放送信号を監視することで実現する。

なお、本実施の形態における同期再生を実現するためのアプリケーション実行部が提供する同期再生制御モジュールのＡＰＩ一覧を図２７に示す。ここではアプリケーションはＨＴＭＬコンテンツであるとして説明する。１列目はメソッド名、２列目はＡＰＩ概要説明、３列目は引数、４列目はコメントである。ＡｄｄＶｉｄｅｏは、ＨＴＭＬ５のビデオタグ等で指定されるビデオストリームを含むストリームのエントリを追加するＡＰＩである。引数には、ビデオオブジェクト（ＶｉｄｅｏＯｂｊｅｃｔ）、マスターかどうか（ｂＭａｓｔｅｒ）、ストリーム上の開始ＰＴＳ（ＳｔａｒｔＰＴＳ）、マスターとのＰＴＳ差分（ｐｔｓＯｆｆｓｅｔ）を指定する。その他のパラメータとしては、ストリーム終了時にストリーム先頭に戻ってループ再生するかどうかのフラグ、プレーンの合成順番、透過度、ＳＴＣ＿Ｏｆｆｓｅｔ等がある。ＡｄｄＡｕｄｉｏは、ＨＴＭＬ５のオーディオタグ等で指定されるオーディオストリームを含むストリームのエントリを追加するＡＰＩである。引数には、オーディオオブジェクト（ａｕｄｉｏＯｂｊｅｃｔ）、ストリーム上の開始ＰＴＳ（ＳｔａｒｔＰＴＳ）、マスターとのＰＴＳ差分（ｐｔｓＯｆｆｓｅｔ）を指定する。その他のパラメータとしては、ストリーム終了時にストリーム先頭に戻ってループ再生するかどうかのフラグ、マスター音声とのミキシング係数等がある。ＡｄｄＣａｎｖａｓは、ＨＴＭＬ５のグラフィックス描画モジュールであるｃａｎｖａｓオブジェクトを追加するＡＰＩである。引数にはｃａｎｖａｓオブジェクトを指定する。ＲｅｍｏｖｅＶｉｄｅｏ，ＲｅｍｏｖｅＡｕｄｉｏ，ＲｅｍｏｖｅＣａｎｖａｓは、それぞれ追加したビデオオブジェクト、オーディオオブジェクト、キャンバスオブジェクトを削除するＡＰＩである。Ｐｌａｙは同期再生開始を指示するＡＰＩである。引数には、再生遅延時間（ＳｔａｒｔＵｐＤｅｌａｙ）、再生モード（Ｍｏｄｅ）を指定する。再生モードは、ＰｏｕｔＰ、ＰｉｎＰの他に、放送ストリームを左目、通信ストリームを右目として３Ｄ再生をするモードなどがある。Ｓｔｏｐは同期再生停止、Ｐａｕｓｅは同期再生一時停止である。ＧｅｔＳｔａｒｔＵｐＤｅｌａｙは、遅延時間を取得するＡＰＩである。

図２８は、放送ストリーム（ビデオストリーム＋オーディオストリーム）と通信ストリーム（ビデオストリーム）を同期再生する場合のＨＴＭＬ５コンテンツ拡張の例である。ビデオタグで、ビデオを３つ定義している。１番目は補足ストリーム、１番目は放送ストリーム、３番目は通信ストリームである。Ｊａｖａｓｃｒｉｐｔの動作説明は、図２８にコメントを記載している。

図２９は、放送ストリーム（ビデオストリーム＋オーディオストリーム）と通信ストリーム（オーディオストリーム）を同期再生する場合のＨＴＭＬ５コンテンツ拡張の例である。ビデオタグで放送ストリーム、オーディオタグで通信ストリームを指定する。Ｊａｖａｓｃｒｉｐｔの動作説明は、図２９にコメントを記載している。

図３０は、放送ストリーム（ビデオストリーム＋オーディオストリーム）とグラフィックスデータを同期再生する場合のＨＴＭＬ５コンテンツ拡張の例である。ビデオタグで放送ストリーム、キャンバスタグでグラフィックス描画領域を指定する。Ｊａｖａｓｃｒｉｐｔの動作説明は、図３０にコメントを記載している。

なお、本実施の形態において、放送ストリームと通信ストリームの同期再生方法を説明したが、放送ストリームと放送ストリーム、及び、通信ストリームと通信ストリームの同期再生において、入力ストリームをそれぞれ変更することで、同等の構成で実現できることは言うまでもない。

なお、図６、図１０、図１１、図１２、図１４で説明した同期再生を実現するためのストリームデコード手段の構成で説明した放送ストリームと通信ストリームに含まれるビデオストリームは、それぞれ独立に圧縮符号化されたストリームであったが、放送ストリームのビデオストリームを参照して圧縮される（ビュー間参照）ビデオストリームを通信ストリームに格納するようなケースにも適用できることは言うまでもない。図３１のように、通信ストリームが格納されるＥＢからＤＴＳで放送ストリーム側のデコーダに入力するように構成すれば、ビュー間参照のような圧縮されたビデオストリームの同期再生も可能である。
＜利用技術についての説明＞
以下、上記した実施の形態、変形例等において利用されている技術について説明する。

まず、デジタルテレビの放送波等で伝送される一般的なストリームの構造について説明する。

デジタルテレビの放送波等での伝送では、ＭＰＥＧ−２ ＴＳ形式のデジタルストリームが使われている。ＭＰＥＧ−２ ＴＳとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ＩＳＯ／ＩＥＣ１３８１８−１及びＩＴＵ−Ｔ勧告Ｈ２２２．０において標準化されている。

図３２は、ＭＰＥＧ−２ ＴＳ形式のデジタルストリームの構成を示す図である。同図に示すようにＭＰＥＧ−２ ＴＳは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣなどの方式を使って符号化記録される。オーディオストリームは、ドルビーＡＣ−３、ＭＰＥＧ−２ ＡＡＣ、ＭＰＥＧ−４ ＡＡＣ、ＨＥ−ＡＡＣなどの方式で圧縮・符号化記録されている。

ビデオストリームの構成について説明する。ＭＰＥＧ−２、ＭＰＥＧ−４ ＡＶＣ、ＳＭＰＴＥ ＶＣ−１などの動画圧縮符号化においては、動画像の空間方向及び時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。図３８に一般的なビデオストリームのピクチャの参照構造を示す。矢印は参照して圧縮されていることを示す。

ここでは、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをＩピクチャと呼ぶ。ピクチャとは、フレーム及びフィールドの両者を包含する１つの符号化の単位である。また、既に処理済みの１枚のピクチャを参照してピクチャ間予測符号化するピクチャをＰピクチャと呼び、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをＢピクチャと呼び、Ｂピクチャの中で他のピクチャから参照されるピクチャをＢｒピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造のフィールドを、ここではビデオアクセスユニットと呼ぶ。

また、ビデオストリームは、図３３に示すような階層構造を有している。ビデオストリームは、複数のＧＯＰから構成されており、これを符合化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの符合化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードなどから構成される。各データはＭＰＥＧ−４ ＡＶＣの場合は、ＮＡＬユニットと呼ばれる単位で格納される。

ＡＵ識別コードはアクセスユニットの先頭を示す開始符号である。シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。ピクチャヘッダはピクチャ全体の符合化の方式などの情報を格納したヘッダである。補足データは圧縮データの復号に必須ではない付加情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。パディングデータは、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。シーケンス終端コードは、再生シーケンスの終端を示すデータである。ストリーム終端コードは、ビットストリームの終端を示すデータである。

ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードの中身の構成は、ビデオの符合化方式によって異なる。

例えば、ＭＰＥＧ−４ ＡＶＣの場合であれば、ＡＵ識別コードは、ＡＵデリミタ（Access Unit Delimiter）、シーケンスヘッダはＳＰＳ（Sequence Parameter Set）に、ピクチャヘッダはＰＰＳ（Picture Parameter Set）に、圧縮ピクチャデータは複数個のスライス、補足データはＳＥＩ（Supplemental Enhancement Information）、パディングデータはＦｉｌｌｅｒＤａｔａ、シーケンス終端コードはＥｎｄ ｏｆ Ｓｅｑｕｅｎｃｅ、ストリーム終端コードはＥｎｄ ｏｆ Ｓｔｒｅａｍに対応する。

例えば、ＭＰＥＧ−２の場合であれば、シーケンスヘッダはｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダはｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、圧縮ピクチャデータは複数個のスライス、補足データはｕｓｅｒ＿ｄａｔａ、シーケンス終端コードはｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。

各データは常に必要ではなく、例えば、シーケンスヘッダはＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい、としてもよい。また、符号化方式によっては、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャヘッダがなくてもよい。

また、図３４に示すようにＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータとしてＩピクチャのデータが格納され、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードが格納されている。ＧＯＰ先頭以外のビデオアクセスユニットは、ＡＵ識別コード、圧縮ピクチャデータが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードが格納されている。

トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで複合装置は、対象のストリームを抽出することができる。ＰＩＤとストリームの対応は以降で説明するＰＭＴパケットのディスクリプタに格納される。

図３２は、トランスポートストリームがどのように多重化されるかを模式的に示している。まず、複数のビデオフレームからなるビデオストリーム３２０１、複数のオーディオフレームからなるオーディオストリーム３２０４を、それぞれＰＥＳパケット列３２０２及び３２０５に変換し、ＴＳパケット３２０３及び３２０６に変換する。同じく字幕ストリーム３２０７のデータをそれぞれＰＥＳパケット列３２０８に変換し、さらにＴＳパケット３２０９に変換する。ＭＰＥＧ−２トランスポートストリーム３２１３はこれらのＴＳパケットを１本のストリームに多重化することで構成される。

図３５は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。同図における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。同図の矢印ｙｙ１,ｙｙ２, ｙｙ３, ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳやピクチャの復号時刻であるＤＴＳが格納される。

図３６は、トランスポートストリームを構成するＴＳパケットのデータ構造を示している。ＴＳパケットは、４ＢｙｔｅのＴＳヘッダと、アダプテーションフィールドとＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットである。ＴＳヘッダは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ、ＰＩＤ、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌなどから構成される。ＰＩＤは前述した通りトランスポートストリームに多重化されているストリームを識別するためのＩＤである。ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌは、アダプテーションフィールドとＴＳペイロードの構成を制御するための情報である。アダプテーションフィールドとＴＳペイロードはどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌはその有無を示す。ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが１の場合は、ＴＳペイロードのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが２の場合は、アダプテーションフィールドのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌが３の場合は、ＴＳペイロードとアダプテーションフィールドの両方が存在することを示す。

アダプテーションフィールドは、ＰＣＲなどの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロードにはＰＥＳパケットが分割されて格納される。

トランスポートストリームに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Program Association Table）、ＰＭＴ、ＰＣＲ等がある。これらのパケットはＰＳＩと呼ばれる。ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはＡＶストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ・ＤＴＳの時間軸であるＳＴＣの同期を取るために、そのＰＣＲパケットがデコーダに転送されるタイミングに対応するＳＴＣ時間の情報を持つ。

図３７はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、トランスポートストリームに関するディスクリプタが複数配置される。前述したコピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。

ここで、図３６下段に示すトランスポートストリームは、ＴＳパケットが並ぶストリームであり、一般的に放送波に使われるストリームはこの形式であり、以降ではＴＳストリームと呼ぶことにする。一方で、図３９下段に示すトランスポートストリームは、１８８バイトのＴＳパケットの先頭に４Ｂｙｔｅのタイムスタンプを付与したソースパケットが並ぶストリームであり、一般的に通信で伝送されるストリームはこの形式であり、以降ではＴＴＳストリームと呼ぶことにする。ＴＳパケットに付与される先頭のタイムスタンプは、以降ではＡＴＳと呼び、ＡＴＳは付与されるＴＳパケットの、ストリームのデコーダへの転送開始時刻を示す。ＴＴＳストリームは図１４下段に示すようにソースパケットが並ぶこととなり、ＴＴＳストリームの先頭からインクリメントする番号はＳＰＮ（Source Packet Number）と呼ぶ。

通常の放送波では複数チャンネル分のＴＳが多重化されたフルＴＳで送出される。フルＴＳは１８８バイトの固定長ＴＳパケット列で構成されるＴＳストリームである。一方で、ＢＤ−ＲＥやＨＤＤ等の蓄積メディアに放送番組を記録する場合には、フルＴＳの中から、必要なチャンネルのデータのみを抜き出しパーシャルＴＳとして記録する。パーシャルＴＳは、ＴＴＳストリームである。ここでＴＳストリームをＴＴＳストリームに変換する場合に、フルＴＳから不要となったＴＳパケットを単純につめて記録してしまうと、ＴＳパケット間の時間間隔情報がなくなるため、デコーダへの入力タイミングが、送出時に想定していたタイミングとずれるため、デコーダが正しく再生できなくなってしまう。そこで、フルＴＳから不要となったＴＳパケットの時間間隔情報を残すために、ＡＴＳを付与する。このように構成し、デコーダへのデータの入力タイミングを、ＡＴＳで制御することによって、デコーダを破綻させることなく、再生することが可能となる。
＜補足＞
以上、本発明に係る表示装置の一実施形態として、実施の形態、変形例等における表示装置を例として説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態、変形例等で例示した通りの表示装置に限られないことはもちろんである。

（１）実施の形態において、表示装置１１０は、通信サービス提供局１３０から送信された通信映像を、インターネット通信網１４０を介して受信する構成の例であった。しかしながら、通信サービス提供局１３０から送信された通信映像を受信することができる構成であれば、必ずしもインターネット通信網１４０を介して送信された通信映像を受信する構成である必要はない。一例として、放送波を介して送信された通信映像を受信する構成、専用回線を介して送信された通信映像を受信する構成等が考えられる。

（２）実施の形態において、通信映像の表示タイミングを補正する必要がない場合には、放送ストリームのＰＳＩ／ＳＩに格納されるＳＴＣ＿Ｏｆｆｓｅｔの値が“０”となる構成の例であった。しかしながら、通信ストリームに含まれる通信映像の表示タイミングを補正する必要がないという情報を、放送ストリームに含ませることができれば、必ずしも、放送ストリームのＰＳＩ／ＳＩに格納されるＳＴＣ＿Ｏｆｆｓｅｔの値が“０”となる構成である必要はない。一例として、通信ストリームに含まれる通信映像の表示タイミングを補正する必要がない場合に限って、放送ストリームのＰＳＩ／ＳＩにＳＴＣ＿Ｏｆｆｓｅｔを格納しないという構成等が考えられる。このような構成の場合、表示装置１１０は、受信した放送ストリームのＰＳＩ／ＳＩにＳＴＣ＿Ｏｆｆｓｅｔが格納されていないときには、ＳＴＣ＿Ｏｆｆｓｅｔの値が“０”であるときと同様の処理を行う。

（３）実施の形態において、図１７（ａ）では放送ストリームと通信ストリームがともにデータバッファに格納されている例を説明したが、放送ストリームのみがデータバッファに格納されている場合に、放送波のＧＯＰテーブル情報とＳＴＣ＿Ｏｆｆｓｅｔを元に、同期開始する通信ストリームの同期開始ＰＴＳを決定し、その地点のデータをサーバに問い合わせて、バッファリングを開始してもよい。同様に、放送ストリームのみがデータバッファに格納されている場合に、放送波のＧＯＰテーブル情報とフレームＩＤを元に、同期開始する通信ストリームの同期開始ＰＴＳもしくはフレームＩＤを決定し、その地点のデータをサーバに問い合わせて、バッファリングを開始してもよい。

（４）実施の形態において、各ＧＯＰ先頭のビデオパケットにアダプテーションフィールドとして、該当パケットのＰＣＲ値を格納するようにしてもよい。このように構成すれば、ビデオパケット付近のＰＣＲパケットをサーチする必要がないため、Ｄ１やＤ２の算出が容易になる。

（５）実施の形態において、Ｄ１やＤ２を再生装置が計算するのではなく、情報として放送波や通信ストリームのシステムパケットやビデオストリームにて伝送するようにしてもよい。もしくは単にデータとしてサーバから通信で提供するようにしてもよい。

（６）変形例２において、通信ストリームがＭＰ４ストリームであってもよい。この場合には、ＰＴＳ、ＤＴＳが付与されていないため、各フレームに対応するＰＴＳとＤＴＳを示す管理情報をＭＰ４ヘッダ情報に別途用意して、そのタイミング情報を使って処理する。

（７）変形例４において、異なる２台の筐体で同期再生を実現する構成を説明したが、同様の構成で、ストリームデコード手段を追加することによって、３台以上の筐体での同期再生できることは言うまでもない。また、１つの筐体で同期再生できることは言うまでもない。

（８）変形例７において、フレームＩＤはビデオストリームごとにユニークで、ストリーム間で関連を持たないとする場合（つまり、同一のフレームＩＤが付与されても同期関係であることを示さない場合）には、放送ストリームに含まれるフレームＩＤと、通信ストリームに含まれるフレームＩＤの同期関係を示すためのIDのオフセット情報を別途伝送すれば、放送ストリームのフレームＩＤと、通信ストリームのフレームＩＤの同期関係を特定することができる。

（９）実施の形態、変形例等で説明した、ＳＴＣ＿Ｏｆｆｓｅｔ、ＧＯＰ情報テーブル、フレームＩＤ、Ｄ１、Ｄ２、Ｄ３、ＡＴＣ＿Ｏｆｆｓｅｔ等の、実施の形態、変形例等を実現するために必要な情報の一部または全部は、放送ストリームや通信ストリームもしくはアプリケーションから取得する通信データ等に格納してもよい。ストリームに格納される場合には、ＰＭＴやＥＩＴ等のＰＳＩ／ＳＩパケットや、ＢＭＬのイベントメッセージ、ビデオの各フレームのユーザデータ等に格納される。ビデオに格納される場合には、ＧＯＰ先頭のみにＧＯＰ内のフレームに関する情報が一括で格納されていてもよいし、ＧＯＰ先頭のみの情報だけでもよい。

（１０）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

（１１）以下、さらに本発明の一実施形態に係る表示装置の構成及びその変形例と各効果について説明する。

（ａ）本発明の一実施形態に係る表示装置は、受信した、複数の映像フレームを含むストリームに、別途取得して記憶している画像を同期させて表示する表示装置であって、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報とを含むストリームを受信する受信部と、前記受信部によって受信されたストリームに含まれる複数の映像フレームのそれぞれを、前記受信部によって受信されたストリームに含まれる第１表示タイミング情報によって定められる表示タイミングで表示する表示部と、画像と、当該画像の表示タイミングを定める第２表示タイミング情報とを記憶する記憶部と、前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを補正することで、前記記憶部に記憶される画像を、前記表示部に表示される映像フレームに同期させて表示するための補正量を定める補正情報を取得する取得部とを備え、前記表示部は、さらに、前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを前記取得部によって取得された補正情報によって定められる補正量分補正した補正タイミングで、前記記憶部に記憶される画像を表示することを特徴とする。

上述の構成を備える本変形例における表示装置は、番組の放送時刻が変更された場合において、その番組に対応する通信映像を既に受信して記憶しているときであっても、放送映像と通信映像とを、映像製作者の意図した通りのタイミングで同期させて表示することを可能とすることができる。

図４０は、上記変形例における表示装置４０００の構成図である。

同図に示されるように、表示装置４０００は、受信部４０１０と表示部４０２０と記憶部４０３０と取得部４０４０とを備える。

受信部４０１０は、複数の映像フレームと、それら映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報とを含むストリームを受信する機能を有する。一例として、実施の形態におけるチューナ５０１として実現される。

表示部４０２０は、受信部４０１０によって受信されたストリームに含まれる複数の映像フレームのそれぞれを、受信部４０１０によって受信されたストリームに含まれる第１表示タイミング情報によって定められる表示タイミングで表示する機能を有する。一例として、実施の形態における、放送ストリームデコード手段５１０と通信ストリームデコード手段５２０と第１ビデオプレーン５５２と第２ビデオプレーン５５５とプレーン合成処理部５６０とディスプレイ５８０と入力開始制御部５４１からなるブロックとして実現される。

記憶部４０３０は、画像と、その画像の表示タイミングを定める第２表示タイミング情報とを記憶する機能を有する。一例として、実施の形態におけるバッファ５４２として実現される。

取得部４０４０は、記憶部４０３０に記憶される第２表示タイミング情報によって定められる表示タイミングを補正することで、記憶部４０３０に記憶される画像を、表示部４０２０に表示される映像フレームに同期させて表示するための補正量を定める補正情報を取得する機能を有する。一例として、実施の形態における同期開始パケット決定部５４０として実現される。

そして、表示部４０２０は、さらに、記憶部４０３０に記憶される第２表示タイミング情報によって定められる表示タイミングを取得部４０４０に取得された補正情報によって定められる補正量分補正した補正タイミングで、記憶部４０３０に記憶される画像を表示する機能を有する。

（ｂ）また、前記受信部によって受信されるストリームは、さらに、前記補正情報を含み、前記取得部は、前記補正情報の取得を、前記受信部によって受信されたストリームから行うとしてもよい。

このような構成にすることによって、補正情報を、受信部が受信するストリームから取得することができるようになる。

（ｃ）また、前記表示部は、前記受信部によって受信されたストリームに含まれる複数の映像フレームのそれぞれと、前記記憶部に記憶される画像とを表示するためのディスプレイを有し、前記表示部は、前記受信部によって受信されたストリームに含まれる映像フレームと、前記記憶部に記憶される画像とを前記ディスプレイに表示する場合に、当該映像フレームに当該画像を重畳させるとしてもよい。

このような構成にすることで、受信部が受信する映像に、記憶部が記憶する画像を重畳して表示することができるようになる。

（ｄ）また、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であるとしてもよい。

このような構成にすることで、受信部が受信する映像に、サブ受信部が受信する映像を同期させて表示することができるようになる。

（ｅ）また、前記受信部は、放送局から放送された、ストリームを含むデータを伝送する放送波を受信する放送波受信部を有し、前記サブ受信部は、外部のネットワークから、ストリームを含むデータを伝送する伝送信号を受信する伝送信号受信部を有し、前記受信部の受信するストリームは、前記放送波受信部によって受信される放送波によって伝送されるストリームであり、前記サブ受信部の受信するストリームは、前記伝送信号受信部によって受信される伝送信号によって伝送されるストリームであるとしてもよい。

このような構成にすることで、放送波によって伝送される映像に、ネットワークによって伝送される映像を同期させて表示することができるようになる。

（ｆ）また、前記放送波受信部によって受信される放送波によって伝送されるストリームと前記伝送信号受信部によって受信される伝送信号によって伝送されるストリームとは、ＭＰＥＧ（Moving Picture Experts Group）−２ ＴＳ（Transport Stream）形式のストリームであるとしてもよい。

このような構成にすることで、受信部とサブ受信部との実現を、比較的汎用的な手法で行うことができるようになる。

（ｇ）また、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、前記表示部は、前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与する第１到着時刻カウンタと、前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する第２到着時刻カウンタと、前記受信部によって受信されるストリームに付与された第１到着時刻と、前記サブ受信部によって受信されるストリームに付与された第２到着時刻とを利用して、前記受信部によって受信されるストリームが前記第１デコーダに入力されるタイミングに対して所定時間遅延するタイミングで、前記サブ受信部によって受信されるストリームを前記第２デコーダに入力する遅延入力部とを備え、前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力するとしてもよい。

このような構成にすることで、受信部が受信する映像に、サブ受信部が受信する映像を同期させて表示することができるようになる。

（ｈ）また、前記第１デコーダによって復元された映像フレームと、前記第２デコーダによって復元された映像フレームとを多重化することでストリームを生成する多重化部をさらに備えるとしてもよい。

このような構成にすることで、受信部が受信する映像と、サブ受信部が受信する映像とが多重化されてなるストリームを生成することができるようになる。

（ｉ）また、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、前記表示部は、前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与し、前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する到着時刻カウンタと、前記受信部によって受信されるストリームに付与された第１到着時刻と、前記サブ受信部によって受信されるストリームに付与された第２到着時刻とを利用して、前記受信部によって受信されるストリームが前記第１デコーダに入力されるタイミングに対して所定時間遅延するタイミングで、前記サブ受信部によって受信されるストリームを前記第２デコーダに入力する遅延入力部とを備え、前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力するとしてもよい。

このような構成にすることで、到着時刻カウンタの数を１つにすることができる。

（ｊ）また、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、前記受信部によって受信されるストリームは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、前記表示部は、前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダとを備え、前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力するとしてもよい。

このような構成にすることで、受信部との実現を、比較的汎用的な手法で行うことができるようになる。

（ｋ）また、複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、前記表示部は、前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与する第１到着時刻カウンタと、前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する第２到着時刻カウンタとを備え、前記第２デコーダは、基準時間軸における、前記受信部によって受信されるストリームに付与された第１到着時刻に対応する第１基準時間軸時刻と、当該準時間軸における、前記サブ受信部によって受信されるストリームに付与された第２到着時刻に対応する第２基準時間軸時刻と、前記取得部に取得された補正情報によって定められる補正量とを用いて、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力するとしてもよい。

このような構成にすることで、基準時間軸を利用して、このような構成にすることで、受信部が受信する映像に、サブ受信部が受信する映像を同期させて表示することができるようになる。

（ｌ）また、前記記憶部の記憶する画像は、コンピュータグラフィックス画像であり、前記表示部は、前記受信部によって受信されるストリームから映像フレームを復元するデコーダと、前記記憶部に記憶される画像が前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該画像を出力する画像出力部とを有するとしてもよい。

このような構成にすることで、受信部が受信する映像に、コンピュータグラフィックス画像を同期して表示することができるようになる。

本発明の一実施形態に係る送信装置は、複数の映像フレームを記憶する映像記憶部と、前記映像記憶部に記憶される複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報と、画像を表示するタイミングを定める第２表示タイミング情報を記憶する外部装置に、当該第２表示タイミング情報によって定められる表示タイミングを補正することで、当該画像を、前記映像記憶部に記憶する映像フレームと同期させて表示させるための補正量を定める補正情報とを多重化してストリームを生成する生成部と、前記多重化部によって生成されるストリームを送信する送信部とを備えることを特徴とする。

上述の構成を備える本変形例における送信装置によると、複数の映像フレームと第１表示タイミング情報と補正情報とを多重化して送信することができる送信装置を提供することができるようになる。

本発明は、放送コンテンツとそれに付随するコンテンツとを同期して再生する機器に広く利用することができる。

５０１ チューナ
５０２ 通信インターフェース
５１０ 放送ストリームデコード手段
５１１ 第１多重分離部
５１２ 第１オーディオデコーダ
５１３ 字幕デコーダ
５１４ 第１ビデオデコーダ
５１５ システムパケットマネージャ
５２０ 通信ストリームデコード手段
５２１ 第２多重分離部
５２３ 第２ビデオデコーダ
５２２ 第２オーディオデコーダ
５３０ アプリケーション実行制御部
５４０ 同期開始パケット決定部
５４１ 入力開始制御部
５５２ 第１ビデオプレーン
５５４ グラフィックスプレーン
５５５ 第２ビデオプレーン
５６０ プレーン合成処理部

ＴＳパケットＸに付与されるＡＴＳ値を返す関数をＡＴＳ（Ｘ）とし、ＴＳパケットＸに付与されるＰＣＲ値を取得する関数をＰＣＲ（Ｘ）とし、ＴＳパケット８２０がデコードされて得られる映像フレームが、第１ビデオプレーン５５２に出力されるタイミングをＳｙｎｃＰＴＳ１とすると、Ｄ１は、次式のように表わすことができる。

［数１］
D1 = SyncPTS1 - PCR(PCR1) - ATS(V1) + ATS(PCR1)

また、ＴＳパケット８４０がデコードされて得られる映像フレームが、第２ビデオプレーン５５５に出力されるタイミングをＳｙｎｃＰＴＳ２とすると、Ｄ２は、次式のように表わすことができる。

［数２］
D2 = SyncPTS2 - PCR(PCR2) - ATS(V2) + ATS(PCR2)

従って、Ｄ１−Ｄ２は、

［数３］
D1 - D2 = SyncPTS1 - PCR(PCR1) - ATS(V1) + ATS(PCR1)
- [SyncPTS2 - PCR(PCR2) - ATS(V2) + ATS(PCR2)]

と表わされる。

この式に、図８に示される各値を代入すると、

［数４］
D1 - D2 = 2600 - 2200 - 1300 + 1200
- [ 600 - 300 - 3400 + 3300 ]
= 300 - 200
= 100
となる。

ここで、放送ストリームのＳＴＣ時間軸における値Ｘに対応するＡＴＣ値を返す関数をＡＴＣ１（Ｘ）とし、通信ストリームの時間軸における値Ｘに対応するＡＴＣ値を返す関数をＡＴＣ２（Ｘ）とすると、ＡＴＣ＿Ｏｆｆｓｅｔは、次式のように表わすことができる。

［数５］
ATC＿Offset = ATC2(SyncPTS2) - ATC1(SyncPTS1)

この式は、以下のように変形することができる。

［数６］
ATC＿Offset = [ SyncPTS2 + ATC2(PCR2) - PCR(PCR2) ]
- [SyncPTS1 + ATC(PCR1) - PCR(PCR1) ]
= STC＿Offset + [ ATC2(PCR2) - PCR(PCR2) ]
-[ ATC1(PCR1) - PCR(PCR1) ]

この式に、図８に示される各値を代入すると、

［数７］
ATC＿Offset = -2000 + [ 3300 - 300 ] - [ 1200 -2200 ]
= 2000
となる。

Claims (13)

1. 受信した、複数の映像フレームを含むストリームに、別途取得して記憶している画像を同期させて表示する表示装置であって、
   複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報とを含むストリームを受信する受信部と、
   前記受信部によって受信されたストリームに含まれる複数の映像フレームのそれぞれを、前記受信部によって受信されたストリームに含まれる第１表示タイミング情報によって定められる表示タイミングで表示する表示部と、
   画像と、当該画像の表示タイミングを定める第２表示タイミング情報とを記憶する記憶部と、
   前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを補正することで、前記記憶部に記憶される画像を、前記表示部に表示される映像フレームに同期させて表示するための補正量を定める補正情報を取得する取得部とを備え、
   前記表示部は、さらに、前記記憶部に記憶される第２表示タイミング情報によって定められる表示タイミングを前記取得部によって取得された補正情報によって定められる補正量分補正した補正タイミングで、前記記憶部に記憶される画像を表示する
   ことを特徴とする表示装置。
2. 前記受信部によって受信されるストリームは、さらに、前記補正情報を含み、
   前記取得部は、前記補正情報の取得を、前記受信部によって受信されたストリームから行う
   ことを特徴とする請求項１記載の表示装置。
3. 前記表示部は、前記受信部によって受信されたストリームに含まれる複数の映像フレームのそれぞれと、前記記憶部に記憶される画像とを表示するためのディスプレイを有し、
   前記表示部は、前記受信部によって受信されたストリームに含まれる映像フレームと、前記記憶部に記憶される画像とを前記ディスプレイに表示する場合に、当該映像フレームに当該画像を重畳させる
   ことを特徴とする請求項２記載の表示装置。
4. 複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、
   前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、
   前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報である
   ことを特徴とする請求項３記載の表示装置。
5. 前記受信部は、放送局から放送された、ストリームを含むデータを伝送する放送波を受信する放送波受信部を有し、
   前記サブ受信部は、外部のネットワークから、ストリームを含むデータを伝送する伝送信号を受信する伝送信号受信部を有し、
   前記受信部の受信するストリームは、前記放送波受信部によって受信される放送波によって伝送されるストリームであり、
   前記サブ受信部の受信するストリームは、前記伝送信号受信部によって受信される伝送信号によって伝送されるストリームである
   ことを特徴とする請求項４記載の表示装置。
6. 前記放送波受信部によって受信される放送波によって伝送されるストリームと前記伝送信号受信部によって受信される伝送信号によって伝送されるストリームとは、ＭＰＥＧ（Moving Picture Experts Group）−２ ＴＳ（Transport Stream）形式のストリームである
   ことを特徴とする請求項５記載の表示装置。
7. 複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、
   前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、
   前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、
   前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、
   前記表示部は、
   前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、
   前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、
   前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与する第１到着時刻カウンタと、
   前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する第２到着時刻カウンタと、
   前記受信部によって受信されるストリームに付与された第１到着時刻と、前記サブ受信部によって受信されるストリームに付与された第２到着時刻とを利用して、前記受信部によって受信されるストリームが前記第１デコーダに入力されるタイミングに対して所定時間遅延するタイミングで、前記サブ受信部によって受信されるストリームを前記第２デコーダに入力する遅延入力部とを備え、
   前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力する
   ことを特徴とする請求項１記載の表示装置。
8. 前記第１デコーダによって復元された映像フレームと、前記第２デコーダによって復元された映像フレームとを多重化することでストリームを生成する多重化部をさらに備える
   ことを特徴とする請求項７記載の表示装置。
9. 複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、
   前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、
   前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、
   前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、
   前記表示部は、
   前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、
   前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、
   前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与し、前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する到着時刻カウンタと、
   前記受信部によって受信されるストリームに付与された第１到着時刻と、前記サブ受信部によって受信されるストリームに付与された第２到着時刻とを利用して、前記受信部によって受信されるストリームが前記第１デコーダに入力されるタイミングに対して所定時間遅延するタイミングで、前記サブ受信部によって受信されるストリームを前記第２デコーダに入力する遅延入力部とを備え、
   前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力する
   ことを特徴とする請求項１記載の表示装置。
10. 複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、
    前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、
    前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、
    前記受信部によって受信されるストリームは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、
    前記表示部は、
    前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、
    前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダとを備え、
    前記第２デコーダは、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力する
    ことを特徴とする請求項１記載の表示装置。
11. 複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める情報とを含むストリームを受信するサブ受信部をさらに備え、
    前記記憶部の記憶する画像は、前記サブ受信部によって受信された複数の映像フレームであり、
    前記記憶部の記憶する第２表示タイミング情報は、前記サブ受信部によって受信された情報であり、
    前記受信部によって受信されるストリームと前記サブ受信部によって受信されるストリームとは、ＭＰＥＧ−２ ＴＳ形式のストリームであり、
    前記表示部は、
    前記受信部によって受信されるストリームから映像フレームを復元する第１デコーダと、
    前記サブ受信部によって受信されるストリームから映像フレームを復元する第２デコーダと、
    前記受信部によって受信されるストリームに、当該ストリームが前記第１デコーダに入力されるタイミングに係る第１到着時刻を付与する第１到着時刻カウンタと、
    前記サブ受信部によって受信されるストリームに、当該ストリームが前記第２デコーダに入力されるタイミングに係る第２到着時刻を付与する第２到着時刻カウンタとを備え、
    前記第２デコーダは、基準時間軸における、前記受信部によって受信されるストリームに付与された第１到着時刻に対応する第１基準時間軸時刻と、当該準時間軸における、前記サブ受信部によって受信されるストリームに付与された第２到着時刻に対応する第２基準時間軸時刻と、前記取得部に取得された補正情報によって定められる補正量とを用いて、復元した映像フレームが前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該映像フレームを出力する
    ことを特徴とする請求項１記載の表示装置。
12. 前記記憶部の記憶する画像は、コンピュータグラフィックス画像であり、
    前記表示部は、
    前記受信部によって受信されるストリームから映像フレームを復元するデコーダと、
    前記記憶部に記憶される画像が前記表示部によって前記補正タイミングで表示されるような出力タイミングで、当該画像を出力する画像出力部とを有する
    ことを特徴とする請求項１記載の表示装置。
13. 複数の映像フレームを記憶する映像記憶部と、
    前記映像記憶部に記憶される複数の映像フレームと、当該映像フレームそれぞれについての表示タイミングを定める第１表示タイミング情報と、画像を表示するタイミングを定める第２表示タイミング情報を記憶する外部装置に、当該第２表示タイミング情報によって定められる表示タイミングを補正することで、当該画像を、前記映像記憶部に記憶する映像フレームと同期させて表示させるための補正量を定める補正情報とを多重化してストリームを生成する生成部と、
    前記多重化部によって生成されるストリームを送信する送信部とを備える
    ことを特徴とする送信装置。

Images