JPWO2013190789A1 - 受信装置およびその同期処理方法 - Google Patents
受信装置およびその同期処理方法 Download PDFInfo
- Publication number
- JPWO2013190789A1 JPWO2013190789A1 JP2014520906A JP2014520906A JPWO2013190789A1 JP WO2013190789 A1 JPWO2013190789 A1 JP WO2013190789A1 JP 2014520906 A JP2014520906 A JP 2014520906A JP 2014520906 A JP2014520906 A JP 2014520906A JP WO2013190789 A1 JPWO2013190789 A1 JP WO2013190789A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- time code
- time
- stream
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
- H04H20/18—Arrangements for synchronising broadcast or distribution via plural systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
- H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
【課題】互いに同期して再生されるべき２つの映像ストリームを放送とインターネットで伝送する場合のそれぞれの同期再生を良好に行う。【解決手段】第１の映像データの第１の単位毎に第１のタイムコードが付加された放送ストリームを受信可能な放送受信部と、第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも第１の単位毎に第２のタイムコードが付加された通信ストリームをネットワークを通じて受信可能な通信受信部と、基準時刻（ＳＴＣ）を生成する基準時刻生成部と、予め決められたタイミングで、受信された放送ストリームに付加された第１のタイムコードと通信ストリームに付加された第２のタイムコードを取得し、第１のタイムコードに対する第２のタイムコードの遅れ分を算出するタイムコード処理部と、遅れ分を加味して基準時刻を調整する調整部とを具備する。【選択図】図６
Description
本技術は、互いに同期して再生されるべき複数の映像のうち一方を放送で受信し、他方をネットワークを通じて受信し、それぞれを互いに同期再生することが可能な受信装置とその同期処理方法に関する。
近年、携帯電話等の通信用途の帯域拡大の要求に押され、放送用途に割有られる帯域の拡大は将来的に期待できない。一方、例えば３Ｄ番組、高解像度映像など、コンテンツの伝送に必要とされる帯域は拡大傾向にあり、放送の帯域だけでは不足することが予想される。そこで、放送とインターネットの統合的に利用して、３Ｄ番組、高解像度映像など、広帯域を要する番組を伝送するサービスの実現が検討されている。
例えば、特許文献１には、メインの放送音声データを放送波として伝送するとともに、多視点映像データおよび多聴点音声データをネットワークを介して伝送し、受信装置にてこれらメインの放送音声データ、多視点映像データおよび多聴点音声データを受信し、提示する技術が開示されている。
互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合、それぞれの伝送方式の特性の違いによる２つの映像ストリームの受信タイミングがずれが発生した場合、特にインターネット経由のストリームが放送経由のストリームに対して遅れ、その遅れの量が放送受信側のバッファで吸収できない程度である場合には、同期再生が困難になることが想定される。
以上のような事情に鑑み、本技術の目的は、互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合のそれぞれの同期再生を良好に行うことのできる受信装置およびその同期処理方法を提供することにある。
上記の課題を解決するために、本技術に係る受信装置は、第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信可能な放送受信部と、前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信可能な通信受信部と、前記第１の映像データを提示する処理のタイミングを生成するための基準時刻を生成する基準時刻生成部と、予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出するタイムコード処理部と、前記遅れ分を加味して前記基準時刻を調整する調整部と、を具備する。
この受信装置では、タイムコード処理部が、予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出する。調整部は、前記第１の映像ストリームを提示する処理のタイミングを生成するための基準時刻を前記遅れ分を加味して調整する。これにより、通信ストリームが放送ストリームに対して遅れて受信された場合でも、各ストリームを同期再生することができる。
前記第１の映像ストリームには提示時刻情報が付加され、前記受信装置は、前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、前記通信受信部により受信された前記第２の映像ストリームをデコードする第２の映像デコーダと、をさらに具備し、前記タイムコード処理部は、前記第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して前記第２の映像デコーダに供給し、前記第２の映像デコーダは、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードするものであってよい。
前記タイムコード処理部は、少なくとも、前記放送ストリームの受信中に前記通信ストリームが最初に受信されたとき、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出するものであってよい。
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整するものであってよい。
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成するものであってよい。
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものであってよい。
また、本技術に係る受信装置において、前記第２の映像ストリームには提示時刻情報が付加され、前記受信装置は、前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、前記通信受信部により受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第２の映像デコーダと、をさらに具備するものであってよい。
本技術の別の側面に係る同期処理方法は、放送受信部が、第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信し、通信受信部が、前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信し、タイムコード処理部が、予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出し、調整部が、前記遅れ分を加味して前記第１の映像ストリームを提示する処理のタイミングを生成するための基準時刻を調整する
ことを特徴とする。
ことを特徴とする。
本技術に係る同期処理方法は、前記基準時刻の調整後、前記タイムコード処理部が、第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して第２の映像デコーダに供給し、前記第２の映像デコーダが、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードすることとしてもよい。
本技術に係る同期処理方法は、前記基準時刻の調整後、第１の映像デコーダが、前記受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードし、前記基準時刻の調整後、第２の映像デコーダが、前記受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードすることとしてもよい。
以上のように、本技術によれば、互いに同期して再生されるべき２つの映像ストリームを放送とインターネットとに分けて伝送する場合のそれぞれの同期再生を良好に行うことができる。
以下、本技術に係る実施の形態を説明する。
＜第１の実施形態＞
本実施形態は、放送により伝送される映像を含むストリーム（以下「放送ストリーム」と呼ぶ。）とインターネットにより伝送される映像を含むストリーム（以下「通信ストリーム」と呼ぶ。）を伝送する伝送装置と、伝送装置より伝送された放送ストリームと通信ストリームを受信し、これらを互いに同期させて再生する受信装置とその同期処理方法に関するものである。
＜第１の実施形態＞
本実施形態は、放送により伝送される映像を含むストリーム（以下「放送ストリーム」と呼ぶ。）とインターネットにより伝送される映像を含むストリーム（以下「通信ストリーム」と呼ぶ。）を伝送する伝送装置と、伝送装置より伝送された放送ストリームと通信ストリームを受信し、これらを互いに同期させて再生する受信装置とその同期処理方法に関するものである。
このような放送ストリームと通信ストリームの同期伝送システムの例として次のようなものが挙げられる。
１．３Ｄ番組
図１は３Ｄ番組伝送システムの構成を示す図である。
３Ｄ番組を構成する複数の視点の映像のうち１視点の映像が放送で伝送され、他の１視点の映像が通信で伝送される。受信機はこれら放送と通信で伝送される２つの映像を受信し、互いに同期をとって再生してマージし、３Ｄ映像を提示する。
１．３Ｄ番組
図１は３Ｄ番組伝送システムの構成を示す図である。
３Ｄ番組を構成する複数の視点の映像のうち１視点の映像が放送で伝送され、他の１視点の映像が通信で伝送される。受信機はこれら放送と通信で伝送される２つの映像を受信し、互いに同期をとって再生してマージし、３Ｄ映像を提示する。
２．マルチビュー番組
１つの被写体が複数のカメラで同時に撮影されることによって得られる一つのビューの映像がメインビューとして放送で伝送され、その他の１以上のビューの映像がサブビューとして通信で伝送される。受信機はこれら複数のビューの映像を受信し、メインビューの映像を親画面に表示させるとともに、１以上のサブビューの映像を子画面で表示させる。あるいは、受信機は、メイン画面に表示させる映像をメインビューとサブビューとの間で切り替える。
１つの被写体が複数のカメラで同時に撮影されることによって得られる一つのビューの映像がメインビューとして放送で伝送され、その他の１以上のビューの映像がサブビューとして通信で伝送される。受信機はこれら複数のビューの映像を受信し、メインビューの映像を親画面に表示させるとともに、１以上のサブビューの映像を子画面で表示させる。あるいは、受信機は、メイン画面に表示させる映像をメインビューとサブビューとの間で切り替える。
３．高解像度番組
例えば４Ｋの（画素数3840×2160）の高解像度カメラで撮影された映像が４分割されて得られる４系統のＨＤサイズ（画素数1920×1080）の映像のうち、一部が放送で伝送され、残りが通信で伝送される。受信機は各系統のＨＤサイズの映像を受信し、互いに同期をとって再生し、結合して４Ｋサイズの高解像度映像を提示する。あるいは、高解像度カメラで撮影された映像がウェーブレット変換などにより周波数分解され、低解像度成分のＨＤサイズの映像が放送で伝送され、残りの高周波成分の映像が通信で伝送される。受信機は、受信した４つのＨＤサイズの映像をウェーブレット逆変換などにより周波数合成して一つの高解像度映像として復元して提示する。
例えば４Ｋの（画素数3840×2160）の高解像度カメラで撮影された映像が４分割されて得られる４系統のＨＤサイズ（画素数1920×1080）の映像のうち、一部が放送で伝送され、残りが通信で伝送される。受信機は各系統のＨＤサイズの映像を受信し、互いに同期をとって再生し、結合して４Ｋサイズの高解像度映像を提示する。あるいは、高解像度カメラで撮影された映像がウェーブレット変換などにより周波数分解され、低解像度成分のＨＤサイズの映像が放送で伝送され、残りの高周波成分の映像が通信で伝送される。受信機は、受信した４つのＨＤサイズの映像をウェーブレット逆変換などにより周波数合成して一つの高解像度映像として復元して提示する。
４．音声吹き替えサービス
音声吹き替えサービスでは、映像と日本語音声が放送で伝送され、映像に対する多言語の吹き替え版の音声が通信で伝送される。受信機は、映像と日本語音声を放送から受信する一方で、映像に対する多言語の吹き替え版の音声を通信から受信し、ユーザからの要求に応じて、放送の映像と吹き替え音声を互いに同期をとって再生して提示する。
音声吹き替えサービスでは、映像と日本語音声が放送で伝送され、映像に対する多言語の吹き替え版の音声が通信で伝送される。受信機は、映像と日本語音声を放送から受信する一方で、映像に対する多言語の吹き替え版の音声を通信から受信し、ユーザからの要求に応じて、放送の映像と吹き替え音声を互いに同期をとって再生して提示する。
図１は上記の放送ストリームと通信ストリームの同期伝送システムの構成を示す図である。
ここで、番組素材とは、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などである。放送・通信設備１００において、番組素材は放送用の信号と通信用の信号とに分けられる。放送用の信号と通信用の信号はそれぞれ、エンコーダによってＭＰＥＧ２＿ＴＳなどのストリームに符号化される。符号化されたストリームには提示時刻情報であるタイムコードが挿入される。タイムコードが挿入された一方のストリームは放送で送出され、タイムコードが挿入された他方のストリームは配信サーバによってインターネットを通じて通信で配信される。また、符号化の際には、ビデオのＴＳパケットに一定周期で時刻参照値であるＰＣＲ(Program Clock Reference)が挿入される。あるいは、ＰＣＲを含むＰＣＲパケットが一定周期で付加される。
ここで、番組素材とは、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などである。放送・通信設備１００において、番組素材は放送用の信号と通信用の信号とに分けられる。放送用の信号と通信用の信号はそれぞれ、エンコーダによってＭＰＥＧ２＿ＴＳなどのストリームに符号化される。符号化されたストリームには提示時刻情報であるタイムコードが挿入される。タイムコードが挿入された一方のストリームは放送で送出され、タイムコードが挿入された他方のストリームは配信サーバによってインターネットを通じて通信で配信される。また、符号化の際には、ビデオのＴＳパケットに一定周期で時刻参照値であるＰＣＲ(Program Clock Reference)が挿入される。あるいは、ＰＣＲを含むＰＣＲパケットが一定周期で付加される。
典型的な受信装置２００では、一つの番組に関連する放送ストリームおよび通信ストリームを受信する。典型的な受信装置２００では、受信した放送ストリームおよび通信ストリームからそれぞれＰＣＲを抽出し、このＰＣＲを用いて受信装置２００の基準時刻であるＳＴＣ（System Time Clock）を設定あるいは校正し、このＳＴＣと映像のＴＳパケットに含まれる提示時刻情報であるＰＴＳ（Presentation Time Stamp）とから映像の提示のタイミングが生成される。
その際、ネットワークのトラフィック変動によって受信装置２００に通信ストリームが受信されるタイミングが、これと同期がとられて再生されるべき放送ストリームに対して遅れる可能性がある。通信ストリームが放送ストリームに対して遅れている場合には受信した放送ストリームをバッファに蓄えて放送ストリームの再生を遅らせる必要がある。しかし、典型的な受信装置２００では、ＰＣＲをもとに生成されるＳＴＣと、映像のＴＳパケットに含まれる再生時の時刻管理情報であるＰＴＳから映像ストリームの提示タイミングが一意に決められることが前提とされている。したがって、受信した放送ストリームをバッファに蓄えるだけでは、放送ストリームと通信ストリームとの同期再生を実現することは実際には困難である。
本実施形態では、例えばＭＰＥＧ２ビデオストリーム、ＭＰＥＧ４−ＡＶＣビデオストリームなどの映像ストリームに付加されているタイムコードがＧＯＰの先頭ピクチャやピクチャ毎の提示時刻を時、分、秒、フレームの単位で示すデータであることを利用して、受信装置のＳＴＣの調整、ならびに放送ストリームと通信ストリームとの同期再生を実現する。
［動作の概要］
図２は本技術に係る第１の実施形態の受信装置３００において、ＳＴＣの調整により放送ストリームと通信ストリームとを同期させる動作の概要を示すタイムチャートである。
図２は本技術に係る第１の実施形態の受信装置３００において、ＳＴＣの調整により放送ストリームと通信ストリームとを同期させる動作の概要を示すタイムチャートである。
１．受信装置３００は、放送ストリームと通信ストリームの同期再生の指示が発生してから最初に通信ストリームを受信した時点における、放送ストリームおよび通信ストリームから取得したタイムコードどうしを比較する。放送ストリームから取得したタイムコードを「第１のタイムコード」、通信ストリームから取得したタイムコードを「第２のタイムコード」と呼ぶこととする。
ここで、同期再生の指示が発生してから最初に通信ストリームを受信した時点における、放送ストリームの第１のタイムコードを"TCb0"、同期再生の指示が発生してから最初に受信した通信ストリームの第２のタイムコードを"TCi00"としてTCb0＞TCi00の条件が成立するかどうかを判定する。
尚、ここでタイムコードは本来、時、分、秒、フレームの４値(TCh,TCm,TCs,TCf)で表現されるが、上記でTCb0とかTCi00と称しているのは４値から以下の式にてミリセカンド単位の１値に変換したものを想定する。
TC=(TCh×60+TCm)×60+TCs)×1000+TCf×1000/60
ここで、同期再生の指示が発生してから最初に通信ストリームを受信した時点における、放送ストリームの第１のタイムコードを"TCb0"、同期再生の指示が発生してから最初に受信した通信ストリームの第２のタイムコードを"TCi00"としてTCb0＞TCi00の条件が成立するかどうかを判定する。
尚、ここでタイムコードは本来、時、分、秒、フレームの４値(TCh,TCm,TCs,TCf)で表現されるが、上記でTCb0とかTCi00と称しているのは４値から以下の式にてミリセカンド単位の１値に変換したものを想定する。
TC=(TCh×60+TCm)×60+TCs)×1000+TCf×1000/60
２．受信装置３００は、上記の条件が成立する場合、"TCb0"と"TCi00"とのオフセットΔを次式により算出する。
TCb0−TCi00＝Δ ・・・（１）
TCb0−TCi00＝Δ ・・・（１）
３．受信装置３００は、このオフセットΔでＳＴＣを次式により調整する。
ＳＴＣ−Δ×９０−ｍ＝ＳＴＣ´ ・・・（２）
ここでオフセットΔに９０を掛けるのは、ミリ秒単位のオフセットΔをＳＴＣと同じ９０ＫＨｚのカウンタ値にマッピングするためである。ｍは例えば予め決められたマージンである。
ＳＴＣ−Δ×９０−ｍ＝ＳＴＣ´ ・・・（２）
ここでオフセットΔに９０を掛けるのは、ミリ秒単位のオフセットΔをＳＴＣと同じ９０ＫＨｚのカウンタ値にマッピングするためである。ｍは例えば予め決められたマージンである。
４．ＳＴＣの調整後、受信装置３００は、上記最初に通信ストリームを受信した時点における、放送ストリームの映像のＴＳパケットに含まれるＰＴＳが調整後のＳＴＣ´と一致したときデコード対象をデコードするとともに、この第１のタイムコード（TCb0）と同じ値の第２のタイムコード（TCi0）を有する通信ストリームの映像データをデコードする。以降、同様に放送ストリームと通信ストリームの同期再生が繰り返される。
以上の処理により、放送ストリームと通信ストリームとを同期して再生することができる。
［タイムコード］
次に、ＭＰＥＧ２（Moving Picture Experts Group phase 2）ビデオストリームにおけるタイムコードについて説明する。
図３はＭＰＥＧ２ビデオストリームのタイムコードを説明する図である。
最上位層であるピクチャ層の最初には、Sequence_Headerが記述されている。Sequence_HeaderはＭＰＥＧ２ビットストリームのシーケンスのヘッダデータを定義するものである。Sequence_Headerの後ろにはGOP_Header、Picture_Headerが記述されている。
GOP_Headerは、MPEGビットストリームのＧＯＰ（group_of_picture）層のヘッダデータを定義するものである。このGOP_Headerは、group_start_code、time_code、closed_gop、およびbroken_linkなどから構成される。
次に、ＭＰＥＧ２（Moving Picture Experts Group phase 2）ビデオストリームにおけるタイムコードについて説明する。
図３はＭＰＥＧ２ビデオストリームのタイムコードを説明する図である。
最上位層であるピクチャ層の最初には、Sequence_Headerが記述されている。Sequence_HeaderはＭＰＥＧ２ビットストリームのシーケンスのヘッダデータを定義するものである。Sequence_Headerの後ろにはGOP_Header、Picture_Headerが記述されている。
GOP_Headerは、MPEGビットストリームのＧＯＰ（group_of_picture）層のヘッダデータを定義するものである。このGOP_Headerは、group_start_code、time_code、closed_gop、およびbroken_linkなどから構成される。
group_start_codeは、ＧＯＰ層の開始同期コードを示すデータである。
time_codeは、ＧＯＰの先頭ピクチャのシーケンス先頭からの時間を示すタイムコードである。すなわち、time_codeはＧＯＰ（第１の単位）毎に付加されるタイムコードである。
closed_gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。
broken_linkは、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
そしてtime_codeは、ＧＯＰの先頭ピクチャの提示時刻を示す時（hour）、分（minute）、秒（second）、フレーム（picture）などのデータで構成される。
time_codeは、ＧＯＰの先頭ピクチャのシーケンス先頭からの時間を示すタイムコードである。すなわち、time_codeはＧＯＰ（第１の単位）毎に付加されるタイムコードである。
closed_gopは、ＧＯＰ内の画像が他のＧＯＰから独立再生可能なことを示すフラグデータである。
broken_linkは、編集などのためにＧＯＰ内の先頭のＢピクチャが正確に再生できないことを示すフラグデータである。
そしてtime_codeは、ＧＯＰの先頭ピクチャの提示時刻を示す時（hour）、分（minute）、秒（second）、フレーム（picture）などのデータで構成される。
図４はＭＰＥＧ４−ＡＶＣ(Advanced Video Coding)ビデオストリームのＧＯＰの先頭のアクセスユニットの構成を示す図である。
AU delimiterは、ピクチャ境界位置を示す情報である。
SPS(Sequence Parameter Set)は、ビデオシーケンスに関するパラメータである。SPSは、具体的には、ピクチャ単位またはスライス単位の仮想バッファのバッファサイズやビットレート情報が含まれる。
PPS(Picture Parameter Set)は、当該ピクチャに関するパラメータである。
SEI(Supplemental Enhancement Information)は、デコードに関する補助的な情報を含む付加情報である。
Sliceは、アクセスユニットに含まれる１つのピクチャのデータである。
AU delimiterは、ピクチャ境界位置を示す情報である。
SPS(Sequence Parameter Set)は、ビデオシーケンスに関するパラメータである。SPSは、具体的には、ピクチャ単位またはスライス単位の仮想バッファのバッファサイズやビットレート情報が含まれる。
PPS(Picture Parameter Set)は、当該ピクチャに関するパラメータである。
SEI(Supplemental Enhancement Information)は、デコードに関する補助的な情報を含む付加情報である。
Sliceは、アクセスユニットに含まれる１つのピクチャのデータである。
SEIはPicture timing SEIを含む。Picture timing SEIは、Slice（ピクチャのデータ）の復号化および表示のタイミングを示すタイミング情報である。
図５はＭＰＥＧ４−ＡＶＣビデオストリームのＧＯＰの先頭以外のアクセスユニットの構成を示す図である。
ＧＯＰの先頭以外のアクセスユニットは、AU delimiter、PPS、SEI、Sliceを含む。そしてSEIには、ＧＯＰの先頭のアクセスユニットと同様にPicture timing SEIが含まれている。
ＧＯＰの先頭以外のアクセスユニットは、AU delimiter、PPS、SEI、Sliceを含む。そしてSEIには、ＧＯＰの先頭のアクセスユニットと同様にPicture timing SEIが含まれている。
図６はPicture Timing SEIの構成を示す図である。Picture Timing SEIには、時（hour）、分（minute）、秒（second）、フレーム（n_frame）のデータが記述される。したがって、ＭＰＥＧ４−ＡＶＣビデオストリームにおいて、Picture Timing SEIはピクチャ毎の提示時刻を示すタイムコードである。すなわち、Picture Timing SEIは少なくともＧＯＰ毎に付加されるタイムコードである。
一般的にＭＰＥＧ２ビデオストリームは、放送による映像の伝送に用いられ、ＭＰＥＧ４−ＡＶＣビデオストリームはインターネット（通信）による映像の伝送に用いられる。したがって、その場合には、ＭＰＥＧ２ビデオストリームのtime_codeは第１のタイムコード、ＭＰＥＧ４−ＡＶＣビデオストリームのPicture timing SEIは第２のタイムコードとして採用される。
［受信装置の構成］
図７は、本実施形態の受信装置３００の構成を示すブロック図である。
受信装置３００は、チューナ３０１（放送受信部）、放送用のＤｅＭＵＸ３０２、放送用の映像バッファ３０３、放送用の映像デコーダ３０４（第１の映像デコーダ）、ＳＴＣ生成部３０５（基準時刻生成部）、ネットワークＩ／Ｆ３０７（通信受信部）、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、通信用のストリーミングバッファ３１０、通信用のＤｅＭＵＸ３１１、通信用の映像バッファ３１２、ＳＴＣ調整部３１３（調整部）、通信用の映像デコーダ３１４（第２の映像デコーダ）、映像マージャ３１５およびタイムコード処理部３１６を備える。
図７は、本実施形態の受信装置３００の構成を示すブロック図である。
受信装置３００は、チューナ３０１（放送受信部）、放送用のＤｅＭＵＸ３０２、放送用の映像バッファ３０３、放送用の映像デコーダ３０４（第１の映像デコーダ）、ＳＴＣ生成部３０５（基準時刻生成部）、ネットワークＩ／Ｆ３０７（通信受信部）、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、通信用のストリーミングバッファ３１０、通信用のＤｅＭＵＸ３１１、通信用の映像バッファ３１２、ＳＴＣ調整部３１３（調整部）、通信用の映像デコーダ３１４（第２の映像デコーダ）、映像マージャ３１５およびタイムコード処理部３１６を備える。
チューナ３０１は、ユーザにより選択されたチャンネルの放送ストリーム（第１の映像ストリーム）を受信し、トランスポートストリーム（TS：Transport Stream）を生成して放送用のＤｅＭＵＸ３０２に送出する。
放送用のＤｅＭＵＸ３０２は、トランスポートストリームのＤｅＭＵＸ処理を行い、映像のＴＳパケットを分離して映像ストリームとして放送用の映像バッファ３０３に供給するとともに、映像のＴＳパケットからＰＣＲを抽出してＳＴＣ生成部３０５に供給する。
放送用の映像バッファ３０３は、放送用の映像デコーダ３０４に供給する映像ストリームをバッファリングする。
放送用の映像デコーダ３０４は、放送用の映像バッファ３０３から読み出された映像ストリームをＳＴＣ生成部３０５のＳＴＣをタイムベースとしてデコードして映像マージャ３１５に映像信号を出力する。より具体的には、放送用の映像デコーダ３０４は、映像のＴＳパケットに付加されたＰＴＳ（Presentation Time Stamp）がＳＴＣの値と一致するタイミンクでその映像が提示されるように、デコード開始および出力のタイミングを制御する。
また、放送用の映像デコーダ３０４は、放送と通信の同期再生を目的に、デコード対象の映像ストリームに付加されたタイムコード（第１のタイムコード）をタイムコード処理部３１６に定常的に供給する。
また、放送用の映像デコーダ３０４は、放送と通信の同期再生を目的に、デコード対象の映像ストリームに付加されたタイムコード（第１のタイムコード）をタイムコード処理部３１６に定常的に供給する。
ＳＴＣ生成部３０５は、放送ストリームから抽出されたＰＣＲを基準に２７メガヘルツのＳＴＣを生成し、放送用の映像デコーダ３０４などに供給する。ＳＴＣ生成部３０５は、ＳＴＣ調整部３１３からのＳＴＣ調整データをもとにＳＴＣを調整することが可能である。
ネットワークＩ／Ｆ３０７は、ＨＴＭＬ（HyperText Markup Language）ブラウザ３０８上で動作する放送連動型アプリケーションからＶＯＤ（Video On Demand）プレーヤ３０９への放送ストリームと通信ストリームの同期再生の指示が出されることによってＶＯＤプレーヤ３０９から与えられた通信ストリームの取得リクエストを、インターネットを通じて放送・通信設備１００の配信サーバに送信し、配信サーバからの応答として、放送ストリームと同期して再生されるべき通信ストリーム（第２の映像ストリーム）を受信する。
通信用のストリーミングバッファ３１０は、受信した通信ストリームをバッファリングする。通信用のストリーミングバッファ３１０は、保持された通信ストリームを取り出して通信用のＤｅＭＵＸ３１１に供給する。
通信用のＤｅＭＵＸ３１１は、ストリーミングバッファ３１０から取り出された通信ストリームから映像のＴＳパケットを分離して映像ストリームとして通信用の映像バッファ３１２に供給する。
通信用の映像バッファ３１２は、通信用の映像デコーダ３１４に供給する映像ストリームをバッファリングする。
通信用の映像デコーダ３１４は、通信用の映像バッファ３１２より取り出された映像ストリームをデコードして、通信系の映像信号を映像マージャ３１５に供給する。
また、通信用の映像デコーダ３１４は、ＳＴＣの調整を目的に、放送ストリームと通信ストリームの同期再生の指示の発生から最初に取得した映像データに含まれるタイムコード（第２のタイムコード）をタイムコード処理部３１６に供給する。
さらに、ＳＴＣの調整以後、通信用の映像デコーダ３１４は、タイムコード処理部３１６より供給された第１のタイムコードと同じ値の第２のタイムコードをもつ通信ストリームの映像データ単位を通信用の映像バッファ３１２から取り出してデコードし、通信系の映像信号として映像マージャ３１５に出力する。
また、通信用の映像デコーダ３１４は、ＳＴＣの調整を目的に、放送ストリームと通信ストリームの同期再生の指示の発生から最初に取得した映像データに含まれるタイムコード（第２のタイムコード）をタイムコード処理部３１６に供給する。
さらに、ＳＴＣの調整以後、通信用の映像デコーダ３１４は、タイムコード処理部３１６より供給された第１のタイムコードと同じ値の第２のタイムコードをもつ通信ストリームの映像データ単位を通信用の映像バッファ３１２から取り出してデコードし、通信系の映像信号として映像マージャ３１５に出力する。
映像マージャ３１５は、放送系の映像信号と通信系の映像信号とをマージして提示用の映像信号を生成し、図示しないディスプレイに出力する。ここで、マージは、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組など、番組素材の放送と通信への分離方法に対応した方法で行われる。
タイムコード処理部３１６は、放送ストリームと通信ストリームの同期再生の指示の発生から最初に通信用の映像デコーダ３１４より供給された第２のタイムコードと、放送用の映像デコーダ３０４より供給された最新の第１のタイムコードとを比較し、第２のタイムコードが第１のタイムコードよりも遅れている場合、その差分をＳＴＣ調整部３１３に供給する。
タイムコード処理部３１６は、ＳＴＣの調整以後、放送ストリームと通信ストリームの同期再生を目的に、放送用の映像デコーダ３０４より供給された第１のタイムコードを通信用の映像デコーダ３１４に供給する。
タイムコード処理部３１６は、ＳＴＣの調整以後、放送ストリームと通信ストリームの同期再生を目的に、放送用の映像デコーダ３０４より供給された第１のタイムコードを通信用の映像デコーダ３１４に供給する。
ホストコントローラ３１７は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される。ＲＯＭにはＣＰＵに実行させるプログラムやデータが固定的に記憶される。ＲＡＭにはＲＯＭに格納されたプログラムがロードされ、ＣＰＵはそのロードされたプログラムを実行する。
ＲＡＭにロードされたプログラムは、ホストコントローラ３１７を、少なくとも、ＳＴＣ生成部３０５、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、タイムコード処理部３１６、ＳＴＣ調整部３１３として動作させる。ホストコントローラ３１７は、例えば、図示しないリモートコントローラを用いてユーザからの各種指示やデータの入力を受け付けることが可能である。なお、ＳＴＣ生成部３０５、タイムコード処理部３１６およびＳＴＣ調整部３１３はソフトウェアで構成されることに限定されるものではなく、ハードウェアとして構成されてもよい。
ＲＡＭにロードされたプログラムは、ホストコントローラ３１７を、少なくとも、ＳＴＣ生成部３０５、ＨＴＭＬブラウザ３０８、ＶＯＤプレーヤ３０９、タイムコード処理部３１６、ＳＴＣ調整部３１３として動作させる。ホストコントローラ３１７は、例えば、図示しないリモートコントローラを用いてユーザからの各種指示やデータの入力を受け付けることが可能である。なお、ＳＴＣ生成部３０５、タイムコード処理部３１６およびＳＴＣ調整部３１３はソフトウェアで構成されることに限定されるものではなく、ハードウェアとして構成されてもよい。
［放送ストリームと通信ストリームの同期処理］
次に、受信装置３００において、放送の選局から放送ストリームと通信ストリームとの同期再生までの動作を説明する。
次に、受信装置３００において、放送の選局から放送ストリームと通信ストリームとの同期再生までの動作を説明する。
まず、受信装置３００のユーザは、図示しないリモートコントローラなどを用いて放送チャンネルの選局を行う。リモートコントローラなどによって受け付けられたユーザからの選局情報はホストコントローラ３１７にて処理される。ホストコントローラ３１７は、ユーザからの選局情報に基づいてチューナ３０１を制御する。
チューナ３０１にて受信されたチャンネルの放送ストリームは放送用のＤｅＭＵＸ３０２に送出される。ＤｅＭＵＸ３０２は、放送ストリームから映像のＴＳパケット、音声のＴＳパケット、ＳＩ（Service Information：番組配列情報）などのその他のＴＳパケットを分離する。放送用のＤｅＭＵＸ３０２にて分離された映像のＴＳパケットは映像ストリームとして放送用の映像バッファ３０３に供給され、ここで一旦保持される。
また、放送用のＤｅＭＵＸ３０２は、定常的に、映像のＴＳパケットからＰＣＲを抽出してＳＴＣ生成部３０５に供給する。ＳＴＣ生成部３０５では、このＰＣＲを基準に２７メガヘルツのＳＴＣ（System Time Clock）が生成される。
放送用の映像デコーダ３０４は、放送用の映像バッファ３０３から読み出された映像ストリームをデコードし、映像信号を映像マージャ３１５に供給する。この際、放送用の映像デコーダ３０４は、映像のＴＳパケットがもつＰＴＳ(Program Clock Reference)とＳＴＣ生成部３０５から与えられるＳＴＣとが一致したタイミンクで映像が提示されるように、当該映像ストリームのデコードおよび出力のタイミングを制御する。また、放送用の映像デコーダ３０４は、放送ストリームと通信ストリームの同期再生を目的に、デコード対象の映像ストリームに付加されているタイムコードをタイムコード処理部３１６に供給する。
本動作の一例として、チャンネルが選局された後、このチャンネルもしくは番組に関連付けられたアプリケーション（放送連動型アプリケーション）を受信装置３００が放送または通信により取得し、実行する場合を想定する。この放送連動型アプリケーションは、放送ストリームと通信ストリームとの同期再生による、例えば、３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などの視聴をユーザに促し、ユーザからの視聴の指示（放送ストリームと通信ストリームの同期再生の指示）を受けると、ＶＯＤプレーヤ３０９に配信サーバに対する通信ストリームの取得リクエストを送信させるように受信装置３００を機能させる。
なお、この放送連動型アプリケーションは、例えばＨＴＭＬ（Hyper Text Markup Language）文書、ＢＭＬ文書（Broadcast Markup Language）、ＭＨＥＧ文書（Multimedia and Hypermedia information coding）、Ｊａｖａ（登録商標）スクリプト、静止画ファイル、動画ファイルなどで構成される。
ＶＯＤプレーヤ３０９は、放送ストリームと通信ストリームの同期再生の指示を受けると、ネットワークＩ／Ｆ３０７を制御して、配信サーバにインターネットを通じて、選局中のチャンネルもしくは番組に関連付けられた通信ストリーム（放送ストリームと同期して再生されるべき通信ストリーム）の伝送をリクエストするとともに、タイムコード処理部３１６にオフセットΔの生成指示を与える。タイムコード処理部３１６は、この指示を受けると、通信用の映像デコーダ３１４からの第１のタイムコードの供給を待機する。
一方、リクエストに対して配信サーバから伝送された通信ストリームは、ネットワークＩ／Ｆ３０７を介して通信用のストリーミングバッファ３１０に蓄積される。ここで、通信用のストリーミングバッファ３１０は、通信ストリームの先頭の映像のＴＳパケットを保持後直ちに読み出して通信用のＤｅＭＵＸ３１１に供給する。
通信用のＤｅＭＵＸ３１１は、ストリーミングバッファ３１０より読み出された通信ストリームから映像のＴＳパケットを分離して通信用の映像バッファ３１２に供給する。
通信用の映像デコーダ３１４は、通信用の映像バッファ３１２から読み出された映像ストリームをデコードし、映像信号を映像マージャ３１５に供給する。この際、通信用の映像デコーダ３１４は、映像ストリームに含まれる第２のタイムコードを、放送ストリームと通信ストリームの同期再生の指示の発生から最初の第２のタイムコードとしてタイムコード処理部３１６に供給する。
ここで、通信用の映像デコーダ３１４より供給された最初の第２のタイムコードをTCi00、上記第２のタイムコードと同一タイミングにおいて放送用の映像デコーダ３０４より供給された第１のタイムコードをTCb0とする。タイムコード処理部３１６は、TCi00とTCb0とを比較し、TCb0＞TCi00の条件が成立するかどうかを判定する。TCb0＞TCi00が成立する場合とは、放送ストリームの映像データに対して、これに同期して再生されるべき通信ストリームの映像データが実際には時間的に遅れて受信されていることを意味する。
タイムコード処理部３１６は、TCb0＞TCi00の条件が成立した場合、次式によりTCb0とTCi00とのオフセットΔを算出する。
TCb0−TCi00＝Δ ・・・（１）
このオフセットΔの値はＳＴＣ調整部３１３に供給される。
TCb0−TCi00＝Δ ・・・（１）
このオフセットΔの値はＳＴＣ調整部３１３に供給される。
具体的には、第１のタイムコードおよび第２のタイムコードは時、分、秒、フレームの組み合わせで表現されるため、
Δ＝((TCbh×60＋TCbm)×60＋TCbs)×1000＋TCbf×1000/60
−((TCih×60＋TCim)×60＋TCis)×1000＋TCif×1000/60
によりミリ秒単位のオフセットΔが得られる。
ここで、TCbhは放送の時単位のタイムコード、TCbmは放送の分単位のタイムコード、TCbsは放送の秒単位のタイムコード、TCbfは放送のフレーム単位のタイムコードである。TCihは放送の時単位のタイムコード、TCimは通信の分単位のタイムコード、TCisは通信の秒単位のタイムコード、TCifは通信のフレーム単位のタイムコードである。
Δ＝((TCbh×60＋TCbm)×60＋TCbs)×1000＋TCbf×1000/60
−((TCih×60＋TCim)×60＋TCis)×1000＋TCif×1000/60
によりミリ秒単位のオフセットΔが得られる。
ここで、TCbhは放送の時単位のタイムコード、TCbmは放送の分単位のタイムコード、TCbsは放送の秒単位のタイムコード、TCbfは放送のフレーム単位のタイムコードである。TCihは放送の時単位のタイムコード、TCimは通信の分単位のタイムコード、TCisは通信の秒単位のタイムコード、TCifは通信のフレーム単位のタイムコードである。
ＳＴＣ調整部３１３は、オフセットΔを受け取ると、ＳＴＣの調整値ＳＴＣ´を次式により生成する。
ＳＴＣ−Δ×９０−ｍ＝ＳＴＣ´ ・・・（２）
ここで、オフセットΔに９０を掛けるのは、ミリ秒単位のオフセットΔをＳＴＣと同じ９０ＫＨｚのカウンタ値にマッピングするためである。ｍは予め決められたマージンである。
ＳＴＣ−Δ×９０−ｍ＝ＳＴＣ´ ・・・（２）
ここで、オフセットΔに９０を掛けるのは、ミリ秒単位のオフセットΔをＳＴＣと同じ９０ＫＨｚのカウンタ値にマッピングするためである。ｍは予め決められたマージンである。
以上のように生成されたＳＴＣ´はＳＴＣ生成部３０５に供給され、ＳＴＣ生成部３０５はこのＳＴＣ´でリセットすることで、ＳＴＣの調整が完了する。
次に、調整されたＳＴＣ´を用いて放送ストリームと通信ストリームとの同期再生を行う場合の動作を説明する。
放送用の映像デコーダ３０４は、デコード対象の映像ストリームに付加された第１のタイムコードを取り出してタイムコード処理部３１６に供給するとともに、当該映像ストリームをデコードして映像信号を映像マージャ３１５に供給する。
受信装置３００は、放送ストリームの映像のＴＳパケットに含まれるＰＴＳがＳＴＣ´と一致したとき、放送ストリームのデコード再生を再開する。また、通信用の映像デコーダ３１４は、タイムコード処理部３１６より取得された第１のタイムコード（TCb0）と同じ値の第２のタイムコード（TCi0）を有する映像ストリームの映像データ単位を通信用の映像バッファ３１２より取り出してデコードする。通信用の映像デコーダ３１４によって得られた映像信号は映像マージャ３１５に供給される。これにより、互いに同期した放送系の映像信号と通信系の映像信号が映像マージャ３１５に供給される。
映像マージャ３１５に、互いに同期した放送系の映像信号と通信系の映像信号が供給されることで、元の３Ｄ番組、マルチビュー番組、高解像度番組、音声吹き替えサービス番組などの番組が正しく復元される。
なお、TCb0＞TCi00の条件が成立した場合にはＳＴＣを調整することとしたが、TCb0＜TCi00またはTCb0＝TCi00が成立した場合にはＳＴＣの調整は不要である。
また、調整後のＳＴＣ´は、このＳＴＣ´でデコードが行われた放送番組の終了と同時にもとのＳＴＣに戻される。
図８は以上説明した放送の選局から放送ストリームと通信ストリームとの同期処理、さらには同期処理の終了までのタイムチャートである。
受信装置３００において、ＳＴＣがＳＴＣ´に更新されることによって映像ストリームのデコードの開始時刻がＴ１からＴ１´に後方へとずらされる。Ｔ１からＴ１´までの間、映像はフリーズ状態で表示される。そしてＴ１´の時刻から放送と通信それぞれの映像ストリームのデコードが同時に再開される。その後、番組が終了するまで、ＳＴＣ´を基準にデコードが行われる。番組が終了すると、ＳＴＣ´がＳＴＣに戻され、ＰＴＳがＳＴＣに一致するアクセスユニットにジャンプしてデコードが行われる。
受信装置３００において、ＳＴＣがＳＴＣ´に更新されることによって映像ストリームのデコードの開始時刻がＴ１からＴ１´に後方へとずらされる。Ｔ１からＴ１´までの間、映像はフリーズ状態で表示される。そしてＴ１´の時刻から放送と通信それぞれの映像ストリームのデコードが同時に再開される。その後、番組が終了するまで、ＳＴＣ´を基準にデコードが行われる。番組が終了すると、ＳＴＣ´がＳＴＣに戻され、ＰＴＳがＳＴＣに一致するアクセスユニットにジャンプしてデコードが行われる。
＜第２の実施形態＞
上記の第１の実施形態では、放送用の映像デコーダ３０４が、デコード対象の映像ストリームに付加された第１のタイムコードをタイムコード処理部３１６に定常的に供給する。タイムコード処理部３１６は、ＳＴＣの調整以後、放送ストリームと通信ストリームの同期再生を目的に、放送用の映像デコーダ３０４より供給された第１のタイムコードを通信用の映像デコーダ３１４に供給する。そして通信用の映像デコーダ３１４は、タイムコード処理部３１６より供給された第１のタイムコードと同じ値の第２のタイムコードをもつ通信ストリームの映像データ単位を通信用の映像バッファ３１２から取り出してデコードすることとした。
上記の第１の実施形態では、放送用の映像デコーダ３０４が、デコード対象の映像ストリームに付加された第１のタイムコードをタイムコード処理部３１６に定常的に供給する。タイムコード処理部３１６は、ＳＴＣの調整以後、放送ストリームと通信ストリームの同期再生を目的に、放送用の映像デコーダ３０４より供給された第１のタイムコードを通信用の映像デコーダ３１４に供給する。そして通信用の映像デコーダ３１４は、タイムコード処理部３１６より供給された第１のタイムコードと同じ値の第２のタイムコードをもつ通信ストリームの映像データ単位を通信用の映像バッファ３１２から取り出してデコードすることとした。
本技術は、このことに限定されるものではなく、ＳＴＣの調整以後、放送用の映像デコーダおよび通信用の映像デコーダが、それぞれの映像のＴＳパケットに付加されたＰＴＳ（Presentation Time Stamp）が調整後のＳＴＣ´と一致するタイミンクでその映像が提示されるように、デコード開始および出力のタイミングを制御するようにしてもよい。
図９は、第２の実施形態の受信装置３００Ａの構成を示すブロック図である。
この受信装置３００Ａにおいて、タイムコード処理部３１６は、第１の実施形態と同様、放送ストリームと通信ストリームの同期再生の指示の発生から最初に通信用の映像デコーダ３１４Ａより供給された第２のタイムコードと、放送用の映像デコーダ３０４Ａより供給された最新の第１のタイムコードとを比較する。タイムコード処理部３１６は、第２のタイムコードが第１のタイムコードよりも遅れている場合、そのオフセットΔをＳＴＣ調整部３１３に供給する。
この受信装置３００Ａにおいて、タイムコード処理部３１６は、第１の実施形態と同様、放送ストリームと通信ストリームの同期再生の指示の発生から最初に通信用の映像デコーダ３１４Ａより供給された第２のタイムコードと、放送用の映像デコーダ３０４Ａより供給された最新の第１のタイムコードとを比較する。タイムコード処理部３１６は、第２のタイムコードが第１のタイムコードよりも遅れている場合、そのオフセットΔをＳＴＣ調整部３１３に供給する。
ＳＴＣ調整部３１３は、オフセットΔを受け取ると、ＳＴＣの調整値ＳＴＣ´を生成し、この調整値ＳＴＣ´をＳＴＣ生成部３０５に与えることで、ＳＴＣ生成部３０５のＳＴＣを調整する。
ＳＴＣの調整後、放送用の映像デコーダ３０４Ａは、放送ストリームの映像のＴＳパケットに付加されたＰＴＳ（Presentation Time Stamp）が調整されたＳＴＣ´の値と一致するタイミンクでその映像が提示されるように、デコード開始および出力のタイミングを制御する。
一方、通信用の映像デコーダ３１４Ａも同様に、通信ストリームの映像のＴＳパケットに付加されたＰＴＳが調整されたＳＴＣ´の値と一致するタイミンクでその映像が提示されるように、デコード開始および出力のタイミングを制御する。
一方、通信用の映像デコーダ３１４Ａも同様に、通信ストリームの映像のＴＳパケットに付加されたＰＴＳが調整されたＳＴＣ´の値と一致するタイミンクでその映像が提示されるように、デコード開始および出力のタイミングを制御する。
したがって、本実施形態の受信装置３００Ａにおいても、通信ストリームが放送ストリームに対して遅れて受信された場合でも、各ストリームを良好に同期再生することができる。
＜変形例１＞
上記の第１の実施形態では、放送ストリームと通信ストリームとの同期再生の開始前に一度ＳＴＣを調整するというものであるが、同期再生の開始以後もＳＴＣの調整を行うようにしてよい。
上記の第１の実施形態では、放送ストリームと通信ストリームとの同期再生の開始前に一度ＳＴＣを調整するというものであるが、同期再生の開始以後もＳＴＣの調整を行うようにしてよい。
同期再生の開始以後にＳＴＣの調整を行う条件としては、例えば、
１．一定の時間周期（数分、数十分の周期）。
２．ストリーミングバッファ３１０に蓄えられた映像ストリームのサイズが一定値未満まで低下したとき。
３．通信用の映像バッファ３１２に蓄えられた映像ストリームのサイズが一定値未満まで低下したとき。
などが挙げられる。
但し、ＳＴＣの調整は映像のフリーズ状態を誘発することから、あまり高い頻度で行うことは好ましくない。しかし、初回に一度のＳＴＣの調整だけでは、インターネットの通信状況によっては、通信ストリームの受信が間に合わなくなる可能性がある。そこで、上記のように同期再生の開始以後もＳＴＣの調整を行うことは、特に３Ｄ映像のように、放送ストリームと通信ストリームの両方の映像なしでは番組再生そのものが破綻してしまうような同期伝送システムにおいては有益である。
１．一定の時間周期（数分、数十分の周期）。
２．ストリーミングバッファ３１０に蓄えられた映像ストリームのサイズが一定値未満まで低下したとき。
３．通信用の映像バッファ３１２に蓄えられた映像ストリームのサイズが一定値未満まで低下したとき。
などが挙げられる。
但し、ＳＴＣの調整は映像のフリーズ状態を誘発することから、あまり高い頻度で行うことは好ましくない。しかし、初回に一度のＳＴＣの調整だけでは、インターネットの通信状況によっては、通信ストリームの受信が間に合わなくなる可能性がある。そこで、上記のように同期再生の開始以後もＳＴＣの調整を行うことは、特に３Ｄ映像のように、放送ストリームと通信ストリームの両方の映像なしでは番組再生そのものが破綻してしまうような同期伝送システムにおいては有益である。
オフセットΔを計算する際に用いられるマージンｍは通信ストリームの受信状況などに応じて可変としてもよい。すなわち、マージンが大きすぎると放送ストリームの表示のフリーズ時間が長くなり、視聴者に違和感を与える可能性が高くなる。逆に短すぎると、通信ストリームの欠落によって３Ｄ番組などの再生が破綻する可能性が高くなる。したがって、番組再生が破綻しない程度に必要最小限のマージンが通信ストリームの受信状況などに応じて動的に設定されることが望ましい。
以上の実施形態では、ＭＰＥＧ２ビデオストリームを放送による映像の伝送に利用し、ＭＰＥＧ４−ＡＶＣビデオストリームはインターネット（通信）による映像の伝送に利用することとした。本技術はこれに限定されない。例えば、ＭＰＥＧ２ビデオストリームを放送と通信による映像の伝送に利用してもよいし、ＭＰＥＧ４−ＡＶＣビデオストリームを放送と通信による映像の伝送に利用してもよい。
また、本技術は、タイムコードを映像データの所定の単位毎に付加するものであれば、ＭＰＥＧ２ビデオストリーム、ＭＰＥＧ４−ＡＶＣビデオストリーム以外のビデオストリームを利用することが可能である。
本技術は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
なお、本技術は以下のような構成も採ることができる。
（１） 第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信可能な放送受信部と、
前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信可能な通信受信部と、
前記第１の映像データを提示する処理のタイミングを生成するための基準時刻を生成する基準時刻生成部と、
予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出するタイムコード処理部と、
前記遅れ分を加味して前記基準時刻を調整する調整部と
を具備する受信装置。
（１） 第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信可能な放送受信部と、
前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信可能な通信受信部と、
前記第１の映像データを提示する処理のタイミングを生成するための基準時刻を生成する基準時刻生成部と、
予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出するタイムコード処理部と、
前記遅れ分を加味して前記基準時刻を調整する調整部と
を具備する受信装置。
（２）前記（１）に記載の受信装置であって、
請求項１に記載の受信装置であって、
前記第１の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームをデコードする第２の映像デコーダと、をさらに具備し、
前記タイムコード処理部は、前記第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して前記第２の映像デコーダに供給し、
前記第２の映像デコーダは、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードする
受信装置。
請求項１に記載の受信装置であって、
前記第１の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームをデコードする第２の映像デコーダと、をさらに具備し、
前記タイムコード処理部は、前記第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して前記第２の映像デコーダに供給し、
前記第２の映像デコーダは、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードする
受信装置。
（３）前記（１）から（２）に記載のいずれかの受信装置であって、
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整する
受信装置。
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整する
受信装置。
（４）前記（１）から（３）に記載のいずれかの受信装置であって、
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
（５）前記（１）から（４）に記載のいずれかの受信装置であって、
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
（６）前記（１）から（５）に記載のいずれかの受信装置であって、
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものである。
受信装置。
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものである。
受信装置。
（７）前記（１）に記載の受信装置であって、
前記第２の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第２の映像デコーダと、
をさらに具備する受信装置。
前記第２の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第２の映像デコーダと、
をさらに具備する受信装置。
（８）前記（７）に記載の受信装置であって、
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整する
受信装置。
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整する
受信装置。
（９）前記（７）から（８）に記載のいずれかの受信装置であって、
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
（１０）前記（７）から（９）に記載のいずれかの受信装置であって、
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。
（１１）前記（７）から（１０）に記載のいずれかの受信装置であって、
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものである。
受信装置。
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものである。
受信装置。
１００…放送・通信設備
３００…受信装置
３０１…チューナ
３０２…放送用のＤｅＭＵＸ
３０３…放送用の映像バッファ
３０４…放送用の映像デコーダ
３０５…ＳＴＣ生成部
３０７…ネットワークＩ／Ｆ
３０８…ＨＴＭＬブラウザ
３０９…ＶＯＤプレーヤ
３１０…ストリーミングバッファ
３１１…通信用のＤｅＭＵＸ
３１２…通信用の映像バッファ
３１３…ＳＴＣ調整部
３１４…通信用の映像デコーダ
３１５…映像マージャ
３１６…タイムコード処理部
３１７…ホストコントローラ
３００…受信装置
３０１…チューナ
３０２…放送用のＤｅＭＵＸ
３０３…放送用の映像バッファ
３０４…放送用の映像デコーダ
３０５…ＳＴＣ生成部
３０７…ネットワークＩ／Ｆ
３０８…ＨＴＭＬブラウザ
３０９…ＶＯＤプレーヤ
３１０…ストリーミングバッファ
３１１…通信用のＤｅＭＵＸ
３１２…通信用の映像バッファ
３１３…ＳＴＣ調整部
３１４…通信用の映像デコーダ
３１５…映像マージャ
３１６…タイムコード処理部
３１７…ホストコントローラ
Claims (10)
- 第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信可能な放送受信部と、
前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信可能な通信受信部と、
前記第１の映像データを提示する処理のタイミングを生成するための基準時刻を生成する基準時刻生成部と、
予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出するタイムコード処理部と、
前記遅れ分を加味して前記基準時刻を調整する調整部と
を具備する受信装置。 - 請求項１に記載の受信装置であって、
前記第１の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームをデコードする第２の映像デコーダと、をさらに具備し、
前記タイムコード処理部は、前記第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して前記第２の映像デコーダに供給し、
前記第２の映像デコーダは、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードする
受信装置。 - 請求項２に記載の受信装置であって、
前記タイムコード処理部は、少なくとも、前記放送ストリームの受信中に前記通信ストリームが最初に受信されたとき、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出する
受信装置。 - 請求項３に記載の受信装置であって、
前記調整部は、前記遅れ分に所定のマージンを付加した時間データで前記基準時刻を調整する
受信装置。 - 請求項４に記載の受信装置であって、
前記基準時刻生成部は、前記放送ストリームに付加された時刻参照値を用いて前記基準時刻を生成する
受信装置。 - 請求項５に記載の受信装置であって、
前記第１の映像ストリームには、ＧＯＰの先頭ピクチャに前記第１のタイムコードが付加され、
前記第２の映像ストリームには、ピクチャ毎に前記第２のタイムコードが付加されたものである
受信装置。 - 請求項１に記載の受信装置であって、
前記第２の映像ストリームには提示時刻情報が付加され、
前記受信装置は、
前記放送受信部により受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第１の映像デコーダと、
前記通信受信部により受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする第２の映像デコーダと、
をさらに具備する受信装置。 - 放送受信部が、第１の映像データの第１の単位毎に第１のタイムコードが付加された第１の映像ストリームを放送を通じて受信し、
通信受信部が、前記第１の映像データに対して同期して再生されるべき第２の映像データの少なくとも前記第１の単位毎に第２のタイムコードが付加された第２の映像ストリームをネットワークを通じて受信し、
タイムコード処理部が、予め決められたタイミングで、前記受信された第１の映像ストリームに付加された前記第１のタイムコードと前記第２の映像ストリームに付加された前記第２のタイムコードを取得し、前記第１のタイムコードに対する前記第２のタイムコードの遅れ分を算出し、
調整部が、前記遅れ分を加味して前記第１の映像ストリームを提示する処理のタイミングを生成するための基準時刻を調整する
同期処理方法。 - 請求項８に記載の同期処理方法であって、
前記基準時刻の調整後、前記タイムコード処理部が、第１の映像デコーダによるデコード対象の前記第１の映像ストリームの前記第１の単位に付加された前記第１のタイムコードを取得して第２の映像デコーダに供給し、
前記第２の映像デコーダが、前記供給された前記第１のタイムコードと同じ値の前記第２のタイムコードが付加された前記第２の映像ストリームの前記第１の単位をデコードする
同期処理方法。 - 請求項８に記載の同期処理方法であって、
前記基準時刻の調整後、第１の映像デコーダが、前記受信された前記第１の映像ストリームを、当該第１の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードし、
前記基準時刻の調整後、第２の映像デコーダが、前記受信された前記第２の映像ストリームを、当該第２の映像ストリームに付加された前記提示時刻情報と前記基準時刻とが一致したタイミングで提示するようにデコードする
同期処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014520906A JP6313704B2 (ja) | 2012-06-22 | 2013-06-05 | 受信装置およびその同期処理方法 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012140938 | 2012-06-22 | ||
| JP2012140938 | 2012-06-22 | ||
| PCT/JP2013/003527 WO2013190789A1 (ja) | 2012-06-22 | 2013-06-05 | 受信装置およびその同期処理方法 |
| JP2014520906A JP6313704B2 (ja) | 2012-06-22 | 2013-06-05 | 受信装置およびその同期処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2013190789A1 true JPWO2013190789A1 (ja) | 2016-02-08 |
| JP6313704B2 JP6313704B2 (ja) | 2018-04-18 |
Family
ID=49768404
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014520906A Active JP6313704B2 (ja) | 2012-06-22 | 2013-06-05 | 受信装置およびその同期処理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10397633B2 (ja) |
| EP (1) | EP2866457B1 (ja) |
| JP (1) | JP6313704B2 (ja) |
| AR (1) | AR091450A1 (ja) |
| WO (1) | WO2013190789A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8560719B2 (en) * | 2011-09-14 | 2013-10-15 | Mobitv, Inc. | Fragment server directed device fragment caching |
| US20150109413A1 (en) * | 2013-10-21 | 2015-04-23 | Electronics And Telecommunications Research Institute | Video reception apparatus to provide hybrid service based on transport stream system target decoder model |
| KR20150057149A (ko) * | 2013-11-18 | 2015-05-28 | 한국전자통신연구원 | 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법 |
| JP6127964B2 (ja) * | 2013-12-26 | 2017-05-17 | ソニー株式会社 | 信号切換装置および信号切換装置の動作制御方法 |
| JP6178234B2 (ja) | 2013-12-27 | 2017-08-09 | 日立マクセル株式会社 | 放送受信装置及び映像表示方法 |
| US9414100B2 (en) | 2014-03-31 | 2016-08-09 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
| US10887644B2 (en) * | 2015-09-01 | 2021-01-05 | Sony Corporation | Reception device, data processing method, and program |
| CN105516118B (zh) * | 2015-12-03 | 2019-06-11 | Tcl集团股份有限公司 | 一种基于非rtc智能电视的时间同步方法及系统 |
| US10764473B2 (en) * | 2016-01-14 | 2020-09-01 | Disney Enterprises, Inc. | Automatically synchronizing multiple real-time video sources |
| JP6546326B2 (ja) * | 2018-07-27 | 2019-07-17 | マクセル株式会社 | 放送受信装置及び映像表示方法 |
| JP6908170B2 (ja) * | 2019-03-26 | 2021-07-21 | ソニーグループ株式会社 | 送信方法 |
| JP7120399B2 (ja) | 2020-07-29 | 2022-08-17 | ソニーグループ株式会社 | 送信方法 |
| CN114598909B (zh) * | 2022-03-30 | 2023-12-01 | 青岛海信宽带多媒体技术有限公司 | 一种智能机顶盒及直播节目的时间轴显示方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008252831A (ja) * | 2007-03-30 | 2008-10-16 | Sharp Corp | 放送受信装置、放送再送信装置、放送再送信方法、放送受信システム、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2011166615A (ja) * | 2010-02-12 | 2011-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像同期装置、映像表示装置、映像同期方法及びプログラム |
| JP2012010009A (ja) * | 2010-06-23 | 2012-01-12 | Nippon Hoso Kyokai <Nhk> | 送信装置、サーバ装置、および受信装置 |
Family Cites Families (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1032815A (ja) * | 1996-07-16 | 1998-02-03 | Toshiba Corp | 画面合成装置 |
| US6587505B1 (en) * | 1998-08-31 | 2003-07-01 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US6512552B1 (en) * | 1999-03-29 | 2003-01-28 | Sony Corporation | Subpicture stream change control |
| EP1158799A1 (en) * | 2000-05-18 | 2001-11-28 | Deutsche Thomson-Brandt Gmbh | Method and receiver for providing subtitle data in several languages on demand |
| US7346698B2 (en) * | 2000-12-20 | 2008-03-18 | G. W. Hannaway & Associates | Webcasting method and system for time-based synchronization of multiple, independent media streams |
| JP4380930B2 (ja) * | 2001-03-19 | 2009-12-09 | 株式会社東芝 | オーディオ・ビデオ復号再生装置とその同期再生方法 |
| US9948977B2 (en) * | 2003-01-09 | 2018-04-17 | Avago Technologies General Ip (Singapore) Pte. Ltd. | System, method, and apparatus for determining presentation time for picture without presentation time stamp |
| CN1868213B (zh) * | 2003-09-02 | 2010-05-26 | 索尼株式会社 | 内容接收设备、视频/音频输出定时控制方法及内容提供系统 |
| JP2005123789A (ja) * | 2003-10-15 | 2005-05-12 | Matsushita Electric Ind Co Ltd | Ａｖ同期システム |
| JP2005159592A (ja) | 2003-11-25 | 2005-06-16 | Nippon Hoso Kyokai <Nhk> | コンテンツ送信装置およびコンテンツ受信装置 |
| KR100526189B1 (ko) * | 2004-02-14 | 2005-11-03 | 삼성전자주식회사 | 트랜스코딩 전후에 타이밍 파라미터를 일정하게유지시키는 트랜스코딩 시스템 및 방법 |
| JP4229035B2 (ja) * | 2004-09-28 | 2009-02-25 | ソニー株式会社 | 記録再生装置および方法、再生装置および方法、記録装置および方法、並びにプログラム |
| US8140954B2 (en) * | 2005-06-05 | 2012-03-20 | International Business Machines Corporation | System and method for providing on demand captioning of broadcast programs |
| JP2007013714A (ja) * | 2005-06-30 | 2007-01-18 | Toshiba Corp | 情報再生装置及び情報再生方法 |
| CN100442858C (zh) * | 2005-10-11 | 2008-12-10 | 华为技术有限公司 | 分组网络中多媒体实时传输的唇同步方法及其装置 |
| JP2008005112A (ja) * | 2006-06-21 | 2008-01-10 | Matsushita Electric Ind Co Ltd | ストリームエンコーダ及びストリームデコーダ |
| KR100905723B1 (ko) * | 2006-12-08 | 2009-07-01 | 한국전자통신연구원 | 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법 |
| WO2009157078A1 (ja) | 2008-06-26 | 2009-12-30 | 富士通マイクロエレクトロニクス株式会社 | 映像音声データ出力装置および映像音声データ出力方法 |
| JP4409611B2 (ja) * | 2008-08-04 | 2010-02-03 | シャープ株式会社 | 放送受信装置、放送受信方法、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| KR101535827B1 (ko) * | 2008-12-05 | 2015-07-27 | 삼성전자주식회사 | 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법 |
| KR101164857B1 (ko) * | 2008-12-19 | 2012-07-11 | 한국전자통신연구원 | 비실시간으로 3차원 입체 방송을 제공하기 위한 방송 송수신 시스템 및 방법 |
| JP2011066871A (ja) * | 2009-08-21 | 2011-03-31 | Sony Corp | コンテンツ伝送方法及び表示装置 |
| JP2011123195A (ja) | 2009-12-09 | 2011-06-23 | Fuji Xerox Co Ltd | 定着装置及び画像形成装置 |
| KR101797497B1 (ko) * | 2010-04-04 | 2017-11-15 | 엘지전자 주식회사 | 방송 신호로 전송되는 비실시간 방송 서비스 및 콘텐트 처리 방법 및 장치 |
| KR20120010785A (ko) * | 2010-07-27 | 2012-02-06 | 대양롤랜트 주식회사 | 하우징 일체형 다중 베어링 유닛 |
| KR101831775B1 (ko) * | 2010-12-07 | 2018-02-26 | 삼성전자주식회사 | 멀티미디어 컨텐츠를 송수신하는 송신 장치 및 수신 장치와, 그 재생 방법 |
| EP2498494A1 (en) * | 2011-03-11 | 2012-09-12 | Thomson Licensing | Decoder and method at the decoder for synchronizing the rendering of contents received through different networks |
| US9179118B2 (en) * | 2011-05-12 | 2015-11-03 | Intel Corporation | Techniques for synchronization of audio and video |
| CN103125123B (zh) * | 2011-08-11 | 2017-04-26 | 松下知识产权经营株式会社 | 再现装置、再现方法、集成电路、广播系统及广播方法 |
| JP5132808B1 (ja) * | 2011-10-11 | 2013-01-30 | 株式会社東芝 | デジタル放送録画再生装置およびデジタル放送録画再生方法 |
| JP5121993B1 (ja) * | 2011-10-11 | 2013-01-16 | 株式会社東芝 | コンテンツ処理装置、及びコンテンツ同期方法 |
| JP5903924B2 (ja) | 2012-02-17 | 2016-04-13 | ソニー株式会社 | 受信装置および字幕処理方法 |
-
2013
- 2013-06-05 EP EP13806945.5A patent/EP2866457B1/en active Active
- 2013-06-05 US US14/400,612 patent/US10397633B2/en active Active
- 2013-06-05 WO PCT/JP2013/003527 patent/WO2013190789A1/ja active Application Filing
- 2013-06-05 JP JP2014520906A patent/JP6313704B2/ja active Active
- 2013-06-14 AR ARP130102103 patent/AR091450A1/es unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008252831A (ja) * | 2007-03-30 | 2008-10-16 | Sharp Corp | 放送受信装置、放送再送信装置、放送再送信方法、放送受信システム、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2011166615A (ja) * | 2010-02-12 | 2011-08-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像同期装置、映像表示装置、映像同期方法及びプログラム |
| JP2012010009A (ja) * | 2010-06-23 | 2012-01-12 | Nippon Hoso Kyokai <Nhk> | 送信装置、サーバ装置、および受信装置 |
Non-Patent Citations (2)
| Title |
|---|
| 松村欣司 他: "Hybridcastの概要と技術", NHK技研R&D, JPN6013043412, 15 November 2010 (2010-11-15), JP, pages 10 - 17, ISSN: 0003595834 * |
| 松村欣司 他: "放送と同期したIPストリーミングによる番組拡張サービスの試作", 2010年映像情報メディア学会年次大会講演予稿集, JPN6013043411, 2 August 2010 (2010-08-02), JP, pages 10 - 5, ISSN: 0003595833 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US20150135247A1 (en) | 2015-05-14 |
| EP2866457A1 (en) | 2015-04-29 |
| JP6313704B2 (ja) | 2018-04-18 |
| AR091450A1 (es) | 2015-02-04 |
| WO2013190789A1 (ja) | 2013-12-27 |
| EP2866457B1 (en) | 2019-03-20 |
| EP2866457A4 (en) | 2015-11-04 |
| US10397633B2 (en) | 2019-08-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6313704B2 (ja) | 受信装置およびその同期処理方法 | |
| US11284142B2 (en) | Reception method, transmission method, reception device, and transmission device | |
| JP6333173B2 (ja) | 受信装置および受信方法 | |
| JP5903924B2 (ja) | 受信装置および字幕処理方法 | |
| CA2554306C (en) | Synchronization and automation in an itv environment | |
| US8760579B2 (en) | Video display apparatus, video display system and video display method | |
| KR20170074866A (ko) | 수신 장치, 송신 장치, 및 데이터 처리 방법 | |
| KR20140022716A (ko) | 화상 데이터 송신 장치, 화상 데이터 송신 방법 및 화상 데이터 수신 장치 | |
| KR20060134911A (ko) | 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템 | |
| EP2485501B1 (en) | Fast channel change companion stream solution with bandwidth optimization | |
| US20120173668A1 (en) | Content transmitting apparatus, content receiving apparatus, content transmission program, content reception program, content transmitting method, and content receiving method | |
| JP2004297628A (ja) | ストリーム切替装置およびその装置にコンテンツを提供する装置 | |
| US9426506B2 (en) | Apparatuses for providing and receiving augmented broadcasting service in hybrid broadcasting environment | |
| US8769562B2 (en) | Digital broadcast method, data receiving device, and data transmitting device | |
| EP2814256B1 (en) | Method and apparatus for modifying a stream of digital content | |
| JP2012169993A (ja) | コンテンツ同期装置、コンテンツ同期方法及びコンテンツ同期プログラム | |
| JP7125692B2 (ja) | 放送サービス通信ネットワーク配信装置および方法 | |
| KR100802133B1 (ko) | 오디오/비디오신호의 동기화를 위한 디지털신호 처리장치및 그의 방법 | |
| JP2012142798A (ja) | ストリーム切替方法およびデジタル放送送出システム | |
| CN114189737A (zh) | 一种数字电视快速切台方法及数字电视 | |
| JP2005198105A (ja) | 同期信号発生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160530 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160530 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20160722 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170711 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180313 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180323 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6313704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |