JP4762052B2

JP4762052B2 - ストリームデータ処理装置及びストリームデータ処理方法

Info

Publication number: JP4762052B2
Application number: JP2006151788A
Authority: JP
Inventors: 祐介山中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-05-31
Filing date: 2006-05-31
Publication date: 2011-08-31
Anticipated expiration: 2026-05-31
Also published as: US7760770B2; JP2007324850A; CN101083771A; CN101083771B; US20070280301A1

Description

本発明は、ＭＰＥＧシステムにより多重化ストリームデータを分離し、各ストリームデータを復号化するストリームデータ処理装置及びストリームデータ処理方法に関する。

ＭＰＥＧシステムの同期制御では、多重化ストリームデータに付加された基準時刻情報（ＰＣＲ：Program Clock Reference）に基づいて動作するシステムタイマのシステム時刻情報（ＳＴＣ：System Time Clock）と、多重されたストリームデータを分離して得られた各ストリームデータに付加されている再生時刻情報（ＰＴＳ：Presentation Time Stamp）とを比較し、ＳＴＣとＰＴＳとの大小関係に応じて動作が異なる。ＳＴＣがＰＴＳより小さければ、ストリームデータを復号化して得られたデータの再生を待機する。ＳＴＣがＰＴＳより大きければ、当該データを破棄し、ＳＴＣがＰＴＳの時刻に到達した時点でストリームデータを復号化して得られたデータを再生する。また、ＳＴＣとＰＴＳの差分が閾値以上のときは非同期と判定され、すぐさま当該データを再生する。また、ストリームデータのバッファのオーバーフローを防ぐために、オーバーフローを検出した場合は非同期で出力しても良い（例えば特許文献１参照）。

特開２００３−１０１９６２号公報

しかし、上記同期制御において、ＰＣＲ又はＰＴＳの連続性が何らかの原因で途切れると、ＰＣＲとＰＴＳの差分が大きくなってしまうことがある。この結果、ＳＴＣとＰＴＳの差分が閾値以上になると非同期と判定されるため、各ストリームは所望の再生時刻でないにもかかわらず復号化され再生されてしまう。このように、ＰＣＲ又はＰＴＳの連続性が途切れると、所望の同期制御が行われなくなることがある。

本発明の目的は、基準時刻情報（ＰＣＲ）又は再生時刻情報（ＰＴＳ）の連続性が途切れても所望の同期制御を行うストリームデータ処理装置及びストリームデータ処理方法を提供することである。

本発明は、基準時刻情報が付加された多重化ストリームデータを、再生時刻情報が付加された複数のストリームデータに分離する分離部と、前記基準時刻情報に基づいてシステム時刻を計測するシステム時刻計測部と、前記基準時刻情報及び前記システム時刻を示すシステム時刻情報に基づいて基準時刻の連続性を判定し、前記再生時刻情報及び前記システム時刻情報に基づいて再生時刻の連続性を判定し、これらの判定結果に応じた同期制御情報を出力する同期制御部と、前記再生時刻情報が付加された前記ストリームデータを蓄積する蓄積部と、前記蓄積部に蓄積されたストリームデータを復号化する復号化部と、前記復号化部で復号化されたデータを出力する出力部と、前記同期制御部から出力された前記同期制御情報に基づいて、前記復号化されたデータの出力、前記復号化されたデータの出力の待機、又は前記復号化されたデータの破棄を指示する復号化データ出力制御部と、を備え、前記同期制御部は、前記基準時刻情報が示す基準時刻と前記システム時刻情報が示すシステム時刻との差分が第１の閾値を超えた場合、前記基準時刻の連続性が途切れたと判定し、前記再生時刻情報が示す第１の再生時刻とその前の再生時刻情報が示す第２の再生時刻との差分が第２の閾値を超えた場合、前記再生時刻の連続性が途切れたと判定するストリームデータ処理装置を提供する。

上記ストリームデータ処理装置は、時刻を計測する時刻計測部を備え、前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記システム時刻情報が示すシステム時刻を前記時刻計測部に設定した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記第１の再生時刻と前記第２の再生時刻との差分を前記システム時刻に加算した時刻を前記時刻計測部に設定する。

上記ストリームデータ処理装置では、前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記時刻計測部が計測する時刻との差分に応じた同期制御情報を出力するストリームデータ処理装置。

上記ストリームデータ処理装置は、記憶部を備え、前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記システム時刻情報が示すシステム時刻と前記基準時刻情報が示す基準時刻との差分を前記記憶部に格納した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納する。

上記ストリームデータ処理装置では、前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記システム時刻に前記記憶部が記憶する差分を加えた時刻との差分に応じた同期制御情報を出力する。

上記ストリームデータ処理装置は、記憶部を備え、前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記基準時刻情報が示す基準時刻と、前記システム時刻情報が示すシステム時刻と、前記システム時刻の変化量とを前記記憶部に格納した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記基準時刻情報が示す前記基準時刻と、前記システム時刻情報が示す前記システム時刻と、前記システム時刻の変化量と、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納する。

上記ストリームデータ処理装置では、前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記記憶部が記憶する情報から算出された値との差分に応じた同期制御情報を出力する。

本発明は、基準時刻情報が付加された多重化ストリームデータを、再生時刻情報が付加された複数のストリームデータに分離するステップと、前記基準時刻情報に基づいてシステム時刻を計測するステップと、前記基準時刻情報及び前記システム時刻を示すシステム時刻情報に基づいて基準時刻の連続性を判定し、前記再生時刻情報及び前記システム時刻情報に基づいて再生時刻の連続性を判定し、これらの判定結果に応じた同期制御情報を出力するステップと、前記同期制御情報に基づいて、前記復号化されたデータの出力、前記復号化されたデータの出力の待機、又は前記復号化されたデータの破棄を指示するステップと、を有し、前記基準時刻情報が示す基準時刻と前記システム時刻情報が示すシステム時刻との差分が第１の閾値を超えた場合、前記基準時刻の連続性が途切れたと判定し、前記再生時刻情報が示す第１の再生時刻とその前の再生時刻情報が示す第２の再生時刻との差分が第２の閾値を超えた場合、前記再生時刻の連続性が途切れたと判定するストリームデータ処理方法を提供する。

上記ストリームデータ処理方法では、前記基準時刻の連続性が途切れたと判定した場合、前記システム時刻情報が示すシステム時刻を時刻計測部に設定した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記再生時刻の連続性が途切れたと判定した場合、前記第１の再生時刻と前記第２の再生時刻との差分を前記システム時刻に加算した時刻を前記時刻計測部に設定する。

上記ストリームデータ処理方法では、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記時刻計測部が計測する時刻との差分に応じた同期制御情報を出力する。

上記ストリームデータ処理方法では、前記基準時刻の連続性が途切れたと判定した場合、前記システム時刻情報が示すシステム時刻と前記基準時刻情報が示す基準時刻との差分を記憶部に格納した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記再生時刻の連続性が途切れたと判定した場合、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納する。

上記ストリームデータ処理方法では、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記システム時刻に前記記憶部が記憶する差分を加えた時刻との差分に応じた同期制御情報を出力する。

上記ストリームデータ処理方法では、前記基準時刻の連続性が途切れたと判定した場合、前記基準時刻情報が示す基準時刻と、前記システム時刻情報が示すシステム時刻と、前記システム時刻の変化量とを記憶部に格納した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、前記再生時刻の連続性が途切れたと判定した場合、前記基準時刻情報が示す前記基準時刻と、前記システム時刻情報が示す前記システム時刻と、前記システム時刻の変化量と、前記第１の再生時刻と前記第２の再生時刻との差分を記憶部に格納する。

上記ストリームデータ処理方法では、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記記憶部が記憶する情報から算出された値との差分に応じた同期制御情報を出力する。

本発明に係るストリームデータ処理装置及びストリームデータ処理方法によれば、基準時刻情報（ＰＣＲ）又は再生時刻情報（ＰＴＳ）の連続性が途切れても所望の同期制御を行うことができる。

以下、本発明の実施形態について、図面を参照して説明する。以下の実施形態のストリームデータ処理装置は、ＭＰＥＧシステムにより多重化されたオーディオストリームデータ及びビデオストリームデータを含む多重化ストリームデータを分離して得られた各ストリームデータを復号化して再生する。なお、多重化ストリームデータには基準時刻情報（ＰＣＲ）が付加されており、分離された各ストリームデータには再生時刻情報（ＰＴＳ）が付加されている。本発明はストリームデータの種類や数が変更されても適用可能である。

（第１の実施形態）
図１は、第１の実施形態のストリームデータ処理装置の構成を示すブロック図である。図１に示すように、第１の実施形態のストリームデータ処理装置は、多重分離部１０１と、同期制御部１０３と、システムタイマ１０５と、カウンタ１０７と、ビデオストリームバッファ１０９と、ビデオ復号化部１１１と、ビデオ出力部１１３と、ビデオ制御部１１５と、オーディオストリームバッファ１１７と、オーディオ復号化部１１９と、オーディオ出力部１２１と、オーディオ制御部１２３と、再生部１２５とを備える。

多重分離部１０１は、多重化ストリームデータを分離する。多重化ストリームデータを分離することによって、ビデオストリームデータ及びオーディオストリームデータが得られる。多重分離部１０１は、ビデオストリームデータをビデオストリームバッファ１０９に格納し、オーディオストリームデータをオーディオストリームバッファ１１７に格納する。また、多重化ストリームデータに付加されたＰＣＲは同期制御部１０３に送られ、ビデオストリームデータに付加されたＰＴＳはビデオストリームバッファ１０９に格納され、オーディオストリームデータに付加されたＰＴＳはオーディオストリームバッファ１１７に格納される。

同期制御部１０３は、多重分離部１０１から送られたＰＣＲをシステムタイマ１０５に設定する。但し、同期制御部１０３がＰＣＲの不連続を検出した場合、同期制御部１０３はシステムタイマ１０５からシステム時刻情報（ＳＴＣ）を取得し、当該ＳＴＣをカウンタ１０７に設定する。

また、同期制御部１０３は、システムタイマ１０５から得たＳＴＣとビデオ制御部１１５から得たＰＴＳを比較し、同期制御情報をビデオ制御部１１５に送る。同様に、同期制御部１０３は、システムタイマ１０５から得たＳＴＣとオーディオ制御部１２３から得たＰＴＳを比較し、同期制御情報をオーディオ制御部１２３に送る。ＳＴＣとＰＴＳの比較によってＰＴＳの不連続が検出された場合、同期制御部１０３は、ＰＴＳの差分をＳＴＣに加算した値をカウンタ１０７に設定する。ＳＴＣとＰＴＳの差分が閾値以上であれば、ＰＴＳとカウンタ１０７に設定された値を比較して、当該比較結果に応じた内容の同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る。なお、同期制御部１０３の詳細な動作については後述する。

システムタイマ１０５は、同期制御部１０３から送られたＰＣＲに基づいてシステム時刻を計測する。計測されたシステム時刻はシステム時刻情報（ＳＴＣ）として同期制御部１０３に出力される。カウンタ１０７は、同期制御部１０３から送られたＳＴＣに基づいて時間を計測する。

ビデオストリームバッファ１０９は、多重分離部１０１から送られたビデオストリームデータを蓄積する。ビデオ復号化部１１１は、ビデオ制御部１１５からの制御に従い、ビデオストリームバッファ１０９からビデオストリームデータを読み出して復号化する。ビデオ復号化部１１１は、復号化の結果をビデオ制御部１１５に通知する。なお、復号化の結果には、復号化したビデオストリームデータに付加された再生時刻情報（ＰＴＳ）が含まれる。ビデオ復号化部１１１によって復号化されたデータはビデオ出力部１１３に送られる。ビデオ出力部１１３は、ビデオ制御部１１５からの制御に従い、ビデオ復号化部１１１から送られたデータの再生部１２５への出力、再生部１２５へのデータの出力の待機、又はデータの破棄を行う。

ビデオ制御部１１５は、ビデオストリームバッファ１０９からビデオストリームデータの蓄積状態を示す情報を読み出す。また、ビデオ制御部１１５は、ビデオストリームバッファ１０９から読み出した情報に基づいて、ビデオストリームバッファ１０９からビデオストリームデータを読み出して復号化するようビデオ復号化部１１１に指示する。また、ビデオ制御部１１５は、ビデオ復号化部１１１から復号化の結果を受け取り、当該復号化の結果に含まれるＰＴＳを同期制御部１０３に通知する。さらに、ビデオ制御部１１５は、同期制御部１０３から送られた同期制御情報に基づいてビデオ出力部１１３の動作を制御する。なお、ビデオ制御部１１５によるビデオ出力部１１３の動作の詳細については後述する。

オーディオストリームバッファ１１７は、多重分離部１０１から送られたオーディオストリームデータを蓄積する。オーディオ復号化部１１９は、オーディオ制御部１２３からの制御に従い、オーディオストリームバッファ１１７からオーディオストリームデータを読み出して復号化する。オーディオ復号化部１１９は、復号化の結果をオーディオ制御部１２３に通知する。なお、復号化の結果には、復号化したオーディオストリームデータに付加された再生時刻情報（ＰＴＳ）が含まれる。オーディオ復号化部１１９によって復号化されたデータはオーディオ出力部１２１に送られる。オーディオ出力部１２１は、オーディオ制御部１２３からの制御に従い、オーディオ復号化部１１９から送られたデータの再生部１２５への出力、再生部１２５へのデータの出力の待機、又はデータの破棄を行う。

オーディオ制御部１２３は、オーディオストリームバッファ１１７からオーディオストリームデータの蓄積状態を示す情報を読み出す。また、オーディオ制御部１２３は、オーディオストリームバッファ１１７から読み出した情報に基づいて、オーディオストリームバッファ１１７からオーディオストリームデータを読み出して復号化するようオーディオ復号化部１１９に指示する。また、オーディオ制御部１２３は、オーディオ復号化部１１９から復号化の結果を受け取り、当該復号化の結果に含まれるＰＴＳを同期制御部１０３に通知する。さらに、オーディオ制御部１２３は、同期制御部１０３から送られた同期制御情報に基づいてオーディオ出力部１２１の動作を制御する。なお、オーディオ制御部１２３によるオーディオ出力部１２１の動作の詳細については後述する。

再生部１２５は、ビデオ出力部１１３から送られたビデオデータ及びオーディオ出力部１２１から送られたオーディオデータを再生する。

以下、第１の実施形態における同期制御部１０３の動作について、図２及び図３を参照して詳細に説明する。図２は、第１の実施形態の同期制御部１０３が多重分離部１０１からＰＣＲを受け取った際の同期制御部１０３の動作を説明するフローチャートである。図２に示すように、同期制御部１０３は、多重分離部１０１からＰＣＲを受け取る（ステップＳ１０１）。次に、同期制御部１０３は、当該ＰＣＲとシステムタイマ１０５から受け取ったＳＴＣを比較して、｜ＰＣＲ−ＳＴＣ｜＞Ｔｈ１（Ｔｈ１は閾値であり、正の数値）かを判断する（ステップＳ１０３）。ステップＳ１０３で、｜ＰＣＲ−ＳＴＣ｜＞Ｔｈ１であれば（ＹＥＳ）、同期制御部１０３はＰＣＲが不連続と判定し、システムタイマ１０５からＳＴＣを取得し、当該ＳＴＣをカウンタ１０７に設定する（ステップＳ１０５）。ステップＳ１０５の処理を行った後、同期制御部１０３は、ＰＣＲをシステムタイマ１０５に設定する（ステップＳ１０７）。一方、ステップＳ１０３で、｜ＰＣＲ−ＳＴＣ｜≦Ｔｈ１であれば（ＮＯ）、同期制御部１０３は、カウンタ１０７にＳＴＣを設定せずに、ステップＳ１０７に進む。

このように、ステップＳ１０３で同期制御部１０３がＰＣＲは不連続と判定した際には、システムタイマ１０５から取得されたＳＴＣがカウンタ１０７に設定されるため、ＰＣＲの連続性が途切れる前の時間軸の計測を行うことができる。

図３は、第１の実施形態の同期制御部１０３がビデオ制御部１１５又はオーディオ制御部１２３からＰＴＳを受け取った際の同期制御部１０３の動作を説明するフローチャートである。図３に示すように、同期制御部１０３は、受け取ったＰＴＳ（ＰＴＳｃ）と前回受け取ったＰＴＳ（ＰＴＳｐ）を比較して、｜ＰＴＳｃ−ＰＴＳｐ｜＞Ｔｈ２（Ｔｈ２は閾値であり、正の数値）かを判断する（ステップＳ２０１）。ステップＳ２０１で、｜ＰＴＳｃ−ＰＴＳｐ｜＞Ｔｈ２であれば（ＹＥＳ）、同期制御部１０３はＰＴＳが不連続と判定し、システムタイマ１０５から得たＳＴＣに“ＰＴＳｃ−ＰＴＳｐ”を加算した値（ＳＴＣａ）をカウンタ１０７に設定する（ステップＳ２０３）。ステップＳ２０３の処理を行った後、同期制御部１０３は、ＰＴＳｃとシステムタイマ１０５で計測されたＳＴＣとを比較する（ステップＳ２０５）。一方、ステップＳ２０１で、｜ＰＴＳｃ−ＰＴＳｐ｜≦Ｔｈ２であれば（ＮＯ）、同期制御部１０３は、カウンタ１０７にＳＴＣａを設定せずに、ステップＳ２０５に進む。

ステップＳ２０５で、「−Ｔｔ２＜ＰＴＳｃ−ＳＴＣ＜−α（Ｔｔ２及びαは正の数値）」の場合、同期制御部１０３は、データの破棄を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る（ステップＳ２０７）。また、「０＜ＰＴＳｃ−ＳＴＣ＜Ｔｔ１（Ｔｔ１は正の数値）」の場合、同期制御部１０３は、データの出力の待機を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る（ステップＳ２０９）。また、「−α＜ＰＴＳｃ−ＳＴＣ＜０」の場合、同期制御部１０３は、データの出力を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る（ステップＳ２１１）。ステップＳ２０５で、上記３つの条件に当てはまらない場合、すなわち「Ｔｔ１≦ＰＴＳｃ−ＳＴＣ」又は「ＰＴＳｃ−ＳＴＣ≦−Ｔｔ２」の場合、同期制御部１０３は、非同期と判定するが、ＰＴＳｃとカウンタ１０７で計測されている時刻（ＳＴＣｃ）を比較する（ステップＳ２１３）。

ステップＳ２１３で、「−Ｔｔ２＜ＰＴＳｃ−ＳＴＣｃ＜−α」の場合、同期制御部１０３は、ステップＳ２０７に進み、データの破棄を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る。また、「０＜ＰＴＳｃ−ＳＴＣｃ＜Ｔｔ１」の場合、同期制御部１０３は、ステップＳ２０９に進み、データの出力の待機を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る。上記２つの条件に当てはまらない場合、すなわち「ＰＴＳｃ−ＳＴＣｃ≦−Ｔｔ２」、「Ｔｔ１≦ＰＴＳｃ−ＳＴＣｃ」又は「−α≦ＰＴＳｃ−ＳＴＣｃ≦０」の場合、同期制御部１０３は、ステップＳ２１１に進み、データの出力を示す同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送る。

このように、ステップＳ２０１で同期制御部１０３がＰＴＳは不連続と判定した際には、受け取ったＰＴＳ（ＰＴＳｃ）と前回受け取ったＰＴＳ（ＰＴＳｐ）の差をＳＴＣに加算したＳＴＣａがカウンタ１０７に設定されるため、ＰＴＳの連続性が途切れた後の時間軸の計測を行うことができる。また、ステップＳ２０５での比較処理で非同期と判定されても、ビデオ出力部１１３又はオーディオ出力部１２１によるデータの処理に関して状況に適した処理を指示する同期制御情報をビデオ制御部１１５又はオーディオ制御部１２３に送ることができる。

図４、図５及び図６は、ＰＣＲとＰＴＳの各連続性が途切れたときの関係を示すグラフである。これらの図における横軸は実時間、縦軸はＰＣＲ及びＰＴＳの各値を示す。

図４に示すグラフでは、時間ｔ１でＰＣＲの連続性が途切れ、時間ｔ２でＰＴＳがＰＣＲに追いついている。本実施形態のストリームデータ処理装置を用いない場合、時間ｔ１から時間ｔ２の間は、ＰＣＲとＰＴＳの差分は大きいため非同期と判定されてしまう。しかし、本実施形態のストリームデータ処理装置を用いた場合は、時間ｔ１に図２に示すステップＳ１０３でＰＣＲが不連続と判定されても、ステップＳ１０５でＳＴＣがカウンタ１０７に設定されるため、ＰＣＲの連続性が途切れる前の時間軸でカウンタ１０７による計測が開始される。時間ｔ１から時間ｔ２の間は、図３に示すステップＳ２０５で非同期と判定されるが、ステップＳ２１３では、ＰＴＳがカウンタ１０７で計測された時刻と比較されるため同期と判定される。また、時間ｔ２にＰＴＳがＰＣＲに追いつくと、ステップＳ２０５で同期と判定される。このように、本実施形態によれば、ＰＣＲの連続性が途切れても所望の同期制御が行われる。

図５に示すグラフでは、時間ｔ３でＰＣＲの連続性が途切れている。本実施形態によれば、時間ｔ３にステップＳ１０３でＰＣＲが不連続と判定されても、ＰＣＲの連続性が途切れる前の時間軸でカウンタ１０７による計測が開始される。時間ｔ３以降、ステップＳ２０５では非同期と判定されるが、ステップＳ２１３では同期と判定される。このように、本実施形態によれば、ＰＣＲの連続性が途切れても所望の同期制御が行われる。

図６に示すグラフでは、時間ｔ４でＰＴＳの連続性が途切れている。本実施形態によれば、時間ｔ４に図３に示すステップＳ２０１でＰＴＳが不連続と判定されるが、ステップＳ２０３で、受け取ったＰＴＳと前回受け取ったＰＴＳｐの差分をシステムタイマ１０５から得たＳＴＣに加算した値（ＳＴＣａ）がカウンタ１０７に設定されるため、ＰＴＳの連続性が途切れた後の時間軸でカウンタ１０７による計測が開始される。時間ｔ４以降、ステップ２０５では非同期と判定されるが、ステップＳ２１３では同期と判定される。このように、本実施形態によれば、ＰＴＳの連続性が途切れても所望の同期制御が行われる。

以上説明したように、本実施形態のストリームデータ処理装置によれば、基準時刻情報（ＰＣＲ）の連続性が途切れても、ＰＣＲの連続性が途切れる前の時間軸でカウンタ１０７による計測が行われるため、所望の同期制御が行われる。また、再生時刻情報（ＰＴＳ）の連続性が途切れても、ＰＴＳの連続性が途切れた後の時間軸でカウンタ１０７による計測が行われるため、所望の同期制御が行われる。

（第２の実施形態）
図７は、第２の実施形態のストリームデータ処理装置の構成を示すブロック図である。第２の実施形態のストリームデータ処理装置が第１の実施形態のストリームデータ処理装置と異なる点は、カウンタ１０７の代わりに差分バッファ２０１が設けられ、また、ＰＣＲの連続性が途切れた場合には同期制御部２０３はＰＣＲとＳＴＣの差分値を差分バッファ２０１に格納し、ＰＴＳの連続性が途切れた場合には同期制御部２０３は受け取ったＰＴＳと前回受け取ったＰＴＳの差分値を差分バッファ２０１に格納することである。この点以外は第１の実施形態と同様であり、図７において、図１と共通する構成要素には同じ参照符号が付されている。

差分バッファ２０１は、同期制御部２０３から送られた、ＰＣＲとＳＴＣの差分値又は受け取ったＰＴＳと前回受け取ったＰＴＳの差分値を記憶する。

図８は、第２の実施形態の同期制御部２０３が多重分離部１０１からＰＣＲを受け取った際の同期制御部２０３の動作を説明するフローチャートである。図８に示すフローチャートが、第１の実施形態で説明した図２に示すフローチャートと異なる点は、ステップＳ１０５の代わりにステップＳ３０１が設けられた点である。ステップＳ３０１では、同期制御部２０３は、システムタイマ１０５からＳＴＣを取得し、当該ＳＴＣとＰＣＲの差分値を差分バッファ２０１に格納する。このため、ステップＳ１０３で同期制御部２０３がＰＣＲは不連続と判定した際には、ＳＴＣとＰＣＲの差分値が参照されるため、ＰＣＲの連続性が途切れる前の時間軸の計測を行うことができる。

図９は、第２の実施形態の同期制御部２０３がビデオ制御部１１５又はオーディオ制御部１２３からＰＴＳを受け取った際の同期制御部２０３の動作を説明するフローチャートである。図９に示すフローチャートが、第１の実施形態で説明した図３に示すフローチャートと異なる点は、ステップＳ２０３の代わりにステップＳ４０１が設けられ、ステップＳ２１３の代わりにステップＳ４０３が設けられた点である。ステップＳ４０１では、同期制御部２０３は、受け取ったＰＴＳ（ＰＴＳｃ）と前回受け取ったＰＴＳ（ＰＴＳｐ）の差分値（“ＰＴＳｃ−ＰＴＳｐ”）を差分バッファ２０１に格納する。また、ステップＳ４０３では、同期制御部２０３は、ＰＴＳｃと、差分バッファ２０１に格納されている値をＳＴＣｃに加算した値とを比較する。このため、ステップＳ２０１で同期制御部２０３がＰＴＳは不連続と判定した際には、受け取ったＰＴＳ（ＰＴＳｃ）と前回受け取ったＰＴＳ（ＰＴＳｐ）の差分値が参照されるため、ＰＴＳの連続性が途切れた後の時間軸の計測を行うことができる。

（第３の実施形態）
図１０は、第３の実施形態のストリームデータ処理装置の構成を示すブロック図である。第３の実施形態のストリームデータ処理装置が第１の実施形態のストリームデータ処理装置と異なる点は、カウンタ１０７の代わりに時刻情報バッファ３０１が設けられ、また、ＰＣＲの連続性が途切れた場合には同期制御部３０３はＰＣＲとＳＴＣとＳＴＣの変化量を時刻情報バッファ３０１に格納し、ＰＴＳの連続性が途切れた場合には同期制御部３０３はＰＣＲとＳＴＣとＳＴＣの変化量とＰＴＳの差分値（受け取ったＰＴＳと前回受け取ったＰＴＳの差分値）を時刻情報バッファ３０１に格納することである。この点以外は第１の実施形態と同様であり、図１０において、図１と共通する構成要素には同じ参照符号が付されている。

時刻情報バッファ３０１は、ＰＣＲとＳＴＣとＳＴＣの変化量とＰＴＳの差分値を記憶する。

図１１は、第３の実施形態の同期制御部３０３が多重分離部１０１からＰＣＲを受け取った際の同期制御部３０３の動作を説明するフローチャートである。図１１に示すフローチャートが、第１の実施形態で説明した図２に示すフローチャートと異なる点は、ステップＳ１０５の代わりにステップＳ５０１が設けられた点である。ステップＳ５０１では、同期制御部３０３は、ＰＣＲと、システムタイマ１０５から取得したＳＴＣと、ＳＴＣの所定時間当たりの変化量を時刻情報バッファ３０１に格納する。このため、ステップＳ１０３で同期制御部３０３がＰＣＲは不連続と判定した際には、ＰＣＲの連続性が途切れる前の時間軸の計測を行うことができる。

図１２は、第３の実施形態の同期制御部３０３がビデオ制御部１１５又はオーディオ制御部１２３からＰＴＳを受け取った際の同期制御部３０３の動作を説明するフローチャートである。図１２に示すフローチャートが、第１の実施形態で説明した図３に示すフローチャートと異なる点は、ステップＳ２０３の代わりにステップＳ６０１が設けられ、ステップＳ２１３の代わりにステップＳ６０３が設けられた点である。ステップＳ６０１では、同期制御部３０３は、ＰＣＲと、ＳＴＣと、ＳＴＣの所定時間当たりの変化量と、受け取ったＰＴＳ（ＰＴＳｃ）と前回受け取ったＰＴＳ（ＰＴＳｐ）の差分値（“ＰＴＳｃ−ＰＴＳｐ”）を時刻情報バッファ３０１に設定する。また、ステップＳ６０３では、同期制御部３０３は、ＰＴＳｃと、時刻情報バッファ３０１に格納されている情報から算出した値を比較する。このため、ステップＳ２０１で同期制御部３０３がＰＴＳは不連続と判定した際には、ＰＴＳの連続性が途切れた後の時間軸の計測を行うことができる。

本発明に係るストリームデータ処理装置及びストリームデータ処理方法は、ＭＰＥＧシステムにより多重化ストリームデータを分離し、各ストリームデータを復号化して出力する際に、基準時刻情報（ＰＣＲ）又は再生時刻情報（ＰＴＳ）の連続性が途切れても所望の同期制御を行う用途に適用できる。

第１の実施形態のストリームデータ処理装置の構成を示すブロック図第１の実施形態の同期制御部が多重分離部からＰＣＲを受け取った際の同期制御部の動作を説明するフローチャート第１の実施形態の同期制御部がビデオ制御部又はオーディオ制御部からＰＴＳを受け取った際の同期制御部の動作を説明するフローチャートＰＣＲ及びＰＴＳの連続性が途切れた状態を示す図ＰＣＲの連続性が途切れた状態を示す図ＰＴＳの連続性が途切れた状態を示す図第２の実施形態のストリームデータ処理装置の構成を示すブロック図第２の実施形態の同期制御部が多重分離部からＰＣＲを受け取った際の同期制御部の動作を説明するフローチャート第２の実施形態の同期制御部がビデオ制御部又はオーディオ制御部からＰＴＳを受け取った際の同期制御部の動作を説明するフローチャート第３の実施形態のストリームデータ処理装置の構成を示すブロック第３の実施形態の同期制御部が多重分離部からＰＣＲを受け取った際の同期制御部の動作を説明するフローチャート第３の実施形態の同期制御部がビデオ制御部又はオーディオ制御部からＰＴＳを受け取った際の同期制御部の動作を説明するフローチャート

符号の説明

１０１多重分離部
１０３,２０３,３０３同期制御部
１０５システムタイマ
１０７カウンタ
１０９ビデオストリームバッファ
１１１ビデオ復号化部
１１３ビデオ出力部
１１５ビデオ制御部
１１７オーディオストリームバッファ
１１９オーディオ復号化部
１２１オーディオ出力部
１２３オーディオ制御部
１２５再生部
２０１差分バッファ
３０１時刻情報バッファ

Claims

基準時刻情報が付加された多重化ストリームデータを、再生時刻情報が付加された複数のストリームデータに分離する分離部と、
前記基準時刻情報に基づいてシステム時刻を計測するシステム時刻計測部と、
前記基準時刻情報及び前記システム時刻を示すシステム時刻情報に基づいて基準時刻の連続性を判定し、前記再生時刻情報及び前記システム時刻情報に基づいて再生時刻の連続性を判定し、これらの判定結果に応じた同期制御情報を出力する同期制御部と、
前記再生時刻情報が付加された前記ストリームデータを蓄積する蓄積部と、
前記蓄積部に蓄積されたストリームデータを復号化する復号化部と、
前記復号化部で復号化されたデータを出力する出力部と、
前記同期制御部から出力された前記同期制御情報に基づいて、前記復号化されたデータの出力、前記復号化されたデータの出力の待機、又は前記復号化されたデータの破棄を指示する復号化データ出力制御部と、を備え、
前記同期制御部は、
前記基準時刻情報が示す基準時刻と前記システム時刻情報が示すシステム時刻との差分が第１の閾値を超えた場合、前記基準時刻の連続性が途切れたと判定し、
前記再生時刻情報が示す第１の再生時刻とその前の再生時刻情報が示す第２の再生時刻との差分が第２の閾値を超えた場合、前記再生時刻の連続性が途切れたと判定することを特徴とするストリームデータ処理装置。
請求項１に記載のストリームデータ処理装置であって、
時刻を計測する時刻計測部を備え、
前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記システム時刻情報が示すシステム時刻を前記時刻計測部に設定した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記第１の再生時刻と前記第２の再生時刻との差分を前記システム時刻に加算した時刻を前記時刻計測部に設定することを特徴とするストリームデータ処理装置。
請求項２に記載のストリームデータ処理装置であって、
前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記時刻計測部が計測する時刻との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理装置。
請求項１に記載のストリームデータ処理装置であって、
記憶部を備え、
前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記システム時刻情報が示すシステム時刻と前記基準時刻情報が示す基準時刻との差分を前記記憶部に格納した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納することを特徴とするストリームデータ処理装置。
請求項４に記載のストリームデータ処理装置であって、
前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記システム時刻に前記記憶部が記憶する差分を加えた時刻との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理装置。
請求項１に記載のストリームデータ処理装置であって、
記憶部を備え、
前記同期制御部が前記基準時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記基準時刻情報が示す基準時刻と、前記システム時刻情報が示すシステム時刻と、前記システム時刻の変化量とを前記記憶部に格納した後、前記システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記同期制御部が前記再生時刻の連続性が途切れたと判定した場合、前記同期制御部は、前記基準時刻情報が示す前記基準時刻と、前記システム時刻情報が示す前記システム時刻と、前記システム時刻の変化量と、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納することを特徴とするストリームデータ処理装置。
請求項６に記載のストリームデータ処理装置であって、
前記同期制御部は、前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記記憶部が記憶する情報から算出された値との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理装置。
基準時刻情報が付加された多重化ストリームデータを、再生時刻情報が付加された複数のストリームデータに分離するステップと、
前記基準時刻情報に基づいてシステム時刻を計測するステップと、
前記基準時刻情報及び前記システム時刻を示すシステム時刻情報に基づいて基準時刻の連続性を判定し、前記再生時刻情報及び前記システム時刻情報に基づいて再生時刻の連続性を判定し、これらの判定結果に応じた同期制御情報を出力するステップと、
前記同期制御情報に基づいて、前記復号化されたデータの出力、前記復号化されたデータの出力の待機、又は前記復号化されたデータの破棄を指示するステップと、を有し、
前記基準時刻情報が示す基準時刻と前記システム時刻情報が示すシステム時刻との差分が第１の閾値を超えた場合、前記基準時刻の連続性が途切れたと判定し、
前記再生時刻情報が示す第１の再生時刻とその前の再生時刻情報が示す第２の再生時刻との差分が第２の閾値を超えた場合、前記再生時刻の連続性が途切れたと判定することを特徴とするストリームデータ処理方法。
請求項８に記載のストリームデータ処理方法であって、
前記基準時刻の連続性が途切れたと判定した場合、前記システム時刻情報が示すシステム時刻を時刻計測部に設定した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記再生時刻の連続性が途切れたと判定した場合、前記第１の再生時刻と前記第２の再生時刻との差分を前記システム時刻に加算した時刻を前記時刻計測部に設定することを特徴とするストリームデータ処理方法。
請求項８に記載のストリームデータ処理方法であって、
前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記時刻計測部が計測する時刻との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理方法。
請求項８に記載のストリームデータ処理方法であって、
前記基準時刻の連続性が途切れたと判定した場合、前記システム時刻情報が示すシステム時刻と前記基準時刻情報が示す基準時刻との差分を記憶部に格納した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記再生時刻の連続性が途切れたと判定した場合、前記第１の再生時刻と前記第２の再生時刻との差分を前記記憶部に格納することを特徴とするストリームデータ処理方法。
請求項１１に記載のストリームデータ処理方法であって、
前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記システム時刻に前記記憶部が記憶する差分を加えた時刻との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理方法。
請求項８に記載のストリームデータ処理方法であって、
前記基準時刻の連続性が途切れたと判定した場合、前記基準時刻情報が示す基準時刻と、前記システム時刻情報が示すシステム時刻と、前記システム時刻の変化量とを記憶部に格納した後、システム時刻計測部に前記基準時刻情報が示す前記基準時刻を設定し、
前記再生時刻の連続性が途切れたと判定した場合、前記基準時刻情報が示す前記基準時刻と、前記システム時刻情報が示す前記システム時刻と、前記システム時刻の変化量と、前記第１の再生時刻と前記第２の再生時刻との差分を記憶部に格納することを特徴とするストリームデータ処理方法。
請求項１３に記載のストリームデータ処理方法であって、
前記第１の再生時刻と前記システム時刻との差分が所定の範囲外のとき、前記第１の再生時刻と前記記憶部が記憶する情報から算出された値との差分に応じた同期制御情報を出力することを特徴とするストリームデータ処理方法。