WO2004084553A1

WO2004084553A1 - データ処理装置

Info

Publication number: WO2004084553A1
Application number: PCT/JP2004/002424
Authority: WO
Inventors: Shinichi Saeki
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-03-19
Filing date: 2004-02-27
Publication date: 2004-09-30
Also published as: CN1723704A; JPWO2004084553A1; EP1615433A4; JP4439468B2; US20060168524A1; CN100536555C; KR100705887B1; EP1615433A1; US7567746B2; KR20050086444A

Abstract

　データ処理装置は、データストリームを受け取って、データストリームから複数のピクチャのデータを含むビデオデータ、各ピクチャの再生時刻を規定する第１時刻情報、複数のフレームのデータを含むオーディオデータおよび各フレームの再生時刻を規定する第２時刻情報を分離するパーサと、複数のピクチャおよび複数のフレームを再生するために、ビデオデータおよびオーディオデータを出力する出力部と、所定の基準時刻からの経過時間をカウントする基準レジスタと、各ピクチャの出力時に、各ピクチャの第１時刻情報と経過時間との差分値を計算し、第１差分値として保持する第１差分レジスタと、各フレームの出力時に、各フレームの第２時刻情報と経過時間との差分値を計算し、第２差分値として格納する第２差分レジスタと、第２差分値に対する第１差分値の大きさに応じて、ビデオデータの出力を制御する制御部とを備えている。

Description

デ一夕処理装置

技術分野本発明は、圧縮符号化されたオーディォデータおよびビデオデー明

タを復号化して、音声および映像を再生する技術に関する。

細背景技術

近年、長時間の映像（ビデオ）および音声（オーディオ）の各デ一夕を圧縮符号化してデータ量を抑え、記録媒体に記録する手法の開発が進んでいる。国際標準化機構（ I S O) においては、国際電気標準会議（ I E C ) の M P E G (Moving Picture Image Coding Experts Group) によるオーディオおよびビデオの符号化方式の標準化が行われている。例えば S0/IEC 13818-2」においてビデオの圧縮方式が規定され、「IS0/IEC 13818-3」でオーディオの圧縮方式が規定され、「IS0/IEC 13818-1」でこれらを統合化する方式が規定されている。最後に掲げた方式は、 MP E Gシステム規格として知られている。このような圧縮符号化技術を利用することにより、映画等の長時間のビデオおよびオーディオに関するデータストリーム（MP E Gシステムストリーム）を、高品質を保ちつつ、 1 枚の記録媒体（例えば、光ディスク）に記録することが可能になつている。さらに、記録媒体へ記録する方式についても標準化が進んでいる例えば、 D V D規格（DVD Specification for Read- Only Disc Version 1.0) が知られている。また、ビデオおよびオーディオのデータを記録媒体に記録するための規格として、 1 9 9 9年 9月には D VDビデオレコーディング（DVD Video Recording) 規格（DVD Specifications for Rewritable/Re - recordable Discs; が ¾¾定れている。

次に、記録媒体に記録されたデ一夕ストリームから、ビデオおよびオーディオを同期させて再生する処理を説明する。図 1は、システムストリームを再生可能な従来の再生装置 1 0の機能ブロックの構成を示す。ここでは、システムストリームはプログラムストリームであり、システム時刻基準 S C Rの情報を含むとする。

再生装置 1 0は、 AVパ一サ 1、ビデオデコーダ 2、オーディオデコーダ 3および S TCレジスタ 4を含む。

AVパーサ 1は外部からシステムストリームを受け取り、そのシステムストリームをォ一ディォおよびビデオの各データに分離する (以下、ォ一ディォに関するデータストリームをオーディォストリームといい、ビデオに関するデータストリームをビデオストリームという）。 AVパーサ 1は、システムストリームからシステム時刻基準 S CR、オーディオの再生時刻情報（AP T S) およびビデオの再生時刻情報（VPT S) を抽出する。 AVパーザ 1は、システム時刻基準 S C Rに基づいて、 S T Cレジスタ 4に基準値を設定する。そして、八パーサ 1は、ビデオストリームおよび V P T Sをビデオデコーダ 2に出力し。オーディオス 'トリームおょぴ APT S をオーディオデコーダ 3に出力する。 S TCレジスタ 4は、基準値に基づいて同期信号 S TCを生成する。

ビデオデコーダ 2は、同期信号 S;T Cおよびビデオの復号時刻情報（VDT S) にしたがってビデオストリームを復号化し、復号化したビデオデ一夕を同期信号 S T Cと V P T Sとが一致した夕イミングで出力する。例えばビデオでは、 NT S C方式の場合には約 1 6. 7ミリ秒に相当する間隔で再生時刻情報 VP TSが付加されている。これは、フィールド画像の表示タイミングに合わせているからである。なお、 NT S C方式では、ビデオは 1秒に 3 0フレームが表示され、かつ、 1フレームが 2フィールドから構成されているため、 1フィ一ルドは約 1 6. 7ミリごとに書き換えられている。オーディォデコーダ 3は、同期信号 S TCおよびォ一ディォの復号時刻情報（ADT S) にしたがってビデオストリームを複号化し，復号化したオーディォデ一夕を同期信号 S T Cと AP T Sとが一致したタイミングで出力する。例えば、再生時刻情報 APT Sは、 1 オーディオフレームの再生タイミング（約 3 2ミリ秒）に相当する間隔で付加されている。

以上の処理により、システムストリーム製作者がエンコード時に意図した夕イミングでオーディォおよびビデオの同期再生が実現される。

上述の例は、システム時刻基準 S C Rに基づいて同期信号 S TC が生成されるとした。これは、デジタル放送をリアルタイムで受信して再生する場合において、送信側と受信側のクロックを同期させる必要があるときにも同様である（ただし、デジタル放送がトランスポートストリームを利用する場合にはプログラム時刻基準 P C R が用いられる）。

一方、光ディスク等の記録媒体に既に記録されているシステムストリームを読み出してビデオおよびオーディオを再生する場合には、必ずしもシステム時刻基準 S C Rを用いてエンコード時のクロックを再現する必要はない。例えば、オーディオの A P T Sを用いて同期信号 S T Cを設定してもよい。そこで、そのような再生例を図 2 を参照しながら説明する。

図 2は、従来の再生装置 2 0の機能ブロックの構成を示す。再生装置 2 0は記録媒体に記録されたシステムストリ一ムに基づいてォ一ディォストリームおよびビデオストリ一ムを復号化し、オーディォの再生時刻情報（A P T S ) に基づいてビデオを出力してオーディォと同期させる。再生装置 2 0は、例えば、日本国特開平 1 0— 1 3 6 3 0 8号公報において開示されている。

A V分離部 1 2は、データ記録装置 1 1に格納された、デジタルエンコードされたシステムストリームを読み出し、多重化されて記録されているオーディォデータとビデオデータを分離する。

ビデオ処理部 1 3は、ビデオデータを復号化し、その際に得られたビデオヘッダ情報を遅延検出部 1 6に送る。ヘッダ情報にはビデォの再生時刻情報 V P T Sが記述されている。さらに、ビデオ処理部 1 3は、再生の開始から現在までに再生したビデオデータの積算フレーム数をビデオフレームカウンタ 1 8へ保存する。オーディオ処理部 1 4は、オーディオデータを復号化するとともに、その際に得られたオーディォヘッダ情報をクロック生成部 1 7に送る。へッダ情報にはオーディオの再生時刻情報 V P T Sが記述されている。さらに、オーディオ処理部 1 4は、オーディオ再生の開始から現在までに再生したオーディォデータの積算データ量をォ一ディォデー夕カウンタ 1 9へ保存する。

ク口ック生成部 1 7は、オーディオデータカウンタ 1 9に保存されている積算デ一夕量と、オーディォ処理部 1 4より得たオーディォヘッダ情報に基づいて、オーディオの再生経過時間として示される基準時刻を算出する。遅延検出部 1 6は、クロック生成部 1 7から得られた基準時刻の情報およびビデオ処理部 1 3から受け取ったビデオヘッダ情報に基づいて、本来出力すべきビデオデータの理想フレーム数を算出する。遅延検出部 1 6は、理想フレーム数と、ビデォフレームカウンタで得られた実フレーム数を比較し、オーディォの再生に対するビデオの再生の進渉を検出する。

遅延検出部 1 6によってビデオ出力がオーディォ出力より遅れていると検出されると、コマ落とし制御部 1 5は、出力しないフレーム（コマ落としフレーム）を決定してその情報を A V分離部 1 2およびビデオ処理部 1 3に伝える。ビデオ処理部 1 3は、コマ落としフレームの出力をスキップしてその後続のフレームを出力する。これにより、ビデオの遅延が 1フレームの表示時間相当分（例えば、 N T S Cの場合は 3 3ミリ秒）だけ解消され、オーディオ出力に対する遅れが解消される。再生装置 2 0は、上述の手法により、ォーディォおよびビデオの同期再生を実現する。

オーディォの再生に対するビデオの再生の関係は以下のとおりである。製作者がェンコ一ド時に意図したタイミングでビデオおよびオーディオが再生されている状態を理想状態とする。一般に、ォーディォの再生を基準にしてビデオが理想状態から一 5 0ミリ秒〜 + 3 0ミリ秒の範囲で再生されると、人間はオーディオとビデオが同期していると感じる。そこで、オーディオ再生時刻に対してビデオ再生時刻がこの許容範囲に入っている場合には、ビデオ出力はォーディォ出力より遅れていないと判断し、許容範囲に入っていない場合には、遅れていると判断すればよい。

しかしながら、従来の再生装置において、オーディオの再生経過時間を基準にしてビデオを再生すると、以下のような問題が生じるすなわち、従来の再生装置は、オーディオおよびビデオが同期して再生されているか否かの判定において、オーディオとビデオのずれが許容範囲内にあるにもかかわらず、その許容範囲を超えていると誤まって判定するおそれがある。

例えば、オーディオに対してビデオが許容範囲内の 2 0ミリ秒遅れて再生されているとする。上述のように、オーディオのフレームには約 3 2ミリ秒ごとに A P T Sが付加されており、ビデオのフィ一ルドには約 1 6 . 7ミリ秒ごとに V P T Sが付加されている。そのため、 A P T Sに対して V P T Sを比較する夕イミングによっては、ビデオはオーディォょりも最大 5 2ミリ秒ずれて再生されてしまう。特に、 V P T Sと A P T Sを比較するタイミングを V P T s の更新直後に限定すると、ビデオはオーディォに対して + 2 0ミリ秒〜 + 5 2ミリ秒遅れて再生される。よって、 + 3 0ミリ秒〜 + 5 2ミリ秒の遅れに対しては、視聴者にはビデオとオーディオとがずれて再生されているという違和感を与える。

また、従来の再生装置では、オーディオの再生がビデオの再生よりも先に終了するとそれ以後はビデオの再生を継続することができない。これは、オーディオの再生が終了するとオーディオの再生経過時間の進行が停止し、オーディォがビデオを再生するための時間基準として機能しなくなるからである。特に、システムストリームにはオーディォデータおよびビデオデータが混在しており、かつ、オーディォデ一夕およびビデオデータの再生時刻が同じとは限らなレよって、データの読み出しを終了した時点で得られているォーディォデータおよびビデオデータの再生終了時刻が異なり、オーディォの再生がビデオの再生よりも先に終了することがあるため、不都合を生じる。

本発明の目的は、オーディォの再生時間を基準としてビデオの再生を行った場合において、オーディオとビデオとを確実に同期させることである。また、本発明の他の目的は、オーディオの再生がビデォょりも先に終了した場合であってもビデオを継続して再生することである。発明の開示本発明によるデータ処理装置は、データストリームを受け取って, 前記データストリームから複数のピクチャのデータを含むビデオデ一夕、各ピクチャの再生時刻を規定する第 1時刻情報、複数のォーディオフレームのデータを含むオーディォデータおよび各オーディオフレームの再生時刻を規定する第 2時刻情報を分離するパーザと，前記複数のピクチャおよび前記複数のオーディオフレームを再生するために、前記ビデオデータおよび前記オーディォデ一夕を出力する出力部と、所定の基準時刻からの経過時間をカウントする基準レジス夕と、前記各ピクチャの出力時に、前記各ピクチャの第 1時刻情報と前記経過時間との差分値を計算し、第 1差分値として保持する第 1差分レジス夕と、前記各オーディオフレームの出力時に、前記各オーディオフレームの第 2時刻情報と前記経過時間との差分値を計算し、第 2差分値として格納する第 2差分レジスタと、前記第 2差分値に対する前記第 1差分値の大きさに応じて、前記ビデオデ一夕の出力を制御する制御部とを備えている。

前記基準レジスタは、前記オーディォデータの出力開始時刻を前記所定の基準時刻として経過時間をカウントしてもよい。

前記制御部は、前記前記第 2差分値が、前記第 1差分値と第 1所定値との和よりも大きい場合には、前記出力部に対してその時点で出力されているピクチャのビデオデータを再度出力させてもよい _c 前記制御部は、前記前記第 2差分値が、前記第 1差分値と第 2所定値との差よりも小さい場合には、前記出力部に対してピクチャのビデオデータの出力をスキップさせてもよい。前記制御部は、再生のポーズの指示を受け取ると、前記第 1時刻情報および前記第 2時刻情報に基づいて前記ビデオデータの出力を制御してもよい。

前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記第 2時刻情報が前記第 1時刻情報と第 3所定値との和よりも大きい場合には、前記出力部に対して前記オーディォデータを前記ビデォデ一夕よりも先に出力させてもよい。

前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記第 2時刻情報が前記第 1時刻情報と第 4所定値との差よりも小さい場合には、前記出力部に対して前記ビデオデ一夕をオーディオデータよりも先に出力させてもよい。

前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記出力部に対して前記ビデオデータとオーディォデータとを同時に出力させてもよい。

本発明によるデータ処理方法は、データストリームを受け取るステツプと、前記データストリームから複数のピクチャのデ一夕を含むビデオデータ、各ピクチャの再生時刻を規定する第 1時刻情報、複数のオーディオフレームのデータを含むオーディォデータおよび各オーディオフレームの再生時刻を規定する第 2時刻情報を分離するステップと、前記複数のピクチャおよび前記複数のオーディオフレームを再生するために、前記ビデオデ一夕および前記オーディォデータを出力するステップと、所定の基準時刻からの経過時間を力ゥン卜するステップと、前記各ピクチャの出力時に、前記各ピクチャの第 1時刻情報と前記経過時間との差分値を計算し、第 1差分値として保持するステツプと、前記各オーディオフレームの出力時に，前記各オーディオフレームの第 2時刻情報と前記経過時間との差分値を計算し、第 2差分値として格納するステップと、前記第 2差分値に対する前記第 1差分値の大きさに応じて、前記ビデオデータの出力を制御するステップとを包含する。

前記経過時間をカウントするステップは、前記オーディォデ一夕の出力開始時刻を前記所定の基準時刻として経過時間をカウントしてもよい。

前記前記第 2差分値が、前記第 1差分値と第 1所定値との和よりも大きい場合には、前記出力するステップは、その時点で出力されているピクチャのビデオデータを再度出力してもよい。

前記前記第 2差分値が、前記第 1差分値と第 2所定値との差よりも小さい場合には、前記出力するステップは、ピクチャのビデオデ一夕の出力をスキップしてもよい。

前記データ処理方法は、再生のポーズの指示を受け取るステップをさらに包含してもよく、前記出力するステップは、前記指示に応答して、前記第 1時刻情報および前記第 2時刻情報に基づいて前記ビデオデータの出力を制御してもよい。

前記データ処理方法は、再生のポーズの指示を受け取るステップをさらに包含してもよく、前記出力するステップは、前記指示に応答して、前記第 2時刻情報が前記第 1時刻情報と第 3所定値との和よりも大きい場合には、前記オーディオデータを前記ビデオデータよりも先に出力してもよい。

前記データ処理方法は、再生のポーズの指示を受け取るステップをさらに包含してもよく、前記出力するステップは、前記指示に応答して、前記第 2時刻情報が前記第 1時刻情報と第 4所定値との差よりも小さい場合には、前記ビデオデータをオーディオデータよりも先に出力してもよい。

前記データ処理方法は、再生のポーズの指示を受け取るステップをさらに包含してもよく、前記出力するステップは、前記指示に応答して、前記ビデオデータとオーディォデータとを同時に出力してもよい。

本発明によるデータ処理プログラムは、コンピュータにより実行可能である。コンピュータが実装されたデータ処理装置は、このプログラムにしたがって、以下の手順を実行する。すなわち、データストリームを受け取るステップと、前記データ,ストリームから複数のピクチャのデータを含むビデオデータ、各ピクチャの再生時刻を規定する第 1時刻情報、複数のオーディオフレームのデータを含むオーディォデータおよび各オーディオフレームの再生時刻を規定する第 2時刻情報を分離するステツプと、前記複数のピクチャおよび前記複数のオーディオフレームを再生するために、前記ビデオデー夕および前記オーディオデータを出力するステップと、所定の基準時刻からの経過時間をカウントするステップと、前記各ピクチャの出力時に、前記各ピクチャの第 1時刻情報と前記経過時間との差分値を計算し、第 1差分値として保持するステップと、前記各オーディォフレームの出力時に、前記各オーディオフレームの第 2時刻情報と前記経過時間との差分値を計算し、第 2差分値として格納するステップと、前記第 2差分値に対する前記第 1差分値の大きさに応じて、前記ビデオデータの出力を制御するステップとを実行する。図面の簡単な説明

図 1は、システムストリ一ムを再生可能な従来の再生装置 1 0の機能プロックの構成を示す図である。

図 2は、従来の再生装置 2 0の機能ブロックの構成を示す。

図 3は、 D V Dビデオレコーディング規格に準拠した M P E G 2 プログラムストリーム 3 0のデータ構造を示す図である。

図 4は、ビデオパック 3 2のデータ構造を示す図である。

図 5は、本実施形態によるデ一夕処理装置 5 0の機能ブロックの構成を示す。

図 6は、ビデオデコーダの処理の手順を示すフローチャートである。

図 7は、オーディオデコーダ 6 1の処理の手順を示すフローチヤ —卜である。

図 8は、データ処理装置 5 0の処理の手順を示すフローチャートである。

図 9は、？丁3レジス夕 5 6、 V P T S差分レジスタ 5 7、 A P T Sレジスタ 5 8、 A P T S差分レジスタ 5 9においてそれぞれ保持された値の変遷を示すグラフである。図 1 0は、オーディオフレームの出力がビデオフレームの出力よりも先に終了したときの、各種レジス夕 5 6、 5 7、 58および 5 9においてそれぞれ保持された値の変遷を示すグラフである。

図 1 1は、再生をポーズさせたときの、各種レジスタ 5 6、 5 7、 5 8および 5 9においてそれぞれ保持された値の変遷を示すグラフである。

図 1 2は、再生ポーズ時のデータ処理装置 5 0の処理の手順を示すフローチヤ一トである。

図 1 3は、データ処理装置の他の構成例を示すブロック図である。発明を実施するための最良の形態

以下では、まずデータストリームのデータ構造を説明し、その後, そのデータストリームを処理の対象とする本実施形態によるデータ処理装置を説明する。

図 3は、 D VDビデオレコ一ディング規格に準拠した MP E G 2 プログラムストリーム 3 0のデータ構造を示す（以下、このストリームを「データストリーム 3 0」と記述する）。

データストリーム 3 0は、複数のビデオオブジェクト（Video OBject ； VOB) # 1、 # 2、 ■ · ·、 # kを含んでいる。例えば、データストリーム 3 0がカムコーダで撮影されたコンテンツとすると、各 VOBは、ユーザが録画を開始してから録画を停止するまでの 1回の録画動作によって生成された動画データが格納されている ₍ 各 VO Bは、複数の VOBュニット（Video OBject unit ； V O B U) # 1、 # 2、 · · ·、 # nを含んでいる。各 VOBUは、主として、ビデオの再生時間にして 0. 4秒から 1秒までの範囲内のビデオデ一夕を含むデ一夕単位である。

以下、図 3において最初に配置された VO B U# 1とその次に配置された VO B U# 2を例にして、 V〇 B Uのデータ構造を説明する。 '

VOBU# lは、 MP E Gプログラムストリ一ムの下位階層であるパックが複数集まって構成されている。データストリーム 3 0内の各パックのデ一夕長（パック長）は一定（2キロバイト（ 2 0 4 8バイト））である。 VO BUの先頭には、図 1に "R" で示されるリアルタイムインフォメーションパック（RD Iパック） 1 1が配置されている。 RD Iパック 3 1の後には、 "V" で示されるビデォパック（ビデオパック 3 2等）および "A" で示されるオーディォパック（オーディオパック 3 3等）が複数含まれている。なお- 各 VO BUのデータサイズは、再生時間が同じであってもビデオデ一夕が可変ビットレートであれば最大記録再生レ一ト以下の範囲で変動し、ビデオデータが固定ビットレートであればほぼ一定である ₍ 各パックは以下の情報を格納している。 RD Iパック 3 1は、デ一夕ストリーム 3 0の再生を制御するために用いられる情報、例えば VOBUの再生タイミングを示す情報や、データストリーム 3 0 のコピーを制御するための情報を格納している。ビデオパック 3 2 は、 MP E G 2圧縮符号化されたビデオデータを格納している。ォ一ディォパック 3 3は、例えば MP E G 2—オーディォ規格によつて圧縮されたオーディォデ一夕を格納している。

VOBU# 2もまた、複数のパックから構成されている。 VOB U# 2の先頭には、 RD Iパック 34が配置され、その後、ビデオパック 3 5およびオーディオパック 3 6等が複数配置されている。各パックに格納される情報の内容は V〇 B U# 1と同様である。

ビデオおよびオーディォの復号化および再生は、アクセスュニットと呼ばれる単位を基準として行われる。アクセスユニットは、例えば、ビデオでは 1ビデオフレーム、ォディォでは 1オーディオフレームである。 MP E Gシステム規格では、このアクセスュニッ卜ごとに復号化および再生のタイミングを指定するタイムスタンプが付加される。すなわち、いつ復号化すべきかを示す時刻情報 DT S (Decoding Time Stamp) およびいつ再生すべきかを示す時刻情報 PT S (Presentation Time Stamp) の 2種類である。

一般に、デ一タストリーム 3 0を含む MP E Gシステム規格のシステムストリームを再生可能な再生装置は、その内部で同期信号 S T C (System Time Clock) を生成し、復号器（デコーダ）の動作タイミングの基準として用いている。同期信号 S TCは、システムス小リームがプログラムストリームの場合にはそのストリ一ム中に付加されたシステム時刻基準 S C R (System Clock Reference) 値に基づいて生成され、また、システムストリームがトランスポートストリームの場合にはそのストリーム中に付加されたプログラム時刻基準 P C R (Program Clock Reference) 値に基づいて生成される。再生装置のデコーダは、同期信号 S T Cが示す時刻と復号時刻情報 D T Sとが一致したとき、その D T Sが付加されたアクセスュニットをデコードする。その後、デコーダは、同期信号 S T Cが示す時刻と再生時刻情報 P T Sとが一致したとき、その P T Sが付加されたアクセスユニットを出力する。これにより、デ一タストリーム

3 0の製作者が意図したタイミングでビデオおよびオーディォが同期して再生される。

次に、ビデオパックのデータ構造を説明する。図 4は、ビデオパック 3 2のデータ構造を示す。ビデオパック 3 2は、ビデオバケツト 4 1およびパディングパケット 4 2を含む。なお、パディングパケット 4 2はデータパックのパック長を調整するために設けられたバケツトであるため、パック長を調整する必要がないときは存在しない。このときは、ビデオパック 3 2にはビデオパケット 4 1のみが含まれる。

ビデオパケット 4 1は、先頭から順に、 1 4バイトのパックへッダ（Pack— H) 、 2 4バイトのシステムヘッダ（sys t em— H) 、パケットヘッダ（Packe t_H) 4 1 aおよびペイロードを有する。パックへッダには、パックの種類（ここではビデオパケット）を特定する情報が記述される。システムヘッダは、 V O B Uの先頭のパックに必ず付加される。パケットヘッダ 4 1 aは後に詳述する。ペイロードには、圧縮符号化されたビデオデータが記述される。

一方、パディングパケット 4 2は、パケットヘッダ（Packeし H)

4 2 aおよびパディングデータ 4 2 bを有する。パケットヘッダ 4 2 aには、パディングバケツトであることを特定する情報の他に、 5および 6バイト目のフィールド（PES— packet_length) においてパディングパケット 42 aのデ一夕長（バイト長）が記述される。パディングデータ 42 bには、予め定められた値が格納される。この値は、例えば、意味を持たない値 " 0 X F F" ( 1 6進数）の羅列であり、上述のようにビデオパック 3 2のパック長を 2 048バィトに調整するために必要なデータ量だけ配置される。

次に、ビデオパケッ卜 4 1のパケットヘッダ 4 1 aのデータ構造を説明する。パケットヘッダ 4 l aは、パケット長フィールド 4 3 フラグフィ一ルド 44およびヘッダデータ長フィールド 4 5を有する。さらに、パケットヘッダ 4 1 aには、時間フラグフィールド 4 4 aおよび P E S拡張フラグフィールド 44 bの値に応じて、追加のフィ一ルド 46が設けられることがある。

パケット長フィールド 43には、そのフィールド以降からそのビデォパケット 4 1の最後までのパケット長（バイト長）が記述される。よって、パディングパケット 42が存在するときにはビデオパケット 4 1のパケット長は短くなり、パケット長フィールド 43に記述されるパケット長の値は小さくなる。続いて、フラグフィールド 44は、時間フラグフィールド 44 a (PTS— DTS— flag)、 P E S 拡張フラグフィールド（PES_extension_flag) 44 b等を含む。時間フラグフィールド 44 aには、後述するプレゼンテーションタイムスタンプ（P T S) およびでコーディングタイムスタンプ（DT S) の有無を示すフラグが記述される。また、 P E S拡張フラグフィ一ルド 4 bには、後述する P E S拡張フィールドの有無を示すフラグが記述される。ヘッダデータ長フィールド 4 5には、追加のフィールド 46およびスタッフィングバイトフィールド 4 9のフィールド長の和が格納される。

次に、追加のフィールド 46を説明する。例えば、時間フラグフィ一ルド 44 aが PT Sおよび DTSを有することを示すときは、フィールド 46として各 5バイトの P T SZDT Sフィールド 4 7 が設けられる。 PT Sは映像データの表示時間情報であり、 DT S 情報は復号のための時間情報で,ある。時間フラグフィールド 44 a の値に応じて、いずれか一方のフィールドが設けられる。

また、追加のフィールド 46として P E S拡張フィ一ルド 48が設けられることもある。 P E S拡張フィ一ルド 48にはプログラムストリーム 3 0の復号に必要な情報、例えば復号用のデータバッファの容量等が記述される。

P E S拡張フィールド 48は、データストリーム 3 0では各 VO

BUにおいて最初に現れるビデオパックおよびオーディォパックに設けられる。 P E S拡張フィールド 48は、例えば P E S拡張フラグフィールド 44 bが 1のときに存在し、 0のときは存在しない。パケットヘッダ 4 1 aには、スタッフイングパイトフィールド 4 9が設けられることがある。スタッフイングバイトフィールド 4 9 には、パック長を調整するためのスタッフィングバイトが格納される。スタッフイングバイトは、意味を持たない " 0 X F F" ( 1 6 進数）等のバイトデータである。スタッフィングバイトフィールド 4 9とパディングパケット 42とは、パック長を調整するための同じ目的で設けられる。よって、 DVDビデオ規格のスタッフイングバイトは 7バイト以下という条件、および、スタッフイングバイト 49とパディングパケット 42は同一のパック内に共存できないという条件が定められている。図 4に示す例では、ビデオパック 3 2 にはパディングバケツト 42が存在しているため、スタッフィングバイトフィールド 4 9は 0バイトであり存在しない。

なお、図 4ではビデオパックのデ一夕構造を示したが、ォ一ディォパックのデータ構造も同様である。「ビデオパケット」を「ォーディォパケット」に読み替え、ペイロードに格納される「ビデオデ一夕」を「オーディオデータ」に読み替えればよい。よって、ォ一ディォパケットのバケツトヘッダ 4 1 aには、追加のフィールド 4 6に P T S/DT Sフィールド 47が記述され、その再生（出力）のタイミングを示す P T Sまたは D T Sが記述される。なお、以下では、オーディオの再生時刻情報（PT S) は「APT S」と記す, そして、ビデオの再生時刻情報（P T S) は「VP TS」と記す。次に、図 5を参照しながら、データ処理装置を説明する。図 5は. 本実施形態によるデータ処理装置 5 0の機能ブロックの構成を示す < 本実施形態では、データ処理装置 5 0はオーディオフレームの再生時刻を基準としてビデオフレームの出力のタイミングを管理している。したがって、図 1に示す再生装置 1 0のように、 S TCレジスタ 4によってビデオおよびオーディォの出力が管理されている処理とは異なっている点に留意されたい。なお、本明細書では、ビデオおよびオーディォのフレームデータを出力した時刻と、そのフレームが再生されて映像として表示され、音声として出力される時刻とは同じであるとする。

データ処理装置 5 0の動作の概要は以下のとおりである。まず、データ処理装置 5 0は、データストリーム 3 0を記録媒体から読み出し、複数のピクチャのデ一夕を含む圧縮符号化されたビデオデー夕、各ピクチャの V P T S、複数のフレームのデ一夕を含むオーデイ ^データおよび各フ,レームの A P T Sを分離する。そして、デー夕処理装置 5 0は、複数のピクチャおよび複数のフレームを再生するために、ビデオデータおよびオーディオデ一夕を復号化する。この処理と併せて、データ処理装置 5 0は、基準時刻からの経過時間（例えばオーディオの再生開始時刻）をカウントし、各ピクチャの出力時には各ピクチャの V P T Sと経過時間との差分値を計算し、各オーディオフレームの出力時には各ォ一ディオフレームの A P T Sと経過時間との差分値を計算する。そして、ビデオおよびォ一ディォの各差分値の大きさに応じてビデオデータの再生出力を制御する。例えば、ビデオの差分値がオーディオの差分値よりも所定値以上大きくなったときは、ビデオの一枚のピクチャの出力をスキップする。なお、ピクチャは、フレームおよびフィールドの両方を表す概念である。

以下、データ処理装置 5 0の各構成要素を説明し、その後、デ一夕処理装置 5 0の動作を説明する。

データ処理装置 5 0は、光ピックアップ 5 1と、再生処理部 5 2 と、 AVパーザ 5 3と、基準カウンタレジスタ 54と、 AV同期制御部 5 5と、？丁 3レジスタ 5 6と、 VP T S差分レジス夕 5 7 と、八？丁 3レジスタ 5 8と、 AP T S差分レジスタ 5 9と、ビデォデコーダ 6 0と、オーディオデコーダ 6 1とを有する。

光ピックアップ 5 1は、記録媒体からデータストリーム 3 0を読み出す。記録媒体は、例えば D VD、 B D (B 1 u - r a y D i s c) 等の光ディスクである。再生処理部 5 2は、アナログ信号として得られたデ一タストリ一ム 3 0をデジタル化して出力する。

A Vパーサ 5 3は、データストリーム 3 0をビデオストリームとオーディオストリームに分離する。また、 A Vパーザ 5 3は、システムストリームから S C Rを抽出し、さらに、データストリ一ム 3 0のビデオパック 3 2、 3 5等に含まれているビデオ再生時刻情報 VPT S、および、オーディオパック 3 3、 3 6等に含まれているオーディォ再生時刻情報 AP T Sを抽出する。

ビデオデコーダ 6 0は、ビデオストリ一ムを復号化してビデオデ

—タを生成する。具体的には、ビデオデコーダ 6 0は、時刻情報 D T Sによって示される値と、後述の基準カウン夕レジスタ 54によつて示される基準カウンタ値とがー致しまたは所定の差が生じたときに、その DTSが付加されたピクチャデータを復号化する。そして、 VP T S値と基準カウン夕値とがー致しまたは所定の差が生じたときに、その P T Sが付加されたピクチャデータを出力する。また、ビデオデコーダ 6 0は、フレームの出力をスキップする指示を受け取ると、その次のフレームの出力をスキップして後続のフレームから再び出力を開始する。

オーディオデコーダ 6 1は、オーディオストリームをデコードしてオーディオデータを生成する。オーディオデコ一ダ 6 1は、ォーディオフレームデータを復号化し、オーディォデータを出力する。基準カウンタレジスタ 54は、オーディオデータの出力タイミングを基準として、換言すれば、再生の基準時間と同じ早さで経過時間をカウントする。経過時間は、例えば 9 0 k H zの精度で表されるとする。この精度により、ビデオフレームやオーディオフレームより充分に短い時間間隔で基準時間を更新できる。

VP TSレジス夕 5 6は、ビデオの再生時間に対応する V P T S を保持する。 V P T S差分レジス夕 5 7は、 ¥?丁3レジス夕 5 6 が保持する V P T S値と基準カウン夕レジスタ 54の値の差分値 (VP TS差分値）を保持する。八丁 3レジスタ 5 8は、オーディォの再生時間に対応する AP T Sを保持する。 AP T S差分レジス夕 5 9は、 AP T Sレジス夕 5 8と基準カウンタレジス夕 54の差分値（AP T S差分値）を保持する。上述した VP T Sレジスタ 5 6、 VP T S差分レジスタ 5 7、 AP T Sレジスタ 5 8および A P T S差分レジスタ 5 9の各レジスタは、ある値を受け取ると、次の値が入力されるまでその値を保持している。

A V同期制御部 5 5は、 VP TS差分レジスタ 5 7の値と AP T

S差分レジスタ 5 8の値とを比較して、ビデオデコーダ 6 0を制御してビデオデータの再生出力を調整する。これにより、オーディオに対してビデオを同期させている。ここで、ビデオデコーダ 6 0の動作およびオーディォデコーダ 6 1の動作を具体的に説明する。図 6は、ビデオデコーダの処理の手順を示す。ビデオデコーダ 6 0は、ステップ S 6 1において出力すべきビデオフレームを特定する指示を A V同期制御部 5 5から受け取ると、ステップ S 6 2においてそのフレームを復号化して出力する。次に、ステップ S 6 3において、ビデオデコーダ 6 0は出力したビデオフレームに対応する V P T S値を V P T Sレジス夕 5 6に書き込む。そして、ステップ S 6 4において、ビデオデコーダ 6 0 は V P T Sレジスタ 5 6に保持された値から、基準カウン夕レジス夕 5 4がその時点で有するカウンタ値を減算し、得られた V P T S 差分値を V P T S差分レジスタ 5 7に書き込む。ビデオデコーダ 6 0のこのような動作により、 V P T Sレジスタ 5 6および V P T S 差分レジスタ 5 7に保持されている値がそれぞれ更新される。

なお、 V P T Sレジスタ 5 6ぉょび？丁 S差分レジスタ 5 7への書き込みをビデオ出力の前に行ってもよい。また、出力時に、 1 フレーム先の V P T S値を用いて V P T Sレジスタ 5 6および V P T S差分レジス夕 5 7の値を更新してもよい。

次に、図 7は、オーディオデコーダ 6 1の処理の手順を示す。ステツプ S 7 1において、オーディオデコーダ 6 1は、オーディオデコーダはオーディオストリームを復号化して出力する。次に、ステップ S 7 2において、オーディオデコーダ 6 1は、オーディオフレームに対応する A P T Sの値を A P T Sレジスタに書き込む。そして、ステップ S 7 3において、オーディオデコーダ 6 1は A P T S レジスタ 5 8に保持された値から、基準カウン夕レジスタ 54がその時点で有するカウンタ値を減算し、得られた A P T S差分値を A P T S差分レジスタ 5 9に書き込む。

なお、 AP T Sレジスタ 5 8および A P T S差分レジスタ 5 9への書き込みを、オーディオ出力の前に行ってもよい。また、出力時に、 1オーディオフレーム（3 2ミリ秒）先の AP T S値を用いて. APT Sレジスタ 5 8および A P T S差分レジス夕 5 9の値を更新してもよい。

次に、データ処理装置 5 0の処理を説明する。図 8は、データ処理装置 5 0の処理の手順を示す。まずステップ S 8 1において、光ピックアップ 5 1が光ディスクからデ一タストリームを読み出し、再生処理部 5 2がデジタル化処理を行う。そして、ステップ S 8 2 において、 AVパーザ 5 3は、読み出したデータストリーム 3 0からビデオストリームと V P T Sおよびオーディオストリームと A P TSを分離する。

ステップ S 8 3において、ビデオデコーダ 6 0は、ビデオフレームを出力するとともに、その VPT S値を VP T Sレジスタ 5 6に書き込み、その VP T S差分値を V P T S差分レジスタ 5 7に書き込む。次に、ステップ S 84において、オーディオデコーダ 6 1はオーディオフレームを出力するとともに、その AP T S値を APT Sレジスタ 5 8に書き込み、その APT S差分値を APT S差分レジス夕 5 9に書き込む。

続いて、ステップ S 8 5において、 A V同期制御部 5 5は VP T S差分レジスタ 5 7に保持されている VP TS差分値と、 APTS 差分レジスタ 5 9に保持されている AP T S差分値とを比較する。ステップ S 8 5の比較の意味を図 9を参照しながら説明する。図 9は、 VPT Sレジス夕 5 6、 V P T S差分レジスタ 5 7、 APT Sレジスタ 5 8、 A P T S差分レジス夕 5 9においてそれぞれ保持された値の変遷を示すグラフである。このグラフは、オーディオに対してビデオが 2 0ミリ秒進んだ状態で同期して出力を継続している場合の例である。

本実施形態では、 AP T S値は 3 2ミリ秒ごとに離散的に増加し VP TS値は 1 6. 7ミリ秒ごとに離散的に増加する。図 9では、 AP TSおよび AP T S差分値が更新されるタイミングを "·" によって示し、 VP T Sおよび VP T S差分値が更新される夕イミングを "▲" によって示している。これらのタイミングにおいて、ォ一ディオフレームおよびビデオフレームが出力されている。なお、基準カウン夕は、説明の便宜上、 AP T Sの再生開始時において— 5 0ミリ秒からカウントを開始しているが、再生開始時における開始カウント値は任意である。

先に述べたように、 A P T Sレジスタ 5 8および V P T Sレジス夕 5 6は次の値が入力されるまでは前の値を保持しているため、 A P T Sレジスタ 5 8および V P T Sレジスタ 5 6が保持する値のグラフは階段状（ステップ状）になる。よって、八丁 3値と¥ 丁 S値との差は、その差を計算するタイミングによって大きく変化してしまう。よって、この差に基づいてオーディオとビデオとの同期を確認することは妥当ではない。

オーディオフレームおよびビデオフレームは、 AP T S値および VP T S値が基準力ゥン夕値と一致しまたは所定の差が生じたときに出力されている。図 9に示す例では、 — 5 0ミリ秒の差が生じたときに出力されている。よって、オーディオフレームの再生時刻に基づいて基準カウン夕値を生成している本実施形態の条件の下では. AP T S値と基準カウンタ値との差分値（APT S差分値）を計算すると常に一定になる。これは AP T S差分のグラフに示すとおりである。

一方、 VPTS値と基準カウンタ値との差分値（VPTS差分値）は、ビデオフレームの出力が遅すぎず、かつ、早すぎない場合には、一定になる。例えば、オーディオに対して一 5 0ミリ秒〜 + 3 0ミリ秒の範囲でビデオが出力されると、概ね一定になる。これは VPT S差分のグラフに示すとおりである。このときは、視聴者はビデオがオーディオに同期していると感じる。ただし、その範囲を超'えてビデオフレームが遅れて出力されると VP T S差分値は小さくなり、進むと大きくなる。

よって、 AP T S差分値と VP TS差分値とを比較すれば、その比較を行う夕イミングに依存することなく、正確にオーディオフレームの出力に対するビデオフレームの出力の遅れを特定できる。

再び図 8を参照する。ステップ S 8 5における比較の結果、 VP T S差分値が APTS差分値よりも所定時間 α (例えばひ = 3 0ミリ秒）以上大きければステップ S 8 6に進み、そうでなければステップ S 8 7に進む。

ステップ S 8 6では、ビデオフレームが早く出力されているため A V同期制御部 5 5からの指示に基づいて、ビデオデコーダ 6 0は現在のビデオフレームを再度出力する。これにより、ビデオフレームの出力がポーズされてオーディオフレームの出力がビデオフレームの出力に追いつくことになり、オーディオとビデオの同期が実現される。その後、処理はステップ S 8 9に進む。

ステップ S 8 7では、 V P T S差分値が A P T S差分値—所定時間 /3 (例えば /3 = 5 0ミリ秒）よりも小さいか否かが判断される。小さい場合にはステップ S 8 8に進み、小さくない場合には V P T S差分値が A P T S差分値と概ね等しいことを意味する。この後処理はステツプ S 8 9に進む。

ステップ S 8 8では、 A V同期制御部 5 5からの指示に基づいて，ビデオデコーダ 6 0は 1ビデオフレームをスキップし後続のビデオフレームを出力する。これにより、ビデオフレームの出力がオーディオフレームの出力に追いつくことになりオーディォとビデオの同期が実現される。

ステップ S 8 9では、 A V同期制御部 5 5はビデオフレームが残つているか否かを判断する。残っている場合にはステップ S 8 3以降の処理を繰り返し、残っていない場合には処理を終了する。

次に、図 1 0を参照しながら、オーディオフレームの出力がビデオフレームの出力よりも先に終了した場合の処理を説明する。

図 1 0は、オーディオフレームの出力がビデオフレームの出力よりも先に終了したときの、各種レジスタ 5 6、 5 7、 58および 5 9においてそれぞれ保持された値の変遷を示すグラフである。時刻 t = t 1においてオーディオフレームの出力が終了し、出力が途切れているとする。時刻 t = t 1以降は AP T Sの更新はないため、 AP T Sレジスタの値が増加しなくなることに留意されたい。仮に AP T Sレジスタ 5 8の値を基準にビデオを同期させるとすると、点線で示した VP T S ( 1) のようにビデオの出力も進まなくなるしかし、 APT S差分レジスタ 5 7および V P T S差分レジスタ 5 9を利用すると、オーディオデータが途切れても APT S差分レジス夕の値は同じ値が継続して出力されるため、オーディオの出力が継続している場合と同じ状態を維持できる。よって、先に説明したと同じ処理によってビデオフレームの出力を確実に継続することができる。このときの VPT Sレジスタ 5 6の値を VPT S (2) として示す。

次に、図 1を参照しながら、オーディオおよびビデオの再生が

' 視聴者からの指示等に基づいてポーズされた場合の処理を説明する図 1 1は、再生をポーズさせたときの、各種レジス夕 56、 5 7、 5 8および 5 9においてそれぞれ保持された値の変遷を示すグラフである。時刻 t = t 3において再生がポーズされたとする。時刻！； = t 3以降のポーズ期間中は、ビデオは同じフレームの出力を繰り返す。そのため、 V P T Sレジスタ 5 6には、ポーズ直前の時刻における VPTS値と同じ値が入力され続ける。また、 VPT S値が一定で、かつ基準カウンタ値は増加するため、 VPT S差分レジス夕 5 7に入力される VP T S差分値は徐々に階段状に減少する。一方、オーディオは出力を停止する。よって、 AP T S値および AP T S差分値は、ポーズされた時刻 t = t 3の直前の時刻 t = t 2において更新された AP T S値および AP T S差分値が保持される。 AP TS差分値と VPTS差分値とを比較すると、ポーズ期間中はその差は大きくなり続ける。その結果、正常な表示であるにもかかわらず、 AV同期制御部 5 5はビデオフレームの再生が遅れていると誤って認識してしまい、誤動作を招く。

そこで、この場合には、 A V同期制御部 5 5は、 APT Sレジス夕 5 8内の APT S値と、 V P T Sレジスタ 5 6内の V P T S値とを利用してビデオフレームの出力を継続すればよい。すなわち、 A P T Sレジスタ 5 8内の A P T S値、および、 VP T Sレジスタ 5 6内の VP T S値は全く同じ値をとりつづけるため、ポーズ期間中はその差も一定である。よって、この差に基づけば、 AV同期制御部 5 5はビデオフレームの再生タイミングがずれていると判断することもない。ビデオフレームの出力タイミングは、 NTS C方式によれば、ポーズされた時刻 t = t 3の直前に表示されたフレームを基準として 1 2 9. 9 7秒（約 1Z3 0秒）ごとである。なお、インターレースで表示される場合には、出力タイミングは、直前に表示された 2枚のフィールドを 5 9. 94秒（約 1ノ 6 0秒）ごとである。なお、これらのタイミングの決定にあたっては、 APT S レジスタ 5 8内の AP T S値は特に利用されない。

その後、ポーズが解除されたときは、データ処理装置 5 0は、図 1 2に示すように処理して、オーディオとビデオの同期を取ることができる。図 1 2は、再生ポーズが解除されたときのデータ処理装置 5 0の処理の手順を示す。まず、ステップ S 1 2 0において、 A V同期制御部 5 5は視聴者等からポーズ解除の指示を受け取る。そして、ステップ S 1 2 1において、 ¥ ?丁3値が八？丁3値+所定時間ァ（例えばァ = 3 0ミリ秒）よりも大きければステップ S 1 2 2に進み、そうでなければステップ S 1 2 3に進む。ステップ S 1 2 2において、 A V同期制御部 5 5はまずオーディォ再生のポーズを解除し、その後、ビデオ再生のポ一ズを解除する。オーディオ再生のポーズを先に解除することにより、オーディオフレームの出力がビデオフレームの出力に追いつくことになり、オーディオとビデォの同期が実現される。その後、図 1 2の処理は終了し、図 8に示す処理へと移る。

ステップ S 1 2 3において、 V P T S値が A P T S値—所定時間 δ (例えば δ = 5 0ミリ秒）よりも小さいか否かが判断される。小さい場合にはステツプ S 1 2 4に進み、小さくない場合はステツプ S 1 2 5に進む。

ステップ S 1 2 4では、 A V同期制御部 5 5はビデオ再生のポーズを解除し、その後、オーディオ再生のポーズを解除する。これにより、ビデオフレームの出力がオーディオフレームの出力に追いつくことになりオーディオとビデオの同期が実現される。その後、図 1 2の処理は終了し、図 8に示す処理へと移る。

ステップ S 1 2 5では、ビデオ再生のポーズとオーディオ再生のポーズとを同時に解除する。そして図 1 2の処理は終了し、図 8に示す処理へと移る。なお、 VP T S差分レジス夕と基準カウンタレジス夕を加算した値と、 APT Sレジス夕とを比較してオーディオとビデオの同期を取ることも可能である。

なお、 VP TS差分レジス夕 5 7と基準カウン夕レジス夕 54のみでは、現在出力中のフレームを特定することが困難であるが、 V P T Sレジス夕 5 6を備えることにより、出力されているビデオフレームを容易に特定することができる。

以上、本発明の実施形態によるデータ処理装置 5 0を説明した。デ一夕処理装置 5 0は、図 5に示す構成の他に、例えば図 1 3に示す構成をとることもできる。図 1 3は、データ処理装置の他の構成例を示す。 AV同期制御部 5 5の機能は、再生処理プログラム 1 3 0に基づいて動作する汎用 C P U 1 3 1によって実現され、光ピックアップ 5 1、再生処理部 5 2および A V同期制御部 5 5を除くデ一夕処理装置の構成要素が、 1つのデコーダチップ 1 3 1によって実現されている。なお、光ピックアップ 5 1および再生処理部 5 2 の図示は省略している。

再生処理プログラム 1 3 0は、図 8および図 1 2に示す手順に従つてデータ処理装置を動作させるように記述され、汎用 c P U 1 3 1によって実行される。 A V同期処理部 5 5の機能が C PUがソフトウエアを実行することによって実現される場合には、 AV同期制御部 5 5の処理に対するリアルタイム要求を低くすることができるという利点が存在する。すなわち、汎用 C P U 1 3 1は上述した処理に加えて、当然に他の処理、例えば光ピックアップ 5 1の移動処理、再生処理部 5 2における 2値化処理等を実行する必要がある。図 8および図 1 2における処理は、 V P T S差分値と A P T S差分値との比較演算等の夕イミングの制約はなく、いつ行っても正確な同期を実現できるため、汎用 C P U 1 3 1の動作に関するスケジュ一リングに対する制限は少なくなる。この利点は、従来の再生装置 2 0等において、同期の精度を向上するために汎用 C P U 1 3 1に対して P T S更新を厳密なタイミングで実行させなければならない場合と比較すると、顕著である。産業上の利用可能性

本発明によれば、 A P T S差分レジス夕と V P T S差分レジスタを利用してオーディオとビデオの出力の進渉状態を比較することにより、確実にオーディオとビデオの同期を取ることができる。さらに、ォ一ディォデ一夕がビデオデ一夕よりも先に途切れても、ォ一ディォを基準にビデオの出力を継続させることが可能になる。さらに、 A P T Sレジス夕を備えることにより、ポ一ズ中にもオーディォとビデオの出力の進渉具合を比較するとともに、ポーズの解除後にもオーディオとビデオの同期をとることができる。これにより、視聴者にとって違和感のない再生を実現できる装置を提供できる。

Claims

請求の範囲

1 . データストリームを受け取って、前記データストリームから複数のピクチャのデータを含むビデオデ一夕、各ピクチャの再生時刻を規定する第 1時刻情報、複数のオーディオフレームのデータを含むオーディォデータおよび各オーディオフレームの再生時刻を規定する第 2時刻情報を分離するパーザと、

前記複数のピクチャおよび前記複数のオーディオフレームを再生するために、前記ビデオデータおよび前記オーディォデ一タを出力する出力部と、

所定の基準時刻からの経過時間をカウントする基準レジス夕と、前記各ピクチャの出力時に、前記各ピクチャの第 1時刻情報と前記経過時間との差分値を計算し、第 1差分値として保持する第 1差分レジスタと、

前記各オーディオフレームの出力時に、前記各オーディオフレームの第 2時刻情報と前記経過時間との差分値を計算し、第 2差分値として格納する第 2差分レジス夕と、 .

前記第 2差分値に対する前記第 1差分値の大きさに応じて、前記ビデオデータの出力を制御する制御部と

を備えたデータ処理装置。

2 . 前記基準レジスタは、前記オーディオデ一夕の出力開始時刻を前記所定の基準時刻として経過時間をカウントする、請求項 1に記載のデータ処理装置。

3 . 前記制御部は、前記第 2差分値が、前記第 1差分値と第 1所定値との和よりも大きい場合には、前記出力部に対してその時点で出力されているピクチャのビデオデータを再度出力させる、請求項 1 に記載のデータ処理装置。

4 . 前記制御部は、前記前記第 2差分値が、前記第 1差分値と第 2所定値との差よりも小さい場合には、前記出力部に対してピクチャのビデオデータの出力をスキップさせる、請求項 1 に記載のデータ処理装置。

5 . 前記制御部は、再生のポーズの指示を受け取ると、前記第 1時刻情報および前記第 2時刻情報に基づいて前記ビデオデ一夕の出力を制御する、請求項 1に記載のデータ処理装置。

6 . 前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記第 2時刻情報が前記第 1時刻情報と第 3所定値との和よりも大きい場合には、前記出力部に対して前記オーディオデータを前記ビデオデータよりも先に出力させる、請求項 5に記載のデータ処理装置。

7 . 前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記第 2時刻情報が前記第 1時刻情報と第 4所定値との差よりも小さい場合には、前記出力部に対して前記ビデオデ一夕をオーディオデ一夕よりも先に出力させる、請求項 5に記載のデータ処理装置。

8 . 前記制御部は、前記再生のポーズを解除する指示を受け取ると、前記出力部に対して前記ビデオデータとオーディオデ一夕とを同時に出力させる、請求項 5 に記載のデ一夕処理装置 <

9 . デ一夕ストリームを受け取るステップと、

前記デ一タストリームから複数のピクチャのデ一夕を含むビデオデータ、各ピクチャの再生時刻を規定する第 1時刻情報、複数のォ一ディオフレームのデータを含むオーディォデータおよび各オーディオフレームの再生時刻を規定する第 2時刻情報を分離するステツプと、

前記複数のピクチャおよび前記複数のオーディオフレームを再生するために、前記ビデオデータおよび前記オーディォデ一夕を出力するステップと、 '

所定の基準時刻からの経過時間をカウントするステップと、前記各ピクチャの出力時に、前記各ピクチャの第 1時刻情報と前記経過時間との差分値を計算し、第 1差分値として保持するステツプと、

前記各オーディオフレームの出力時に、前記各オーディオフレームの第 2時刻情報と前記経過時間との差分値を計算し、第 2差分値として格納するステップと、

前記第 2差分値に対する前記第 1差分値の大きさ【こ応じて、前記ビデオデータの出力を制御するステップと

を包含するデータ処理方法。

1 0 . 前記経過時間をカウントするステップは、前記オーディォデータの出力開始時刻を前記所定の基準時刻として経過時間をカウントする、請求項 9に記載のデータ処理方法。

1 1 . 前記前記第 2差分値が、前記第 1差分値と第 1所定値との和よりも大きい場合には、前記出力するステップは、その時点で出力されているピクチャのビデオデータを再度出力する、請求項 9に記載のデータ処理方法。

1 2 . 前記前記第 2差分値が、前記第 1差分値と第 2所定値との差よりも小さい場合には、前記出力するステップは、ピクチヤのビデオデータの出力をスキップする、請求項 9 に記載のデータ処理方法。

1 3 . 再生のポーズの指示を受け取るステップをさらに包含し、

前記出力するステップは、前記指示に応答して、前記第 1時刻情報および前記第 2時刻情報に基づいて前記ビデオデータの出力を制御する、請求項 9に記載のデータ処理方法。

1 4 . 再生のポーズの指示を受け取るステップをさらに包含し、

前記出力するステップは、前記指示に応答して、前記第 2時刻情報が前記第 1時刻情報と第 3所定値との和よりも大きい場合には、前記オーディオデータを前記ビデオデータよりも先に出力する、請求項 1 3に記載のデータ処理方法。

1 5 . 再生のポーズの指示を受け取るステップをさらに包含し、

前記出力するステップは、前記指示に応答して、前記第 2時刻情報が前記第 1時刻情報と第 4所定値との差よりも小さい場合には、前記ビデオデータをオーディオデータよりも先に出力する、請求項 1 3に記載のデータ処理方法。

1 6 . 再生のポーズの指示を受け取るステップをさらに包含し、

前記出力するステップは、前記指示に応答して、前記ビデオデ一夕とオーディオデ一夕とを同時に出力する、請求項 1 3 に記載のデータ処理方法。