JP3215087B2 - オーディオとビデオの同期方法及びデジタルビデオプロセッサ - Google Patents

オーディオとビデオの同期方法及びデジタルビデオプロセッサ

Info

Publication number
JP3215087B2
JP3215087B2 JP22761998A JP22761998A JP3215087B2 JP 3215087 B2 JP3215087 B2 JP 3215087B2 JP 22761998 A JP22761998 A JP 22761998A JP 22761998 A JP22761998 A JP 22761998A JP 3215087 B2 JP3215087 B2 JP 3215087B2
Authority
JP
Japan
Prior art keywords
audio
video
value
frame
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22761998A
Other languages
English (en)
Other versions
JPH11191286A (ja
Inventor
クーン タン ユー
ユー ゴン−サン
Original Assignee
ソニー エレクトロニクス インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー エレクトロニクス インク filed Critical ソニー エレクトロニクス インク
Publication of JPH11191286A publication Critical patent/JPH11191286A/ja
Application granted granted Critical
Publication of JP3215087B2 publication Critical patent/JP3215087B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、オーディオとビデ
オの同期方法及びデジタルビデオプロセッサに関し、例
えば、テレビジョン受像機の画面に表示される画像のデ
ジタル処理に関し、特に、オーディオ信号とビデオ信号
とをデジタル的に同期させてビデオ表示装置に出力させ
る処理に関する。
【０００２】
【従来の技術】今日製造されているテレビジョン受像機
の殆どが、例えばビデオテープレコーダ（以下、ＶＴＲ
という。）、デジタルビデオディスク（以下、ＤＶＤと
いう。）プレーヤ、ケーブル、デジタル衛星システム
（以下、ＤＳＳという。）等の様々な番組の信号源装置
と接続できるようになっており、これらの番組の信号源
装置からは、音を生成するためのオーディオ信号と、音
に対応する画像を表示するためのビデオ信号とが出力さ
れる。これらの信号源装置の中には、ムービングピクチ
ャエキスパートグループ−２（以下、ＭＰＥＧ−２：Mo
ving Picture Expert Group-2という。）のオーディオ
／ビデオデジタル圧縮規格に準拠したデジタルオーディ
オ信号及びビデオ信号を出力するものもある。したがっ
て、現在のテレビジョン受像機及び／又はＤＶＤプレー
ヤに、圧縮されたデジタル入力信号を処理して所望の画
像を表示するためのデジタル出力信号を出力する機能を
持たせることが望ましい。多くの場合、これらのデジタ
ル信号は、アナログ信号に変換されて、従来のアナログ
テレビジョン受像機の表示装置に表示される。
【０００３】番組のオーディオ／ビデオ信号源装置から
の信号に基づいた画像の表示と、それに対応した音を出
力するためのデジタル信号処理を実現するためには、従
来のアナログオーディオ／ビデオ信号処理では見られな
かった種々の設計が試みられている。例えば、デジタル
信号処理では、オーディオ信号が、ビデオ信号と別にな
っており、すなわち音声と画像とが独立して処理され
る。なお、番組の信号源装置から供給された所望のオー
ディオ信号とビデオ信号が互いに対応し、一体となって
再生されるように、音声と画像は、同期して再生されな
ければならない。
【０００４】番組の信号源装置は、オーディオデータ及
びビデオデータを、例えばＭＰＥＧ−２フォーマットに
より、データパケットとして出力する。オーディオデー
タ及びビデオデータの各パケットは、番組の信号源装置
から連続的なデータストリームとして受信される。ビデ
オデータの各パケットは、ヘッダブロックと、それに続
くデータブロックとを有する。データブロックは、例え
ば１〜２０等の複数のビデオデータのフレームを含むこ
とができ、これらのフレームは、ビデオデータの完全な
フィールド、又はピクチャの種類及び表示順序を識別す
るための固有のヘッダブロックを有するコード化された
グループオブピクチャを含むことができる。ビデオデー
タのパケットのヘッダブロックは、例えばビデオデータ
のフォーマットの識別子、圧縮の種類、必要に応じて画
像の大きさ、表示順序、その他の全てのパラメータ等の
制御情報を含んでいる。オーディオデータのパケット
も、ヘッダブロックを有し、このヘッダブロックも同様
に、オーディオデータのデコード法及び適用された所望
のエンハンスメント処理方法に関するインストラクショ
ンを含んだオーディオデータのフォーマットを識別する
ために用いられる。また、オーディオデータのパケット
は、ヘッダブロックに続いてデータブロックを有し、こ
のオーディオデータブロックは、例えば１〜約２０等の
複数のオーディオデータのブロック又はフレームを含ん
でいる。
【０００５】オーディオデータ及びビデオデータのパケ
ットのヘッダブロックの特定の１つは、再生出力の時刻
管理情報であるプレゼンテーションタイムスタンプ（以
下、ＰＴＳ：Presentation Time Stampという。）値を
含んでおり、これは、そのデータパケットに適用できる
タイムスタンプである。このＰＴＳの値は、オーディオ
データ及びビデオデータの生成又は記録中に動作してい
るシステム時刻クロック（以下、ＳＴＣ：System Time
Clockという。）を基準とした時刻である。また、オー
ディオデータ及びビデオデータの再生の際にも、同様の
ＳＴＣが動作しており、オーディオデータ及びビデオデ
ータがそれぞれのＰＴＳによって示される時刻に再生さ
れると、オーディオデータとビデオデータは、理想的に
同期して利用者に出力される。すなわち、ＰＴＳは、オ
ーディオデータとビデオデータを同期して表示又は再生
するために用いられる。
【０００６】オーディオデータをデコードする際、オー
ディオデータは、番組の信号源装置及び音声再生装置の
能力に適合した伸長、再構成及びエンハンス処理を施さ
なければならない。ある用途においては、オーディオデ
ータのパケットに、生のオーディオデータが６チャネル
分含まれることもある。音声再生装置は、チャネル数に
依存し、例えば２〜６チャンネルのオーディオデータを
再生することができ、複数のオーディオのチャネルを提
供するために、生のオーディオデータのチャネルを選択
的に使用して、これらのチャネルのオーディオデータ
を、オーディオ用のファーストインファーストアウトメ
モリ（以下、ＦＩＦＯという。）に記憶する。
【０００７】ビデオデータをデコードするには、通常、
伸長、部分的なフレームの全フレームへの変換、全フレ
ームの認識が必要とされる。デコード処理と同時に、オ
ーディオデータ及びビデオデータのフレームが出力さ
れ、すなわち利用者に対して再生され、この再生は、オ
ーディオデータとビデオデータのフレームが互いに対応
し、一体となるように同期していなければならない。
【０００８】従来技術から明らかなように、オーディオ
データ及びビデオデータのパケットのデマルチプレクス
は、データのデコード及び再生が同期するように、デー
タパケットを分解するとともに、コンテントデータ自体
だけでなくデコードに必要なインストラクションをも記
憶させるという複雑な処理である。ある周知の技術によ
ると、オーディオ及びビデオのコンテントデータ、すな
わち生のデータは、オーディオ及びビデオの各ＦＩＦＯ
メモリに記憶される。これらのＦＩＦＯは、メモリコン
トローラによって制御される書込及び読出ポインタを備
えており、このメモリコントローラは、ＣＰＵの一般的
な制御下にある。書込ポインタは、デマルチプレクス処
理に必要な機能として動作され、この書込ポインタによ
って、データが各ＦＩＦＯに連続して分配される。読出
ポインタは、デコード処理とは独立であって、並行する
機能として動作され、データがＦＩＦＯから連続して読
み出される。デマルチプレクス処理において、生のデー
タがＦＩＦＯにロードされるのに加えて、それに対応し
たＰＴＳの値があれば、それがオーディオ及びビデオの
各ＰＴＳテーブル内の記憶域に書き込まれる。ＰＴＳの
値をＦＩＦＯ中のデータと対応させるために、通常、Ｐ
ＴＳの値に加えて、ＰＴＳに続いて受信されたデータの
うちの最初の１バイトが書き込まれた各ＦＩＦＯ内の位
置も、それぞれのオーディオ及びビデオのＰＴＳテーブ
ルに書き込まれる。
【０００９】オーディオデータ及びビデオデータが、デ
マルチプレクス処理によってＦＩＦＯメモリに書き込ま
れる一方で、オーディオデータ及びビデオデータは、オ
ーディオデータ及びビデオデータのデコード及び再生処
理の間に、それぞれのＦＩＦＯから同時に、かつ並行に
読み出される。この両方処理が行われている間、オーデ
ィオデータ及びビデオデータのデコード処理によって読
み出されるオーディオデータとビデオデータが時間的に
同期しているかを監視する監視処理が必要である。上述
した周知の技術では、この監視処理は、デコード処理に
よって動作するＦＩＦＯの読出ポインタをＰＴＳテーブ
ルに記憶されている記憶域と関係づけることにより、行
われる。読出ポインタが、ＰＴＳの値に対応した記憶域
に十分に近いときは、ＰＴＳがデコード処理に関する現
在の時刻を示していると決定することができる。このよ
うな方法でＰＴＳの値を識別することにより、ＰＴＳ
を、１つのデコード処理が他のデコード処理より先行又
は後行しているかを決定するために比較に用いることが
できる。
【００１０】しかしながら、この方法には、以下の理由
による欠点がある。オーディオデータ及びビデオデータ
のデコード処理の間、それぞれのＦＩＦＯに対する読出
ポインタは、ＣＰＵからのいかなるインストラクション
とは無関係なメモリコントローラに直接的に相互作用す
るデコード処理によって、自動的かつ連続的に動作され
ている。これは、オーディオデータとビデオデータをデ
マルチプレクスし、デコードして出力する全体の処理
が、同期して連続的に行われなければならないため、避
けられないことである。
【００１１】オーディオとビデオのデコード及び再生を
同期させるための上述した技術には、監視処理と様々な
デコード処理との間には本来的な遅延があるといった重
大な問題がある。例えば、オーディオデータをデコード
する際、オーディオデコーダは、監視処理を実行してい
るＣＰＵに対して開始オーディオフレーム割込を、１つ
のオーディオフレームのデコードを開始する毎にかけ
る。１つのオーディオフレームのデコードが開始される
と、監視処理は、現在オーディオＦＩＦＯから読み出さ
れているデータと、対応するＰＴＳ、すなわち現在読み
出されているデータがオーディオＦＩＦＯに書き込まれ
たときのオーディオＰＴＳテーブルに書き込まれた値を
有するＰＴＳとを対応させなければならない。理論的に
は、オーディオフレームの開始における読出ポインタの
位置が分かっているならば、この読出ポインタの位置
を、デマルチプレクス処理の間にＰＴＳテーブルに記憶
された書込ポインタの位置と比較することができる。現
在の読出ポインタの位置と記憶されている書込ポインタ
の位置とが一致していることが分かると、その記憶され
ている書込ポインタに対応したＰＴＳが、現在読出ポイ
ンタによって識別されるオーディオデータのＰＴＳと一
致していることになる。読み出されるデータに対応する
ＰＴＳの値を正確に決定することができると、デコード
及び再生処理は、フレームをスキップするか又は繰り返
して、オーディオ及びビデオのフレームを同期して出力
するという周知の方法で行われる。
【００１２】なお、上述した処理において、オーディオ
データとビデオデータの再生における同期がとれない状
態になってしまうには、２つの条件がある。第１の条件
は、監視処理を実行しているＣＰＵが、オーディオデー
タ及びビデオデータのデコード処理の監視とデマルチプ
レクス処理の監視とを時分割で行わなければならないた
めに起こる。したがって、ＣＰＵは、通信方式を基礎と
した優先割込を用いて、各監視処理に応答しなければな
らない。また、ＣＰＵは、時分割多重の通信バス又はチ
ャネルを介して、メモリコントローラや他の回路と通信
を行っている。したがって、ＣＰＵに対して開始オーデ
ィオフレームの割込がかかっても、ＣＰＵが同等又は優
先度がより高い他の割込を処理しているときには、開始
オーディオフレーム割込処理は、直ぐには実行されな
い。更に、ＣＰＵが直ぐに開始オーディオフレーム割込
処理を実行したとしても、ＣＰＵは、時分割多重のバス
を介して、メモリコントローラと通信しなければならな
い。バスへのアクセスは、裁定的（arbitrated）であ
り、また、ＣＰＵが、最も高い優先度を有するとはかぎ
らない。なお、開始オーディオフレーム割込処理による
第１の遅延、及び時分割多重のバスを介したメモリコン
トローラとの通信による第２の遅延の間、オーディオデ
ータＦＩＦＯに対するデコード処理において、ＦＩＦＯ
からのオーディオデータの読出は、続けられる。したが
って、開始オーディオフレーム割込が、ＣＰＵによって
受け付けられ、ＣＰＵがメモリコントローラと通信でき
るようになったときにＣＰＵが得るオーディオデータＦ
ＩＦＯの読出ポインタの位置は、通常、開始オーディオ
フレーム割込が最初にＣＰＵに受け付けられたときの読
出ポインタの位置とは異なる。すなわち、ＣＰＵがその
割込に応答し、メモリコントローラからオーディオＦＩ
ＦＯの現在の読出ポインタを得るときには、その読出ポ
インタは、もはや割込が発生したときの値ではない。し
たがって、遅延があると、ＣＰＵは、不正確な読出ポイ
ンタの位置を得ることになる。
【００１３】第２の条件は、読み出されるオーディオパ
ケットが、小さくて、高速に処理されることである。Ｐ
ＴＳテーブルには、ＦＩＦＯの位置の値を有する２つの
ＰＴＳエントリがあり、これらは非常に近接している。
したがって、不正確な読出ポインタの位置がＰＴＳテー
ブルの書込ポインタの位置の値と比較されると、間違っ
たＰＴＳエントリが、デコードされるオーディオフレー
ムの開始と関係付けられてしまう。この結果、オーディ
オのフレームとビデオのフレームが、少し同期が外れて
再生される。このような同期の少ないずれは、１回であ
れば、利用者が気づくことはない。
【００１４】
【発明が解決しようとする課題】ところで、開始オーデ
ィオフレーム割込の処理時間が長く、オーディオデータ
パケットの読出処理に必要な時間が非常に短い場合に
は、又はこのような複数のオーディオデータパケットが
連続的に発生する場合には、同期のずれはより大きなも
のとなる。また、オーディオ処理における同期のずれ
は、他のデコード処理における同期のずれと累積され
る。したがって、同期のずれが累積されると、利用者
は、同期のずれに気づいたり、煩わされる虞がある。
【００１５】すなわち、上述したような装置では、デコ
ード処理の間、ＰＴＳテーブルに記憶されたＰＴＳの値
と、それぞれのＦＩＦＯメモリから読み出されるオーデ
ィオデータ及びビデオデータとを対応させる必要があ
る。
【００１６】本発明の目的は、番組の信号源装置からの
オーディオフレームとビデオフレームをより正確に同期
させて再生するオーディオとビデオの同期方法及びデジ
タルビデオプロセッサを提供することである。
【００１７】
【課題を解決するための手段】本発明に係るオーディオ
とビデオの同期方法は、オーディオのプレゼンテーショ
ンタイムスタンプの値を、特定のオーディオデータパケ
ット及びビデオデータパケットはオーディオデータとビ
デオデータを関連付けて再生するための望ましい再生時
刻を表すプレゼンテーションタイムスタンプの値と、該
特定のパケット間の再生されるオーディオ出力フレーム
の数を表すオーディオフレーム数とを含むオーディオデ
ータパケットとして入力されるオーディオ入力データを
デマルチプレクス及びデコードして得られる連続したオ
ーディオフレームの一部であり、ビデオデータパケット
として入力されるビデオ入力データをデマルチプレクス
及びデコードして得られる連続したビデオフレームの一
部であるビデオ出力フレームとともに再生されるオーデ
ィオ出力フレームに関連付けるオーディオとビデオの同
期方法において、オーディオ及びビデオのデマルチプレ
クス処理の間にオーディオ及びビデオのプレゼンテーシ
ョンタイムスタンプの値を特定のオーディオ及びビデオ
データパケットに記憶するステップと、オーディオのデ
マルチプレクス処理の間に記憶されたオーディオプレゼ
ンテーションタイムスタンプの値のうちの１つに対応し
ている各オーディオフレームカウンタにオーディオフレ
ームの数を記憶するステップと、オーディオ及びビデオ
データを特定のオーディオデータパケット及びビデオデ
ータパケットとして連続的にデコードし、オーディオ及
びビデオのフレームをそれぞれ生成するステップと、オ
ーディオのフレームとビデオのフレームを利用者に対し
て同期して再生させるステップと、オーディオのフレー
ムの再生に応答してオーディオフレームカウンタの値を
選択的に減少させるステップと、値が０であるオーディ
オフレームカウンタの１つを検出するステップと、オー
ディオフレームカウンタの１つに対応したオーディオの
プレゼンテーションタイムスタンプの値を読み出すステ
ップと、オーディオ及びビデオのフレームの再生を選択
的に修正して、オーディオとビデオを利用者に対して同
期して出力させるステップとを有する。
【００１８】また、本発明に係るオーディオとビデオの
同期方法は、特定のオーディオデータパケット及びビデ
オデータパケットはプレゼンテーションタイムスタンプ
の値と、該特定のパケット間の再生されるオーディオ出
力フレームの数を表すオーディオフレーム数とを含むオ
ーディオの出力データのフレームとビデオの出力データ
のフレームを同期して出力させるオーディオとビデオの
同期方法は、プレゼンテーションタイムスタンプの値を
含むオーディオデータパケットをデマルチプレクスする
オーディオデマルチプレクス処理の間に各オーディオＦ
ＩＦＯのメモリ位置にオーディオデータを連続的に記憶
するステップと、第１のデマルチプレクス処理の間に、
第１のメモリ位置のプレゼンテーションタイムスタンプ
の値をオーディオプレゼンテーションタイムスタンプテ
ーブルに連続的に記憶するステップと、第１のデマルチ
プレクス処理の間に、プレゼンテーションタイムスタン
プの値を含む特定のビデオデータパケットとしてビデオ
ＦＩＦＯメモリ位置に書き込まれたデータに対応した書
込ポインタの位置を、オーディオプレゼンテーションタ
イムスタンプテーブルの第２のメモリ位置に記憶するス
テップと、第１のデマルチプレクス処理の間に、オーデ
ィオフレームの数をプレゼンテーションタイムスタンプ
テーブルのカウンタ位置に記憶するステップと、ＣＰＵ
への開始オーディオフレーム割込と同時にオーディオデ
コード処理を開始するステップと、開始オーディオフレ
ーム割込に応答してオーディオＦＩＦＯの読出ポインタ
の位置を獲得するステップと、読出ポインタの位置と略
等しい、オーディオプレゼンテーションタイムスタンプ
テーブルの書込ポインタの位置を検出するステップと、
オーディオＦＩＦＯから読み出されているオーディオデ
ータをデコードするステップと、連続したオーディオ出
力フレームを利用者に提供するステップと、オーディオ
プレゼンテーションタイムスタンプテーブルの全てのカ
ウンタメモリ位置から１ずつ減算するステップと、シス
テムタイムカウンタの現在の値を、値が０であるカウン
タに対応したオーディオプレゼンテーションタイムスタ
ンプテーブルのプレゼンテーションタイムスタンプの値
に合わせるステップとを有する。
【００１９】また、本発明に係るデジタルビデオプロセ
ッサは、特定のオーディオデータパケット及びビデオデ
ータパケットはプレゼンテーションタイムスタンプの値
を含むオーディオデータパケット及びビデオデータパケ
ットを含むオーディオ及びビデオデータをデマルチプレ
クス及びデコードして得られるオーディオとビデオデー
タの出力フレームを同期して再生させるデジタルビデオ
プロセッサにおいて、オーディオデータパケット及びビ
デオデータパケットのオーディオ及びビデオデータを連
続的に記憶するオーディオ及びビデオＦＩＦＯメモリ
と、プレゼンテーションタイムスタンプの値を特定のオ
ーディオデータパケットに連続的に記憶する第１のメモ
リ位置と、プレゼンテーションタイムスタンプの値を含
む特定のオーディオデータパケットのオーディオＦＩＦ
Ｏメモリ位置に書き込まれたデータに対応した書込ポイ
ンタ位置を表す値を記憶する第２のメモリ位置と、次の
プレゼンテーションタイムスタンプの値が出るまで再生
されるオーディオフレームの数を記憶するカウンタ位置
として機能する第３のメモリ位置とを有するオーディオ
プレゼンテーションタイムスタンプメモリテーブルと、
プレゼンテーションタイムスタンプの値を特定のビデオ
データパケットに連続的に記憶する第１のメモリ位置
と、プレゼンテーションタイムスタンプの値を含む特定
のビデオデータパケットのビデオＦＩＦＯメモリ位置に
書き込まれたデータに対応した書込ポインタ位置を表す
値を記憶する第２のメモリ位置と、利用者に対して再生
される前にビデオデータのフレームをデコードするのに
必要な遅延時間と略等しいビデオのフレームの数を表す
値を記憶するカウンタ位置として機能する第３のメモリ
位置とを有する。
【００２０】
【発明の実施の形態】以下、本発明に係るオーディオと
ビデオの同期方法及びデジタルビデオプロセッサについ
て、図面を参照しながら説明する。図１は、本発明を適
用したテレビジョン受像機の具体的な構成を示すブロッ
ク図である。
【００２１】図１に示すように、このテレビジョン受像
機１８は、デジタルオーディオ／ビデオプロセッサ２０
を備えており、このデジタルオーディオ／ビデオプロセ
ッサ２０には、入力端子２２を介して、所望の画像を生
成するのに必要なオーディオ情報及びビデオ情報を含む
一連のデータパケットが連続的に供給される。これらの
情報、すなわちオーディオデータ及びビデオデータは、
例えばビデオテープレコーダ（以下、ＶＴＲとい
う。）、ＤＶＤプレーヤ、ケーブル、デジタル衛星シス
テム（以下、ＤＳＳという。）の受信機、テレビジョン
受像機１８内の表示されたメニューコマンドで選択され
る機器の１つから供給され、また、ビデオ情報は、複数
の異なるフォーマットの１つで供給される。通常、オー
ディオデータ及びビデオデータのパケットは、ムービン
グピクチャエキスパートグループ−２（以下、ＭＰＥＧ
−２：Moving Picture Expert Group-2という。）の規
格に準拠したフォーマットで供給される。
【００２２】供給されたオーディオデータ及びビデオデ
ータのパケットは、互いに独立した並行のデータストリ
ームにデマルチプレクス（分離）される。また、オーデ
ィオデータとビデオデータの出力フレームのデコード及
び再生処理も、デマルチプレクス処理とは独立した並行
のデータストリームにおいて連続的に行われる。更に、
デマルチプレクス処理は、供給されるオーディオデータ
及びビデオデータの性質に依存して、実時間において顕
著に変化する処理である。更にまた、表示されるビデオ
フレームの数及び表示順序は、供給される生のビデオデ
ータからは決定することができない。ビデオフレームの
作成及びその表示順序の決定は、デコード処理の際に行
われ、それは、ビデオデータパケットのヘッダ部にある
コントロールデータによって最初に決定されている。同
様に、データパケットとして供給される生のオーディオ
データは、出力及び表示されるオーディオデータとは殆
ど似ておらず、表示されるオーディオデータのフレーム
は、オーディオデータのデコード処理の間に生成され
る。
【００２３】ところで、出力オーディオフレームの長さ
は、実時間上においてどんな長さにもすることができ、
複数のオーディオフレームを１つのビデオフレームに対
応させることができ、反対に、１つのオーディオフレー
ムを、複数のビデオフレームから生成された画像が表示
されている間に、出力することもできる。なお、オーデ
ィオデータのフレームとビデオデータのフレームは、同
期して再生され、利用者に、互いに対応し、一体として
提供されることが必要である。オーディオデータ及びビ
デオデータのパケットのヘッダブロックの特定の１つ
は、オーディオデータのフレームとビデオデータのフレ
ームを同期して出力するためのプレゼンテーションタイ
ムスタンプ（以下、ＰＴＳ：Presentation Time Stamp
という。）を含んでおり、このＰＴＳは、オーディオデ
ータ及びビデオデータの生成中又は記録中に動作してい
るシステムタイムカウンタを基準とした時刻である。同
様なシステムカウンタが、オーディオデータ及びビデオ
データのフレームのデコード及び再生中に、ＣＰＵ２６
の中で動作しており、オーディオ用及びビデオ用のＰＴ
Ｓテーブルが、デマルチプレクス処理中に生成される。
オーディオ及びビデオのフレームが完全に同期して出力
されるときには、それらの記憶されたＰＴＳの値は、シ
ステムタイムカウンタの現在の値と等しい。ところで、
オーディオデータとビデオデータは、独立した並行のビ
ットストリームとして異なる処理が施されるので、この
ような正確な時間制御は容易ではない。したがって、こ
のような理由により、オーディオデータ及びビデオデー
タのフレームは、システムタイムカウンタに対して同期
がずれて再生されることがある。その結果、利用者に対
して、オーディオデータとビデオデータが、同期がずれ
て再生されることになる。
【００２４】デジタルオーディオ／ビデオプロセッサ２
０を構成する各回路の詳細な動作を、フローチャートを
用いて説明する。図２は、図１に示すデマルチプレクサ
１９の通常の動作を示したフローチャートである。
【００２５】ステップＳ２０２において、デマルチプレ
クサ１９は、例えばＤＶＤプレーヤから入力端子２２を
介して、オーディオデータパケット、ビデオデータパケ
ット及びサブピクチャデータパケットをランダムな順序
で含むデータを、入力ビットストリームとして連続的に
受信する。
【００２６】ステップＳ２０４において、パケットのヘ
ッダブロックが抽出される。ステップＳ２０６におい
て、ヘッダブロックに基づいて、パケットがビデオデー
タパケットであるかが判定され、該当するときは処理は
ステップＳ２０８に進む。ステップＳ２０８において、
図１に示すＣＰＵ２６に対してビデオのデマルチプレク
ス割込がかけられる。ステップＳ２１０において、ビデ
オデータが、図１に示すメモリ２４内に設けられている
図４に示すビデオデータ用のファーストインファースト
アウト（以下、ＦＩＦＯという。）バッファ３２０に連
続的に記憶される。
【００２７】同様に、ステップＳ２１２において、パケ
ットが、ヘッダブロックに基づいてオーディオデータパ
ケットであると判定されると、処理はステップＳ２１４
に進む。ステップＳ２１４において、ＣＰＵ２６に対し
てオーディオのデマルチプレクス割込がかけられる。ス
テップＳ２１６において、オーディオデータがメモリ２
４内に設けられている図４に示すオーディオデータ用の
ＦＩＦＯバッファ３００に連続的に記憶される。
【００２８】同様に、ステップＳ２１８において、パケ
ットが、ヘッダブロックに基づいてサブピクチャデータ
パケットであると判定されると、処理はステップＳ２６
２に進む。ステップＳ２２０において、ＣＰＵ２６に対
してサブピクチャのデマルチプレクス割込がかけられ
る。ステップＳ２２２において、サブピクチャデータが
メモリ２４内に設けられているサブピクチャデータＦＩ
ＦＯバッファ（図示せず）に連続的に記憶される。デマ
ルチプレクサ１９は他の処理を行うが、これらの処理
は、オーディオとビデオの同期には関係しないので、デ
マルチプレクサ１９のこれ以上の動作の説明は省略す
る。
【００２９】図３は、ＣＰＵ２６において続いて実行さ
れているデマルチプレクス処理を示したフローチャート
であり、図４は、オーディオデータ及びビデオデータの
様々な部分が、メモリ２４内にどのように分配されてい
るかを示す模式図である。メモリ２４内には、図４に示
すオーディオデータ用のＦＩＦＯバッファ３００及びビ
デオデータ用のＦＩＦＯバッファ３２０に加えて、オー
ディオ用のＰＴＳテーブル３０２と、ビデオ用のＰＴＳ
テーブル３２４が設けられている。
【００３０】図３に示すように、ステップＳ２５０にお
いて、ＣＰＵ２６は、デマルチプレクサ１９からの割込
に応答する。ステップＳ２５２において、ＣＰＵ２６
は、その割込がオーディオＰＴＳの割込であるかを判定
し、該当するときはステップＳ２５４に進む。ステップ
Ｓ２５４において、オーディオデータパケットのヘッダ
ブロックのＰＴＳの値が、オーディオ用のＰＴＳテーブ
ル３０２の、例えば位置３０４にロード、すなわち記憶
される。また、オーディオデータ用のＦＩＦＯバッファ
３００にロードされたオーディオデータのうちの最初の
バイトの位置に対応したＦＩＦＯバッファ３００の書込
ポインタ３０６の位置が、オーディオ用のＰＴＳテーブ
ル３０２の、例えば位置３０８に記憶される。
【００３１】上述したように、ＰＴＳは、特定のオーデ
ィオデータパケットのみに含まれているが、また、これ
らのオーディオデータパケットのヘッダブロックには、
現在のオーディオデータパケットの現在のＰＴＳと、次
のオーディオデータパケットのＰＴＳとの間に出力され
るべきオーディオデータフレームの数を示すオーディオ
フレームナンバーを有するフィールドが設けられてい
る。また、オーディオ用のＰＴＳテーブル３０２には、
例えば記憶域３０９にフレームカウンタが設けられてい
る。ＰＴＳの値を含んでいるオーディオデータパケット
をデマルチプレクスする際、このＰＴＳの値は、例えば
位置３０４等の適切な位置にロードされる。更に、次の
ＰＴＳの値までのオーディオフレームの数が、対応する
フレームカウンタ、すなわちフレームカウンタ３１０の
値に加算されて、その合計値が、次のＰＴＳに対応した
フレームカウンタ、すなわちフレームカウンタ３１６に
書き込まれる。例えば、次のオーディオデータパケット
までのフレーム数が７であるＰＴＳが位置３０４にロー
ドされると、その数である７が、フレームカウンタ３１
０の現在の値１０に加算され、この合計値１７が、ＰＴ
Ｓの値を有する次のオーディオデータパケットに対応し
たフレームカウンタ３１６に書き込まれる。
【００３２】オーディオのデマルチプレクス処理が実行
されている間、出力オーディオフレームのデコード及び
再生処理も、同時に、デマルチプレクス処理と並行して
実行されている。オーディオ再生処理において、各オー
ディオフレームが出力されると、オーディオ用のＰＴＳ
テーブル３０２の全てのフレームカウンタの値が減少さ
れる。したがって、次のＰＴＳのカウント値がフレーム
カウンタ３１６にロードされると、フレームカウンタ３
１０にロードされた値は、元の値よりも減少している。
その結果、オーディオ用のＰＴＳテーブル３０２の記憶
域３０９のフレームカウンタの値は、オーディオデータ
パケットがデマルチプレクスされて、ＦＩＦＯバッファ
３００に書き込まれる毎に変化し、同時に並行して実行
されている処理として、オーディオデータが、ＦＩＦＯ
バッファ３００から読み出され、デコードされて、出力
オーディオフレームが利用者に出力される。
【００３３】図３に示すステップＳ２５６において、Ｃ
ＰＵ２６は、割込がビデオＰＴＳの割込であるかを判定
し、該当するときにはステップＳ２５８に進む。ステッ
プＳ２５８において、ビデオデータパケットのヘッダブ
ロックのＰＴＳ（以下、単にビデオＰＴＳという。）の
値が、図４に示すビデオ用のＰＴＳテーブル３２４の、
例えば位置３２２に記憶される。また、パケットのビデ
オデータの最初のバイトが記憶されるときのビデオデー
タ用のＦＩＦＯバッファ３２０の書込ポインタ３２６の
位置が、ビデオ用のＰＴＳテーブル３２４の、例えば位
置３２８に書き込まれる。また、ビデオ用のＰＴＳテー
ブル３２４にも、フレームカウンタが設けられており、
デマルチプレクス処理の間、ＣＰＵ２６は、例えば位置
３２２のＰＴＳに対応したフレームカウンタ３３０を、
例えば１６進法におけるＦＦのような無意味な値に設定
する。
【００３４】図３に示すステップＳ２６０において、Ｃ
ＰＵ２６は、割込がサブピクチャＰＴＳの割込であるか
を判定し、該当するときにはステップＳ２６２に進む。
ステップＳ２６２において、ＣＰＵ２６は、サブピクチ
ャのＰＴＳを内部レジスタ（図示せず）に記憶する。Ｐ
ＴＳの値は、全てのサブピクチャデータのパケットに含
まれており、システムタイムクロック（ＳＴＣ）が記憶
されているＰＴＳと同じ値になったときに、対応するサ
ブピクチャが出力される。サブピクチャの同期は、オー
ディオ及びビデオの同期ほど重要でないので、サブピク
チャデータの処理についてのこれ以上の詳細については
説明を省略する。
【００３５】デマルチプレクスにおける割込がかけられ
た後、図１乃至図４を参照して説明したデマルチプレク
ス処理が、同様に繰り返される。次のオーディオデータ
パケットの生のデータは、オーディオデータ用のＦＩＦ
Ｏバッファ３００に連続的にロードされる。次のオーデ
ィオデータパケットが、そのヘッダブロックにＰＴＳを
有していないときは、オーディオ用のＰＴＳテーブル３
０２に対するＰＴＳエントリは作成されない。ところ
で、次のオーディオデータパケットが、そのヘッダブロ
ックにＰＴＳを有しているときには、ＰＴＳは、オーデ
ィオ用のＰＴＳテーブル３０２の、例えば位置３１２に
書き込まれる。書込ポインタ３０６が現在のオーディオ
データパケットの最初のオーディオデータをＦＩＦＯバ
ッファ３００にロードする位置である書込ポインタの位
置が、位置３１４にロードされる。また、現在のＰＴＳ
と次のＰＴＳとの間のオーディオデータのフレーム数
が、不レムカウンタ３１６の値に加算されて、フレーム
カウンタ３１７にロードされる。更に、連続した各ビデ
オデータパケットの生のビデオデータが、ビデオデータ
用のＦＩＦＯバッファ３２０に連続的にロードされ、そ
れらののデータが適切なときには、ＰＴＳの値が、各書
込ポインタ位置とともに、ビデオ用のＰＴＳテーブル３
２４にロードされる。オーディオデータ、ビデオデータ
及びサブピクチャデータのパケットのデマルチプレクス
処理は、同様の連続した方法で行われ、適切なデータが
ＦＩＦＯバッファ及びＰＴＳテーブルにロードされる。
【００３６】以上の説明でも明らかなように、デマルチ
プレクス処理の間、データは、デマルチプレクス処理に
必要な機能として、オーディオデータ用及びビデオデー
タ用の各ＦＩＦＯバッファ３００、３２０に書き込まれ
る。また、デマルチプレクス処理の間、ＰＴＳの値は、
各オーディオ及びビデオデータとは対応しておらず、各
ＰＴＳテーブル３０２、３２４に記憶される。同時の独
立した並行の処理において、オーディオデータとビデオ
データは、ＦＩＦＯバッファ３００、３２０から読み出
されて、図１に示すオーディオデコーダ２５、ビデオデ
コーダ２３によってデコードされて、利用者に対して出
力される。デコード処理の間、オーディオデータ用及び
ビデオデータ用のＦＩＦＯバッファ３００、３２０の読
出ポインタ３１８、３３２は、メモリ２４のコントロー
ラによって、自動的かつ連続的に移動されており、これ
らの読出ポインタは、通常、ＣＰＵ２６からの特別なイ
ンストラクションによって制御されているわけではな
い。デコード処理の間に、オーディオのフレームとビデ
オデータのフレームを同期して再生するために、各ＦＩ
ＦＯバッファ３００、３２０から読み出されるオーディ
オデータ及びビデオデータのストリームを、オーディオ
用及びビデオ用のＰＴＳテーブル３０２、３２４に記憶
されている適切なＰＴＳの値に、再び対応させなければ
ならない。
【００３７】図１に示すオーディオデコーダ２５は、図
２に示すステップＳ２０４においてヘッダブロックが抽
出されたことを検出すると、オーディオデコード処理を
初期化する。そして、オーディオデコーダ２５は、ＣＰ
Ｕ２６に対してオーディオデコード割込をかけて、次の
オーディオデータパケットのデコード処理を開始する。
オーディオデコーダ２５がＣＰＵ２６に対してオーディ
オデコード割込をかけるたとき、連続して移動している
図４に示す読出ポインタ３１８は、オーディオデコーダ
２５がデータを読み出しているＦＩＦＯバッファ３００
における現在の位置を示している。ところで、ＣＰＵ２
６は、優先度及び実時間処理の要求が異なる非常に多く
の割込を処理しなければならない。したがって、ＣＰＵ
２６が、オーディオデコーダ割込よりも優先度が高い割
込を処理しているときには、オーディオデコーダ割込が
処理されるまでに遅延が生じる。また、ＣＰＵ２６は、
メモリ２４内メモリコントローラや他の回路と、時分割
多重のバス又はチャネル２９を介して通信を行ってい
る。開始オーディオフレーム割込の処理による第１の遅
延、及び時分割多重化のバス２９を介したメモリコント
ローラとの通信による第２の遅延の間、オーディオデコ
ーダ２５は、オーディオデータ用のＦＩＦＯバッファ３
００からオーディオデータを読み出し続けており、ま
た、読出ポインタ３１８も、連続して移動している。
【００３８】図５に示すステップＳ４００において、Ｃ
ＰＵ２６は、オーディオデコード割込に応答する。ステ
ップＳ４０２において、ＣＰＵ２６は、読出ポインタ３
１８の現在の位置の値を読み込む。ところで、読出ポイ
ンタ３１８の現在の位置は、ＣＰＵ２６にオーディオデ
コード割込が最初供給されたときの読出ポインタ３１８
の位置とは異なる。ステップＳ４０４において、ＣＰＵ
２６は、オーディオ用のＰＴＳテーブル３０２に記憶さ
れている全ての書込ポインタの位置を走査して、現在の
読出ポインタの値に最も近い書込ポインタの値、例えば
図４に示す位置３５０においる書込ポインタの値を検出
する。ステップＳ４０８において、この最も近い書込ポ
インタの値を現在の読出ポインタの値から減算して、差
分を求める。ステップＳ４１０において、その差分が、
差分の許容される最大値（以下、最大許容差分値とい
う。）と比較される。この最大許容差分値は、ステップ
Ｓ４００においてＣＰＵ２６がオーディオデコード割込
に応答する際に生じる最大の遅延時間内における書込ポ
インタ３１８の動きを予測した関数で表される。
【００３９】ステップＳ４１０において、位置３５０に
おける最も近い書込ポインタの値と現在の読出ポインタ
の値との差分が、最大許容差分値以上かが判定され、該
当するときは、処理は終了する。すなわち、オーディオ
用のＰＴＳテーブル３０２の位置３５２におけるＰＴＳ
の値を含めて、現在の読出ポインタ３１８によって読み
出されているオーディオデータに対応するＰＴＳの値は
ないということである。ステップＳ４１０において、そ
の差分が、最大許容差分値未満のときは、処理はステッ
プＳ４１２に進む。すなわち、検出された書込ポインタ
の位置３５０に対応した位置３５２のＰＴＳの値は、読
出ポインタ３１８によって現在読み出されているオーデ
ィオデータに対応していると決定される。
【００４０】ステップＳ４１２において、位置３５０の
最も近い書込ポインタの値に対応したフレームカウンタ
３５４の値が評価され、それが、オーディオフレームの
数の観点から判断されるオーディオデコード処理の期間
又は時間、すなわち長さに略等しいかが判定される。オ
ーディオデータのフレームをデコードするのに必要な実
時間は、かなり正確に予測することができる。また、デ
コード処理の時間は、デコードされるデータのオーディ
オフレームの数に応じて較正又は計ることができる。フ
レームカウンタは、オーディオデータの各フレームが出
力されるに従って減少されるので、フレームカウンタの
値は、デコーダの遅延におけるオーディオフレームの数
に等しいと予測される。したがって、デコード処理の最
後に、オーディオ用のＰＴＳテーブル３０２のフレーム
カウンタ３５４の値が、現在のオーディオデータをデコ
ードする際に予想される遅延と略等しいときは、再生さ
れるオーディオデータは、オーディオ用のＰＴＳテーブ
ル３０２のフレームカウンタの値が０であるＰＴＳの値
に対応していることになる。
【００４１】なお、デコード処理の間、ビットエラーが
生じる可能性があるため、ステップＳ４１２において、
カウンタの値が、オーディオデコード処理の時間内のオ
ーディオフレームの数と略等しくないと判定されること
がある。この場合、ステップＳ４１４において、フレー
ムカウンタ３５４の値は、変更されて、デコーダ遅延時
間内のオーディオフレームの数に設定される。したがっ
て、この処理においてエラーが起こる度に、フレームカ
ウンタのうちの１つにおけるエラー値が検出されて、訂
正される。１つのフレームカウンタの値が訂正される
と、オーディオ用のＰＴＳテーブル３０２のフレームカ
ウンタ３５４の下に位置する他のフレームカウンタの値
も、フレームカウンタ３５４に対して行われたのと同じ
変化分で変更される。すなわち、マルチプレクス処理の
間、ＰＴＳの値は、ＦＩＦＯバッファ３００のオーディ
オデータに対応していなかったが、ＣＰＵ２６は、デコ
ード処理の間は、ＦＩＦＯバッファ３００から読み出さ
れているオーディオデータとオーディオ用のＰＴＳテー
ブル３０２におけるＰＴＳの値とを対応させることによ
って、割込に応答する。
【００４２】図６に示すように、ビデオデコード処理
は、ビデオデマルチプレクス処理と同様に、オーディオ
デコード処理とは独立に、連続して並行に実行される。
図１に示すオーディオデコーダ２５は、オーディオデコ
ード処理を初期化するが、一方、ビデオデコード処理の
初期化はＣＰＵ２６が行う。図６に示すのステップＳ５
００において、ＣＰＵ２６は、図２に示すステップＳ２
０４においてビデオデータパケットから抽出されたビデ
オヘッダを検出する。その後のビデオデコード処理は、
機能的にはオーディオデコード処理と同じである。すな
わち、ステップＳ５０２において、ＣＰＵ２６は、ビデ
オデータ用のＦＩＦＯバッファ３２０の図４に示す書込
ポインタ３３２の現在の位置を読み込む。上述したよう
に、この動作によって、時分割多重の通信バス２９を介
してメモリ２４内のメモリコントローラにアクセスして
いるＣＰＵ２６に、遅延が生じる。したがって、ビデオ
データ用のＦＩＦＯバッファ３２０と対応している読出
ポインタ３３２は、ＣＰＵ２６がポインタ位置の読出の
インストラクションを出した時刻の位置、及びＣＰＵ２
６が現在の読出ポインタを認識した時刻の位置から動い
てしまう。ステップＳ５０６において、ＣＰＵ２６は、
ビデオ用のＰＴＳテーブル３２４において現在の読出ポ
インタ位置の値に最も近い書込ポインタ位置の値、例え
ば読出ポインタ位置の値に一致した位置３６０の書込ポ
インタ位置の値を検出する。ステップＳ５０８におい
て、現在の読出ポインタ位置の値と、最も近い書込ポイ
ンタ位置の値との差分が求められる。ステップＳ５１０
において、この差分が、最大値と比較される。この最大
値は、オーディオデコード処理と同様に、ＣＰＵ２６が
書込ポインタ３３２の現在の位置を決定する際に生ずる
遅延時間の関数で表される。
【００４３】この差分が最大値以上のときは、読出ポイ
ンタの現在の値に対応したビデオデータには、ビデオ用
のＰＴＳテーブル３２４に記憶された対応するＰＴＳの
値がないということである。一方、現在の読出ポインタ
の値と、最も近い書込ポインタの値との差分が、最大値
未満のときは、位置３６０の最も近い書込ポインタの値
に対応した位置３６２のＰＴＳの値は、現在の読出ポイ
ンタ３３２によって読み出されているビデオデータに対
応していると決定される。また、ステップＳ５１２にお
いて、ビデオ用のＰＴＳテーブル３２４の位置２６４に
おけるカウンタの値は、デコードされるフレームの数の
観点から判断されるビデオデコード処理の遅延時間に等
しい同じ値に設定される。オーディオデータと同様に、
ビデオデータをデコードするのに必要な実時間は、かな
り正確に予測できる。また、読出ポインタの現在の位置
に対応したビデオデータを処理するのに必要な時間は、
ビデオデータのフレームの数に応じて較正又は計ること
ができる。したがって、読出ポインタの現在の位置に対
応したビデオデータがビデオデコーダ２３から再生され
る前に、ビデオデコーダ２３によって処理されようとし
ているビデオデータのフレームの数は、ビデオ用のＰＴ
Ｓテーブル３２４のフレームカウンタ３６４にロードさ
れる。その後、ステップＳ５１４において、ＣＰＵ２６
は、ビデオデコーダ２３に対して、ビデオデコード処理
を開始するコマンドを供給する。
【００４４】上述したように、オーディオデータ及びビ
デオデータは、図４に示すオーディオ用及びビデオ用の
各ＦＩＦＯバッファ３００、３２０から連続的に読み出
され、読み出されたデータは、オーディオ及びビデオの
各デコーダ２５、２３によって連続的に、独立して並行
に処理される。オーディオデコード処理の間、オーディ
オデコーダ２５は、利用者に出力できる状態にあるオー
ディオフレームを生成する。その時、オーディオデコー
ダ２５は、ＣＰＵ２６に対してオーディオフレーム割込
をかけ、その後直ちに、オーディオフレームのパケット
の再生を開始する処理を行う。図７に示すように、ステ
ップＳ６００において、ＣＰＵ２６は、オーディオフレ
ーム割込に応答して、図４に示すオーディオ用のＰＴＳ
テーブル３０２の全てのフレームカウンタ３０９の値を
１ずつ減少させる。ステップＳ６０４において、ＣＰＵ
２６は、値が０になっているフレームカウンタがあるか
を検出する。例えば、ＣＰＵ２６は、フレームカウンタ
３７０の値が０であることを検出すると、ステップＳ６
０６に進む。ステップＳ６０６において、ＣＰＵ２６
は、値が０であるフレームカウンタ対応したオーディオ
ＰＴＳの値を、例えば位置３７２から読み出す。
【００４５】フレームカウンタの状態が０であることを
検出すると、ステップＳ６０８において、ＣＰＵ２６
は、オーディオがマスターとして選択されていたかを判
定し、該当するときはステップＳ６１０に進む。オーデ
ィオデータとビデオデータを同期させる方法には、互い
に異なる幾つかの方法がある。上述したように、ＣＰＵ
２６内に設けられたシステムタイムカウンタは、オーデ
ィオ及びビデオのフレームを再生している間、動作して
いる。完全に同期している場合は、オーディオ及びビデ
オのフレームが出力されるとき、それらの記憶されたＰ
ＴＳの値が、システムタイムカウンタの現在の値に等し
くなる。ところで、出力フレームのオーディオストリー
ム又はビデオストリームのどちらかが、システムタイム
カウンタに同期しないか、又は互いに同期しない場合が
ある。同期をとるための第１の方法として、オーディオ
をマスターとして選択し、ビデオをオーディオに同期さ
せる方法がある。第２の方法として、ビデオをマスター
として選択し、オーディオをビデオに同期させる方法が
ある。第３の方法として、オーディオ及びビデオの両方
をシステムタイムカウンタに同期させる方法がある。こ
れらの各方法には、信号源、信号源のフォーマット、オ
ーディオ／ビデオプロセッサの能力等に依存した利点と
欠点がある。通常、オーディオをマスターとするか、ビ
デオをマスターとするか、又はマスターなしかを選択す
ることは、テレビジョン受像機の製造者によって選択さ
れるシステムパラメータである。又は、利用者が、これ
を選択することもできる。他の応用としては、マスター
を、オーディオ／ビデオプロセッサによって動的に適応
的に選択する方法がある。
【００４６】ＣＰＵ２６が、図７のステップＳ６０８に
おいて、オーディオがマスターであると判定すると、ス
テップＳ６１０において、ＣＰＵ２６は、システムタイ
ムカウンタの現在の値と、例えば位置３７２等の値が０
であるフレームカウンタに対応したＰＴＳの値との差分
に、システムタイムカウンタが等しくなるように、シス
テムタイムカウンタを拡張し、又その値にオフセットを
与える。このシステムタイムカウンタの拡張は、以下に
述べるように、ビデオを同期させるのに用いられる。Ｃ
ＰＵ２６は、ステップＳ６０８において、オーディオが
マスターではないと判定すると、ステップＳ６１２にお
いて、ＣＰＵ２６は、ＰＴＳテーブルの値が０であるカ
ウンタに対応したＰＴＳの値が、システムタイムカウン
タの現在の値に現在のシステムタイムカウンタの拡張分
を加えた値に対して一定の範囲内にあるかを判定する。
上述したステップＳ６０８におけるオーディオがマスタ
ーである場合と同様に、ビデオマスターモードが用いら
れると、ビデオ再生処理において、システムタイムカウ
ンタの拡張の値が生成及び更新される。ところで、オー
ディオ及びビデオのどちらともマスターとして選択され
ていない場合、システムタイムカウンタの拡張の値は０
である。ステップＳ６１２において、選択されたＰＴＳ
の値が、システムタイムカウンタとシステムタイムカウ
ンタの拡張分と一定の制限値とを加算した値と比較され
る。この制限値の大きさは、オーディオにおいては、Ｃ
ＰＵがメモリコントローラと通信することによる遅延
と、ＣＰＵがＰＴＳ割込に応答するまでの遅延と、オー
ディオ及びビデオの同期において許容される程度のエラ
ーとを加算した値に略等しい。
【００４７】ステップＳ６１２において、ＰＴＳテーブ
ル３０２から読み出したＰＴＳの値が、システムタイム
カウンタの現在の値とにその拡張分と制限値と加算した
値よりも大きい、すなわちオーディオフレームが、シス
テム自体がオーディオフレームに求めている再生の時間
よりも早く又は先行して再生されているときは、処理は
ステップＳ６１４に進む。すなわち、再生されているオ
ーディオフレームとビデオフレームとの同期が明らかに
ずれている場合である。ステップＳ６１４において、Ｃ
ＰＵ２６は、同期のずれを是正するために、オーディオ
フレームを反復するインストラクションをオーディオデ
コーダ２５に供給する。ビデオフレームが自然に進行し
ている間にオーディオフレームを反復させることによっ
て、オーディオフレームは時間的に戻った状態となり、
ビデオフレームと再び同期することになる。
【００４８】ステップＳ６１２において、ＰＴＳテーブ
ル３０２から読み出されたのＰＴＳの値が、システムタ
イムカウンタの現在の値とその拡張分と制限値とを加算
した値よりも小さい場合、ステップＳ６１６において、
ＣＰＵ２６は、ＰＴＳテーブル３０２のＰＴＳの値が、
システムタイムカウンタの現在の値とその拡張分の加算
値から制限値を減算した値よりも小さいかを判定し、該
当するときにはステップＳ６１８に進む。ＰＴＳの値が
小さいときは、オーディオフレームが、システム自体が
オーディオフレームに求めている再生の時間よりも遅く
又は後行して再生されていることを意味する。ステップ
Ｓ６１８において、ＣＰＵ２６は、同期のずれを是正す
るために、オーディオフレームをスキップするインスト
ラクションをオーディオデコーダ２５に供給する。ビデ
オフレームが自然に進行している間にオーディオフレー
ムをスキップすることによって、オーディオフレームは
時間的に進んだ状態となり、ビデオフレームと再び同期
することになる。
【００４９】図８に示すように、ビデオフレームの出力
処理は、最初の部分以外は図７に示すオーディオフレー
ムの出力処理に類似している。ステップＳ７００におい
て、ＣＰＵ２６は、ビデオフレームの再生を制御するラ
スタスキャン処理から発生する割込に応答する。ステッ
プＳ７００において、割込に応答した後、ステップＳ７
０２において、ＣＰＵ２６は、ビデオを再生するための
様々な内部レジスタを初期化する。その後、ステップＳ
７０４において、ＣＰＵ２６は、例えばフレームカウン
タ３３６、３６４等の全てのフレームカウンタの値を１
ずつ減少させる。なお、ＣＰＵは、ＦＦという値を有す
るビデオフレームカウンタは減少させない。ステップＳ
７０８において、ＣＰＵは、値が０になっているフレー
ムカウンタがあるかを判定する。ＣＰＵ２６は、例えば
フレームカウンタ３３６の値が０であることを検出する
と、そのビデオＰＴＳの値を読み出す。
【００５０】図８に示すステップＳ７１２において、Ｃ
ＰＵ２６は、ビデオがマスターであるかを判定し、該当
するときはステップＳ７１４に進む。ステップＳ７１４
において、ＣＰＵ２６は、システムタイムカウンタの現
在の値と、例えば位置３７２等の値が０であるフレーム
カウンタに対応したＰＴＳの値との差分に、システムタ
イムカウンタが等しくなるように、システムタイムカウ
ンタを拡張し、又はその値にオフセットを与える。ＣＰ
Ｕ２６は、ステップＳ７１２において、オーディオがマ
スターではないと判定すると、ステップＳ７１６におい
て、ＣＰＵ２６は、ＰＴＳテーブルカウンタの値が０で
あるカウンタに対応したＰＴＳの値が、システムカウン
タの現在の値に対して一定の範囲内にあるかを判定す
る。ステップＳ７１６において、ＣＰＵ２６は、ＰＴＳ
テーブルの位置３３８のビデオＰＴＳの値が、システム
タイムカウンタの現在の値とその拡張分と制限値とを加
算した値よりも大きいかを判定する。この制限値は、ビ
デオの場合、最短のビデオフレームの持続時間の半分の
値に略等しい値とされる。ステップＳ７１６において、
ＰＴＳテーブルの位置３３８のビデオＰＴＳの値が、シ
ステムタイムカウンタの現在の値とその拡張分と制限値
とを加算した値よりも大きい場合、ビデオフレームが、
システム自体がビデオフレームに求めている再生の時間
よりも早く又は先行して再生されていることを意味す
る。ステップＳ７１８において、ＣＰＵ２６は、同期の
ずれを是正するために、ビデオフレームを反復するイン
ストラクションをビデオデコーダ２３に供給する。オー
ディオフレームが自然に進行している間にビデオフレー
ムを反復させることによって、ビデオフレームは時間的
に戻った状態となり、オーディオフレームと再び同期す
ることになる。
【００５１】ステップＳ７１６において、ＰＴＳテーブ
ルの位置３３８のビデオＰＴＳの値が、システムタイム
カウンタの現在の値とその拡張分と制限値と加算した値
よりも小さい場合、ビデオフレームは、システム自体が
ビデオフレームに求めている再生の時間よりも遅く又は
後行して再生されていることを意味する。ステップＳ７
２２において、ＣＰＵ２６は、同期ずれを是正するため
に、ビデオフレームをスキップするインストラクション
をビデオデコーダ２３に供給する。オーディオフレーム
が自然に進行している間にビデオフレームをスキップす
ることによって、ビデオフレームは時間的に進んだ状態
となり、オーディオフレームと再び同期することにな
る。
【００５２】すなわち、オーディオ及びビデオ出力処理
は、利用者に対してオーディオとビデオが同期するよう
に、並行して、連続的に、独立して行われる。この処理
の間、現在表示されているビデオフレームのＰＴＳと、
現在出力されているオーディオフレームのＰＴＳとが比
較されて、同期ずれが検出されると、ビデオフレームを
反復するか又はスキップして、同期を取り戻すようにす
る。
【００５３】本発明を適用した上述のテレビジョン受像
機には、従来の装置にはない重要な利点がある。従来の
装置では、オーディオＰＴＳ割込に対する応答が遅延す
ることと、オーディオデータのパケットを非常に速く処
理しなければならないことの組合せによって、オーディ
オ用のＰＴＳテーブルから間違ったオーディオＰＴＳの
値が選択される虞があった。この場合、間違ったオーデ
ィオＰＴＳの値が、オーディオデータＦＩＦＯから読み
出されているオーディオデータに対応してしまうことに
なる。従来の装置では、図６で述べたように、オーディ
オ用のＰＴＳテーブル３０２のカウンタは、ビデオカウ
ンタと同じように動作する。したがって、オーディオ用
のＰＴＳテーブルの記憶域３０９に設けられたカウンタ
は、オーディオデコード処理の間に、オーディオデコー
ダの時間に一致したオーディオフレームの数とともに、
ロードされる。したがって、従来の装置では、間違った
ＰＴＳの値がＰＴＳテーブルから選択されると、デコー
ドによる遅延の後、間違ったフレームカウンタの値がＰ
ＴＳテーブル３０２に記憶される。更に、この間違った
ＰＴＳの値が、オーディオとビデオを同期して再生させ
る目的に用いられ、結果的に、オーディオとビデオの同
期がすれて利用者に出力される。
【００５４】本発明では、オーディオデータパケットの
ヘッダ情報に含まれているオーディオフレームの数が、
オーディオ用のＰＴＳテーブル３０２のフレームカウン
タと、対応するＰＴＳの値とを生成する際に、デマルチ
プレクス処理の一部として、用いられる。また、フレー
ムカウンタの値は、各オーディオフレームを出力するデ
コード処理の間に、減少され、したがって、オーディオ
用のＰＴＳテーブル３０２に基づいてデコードされて出
力されるオーディオフレームの数は、各オーディオデー
タパケットのデコード処理の間、正確に制御される。こ
の方法は、ＰＴＳの値と出力されるデコードされたデー
タとを対応させるのに、ＰＴＳの値を識別するためにメ
モリポインタ同士を比較する従来の方法よりも遙かに正
確な方法である。なお、本発明に係る装置では、メモリ
ポインタの比較は、発生したエラーを訂正するために、
オーディオ用のＰＴＳテーブルカウンタ値がオーディオ
デコーダの遅延の値と略等しいかを確かめるためのみに
用いられている。
【００５５】本発明では、ヘッダブロックからのオーデ
ィオフレームの数を用いて、デコード処理におけるＰＴ
Ｓの値をＣＰＵ内のオーディオフレームカウンタに入れ
ることにより、再生処理の間、オーディオＰＴＳの値
と、デマルチプレクスされたオーディオデータとを正確
にに一致させ続けることができる。ビデオデータパケッ
トのヘッダ部には、予測されるＰＴＳの値の間のビデオ
フレームの数に関する同様な情報が含まれていない。し
かし、本発明では、オーディオフレームの再生が非常に
正確なので、図７及び図８に示した処理に従ってオーデ
ィオとビデオが同期するように調節することによって、
理想的な再生に極めて近い状態で、オーディオとビデオ
を高い精度で同期させて出力することができる。
【００５６】なお、本発明は、上述した実施の形態に限
定されるものではなく、例えば、オーディオデータパケ
ットのヘッダブロックには、ＰＴＳの値を含むととも
に、連続したオーディオＰＴＳの値の間のオーディオデ
ータのバイト数、すなわち現在のデータパケットのオー
ディオデータのバイト数と、次のＰＴＳの値を有するが
データパケットまでのオーディオデータのバイト数とを
加算したバイト数が含まれている。このデータを、書込
ポインタの位置の代わりに、オーディオ用及びビデオ用
のＰＴＳテーブル３０２、３２４に記憶するようにして
もよい。
【００５７】図４では、フレームカウンタの値を、オー
ディオデータパケットのヘッダブロックからのオーディ
オフレームの数に、前のカウンタの値を加算することに
よって求め、この加算値を、現在のＰＴＳの値に対応し
たフレームカウンタに書き込むようにしている。そし
て、全てのフレームカウンタの値を、各オーディオフレ
ームが出力される度に１ずつ減少するようにしている。
このような処理の代わりに、例えばオーディオデータパ
ケットのヘッダブロックからのオーディオフレームの数
を、フレームカウンタに書き込むようにしてもよい。こ
の場合、現在動作しているカウンタのみの値が、オーデ
ィオフレームの出力に伴って減少される。カウンタの値
が０になると、次のカウンタの値が減少される。
【００５８】上述の実施の形態ではオーディオとビデオ
を同期させるために、例えば装置のシステムタイムカウ
ンタを用いている。このシステムタイムカウンタは、オ
ーディオデータ及びビデオデータを再生するときに、Ｐ
ＴＳの値と直接関係するカウントの状態を示すカウンタ
である。このようなシステムタイムカウンタの代わり
に、例えばＰＴＳの値によって調整することができる他
のカウンタ又はクロックを用いて、オーディオとビデオ
を同期させるようにしてもよい。
【００５９】
【発明の効果】本発明では、ヘッダブロックからのオー
ディオフレームの数を用いて、デコード処理におけるＰ
ＴＳの値をＣＰＵ内のオーディオフレームカウンタに入
れることにより、再生処理の間、オーディオＰＴＳの値
と、デマルチプレクスされたオーディオデータとを正確
に一致させ続けることができる。ビデオデータパケット
のヘッダ部には、予測されるＰＴＳの値の間のビデオフ
レームの数に関する同様な情報が含まれていない。しか
し、本発明では、オーディオフレームの再生が非常に正
確なので、オーディオとビデオが同期するように調節す
ることによって、理想的な再生に極めて近い状態で、オ
ーディオとビデオを高い精度で同期させて出力すること
ができる。
【図面の簡単な説明】
【図１】 本発明を適用したデジタルオーディオ／ビデ
オプロセッサを用いたテレビジョン受像機の具体的な構
成を示すブロック図である。
【図２】 デジタルオーディオ／ビデオプロセッサを構
成するデマルチプレクサの動作を説明するためのフロー
チャートである。
【図３】 ＣＰＵで実行されるデマルチプレクス処理を
説明するためのフローチャートである。
【図４】 デジタルオーディオ／ビデオプロセッサを構
成するメモリ内のデータの配置を示す模式図である。
【図５】 ＣＰＵで実行されるオーディオデコード処理
を説明するためのフローチャートである。
【図６】 ＣＰＵで実行されるビデオデコード処理を説
明するためのフローチャートである。
【図７】 ＣＰＵで実行されるオーディオデータのフレ
ームの再生処理を説明するためのフローチャートであ
る。
【図８】 ＣＰＵで実行されるビデオデータのフレーム
の再生処理を説明するためのフローチャートである。
【符号の説明】
１８ テレビジョン受像機、１９ デマルチプレクサ、
２０ デジタルオーディオ／ビデオプロセッサ、２３
ビデオデコーダ、２４ メモリ、２５ オーディオデコ
ーダ、２６ ＣＰＵ、２７ オーディオＩ／Ｏ、２８
ビデオ混合器、２９ 時分割多重化のバス、３８ エン
コーダ、４０ Ｄ／Ａ、４２ ビデオモニタ、４８ ホ
ストプロセッサ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 5/93 Ｈ０４Ｎ 5/93 Ａ 7/04 Ｇ 7/045 7/04 １０１ (56)参考文献 特開 平10−271457（ＪＰ，Ａ) 特開 平10−262246（ＪＰ，Ａ) 特開 平10−136355（ＪＰ，Ａ) 特開 平９−128895（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G11B 27/00 - 27/10 G09G 5/00 - 5/12 H04N 5/60 H04N 5/91 - 5/93 H04N 7/04

Claims (31)

    (57)【特許請求の範囲】
  1. 【請求項１】 オーディオのプレゼンテーションタイム
    スタンプの値を、特定のオーディオデータパケット及び
    ビデオデータパケットはオーディオデータとビデオデー
    タを関連付けて再生するための望ましい再生時刻を表す
    プレゼンテーションタイムスタンプの値と、該特定のパ
    ケット間の再生されるオーディオ出力フレームの数を表
    すオーディオフレーム数とを含むオーディオデータパケ
    ットとして入力されるオーディオ入力データをデマルチ
    プレクス及びデコードして得られる連続したオーディオ
    フレームの一部であり、ビデオデータパケットとして入
    力されるビデオ入力データをデマルチプレクス及びデコ
    ードして得られる連続したビデオフレームの一部である
    ビデオ出力フレームとともに再生されるオーディオ出力
    フレームに関連付けるオーディオとビデオの同期方法に
    おいて、 オーディオ及びビデオのデマルチプレクス処理の間にオ
    ーディオ及びビデオのプレゼンテーションタイムスタン
    プの値を特定のオーディオ及びビデオデータパケットに
    記憶するステップと、 オーディオのデマルチプレクス処理の間に上記記憶され
    たオーディオプレゼンテーションタイムスタンプの値の
    うちの１つに対応している各オーディオフレームカウン
    タにオーディオフレームの数を記憶するステップと、 オーディオ及びビデオデータを特定のオーディオデータ
    パケット及びビデオデータパケットとして連続的にデコ
    ードし、オーディオ及びビデオのフレームをそれぞれ生
    成するステップと、 オーディオのフレームとビデオのフレームを利用者に対
    して同期して再生させるステップと、 オーディオのフレームの再生に応答してオーディオフレ
    ームカウンタの値を選択的に減少させるステップと、 値が０であるオーディオフレームカウンタの１つを検出
    するステップと、 上記オーディオフレームカウンタの１つに対応したオー
    ディオのプレゼンテーションタイムスタンプの値を読み
    出すステップと、 オーディオ及びビデオのフレームの再生を選択的に修正
    して、オーディオとビデオを利用者に対して同期して出
    力させるステップとを有するオーディオとビデオの同期
    方法。
  2. 【請求項２】オーディオとビデオの同期方法において、
    オーディオのプレゼンテーションタイムスタンプの値を
    読み出すステップの後に、 システムタイムカウンタの値が、オーディオフレームカ
    ウンタの１つに対応したオーディオのプレゼンテーショ
    ンタイムスタンプの値とシステムタイムカウンタの現在
    の値との差分と略等しくなるようにオーディオクロック
    の拡張を行うステップと、 システムタイムカウンタがオーディオのフレームと同期
    して再生するように、上記オーディオクロックの拡張に
    よってシステムタイムカウンタの現在の値を調整するス
    テップとを更に有する請求項１に記載のオーディオとビ
    デオの同期方法。
  3. 【請求項３】ビデオデコード処理の開始時に、ビデオデ
    コード処理の持続時間と略等しい持続時間を持った、各
    ビデオフレームカウンタのビデオフレームの枚数を、特
    定のビデオデータパケットとして記憶するステップと、 ビデオのフレームの再生に応答して全てのビデオフレー
    ムカウンタの値を減少させるステップと、 値が０であるビデオフレームカウンタの１つを検出する
    ステップと、 上記ビデオフレームカウンタの１つに対応したビデオの
    プレゼンテーションタイムスタンプの値を読み出すステ
    ップと、 ビデオフレームカウンタの１つに対応したビデオのプレ
    ゼンテーションタイムスタンプの値が、システムタイム
    カウンタの現在の値にオーディオクロックの拡張分を加
    算した値と略等しいと判定し、オーディオフレームとビ
    デオフレームが同期すると判定するステップとを更に有
    する請求項２に記載のオーディオとビデオの同期方法。
  4. 【請求項４】値が０であるビデオフレームカウンタの１
    つに応答して、ビデオのフレームが、現在利用者に出力
    されているオーディオのフレームと同期せずに速く出力
    されていると判定するステップと、 ビデオのフレームがオーディオのフレームと同期して出
    力されるようにビデオのフレームを反復するステップと
    を更に有する請求項３に記載のオーディオとビデオの同
    期方法。
  5. 【請求項５】ビデオフレームカウンタの１つに対応した
    ビデオのプレゼンテーションタイムスタンプの値が、シ
    ステムタイムカウンタの現在の値にオーディオクロック
    の拡張分を加算した値より大きいと判定し、ビデオのフ
    レームがオーディオのフレームよりも速く出力されてい
    ると判定するステップを更に有する請求項４に記載のオ
    ーディオとビデオの同期方法。
  6. 【請求項６】値が０であるビデオフレームカウンタの１
    つに応答して、ビデオのフレームが、現在利用者に出力
    されているオーディオのフレームと同期せずに遅く出力
    されていると判定するステップと、 ビデオのフレームがオーディオのフレームと同期して出
    力されるようにビデオのフレームをスキップするステッ
    プとを更に有する請求項５に記載のオーディオとビデオ
    の同期方法。
  7. 【請求項７】ビデオフレームカウンタの１つに対応した
    ビデオのプレゼンテーションタイムスタンプの値が、シ
    ステムタイムカウンタの現在の値にオーディオクロック
    の拡張分を加算した値より小さいと判定し、ビデオのフ
    レームがオーディオのフレームよりも遅く出力されてい
    ると判定するステップを更に有する請求項６に記載のオ
    ーディオとビデオの同期方法。
  8. 【請求項８】ビデオフレームカウンタの１つに対応した
    ビデオのプレゼンテーションタイムスタンプの値が、シ
    ステムタイムカウンタの現在の値にオーディオクロック
    の拡張分を足してオーディオデータのデコード処理にお
    ける遅延時間とオーディオ及びビデオの同期において許
    容される程度のエラーとを加算した値に略等しい制限値
    を減算したものより小さいと判定するステップを更に有
    する請求項７に記載のオーディオとビデオの同期方法。
  9. 【請求項９】ビデオの再生フレームとオーディオの再生
    フレームの同期を決定するために、オーディオマスター
    同期が選択されているかを検出するステップを有する請
    求項８に記載のオーディオとビデオの同期方法。
  10. 【請求項１０】ビデオデコード処理の開始時に、ビデオ
    デコード処理の持続時間と略等しい持続時間を持った、
    各ビデオフレームカウンタのビデオフレームの枚数を、
    特定のビデオデータパケットとして記憶するステップ
    と、 ビデオのフレームの再生に応答して全てのビデオフレー
    ムカウンタの値を減少させるステップと、 値が０であるビデオフレームカウンタの１つを検出する
    ステップと、 上記ビデオフレームカウンタの１つに対応したビデオの
    プレゼンテーションタイムスタンプの値を読み出すステ
    ップと、 システムタイムカウンタの値が、ビデオフレームカウン
    タの１つに対応したビデオのプレゼンテーションタイム
    スタンプの値とシステムタイムカウンタの現在の値との
    差分と略等しくなるようにビデオクロックの拡張を行う
    ステップと、 システムタイムカウンタがビデオのフレームと同期して
    再生するように、上記ビデオクロックの拡張によってシ
    ステムタイムカウンタの現在の値を調整するステップと
    を更に有する請求項１に記載のオーディオとビデオの同
    期方法。
  11. 【請求項１１】値が０であるオーディオフレームカウン
    タの１つに応答して、オーディオのフレームが、現在利
    用者に出力されているビデオのフレームと同期せずに速
    く出力されていると判定するステップと、 オーディオのフレームがビデオのフレームと同期して出
    力されるようにオーディオのフレームを反復するステッ
    プとを更に有する請求項１０に記載のオーディオとビデ
    オの同期方法。
  12. 【請求項１２】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値にビデオク
    ロックの拡張分を加算した値より大きいと判定し、オー
    ディオのフレームがビデオのフレームよりも速く出力さ
    れていると判定するステップを更に有する請求項１１に
    記載のオーディオとビデオの同期方法。
  13. 【請求項１３】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値にビデオク
    ロックの拡張分と最短のビデオフレームの持続時間の略
    半分と略等しい制限値とを加算した値より大きいと判定
    するステップを更に有する請求項１２に記載のオーディ
    オとビデオの同期方法。
  14. 【請求項１４】値が０であるオーディオフレームカウン
    タの１つに応答して、オーディオのフレームが、現在利
    用者に出力されているビデオのフレームと同期せずに遅
    く出力されていると判定するステップと、 オーディオのフレームがビデオのフレームと同期して出
    力されるようにオーディオのフレームをスキップするス
    テップとを更に有する請求項１３に記載のオーディオと
    ビデオの同期方法。
  15. 【請求項１５】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値にビデオク
    ロックの拡張分を加算した値より小さいと判定し、オー
    ディオのフレームがビデオのフレームよりも遅く出力さ
    れていると判定するステップを更に有する請求項１４に
    記載のオーディオとビデオの同期方法。
  16. 【請求項１６】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値にビデオク
    ロックの拡張分を加算して最短のビデオフレームの持続
    時間の略半分と略等しい制限値を減算した値より小さい
    と判定するステップを更に有する請求項１５に記載のオ
    ーディオとビデオの同期方法。
  17. 【請求項１７】オーディオの再生フレームとビデオの再
    生フレームの同期を決定するために、ビデオマスター同
    期が選択されているかを検出するステップを有する請求
    項１６に記載のオーディオとビデオの同期方法。
  18. 【請求項１８】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値より大きい
    と判定し、オーディオのフレームがビデオのフレームよ
    りも速く出力されていると判定するステップを更に有す
    る請求項１１に記載のオーディオとビデオの同期方法。
  19. 【請求項１９】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値に最短のビ
    デオフレームの持続時間の略半分と略等しい制限値を加
    算した値より大きいと判定するステップを更に有する請
    求項１８に記載のオーディオとビデオの同期方法。
  20. 【請求項２０】値が０であるオーディオフレームカウン
    タの１つに応答して、オーディオのフレームが、現在利
    用者に出力されているビデオのフレームと同期せずに遅
    く出力されていると判定するステップと、 オーディオのフレームがビデオのフレームと同期して出
    力されるようにオーディオのフレームをスキップするス
    テップとを更に有する請求項１９に記載のオーディオと
    ビデオの同期方法。
  21. 【請求項２１】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値より小さい
    と判定し、オーディオのフレームがビデオのフレームよ
    りも遅く出力されていると判定するステップを更に有す
    る請求項２０に記載のオーディオとビデオの同期方法。
  22. 【請求項２２】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値に最短のビ
    デオフレームの持続時間の略半分と略等しい制限値を減
    算した値より小さいと判定するステップを更に有する請
    求項２１に記載のオーディオとビデオの同期方法。
  23. 【請求項２３】値が０であるビデオフレームカウンタの
    １つに応答して、ビデオのフレームが、現在利用者に出
    力されているオーディオのフレームと同期せずに速く出
    力されていると判定するステップと、 ビデオのフレームがオーディオのフレームと同期して出
    力されるようにビデオのフレームを反復するステップと
    を更に有する請求項２２に記載のオーディオとビデオの
    同期方法。
  24. 【請求項２４】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値より大きい
    と判定し、オーディオのフレームがビデオのフレームよ
    りも速く出力されていると判定するステップを更に有す
    る請求項２３に記載のオーディオとビデオの同期方法。
  25. 【請求項２５】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値に最短のビ
    デオフレームの持続時間の略半分と略等しい制限値を加
    算した値より大きいと判定するステップを更に有する請
    求項２４に記載のオーディオとビデオの同期方法。
  26. 【請求項２６】値が０であるオーディオフレームカウン
    タの１つに応答して、オーディオのフレームが、現在利
    用者に出力されているビデオのフレームと同期せずに遅
    く出力されていると判定するステップと、 オーディオのフレームがビデオのフレームと同期して出
    力されるようにオーディオのフレームをスキップするス
    テップとを更に有する請求項２５に記載のオーディオと
    ビデオの同期方法。
  27. 【請求項２７】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値より小さい
    と判定し、オーディオのフレームがビデオのフレームよ
    りも遅く出力されていると判定するステップを更に有す
    る請求項２６に記載のオーディオとビデオの同期方法。
  28. 【請求項２８】オーディオフレームカウンタの１つに対
    応したオーディオのプレゼンテーションタイムスタンプ
    の値が、システムタイムカウンタの現在の値に最短のビ
    デオフレームの持続時間の略半分と略等しい制限値を減
    算した値より小さいと判定するステップを更に有する請
    求項２７に記載のオーディオとビデオの同期方法。
  29. 【請求項２９】クロックの拡張が決定及び使用されず、
    ビデオとオーディオが独立してシステムタイムカウンタ
    と同期するマスター同期が選択されていないかを検出す
    るステップを更に有する請求項２７に記載のオーディオ
    とビデオの同期方法。
  30. 【請求項３０】特定のオーディオデータパケット及びビ
    デオデータパケットはプレゼンテーションタイムスタン
    プの値と、該特定のパケット間の再生されるオーディオ
    出力フレームの数を表すオーディオフレーム数とを含む
    オーディオの出力データのフレームとビデオの出力デー
    タのフレームを同期して出力させるオーディオとビデオ
    の同期方法において、 プレゼンテーションタイムスタンプの値を含むオーディ
    オデータパケットをデマルチプレクスするオーディオデ
    マルチプレクス処理の間に各オーディオＦＩＦＯのメモ
    リ位置にオーディオデータを連続的に記憶するステップ
    と、 第１のデマルチプレクス処理の間に、第１のメモリ位置
    のプレゼンテーションタイムスタンプの値をオーディオ
    プレゼンテーションタイムスタンプテーブルに連続的に
    記憶するステップと、 第１のデマルチプレクス処理の間に、プレゼンテーショ
    ンタイムスタンプの値を含む特定のビデオデータパケッ
    トとしてビデオＦＩＦＯメモリ位置に書き込まれたデー
    タに対応した書込ポインタの位置を、オーディオプレゼ
    ンテーションタイムスタンプテーブルの第２のメモリ位
    置に記憶するステップと、 第１のデマルチプレクス処理の間に、オーディオフレー
    ムの数をプレゼンテーションタイムスタンプテーブルの
    カウンタ位置に記憶するステップと、 ＣＰＵへの開始オーディオフレーム割込と同時にオーデ
    ィオデコード処理を開始するステップと、 開始オーディオフレーム割込に応答してオーディオＦＩ
    ＦＯの読出ポインタの位置を獲得するステップと、 読出ポインタの位置と略等しい、オーディオプレゼンテ
    ーションタイムスタンプテーブルの書込ポインタの位置
    を検出するステップと、 オーディオＦＩＦＯから読み出されているオーディオデ
    ータをデコードするステップと、 連続したオーディオ出力フレームを利用者に提供するス
    テップと、 オーディオプレゼンテーションタイムスタンプテーブル
    の全てのカウンタメモリ位置から１ずつ減算するステッ
    プと、 システムタイムカウンタの現在の値を、値が０であるカ
    ウンタに対応したオーディオプレゼンテーションタイム
    スタンプテーブルのプレゼンテーションタイムスタンプ
    の値に合わせるステップとを有するオーディオとビデオ
    の同期方法。
  31. 【請求項３１】特定のオーディオデータパケット及びビ
    デオデータパケットはプレゼンテーションタイムスタン
    プの値を含むオーディオデータパケット及びビデオデー
    タパケットを含むオーディオ及びビデオデータをデマル
    チプレクス及びデコードして得られるオーディオとビデ
    オデータの出力フレームを同期して再生させるデジタル
    ビデオプロセッサにおいて、 オーディオデータパケット及びビデオデータパケットの
    オーディオ及びビデオデータを連続的に記憶するオーデ
    ィオ及びビデオＦＩＦＯメモリと、 プレゼンテーションタイムスタンプの値を特定のオーデ
    ィオデータパケットに連続的に記憶する第１のメモリ位
    置と、プレゼンテーションタイムスタンプの値を含む特
    定のオーディオデータパケットのオーディオＦＩＦＯメ
    モリ位置に書き込まれたデータに対応した書込ポインタ
    位置を表す値を記憶する第２のメモリ位置と、次のプレ
    ゼンテーションタイムスタンプの値が出るまで再生され
    るオーディオフレームの数を記憶するカウンタ位置とし
    て機能する第３のメモリ位置とを有するオーディオプレ
    ゼンテーションタイムスタンプメモリテーブルと、 プレゼンテーションタイムスタンプの値を特定のビデオ
    データパケットに連続的に記憶する第１のメモリ位置
    と、プレゼンテーションタイムスタンプの値を含む特定
    のビデオデータパケットのビデオＦＩＦＯメモリ位置に
    書き込まれたデータに対応した書込ポインタ位置を表す
    値を記憶する第２のメモリ位置と、利用者に対して再生
    される前にビデオデータのフレームをデコードするのに
    必要な遅延時間と略等しいビデオのフレームの数を表す
    値を記憶するカウンタ位置として機能する第３のメモリ
    位置とを有するビデオプレゼンテーションタイムスタン
    プメモリテーブルとを備えるデジタルビデオプロセッ
    サ。
JP22761998A 1997-07-28 1998-07-28 オーディオとビデオの同期方法及びデジタルビデオプロセッサ Expired - Fee Related JP3215087B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/901,090 US5959684A (en) 1997-07-28 1997-07-28 Method and apparatus for audio-video synchronizing
US08/901090 1997-07-28

Publications (2)

Publication Number Publication Date
JPH11191286A JPH11191286A (ja) 1999-07-13
JP3215087B2 true JP3215087B2 (ja) 2001-10-02

Family

ID=25413584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22761998A Expired - Fee Related JP3215087B2 (ja) 1997-07-28 1998-07-28 オーディオとビデオの同期方法及びデジタルビデオプロセッサ

Country Status (3)

Country Link
US (1) US5959684A (ja)
EP (1) EP0895427A3 (ja)
JP (1) JP3215087B2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262777B1 (en) * 1996-11-15 2001-07-17 Futuretel, Inc. Method and apparatus for synchronizing edited audiovisual files
CN1199471C (zh) * 1997-11-28 2005-04-27 松下电器产业株式会社 提高了处理效率的图象声音处理装置
KR19990061872A (ko) * 1997-12-31 1999-07-26 서평원 에스티비에서 비디오데이터 전송제어시스템
US6678006B1 (en) * 1998-01-07 2004-01-13 Ati Technologies, Inc. Method and apparatus for video processing that includes sub-picture scaling
US6249319B1 (en) * 1998-03-30 2001-06-19 International Business Machines Corporation Method and apparatus for finding a correct synchronization point within a data stream
JP4098420B2 (ja) * 1998-11-04 2008-06-11 富士通株式会社 音響データ・動画データの同期再構築方法及び装置
US6587635B1 (en) * 1999-03-29 2003-07-01 Sony Corporation Subpicture master control
US6512552B1 (en) * 1999-03-29 2003-01-28 Sony Corporation Subpicture stream change control
CN1691643B (zh) * 1999-03-30 2010-05-12 松下电器产业株式会社 数据处理系统、数据发送/接收设备和记录媒体
US6480902B1 (en) * 1999-05-25 2002-11-12 Institute For Information Industry Intermedia synchronization system for communicating multimedia data in a computer network
AU1023601A (en) * 1999-10-07 2001-05-10 Thomson Licensing S.A. Method and device for writing data to a recording medium in digital video system
JP2003517797A (ja) * 1999-12-14 2003-05-27 サイエンティフィック−アトランタ， インコーポレイテッド 調和されたリソースの割当てを有するビデオ信号を適応的に復号化するシステムおよび方法
TW526666B (en) * 2000-03-29 2003-04-01 Matsushita Electric Ind Co Ltd Reproducing method for compression coded data and device for the same
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7136577B1 (en) * 2000-06-29 2006-11-14 Tandberg Telecom As RTP-formated media clips
JP2004507172A (ja) * 2000-08-16 2004-03-04 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ マルチメディアアプリケーションを再生する方法
US6975363B1 (en) * 2000-08-31 2005-12-13 Microsoft Corporation Methods and systems for independently controlling the presentation speed of digital video frames and digital audio samples
US6813438B1 (en) 2000-09-06 2004-11-02 International Business Machines Corporation Method to customize the playback of compact and digital versatile disks
US6920181B1 (en) 2000-09-19 2005-07-19 Todd Porter Method for synchronizing audio and video streams
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
TW499818B (en) * 2001-03-29 2002-08-21 Winbond Electronics Corp Audio/video packet synchronous decoding method
US7047201B2 (en) * 2001-05-04 2006-05-16 Ssi Corporation Real-time control of playback rates in presentations
US6639649B2 (en) * 2001-08-06 2003-10-28 Eastman Kodak Company Synchronization of music and images in a camera with audio capabilities
US7274857B2 (en) 2001-12-31 2007-09-25 Scientific-Atlanta, Inc. Trick modes for compressed video streams
US7729421B2 (en) * 2002-02-20 2010-06-01 International Business Machines Corporation Low latency video decoder with high-quality, variable scaling and minimal frame buffer memory
US8046792B2 (en) * 2002-03-20 2011-10-25 Tvworks, Llc Multi-channel audio enhancement for television
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information
EP1554868A4 (en) * 2002-10-24 2011-06-01 Thomson Licensing METHOD AND SYSTEM FOR MAINTAINING LIP SYNCHRONIZATION
JP2004294584A (ja) * 2003-03-26 2004-10-21 Sony Corp 音楽データ転送記録方法および音楽再生装置
US8086752B2 (en) * 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US7966642B2 (en) * 2003-09-15 2011-06-21 Nair Ajith N Resource-adaptive management of video storage
JP4459590B2 (ja) * 2003-10-10 2010-04-28 パナソニック株式会社 Ｄｔｖデータ処理装置
JP2005167338A (ja) * 2003-11-28 2005-06-23 Toshiba Corp 映像音声再生装置
US9374607B2 (en) 2012-06-26 2016-06-21 Sonos, Inc. Media playback system with guest access
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US7471337B2 (en) * 2004-06-09 2008-12-30 Lsi Corporation Method of audio-video synchronization
US7400653B2 (en) * 2004-06-18 2008-07-15 Dolby Laboratories Licensing Corporation Maintaining synchronization of streaming audio and video using internet protocol
US8600217B2 (en) * 2004-07-14 2013-12-03 Arturo A. Rodriguez System and method for improving quality of displayed picture during trick modes
US20060018633A1 (en) * 2004-07-22 2006-01-26 Ching-Yu Tsai Digital video storage system and related method of storing digital video data
EP1788572A4 (en) * 2004-08-03 2012-01-04 Sharp Kk INFORMATION RECORDING DEVICE, INFORMATION RECORDING PROGRAM, MEDIUM WITH RECORDED INFORMATION RECORDING PROGRAM, RECORDING MEDIUM, INFORMATION RECORDING METHOD, REPRODUCING DEVICE
US8233540B2 (en) * 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
KR20060105890A (ko) * 2005-03-31 2006-10-12 삼성전자주식회사 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
CA2541560C (en) 2006-03-31 2013-07-16 Leitch Technology International Inc. Lip synchronization system and method
TWI314017B (en) * 2006-07-12 2009-08-21 Quanta Comp Inc System and method for synchronizing video frames and audio frames
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US20080144505A1 (en) * 2006-11-03 2008-06-19 Michael Anthony Isnardi Method and Apparatus for Bitrate Reduction
CN100450163C (zh) * 2006-11-30 2009-01-07 中兴通讯股份有限公司 一种移动多媒体广播视音频同步播放的方法
CN100546391C (zh) * 2007-03-09 2009-09-30 北京牡丹视源电子有限责任公司 数字电视视音频同步性测量方法
US20090033791A1 (en) * 2007-07-31 2009-02-05 Scientific-Atlanta, Inc. Video processing systems and methods
JP4858389B2 (ja) * 2007-09-28 2012-01-18 日本電気株式会社 動画像受信装置、動画像受信方法、及びプログラム
KR100915798B1 (ko) * 2008-01-24 2009-09-07 주식회사 텔레칩스 개선된 압축 포맷에 의한 디지털 방송 녹화 방법
US8300696B2 (en) * 2008-07-25 2012-10-30 Cisco Technology, Inc. Transcoding for systems operating under plural video coding specifications
CN101827271B (zh) * 2009-03-04 2012-07-18 联芯科技有限公司 音频视频同步方法、装置以及数据接收终端
US20100231788A1 (en) * 2009-03-11 2010-09-16 Chao-Kuei Tseng Playback system and method synchronizing audio and video signals
JP2010035183A (ja) * 2009-09-14 2010-02-12 Panasonic Corp Ｄｔｖデータ処理装置
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US9398322B2 (en) 2011-04-27 2016-07-19 Time Warner Cable Enterprises Llc Multi-lingual audio streaming
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US9998750B2 (en) 2013-03-15 2018-06-12 Cisco Technology, Inc. Systems and methods for guided conversion of video from a first to a second compression format
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
CN106034263B (zh) * 2015-03-09 2020-03-03 腾讯科技（深圳）有限公司 媒体文件中音视频的校准方法、装置及存储介质
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
CN106331562B (zh) * 2015-06-16 2020-04-24 南宁富桂精密工业有限公司 云端服务器、控制设备及音频视频同步方法
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
DE102017123319A1 (de) * 2017-10-09 2019-04-11 Sennheiser Electronic Gmbh & Co. Kg Verfahren und System zur Erfassung und Synchronisation von Audio- und Videosignalen und Audio/Video-Erfassungs- und Synchronisationssystem
CN108495164B (zh) * 2018-04-09 2021-01-29 珠海全志科技股份有限公司 音视频同步处理方法及装置、计算机装置及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
JP3197766B2 (ja) * 1994-02-17 2001-08-13 三洋電機株式会社 Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
US5642171A (en) * 1994-06-08 1997-06-24 Dell Usa, L.P. Method and apparatus for synchronizing audio and video data streams in a multimedia system
US5559999A (en) * 1994-09-09 1996-09-24 Lsi Logic Corporation MPEG decoding system including tag list for associating presentation time stamps with encoded data units
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
US5598352A (en) * 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
KR0166935B1 (ko) * 1994-11-23 1999-03-20 구자홍 엠펙2 트랜스포트 디코더 장치
US5771075A (en) * 1994-12-08 1998-06-23 Lg Electronics Inc. Audio/video synchronizer
IT1268195B1 (it) * 1994-12-23 1997-02-21 Sip Decodificatore per segnali audio appartenenti a sequenze audiovisive compresse e codificate.
KR0152916B1 (ko) * 1995-04-11 1998-10-15 문정환 데이타 동기화장치 및 방법
JPH0918870A (ja) * 1995-06-30 1997-01-17 Sony Corp タイミング検出回路及びその方法
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器

Also Published As

Publication number Publication date
JPH11191286A (ja) 1999-07-13
EP0895427A2 (en) 1999-02-03
US5959684A (en) 1999-09-28
EP0895427A3 (en) 2006-01-18

Similar Documents

Publication Publication Date Title
JP3215087B2 (ja) オーディオとビデオの同期方法及びデジタルビデオプロセッサ
US6859612B2 (en) Decoder and reproducing unit
JP3106987B2 (ja) オーディオ・ビデオ同期再生装置
JP3197766B2 (ja) Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ
KR100290331B1 (ko) 오디오-비디오 신호의 동기 재생 장치
US6512552B1 (en) Subpicture stream change control
KR100711328B1 (ko) 데이터 처리 장치 및 방법
US6163647A (en) Apparatus for synchronized playback of audio-video signals
JP3094999B2 (ja) オーディオ・ビデオ同期再生装置
US5596420A (en) Auto latency correction method and apparatus for MPEG playback system
EP0783824B1 (en) Programmable audio-video synchronization method and apparatus for multimedia systems
US6862044B2 (en) Digital broadcast receiving apparatus for restoring and synchronizing sound and image data and control method thereof
US6363207B1 (en) Method and apparatus for a virtual system time clock for digital audio/video processor
EP0677961A2 (en) Method for recording and reproducing data
EP2200297B1 (en) System comprising a video data reproducing apparatus and a recording medium for special mode reproduction in a picture-in-picture or double-frame display mode
US7881584B2 (en) Reproducing apparatus and method, and recording medium
US6041067A (en) Device for synchronizing data processing
JPH0918870A (ja) タイミング検出回路及びその方法
JPH10262208A (ja) 同期ずれ制御装置及び方法
JP3133630B2 (ja) Ｍｐｅｇシステムデコーダ
KR20040080930A (ko) 정보 처리 장치 및 방법
KR20000068121A (ko) 정보 신호 디코딩 방법 및 장치
JP2872104B2 (ja) タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法
US8107796B2 (en) Data processing device, data processing method, program, program recording medium, data recording medium, and data structure
US20010014853A1 (en) Decoding synchronous control apparatus, decoding apparatus, and decoding synchronous control method

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010619

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080727

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090727

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100727

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees