JPH0918870A - タイミング検出回路及びその方法 - Google Patents

タイミング検出回路及びその方法

Info

Publication number
JPH0918870A
JPH0918870A JP7186616A JP18661695A JPH0918870A JP H0918870 A JPH0918870 A JP H0918870A JP 7186616 A JP7186616 A JP 7186616A JP 18661695 A JP18661695 A JP 18661695A JP H0918870 A JPH0918870 A JP H0918870A
Authority
JP
Japan
Prior art keywords
frame
data
image data
encoded image
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP7186616A
Other languages
English (en)
Inventor
Nozomi Ozaki
望 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP7186616A priority Critical patent/JPH0918870A/ja
Priority to US08/667,818 priority patent/US5818547A/en
Priority to KR1019960026985A priority patent/KR970004880A/ko
Priority to CN96110240A priority patent/CN1140955A/zh
Publication of JPH0918870A publication Critical patent/JPH0918870A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

(57)【要約】 【目的】 画像と音声の同期制御のために再生出力時刻
管理情報に対応するフレームデータの処理タイミングを
検出するタイミング検出回路及びその方法として、互換
性が得られると共にコスト的にも有利なものを提供す
る。 【構成】 RAM4のフレームメモリ領域4aに蓄積さ
れた符号化画像データのフレーム数をカウントするよう
にされたカウンタ22と、デマルチプレクサ1からPT
Sがホストプロセッサに供給されるタイミングに応じ
て、カウンタ22のカウント値をロードすると共に、蓄
積領域から読出された符号化画像データについてフレー
ム単位の解析処理が終了するごとにロードしたカウント
値のデクリメントが行われるレジスタ23と、レジスタ
23のカウント値が0とされた場合に「0」検出部23
からタイミング検出信号を出力するようにされたフレー
ムカウンタ14をビデオデコーダに設ける。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はタイミング検出回路及び
タイミング検出方法に関わり、例えば、圧縮処理を施し
た動画像データ及び音声データをデコード処理する際
に、画像と音声を同期させるために、デコード処理が開
始されるビデオデータの処理タイミングを検出するタイ
ミング検出回路及びその方法に適用して好適なものとさ
れる。
【0002】
【従来の技術】ディジタルデータに変換された画像信号
と音声信号とを扱うディジタル・ビデオ・ディスク(以
下、DVDと記す。)等の記録メディア、LAN等の通
信メディア、あるいはサテライト等の放送メディアにお
いては、効率的に音声信号及び画像信号を取り扱えるよ
うディジタル圧縮符号化している。この圧縮符号化を行
う方式として、MPEG(Motion Picture Coding Expe
rts Group )方式が提案されている。
【0003】MPEG方式においては、画像信号に対し
て、(1)画像入力信号をフレーム内において符号化を
行うフレーム内(Intra )符号化画像(Iピクチャ)、
(2)前方向のみから予測するフレーム間順方向予測
(Predictive)符号化画像(Pピクチャ)、(3)前方
向及び後ろ方向の両方向から予測する双方向予測(Bidi
rectionally predictive)符号化画像(Bピクチャ)の
3種類のうちのいずれかの予測符号化を行うことにより
データ圧縮を行うようにしている。
【0004】このようにして予測符号化されたフレーム
間予測の構造の一例を図3(a)に示す。この図の場合
には、例えば15フレームでGOP(Group Of Picture
s )というデータ単位が構成されている。この場合、1
GOPにおいてランダム・アクセスを必要とするため
に、IピクチャをGOP内に少なくとも1フレーム必要
とすることから、Iピクチャを1フレーム、時間的に前
方に位置するIピクチャあるいはPピクチャから予測を
行うPピクチャを4フレーム、残る10フレームを時間
的に両方向に位置するIピクチャあるいはPピクチャか
ら予測を行うBピクチャとしている。なお、GOPは動
画の1シーケンスを分割した符号化の単位である。
【0005】すなわち、矢印で図示するように、Iピク
チャ1Iはそのフレーム内のみで予測符号化されてお
り、Pピクチャ4PはIピクチャ1Iを参照してフレー
ム間予測符号化されており、Pピクチャ7PはPピクチ
ャ4Pを参照してフレーム間予測符号化されており、P
ピクチャ10PはPピクチャ7Pを参照してフレーム間
予測符号化されており、Pピクチャ13PはPピクチャ
10Pを参照してフレーム間予測されている。さらに、
Bピクチャ2B,3BはIピクチャ1IとPピクチャ4
Pとの2つを参照してフレーム間予測符号化されてお
り、Bピクチャ5B,6BはPピクチャ4PとPピクチ
ャ7Pとの2つを参照してフレーム間予測符号化されて
いる。以下同様に矢印で図示するように予測符号化され
て以降のピクチャが作成されている。なお、I,P,B
の番号は原画像のフレーム画像の順番に対応する番号と
されている。
【0006】ところで、このように予測符号化されたピ
クチャをデコードするには、Iピクチャはフレーム内で
の予測符号化が行われているため、そのIピクチャのみ
でデコードすることができるが、Pピクチャは時間的に
前のIピクチャあるいはPピクチャを参照して予測符号
化されているため、時間的に前のIピクチャあるいはP
ピクチャがデコード時に必要とされ、Bピクチャは時間
的に前後のIピクチャあるいはPピクチャを参照して予
測符号化されているため、時間的に前後のIピクチャあ
るいはPピクチャがデコード時に必要とされる。そこ
で、デコード時に必要とされるピクチャを先にデコード
しておけるように、図3(b)に示すようにピクチャを
入れ替えるようにされる。
【0007】この入れ替えは図に示すように、Bピクチ
ャ−1B,0Bはデコード時にIピクチャ1Iを必要と
するため、Bピクチャ−1B,0BよりIピクチャ1I
が先行するように配置替えし、Bピクチャ2B,3Bは
デコード時にIピクチャ1IとPピクチャ4Pを必要と
するため、Bピクチャ2B,3BよりPピクチャ4Pが
先行するよう配置替えし、同様にBピクチャ5B,6B
はデコード時にPピクチャ4PとPピクチャ7Pを必要
とするため、Bピクチャ5B,6BよりPピクチャ7P
が先行するよう、Bピクチャ8B,9Bはデコード時に
Pピクチャ7PとPピクチャ10Pを必要とするため、
Bピクチャ8B,9BよりPピクチャ10Pが先行する
ように入れ替えられている。同様に、Bピクチャ11
B,12BよりPピクチャ13Pが先行するように入れ
替えられている。
【0008】また、MPEG方式においては、上述のよ
うにして予測符号化されて圧縮される動画像データに加
え、音声データも圧縮処理が行われる。そして、これら
圧縮処理された動画像データ及び音声データは、例え
ば、時分割多重化されたビットストリームデータとして
ディスクなどのメディアに記録される。この多重化デ
ータのデータフォ−マットの一例を図4に示す。図4
(a)に示すように、ディスクに時分割多重記録された
多重化データにおける、多重化ビットストリームの1単
位は、少なくとも1つのパック(PACK)と、終了を示す
ISO _11172 _end _codeで構成される。このISO _11
172 _end_codeは、32ビットの符号とされ、16進
で「0x000001b9」と規定されている。なお、先頭の「0
x」は、16進数であることを表している(C言語)。
【0009】また、パックは同図(b)に示すように、
Pack_Start _Code、PCR (ProgramClock Referece)、M
UX _Rateよりなるヘッダと、少なくとも1つのパケッ
ト (Packet) で構成される。このヘッダのPack_Start
_Codeは、32ビットの符号とされ、16進数で「0x00
0001b4」と規定されている。なお、パックの長さは、可
変長として定義されているが、例えば2048バイトに
固定してもよく、以下の説明では2048バイトに固定
したものとして説明を行う。
【0010】さらにパックを構成しているパケットは同
図(c)に示すように、Packet_Start _Code_Prefi
x、Stream_ID、Packet_length、PTS(Presentation Ti
me Stamp)、DTS(Decoding Time Stamp)よりなるヘッダ
と、パケットデータ(Code Data )とで構成される。こ
のPacket_Start _Code_Prefixは、24ビットの符号
とされ、16進数で「0x000001」と規定されている。ま
た、Stream_IDは8ビットの符号とされてパケットの種
類(Stream Type )を示し、このStream_IDによりパケ
ットデータがaudio streamとvideo streamの何れである
かが示される。。さらに、Packet_length(16ビッ
ト)は、それ以降のパケットの長さを示している。
【0011】各パケットのパケットデータ(Code Data
)には、audio streamの場合はオーディオデータが記
録され、video streamの場合はビデオデータが記録され
る。また、audio streamは32種類、video streamは1
6種類の異なったstream_IDを持つことができるため、
この数までの複数のオーディオ信号とビデオ信号を多重
化することが出来るようになる。そして、パケットデー
タ(Code Data )として、例えばI、P、Bのピクチャ
による複数のフレームデータが記録される場合には、記
録されたフレームデータ単位ごとに、スタートコードと
してフレームスタートコードが付される。
【0012】上記のようなMPEG方式による符号化デ
ータをデコードするためのデコード装置の回路構成の一
例を、図5に概略的に示す。例えば、ディスクなどから
読み出されたMPEG方式により時分割多重して符号化
された動画像及び音声のデータは、ビットストリーム信
号BSTとしてデマルチプレクサ1に供給される。この
デマルチプレクサ1では、入力されたビットストリーム
信号BSTについて、ビデオストリームデータVDST
とオーディオデータADSTに分離して、それぞれビデ
オデコーダ2とオーディオデコーダ3に出力する。ま
た、デマルチプレクサ1では、入力されたビットストリ
ーム信号BSTから図4にて説明したパックヘッダ及び
パケットヘッダを分離し、例えばパケットヘッダからは
PTS(Presentation Time Stamp) が抽出されて、ホス
トプロセッサ5に供給されて、後述する画像と音声の同
期制御に用いられる。この場合、ホストプロセッサ5は
この図に示すデコード装置のコントロールを行うものと
され、ビデオデコーダ2とオーディオデコーダ3のコン
トロールに際しては、それぞれ内部のホストインターフ
ェイス2a、3aを介して各種制御信号の伝送が行われ
るようにされている。
【0013】ビデオデコーダ2は、ビデオストリームデ
ータVDSTについて、後述するようにRAM4のコー
ドバッファ領域4aとフレームメモリ領域4bを利用し
ながらビデオデコード処理を行う。ビデオデコーダ2に
入力されたビデオストリームデータVDSTは、比較的
小容量の入力バッファ11にて一旦蓄積され、次に、比
較的大容量のRAM4内のコードバッファ領域4aに供
給されて蓄積される。このRAM4で蓄えられたビデオ
ストリームデータVDSTは、例えば、ビデオデコーダ
2のデコードブロック13のデコード処理に応じたタイ
ミングで読み出されて、解析部12に対して入力され
る。
【0014】解析部12においては、入力されたビデオ
ストリームデータVDSTについて所要の解析処理を実
行して、例えば後段のデコードブロック13でのデコー
ド処理に必要なデータのみを抽出して出力する。デコー
ドブロック13では、解析部12から供給されたデータ
について所定のデコード処理を行うようにされる。この
際、デコードブロック13の処理として、予測符号化デ
ータとして入力されたI,P,Bの各ピクチャについて
逐次デコード処理する段階があるが、この段階でデコー
ドして得られるビデオデータとしては、図3(b)のピ
クチャの配列順に対応するフレームデータが得られる。
そして、このようにしてデコードされたデータは、RA
M4のフレームメモリ領域4bに供給される。
【0015】このフレームメモリ領域4bは所定の複数
枚分のI,P,Bによる各ピクチャタイプのフレームデ
ータを保持することのできる領域とされる。そして読み
出しの際には、その再生順にフレームデータを逐次選択
しながら再びビデオデコーダ2側に供給し、必要があれ
ば所定の処理を施して、最終的に図3(a)に示す原画
像のフレーム順に対応したビデオデコード出力VDOと
してビデオデコーダ2より出力する。
【0016】また、デマルチプレクサ1から出力された
オーディオストリームデータADSTは、オーディオデ
コーダ3で所要のデコード処理がなされて、オーディオ
デコード出力ADOとして出力される。このようにし
て、図5に示すデコード装置によりデコード処理が行わ
れる。
【0017】ところで、これまでの説明から分かるよう
に、図5に示すデコード装置では画像データと音声デー
タが時分割多重されて記録されたビットストリーム信号
としてのデータについて、ビデオデータとオーディオデ
ータに分離してそれぞれについて個別にデコード処理を
行うようにされている。このため、実際にはビデオデコ
ーダ2から出力されるビデオデコード出力VDOと、オ
ーディオデコーダ3から出力されるオーディオデコード
出力ADOとの同期制御を行い、再生画像と再生音声が
同期して出力される必要がある。
【0018】このような同期制御の概要としては、ビッ
トストリーム信号BSTから抽出して得られるパックの
ヘッダに挿入された基準時間指標としてのPCR(図4
(b)参照)と、パケットにおいて挿入されたフレーム
時刻指標としてのPTSを比較して、例えば両者が一致
した場合にPTSに対応する一連のフレームデータのデ
コード処理を開始するようにして、最終的に音声と画像
の同期を図るようにされる。このような同期制御の場
合、例えば実際のデコーダ装置としては、ホストプロセ
ッサ5に読み込まれたPTSが指し示すフレームデータ
が、入力バッファ11及びコードバッファ領域4aで蓄
積された後に、再びビデオデコーダ2で読み出されてデ
コード処理開始されるタイミング、つまり、フレームデ
ータが解析部12で解析処理開始されるタイミングを検
出するための構成が必要となる。
【0019】そして、このフレームデータとPTSとの
対応を識別するタイミング検出方法の一例として、例え
ば、デマルチプレクサ1において一旦ビットストリーム
信号BSTから分離されたPTSを、ビデオストリーム
データVDSTのフレームのヘッダ部分に再び挿入し
て、ビデオデコーダ2に供給するようにした方法が知ら
れている。この場合のPTSの挿入位置としては、ビデ
オストリームデータVDSTにおいてMPEG方式によ
り規定された所定のuser_data領域に特定のフォーマッ
トで挿入されたり、あるいは特別に規定したフォーマッ
トに基づいて所定の位置に対して挿入するようにされ
る。
【0020】そして、ビデオデコーダ2でのデコードに
際して、PTSが挿入されたビデオストリームデータV
DSTから解析部12においてPTSのデータを検出し
て取り出すようにし、PTSが検出された場合には割り
込み処理としてホストプロセッサ5に対して検出信号を
出力するようにされる。そして、ホストプロセッサはこ
のPTS検出信号に基づいて、これから解析部12が処
理を行うフレームデータに挿入されているPTSと、既
にホストプロセッサ5に読み込まれているPCRとの対
応を取ることが可能となり、ビデオデータ出力VDOと
オーディオデータ出力ADOの同期が得られるように、
ビデオデコーダ2とオーディオデコーダ3の動作のコン
トロールを行うことが可能になる。
【0021】また、他の方法として、RAM4のコード
バッファ領域4aにおける書込み及び読出しのためのア
ドレスをポインタで管理するものが知られている。具体
的には、例えばデマルチプレクサ1においてビットスト
リーム信号BSTからPTSデータを分離してビデオデ
コーダ2側に供給するのにあたり、例えばホストプロセ
ッサ5ではPTSが付されたフレームデータを識別し
て、このフレームデータをRAM4のコードバッファ領
域4aに書込む際には、そのアドレスを別に設定したポ
インタ用のレジスタに書込むようにされる。そしてデコ
ーダブロック13におけるデコード処理の進行に伴っ
て、コードバッファ領域4aのための読出しポインタが
インクリメントされていき、上記フレームデータに対応
するポインタの値に達した時に、上記フレームデータの
デコード処理が解析部12以降の後段の機能回路部で開
始されるように、割り込み処理としてホストプロセッサ
5に対して検出信号を出力する。これにより、ホストプ
ロセッサ5ではビデオデータ出力VDOとオーディオデ
ータ出力ADOの同期を図るようにコントロールするこ
とが可能となる。
【0022】
【発明が解決しようとする課題】ところが、上述した2
つのタイミング検出方法において、前者の方法ではデマ
ルチプレクサ1において一旦分離したPTSをビデオス
トリームデータVDSTのヘッダに挿入するようにされ
ていることから、ビデオストリームデータVDSTのデ
ータフォーマットを改変する必要がある。このため、例
えば別のフォーマットによりPTSが挿入されたような
ビデオストリームデータVDSTについては対応ができ
なくなり、デコーダ装置としての互換性、汎用性に乏し
くなるという問題を抱えている。
【0023】また、後者の方法によると、RAM4のコ
ードバッファ領域4aにおける書込み及び読出しのため
のアドレスを管理するため、ビデオストリームデータV
DSTのデータフォーマットを改変する必要はなく汎用
性は得られるが、例えば実際には、コードバッファ領域
4aのアドレス管理のために設けられるアドレスカウン
タについて相応にビット数の多いものを採用する必要が
あり、コストの観点からは不利となる。
【0024】
【課題を解決するための手段】そこで、本発明は同期制
御に際して、再生出力時刻管理情報に対応するフレーム
データの処理タイミングを検出するタイミング検出回路
及びタイミング検出方法として、互換性が得られると共
にコスト的にも有利なものを提供することを目的とす
る。このため、符号化画像データを蓄積する蓄積領域に
蓄積された符号化画像データのフレーム数をカウントす
るカウントタと、蓄積領域に書込まれる符号化画像デー
タのフレームから再生出力時刻管理情報が抽出されたタ
イミングで、カウンタのカウント値がロードされると共
に、蓄積領域から読出された符号化画像データについて
フレーム単位の解析処理が終了するごとにロードしたカ
ウント値のデクリメントが行われるレジスタと、このレ
ジスタのカウント値が初期値に戻ったときに、再生出力
時刻管理情報が抽出されたフレームの符号化画像データ
が蓄積領域から読み出されたことを示すタイミング検出
信号を出力するようにされた検出回路とを備えてタイミ
ング検出回路を構成することとした。
【0025】また、タイミング検出方法として、符号化
画像データを蓄積する蓄積領域に蓄積された符号化画像
データのフレーム数をカウントしており、蓄積領域に書
込まれる符号化画像データのフレームから再生出力時刻
管理情報が抽出されたタイミングで、蓄積領域に蓄積さ
れているフレーム数のカウント値をロードして保持する
と共に、蓄積領域から読出された符号化画像データにつ
いてフレーム単位で解析処理が終了されるごとに、ロー
ドしたカウント値のデクリメントを行い、このロードし
たカウント値が初期値に戻ったときに、再生出力時刻管
理情報が抽出されたフレームの符号化画像データが蓄積
領域から読み出されたことを示すタイミング検出信号を
出力するようにした。
【0026】
【作用】上記構成によると、蓄積領域に蓄積されている
符号化画像データのフレーム数のカウント値をロードし
た値が初期値とされるときに、次にデコード処理される
べきフレームデータが、先に抽出された再生出力時刻管
理情報に対応するフレームデータであることが識別され
て、この識別情報に基づいて再生時に画像と音声の同期
制御を実行することが可能となる。
【0027】
【実施例】図1は本発明の実施例としてのタイミング検
出回路を含むデコーダ装置の構成例を概略的に示すブロ
ック図とされ、このデコーダ装置において、後述するよ
うにして画像と音声の同期制御が行われる。また、この
場合にはMPEG方式により符号化された映像信号デー
タを復調することのできるデコード装置とされている。
なお先に示した図5と同一部分は同一符号を付してい
る。また、この図に示すデコード装置はDVDなどの記
録メディアや通信メディア及び放送メディア等、各種メ
ディアにおいて適用可能とされるが、この場合にはDV
Dから読み出された符号化画像データについて復調する
デコーダ装置として説明する。
【0028】この図に示すデコーダ装置においては、デ
マルチプレクサ1に対して例えばDVDから読み出され
たMPEG方式による符号化データが、ビットストリー
ム信号BSTとして入力される。このビットストリーム
信号BSTは、MPEG方式により符号化された画像デ
ータと音声データが、図4にて説明したような形態によ
り時分割多重されている。デマルチプレクサ1では、入
力されたビットストリーム信号BSTからパックヘッダ
(図4(b)参照)及びパケットヘッダ(図4(c)参
照)を分離する。そして、パケットヘッダに挿入されて
いるStream_IDを参照しながら、パケットデータがaudi
o streamとvideo streamの何れであるかを識別して分離
し、video streamはビデオストリームデータVDSTと
して2に出力し、audio streamはオーディオストリーム
データADSTとしてオーディオデコーダ3に出力す
る。また、パケットヘッダからは再生出力時刻を管理す
る情報としてのPTS(Presentation Time Stamp) が抽
出されて、ホストプロセッサ5に供給されて画像と音声
の同期制御に用いられる。このPTSは、1又は所定範
囲内の複数のフレームデータごとに挿入されて、PTS
に対応するフレームデータの再生出力時間を示すものと
される。
【0029】ホストプロセッサ5は、本実施例のデコー
ド装置のコントロールを総括的に行うものとされ、ビデ
オデコーダ2とオーディオデコーダ3のコントロールに
際しては、それぞれ内部のホストインターフェイス2
a、3aを介して各種制御信号の伝送が行われる。
【0030】本実施例のビデオデコーダ2としては、図
のように入力バッファ11、解析部12、デコードブロ
ック13、フレームカウンタ14、ホストインターフェ
イス2aにより構成されている。また、RAM4はコー
ドバッファ領域4a及びフレームメモリ領域4bを備え
ており、これらのメモリ領域は、次に説明するようにし
てビデオデコーダ2におけるデコード処理の際に用いら
れる。
【0031】本実施例におけるビデオデコーダ2による
基本的なビデオデータのデコード処理動作は次のように
なる。デマルチプレクサ1からビデオデコーダ2に入力
されたビデオストリームデータVDSTは、先ず入力バ
ッファ11に供給されてここで一旦蓄積される。この入
力バッファ11は次に述べるRAM4が大容量とされて
いるのと比較すると、比較的小容量を有するものとされ
る。また、デマルチプレクサ1から出力されたビデオス
トリームデータVDSTはフレームカウンタ14にも分
岐して供給されるがこれについては後述する。
【0032】入力バッファ11に蓄積されたビデオスト
リームデータVDSTは、RAM4側に供給され、RA
M4内のコードバッファ領域4aにおいて蓄積される。
このRAM4で蓄えられたビデオストリームデータVD
STは、例えば、ビデオデコーダ2のデコードブロック
13のデコード処理に応じたタイミングで読み出しがお
こなわれ、ビデオデコーダ2の解析部12に対して入力
される。
【0033】本実施例における解析部12の動作として
は、入力されたビデオストリームデータVDSTについ
て所要の解析処理を実行して、後段のデコードブロック
13でのデコード処理に必要なデータを抽出してデコー
ドブロック13に出力する。また解析部12では、入力
されたビデオストリームデータVDSTについて、1フ
レーム分の処理が終了したとされるごとに、デクリメン
ト信号S2 をフレームカウンタ14に対して出力する
が、このデクリメント信号S2 によるフレームカウンタ
14の動作については後述する。
【0034】デコードブロック13では、解析部12か
ら供給されたデータについて所定のデコード処理を行う
ようにされる。このデコードブロック13においては、
例えば解析部12から入力されてくるビデオストリーム
データVDSTについて復調処理を施して、順次、デコ
ードされたI,P,Bの各ピクチャタイプによるフレー
ムデータが得られることになるが、この段階では図3
(b)のピクチャの配列順に対応するフレームデータが
得られることになる。そして、このようにして得られた
フレームデータは、図3(a)に示すような原画像信号
に対応するフレーム順に並び替えるために、一旦デコー
ドブロック13からRAM4のフレームメモリ領域4b
に供給されて書き込みが行われ、ここで蓄積されること
になる。
【0035】RAM4のフレームメモリ領域4bは、例
えば所定の複数枚分のフレームデータを保持することの
できる領域として設定されている。そして、フレームメ
モリ領域4bに対しては、図3(a)に示すフレーム順
となるように蓄積されたフレームデータの読み出し順の
制御が行われる。このようにしてフレームメモリ領域4
bから順次読み出されたフレームデータは、例えば、再
びビデオデコーダ2側に供給される。そして、必要があ
ればさらにここで所定の処理が施され、最終的に図3
(a)に示す原画像のフレーム順に対応したビデオデコ
ード出力VDOとしてビデオデコーダ2より出力され
る。
【0036】また、オーディオデコーダ3ではデマルチ
プレクサ1から入力されたオーディオストリームデータ
ADSTについて所要のデコード処理を行い、オーディ
オデコード出力ADOとして出力する。
【0037】次に、本実施例における映像と音声の同期
制御について説明する。このためには、前述のようにホ
ストプロセッサ5に保持されたPTSと、このPTSに
対応するフレームデータが解析部12で処理開始可能と
なるタイミングを識別することが必要とされるが、本実
施例においては、この識別のためにビデオデコーダ2に
おいてフレームカウンタ14が設けられる。
【0038】図2は、フレームカウンタ14の内部構成
を示すブロック図とされ、図のようにフレームスタート
コード検出部21、カウンタ22、レジスタ23、及び
「0」検出部24を備えて構成されている。この図では
図示を省略しているが、フレームカウンタ14は、図1
に示した制御ラインLによりホストインターフェイス2
aと接続され、後述する検出信号S3 、ロード指示信号
4 の入出力が可能とされると共に、ホストプロセッサ
5によりカウンタ22の初期化(リセット)、カウンタ
22のカウント値の読み出しなども行うことができるよ
うにされている。そして、このフレームカウンタ14の
動作としては次のようになる。
【0039】例えば、先ずビデオデコーダ2が初期化さ
れた状態では、フレームカウンタ14のカウンタ22も
リセットされた状態とされている。そして、フレームカ
ウンタ14に対しては、図1で説明したようにデマルチ
プレクサ1から入力バッファ11に供給されるビデオス
トリームデータVDSTが分岐して入力されるが、この
ビデオストリームデータVDSTは、先ず、フレームス
タートコード検出部21に入力される。
【0040】フレームスタートコード検出部21は、入
力されたビデオストリームデータVDSTからフレーム
スタートコードを検出する。フレームスタートコード
は、フレームデータごとに、そのヘッダに挿入されてお
り、ビデオストリームデータVDSTにおけるフレーム
単位のデータの開始を示すものとされる。そして、フレ
ームスタートコード検出部21では、フレームスタート
コードを検出するごとに、インクリメント信号S1 をカ
ウンタ22に出力する。
【0041】カウンタ22は、上記インクリメント信号
1 が入力されると、そのカウント値をインクリメント
するようにされている。即ち、カウンタ22はビデオデ
コーダ2に入力されてくるビデオストリームデータVD
STにおいてフレームデータが入力されるごとにカウン
トアップを実行するようにされる。
【0042】このようにして、ビデオデコーダ2におい
て初期化の状態からデコード処理が開始されると、ビデ
オデコーダ2に入力されてくるビデオストリームデータ
VDSTは、入力バッファ11→RAM4のコードバッ
ファ4aを介して、再びビデオデコーダの解析部12に
供給されて、所要の解析処理が実行されることになる。
そして、本実施例においては前述のように解析部12に
より1フレーム分の解析処理が終了したとされるごとに
デクリメント信号S2 が出力される。カウンタ22では
このデクリメント信号S2 が入力されるとカウント値の
デクリメントを実行する。従って、このカウンタ22が
示すカウント値としては、RAM4のコードバッファ領
域4aに蓄積されているビデオストリームデータVDS
Tにおけるフレーム数を常に示すことになる。
【0043】そして、図1にて説明したようにデマルチ
プレクサ1はビットストリーム信号からPTSを抜き出
してホストプロセッサ5に転送する。この場合、PTS
に対応したフレームデータがビデオストリームデータV
DSTとしてビデオデコーダ2側に入力されるタイミン
グに応じて、ホストプロセッサ5は、例えばホストイン
ターフェイス2aから制御ラインLを介してロード指示
信号S4 をレジスタ23に印加するようにされる。これ
により、このときのカウンタ22のカウント値がレジス
タ23にてロードされて保持されることになる。そし
て、このレジスタ23には解析部12から出力されるデ
クリメント信号S2 のラインが接続されているため、レ
ジスタ23に保持された値は、解析部12において1フ
レーム分の処理が終了するとされるごとに、デクリメン
トされていくことになる。従って、このレジスタ23の
示す値は、先にデマルチプレクサ1で分離されてホスト
プロセッサ5に保持されたPTSに対応するフレームデ
ータが解析部12で処理開始されるまでに、当該解析部
12で処理すべき残されたフレームデータの数に対応す
ることになる。
【0044】そして、レジスタ23の出力は「0」検出
部24に供給されている。この「0」検出部24でレジ
スタ23の値が「0」になったことが検出される、即
ち、ビデオデコーダ2の状態として、次に解析部12で
処理されるべきデータが、先のPTSに対応するフレー
ムデータとされると、「0」検出部24からホストイン
ターフェイス2aを介してホストプロセッサ5に対して
検出信号S3 を送信することにより割り込み処理が実行
される。
【0045】ホストプロセッサ5ではこの検出信号S4
を受信すると、先にフレームデータに対応するPTS
と、パックのヘッダに付された基準時間指標としてのP
CRとを比較して、ビデオデコード出力VDOとオーデ
ィオデコード出力ADOとの同期が得られるようデコー
ド処理するタイミングをコントロールする。具体的に
は、ビデオデコーダ2における解析部12及びデコード
ブロック13におけるフレームデータの処理を一旦停止
させたり、あるいはフレームデータをスキップして後の
フレームデータについてデコード処理を実行させるなど
して、オーディオデコーダ3側との同期タイミングをコ
ントロールするようにされる。
【0046】このように、本実施例ではビデオデコーダ
2内にフレームカウンタ14を設けて、このフレームカ
ウンタ14によるフレームのカウント動作に基づいて、
デマルチプレクサ1で抽出したPTSに対応するフレー
ムデータが解析部12にて処理開始されるタイミングを
検出することが可能とされ、このホストプロセッサ5で
は検出情報(検出信号S3 とされる)に基づいて同期制
御を実行するようにされる。なお、上述のフレームカウ
ンタ14の動作としては、ビデオデコーダ2が初期化さ
れた状態から同期制御が行われるまでの過程について説
明したが、本実施例のようなフレームカウンタ14の構
成によれば、ビデオデコーダ2動作時のいかなる時点に
おいても、PTSに対応するフレームを識別することが
可能とされ、また、早送りなどをはじめとする特殊再生
時にも、ビデオデコーダ2に入力されたフレームについ
てカウントするようにされているために、PTSと解析
部12で処理開始されるフレームデータとの対応を識別
できることになる。
【0047】また、本発明が適用される同期制御装置を
備えたデコーダ装置などの構成は、上記図1及び図2に
示したデコーダ装置やフレームカウンタの構成に限定さ
れるものではなく、要旨の範囲内において変更が可能と
される。
【0048】
【発明の効果】以上説明したように本発明は、例えばビ
デオデコーダ内にフレームカウンタを設けて、PTSに
対応するフレームデータがデコード開始されるタイミン
グを検出するようにされていることから、例えば従来の
ようにビデオデコーダに入力するビデオストリームデー
タを改変する必要がなくなり、汎用性を得ることができ
るという効果を有することとなる。また、タイミング検
出のために用いるカウンタ及びレジスタのビット数とし
ては、例えばコードバッファ領域に蓄積可能なフレーム
数に対応して設定すればよいため特に多くのビット数を
必要とせず、回路規模も特に大きくならずコスト的にも
有利となる。
【図面の簡単な説明】
【図1】本発明の実施例としてのタイミング検出回路を
含むデコーダ装置の回路構成を概略的に示すブロック図
である。
【図2】本実施例のフレームカウンタの構成を示すブロ
ック図である。
【図3】フレーム間予測の構造及びメディアフレームの
構造を示す図である。
【図4】時分割多重化されたビットストリームの単位に
おけるデータフォーマットを示す図である。
【図5】従来例としてのタイミング検出回路を含むデコ
ーダ装置の回路構成を概略的に示すブロック図である。
【符号の説明】
1 デマルチプレクサ 2 ビデオデコーダ 3 オーディオデコーダ 4 RAM 4a コードバッファ領域 5 ホストプロセッサ 11 入力バッファ 12 解析部 13 デコードブロック 14 フレームカウンタ 21 フレームスタートコード検出部 22 カウンタ 23 レジスタ 24 「0」検出部

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 符号化画像データを蓄積する蓄積領域に
    蓄積された符号化画像データのフレーム数をカウントす
    るカウント手段と、 上記蓄積領域に書込まれる符号化画像データのフレーム
    から再生出力時刻管理情報が抽出されたタイミングで、
    上記カウント手段のカウント値がロードされると共に、
    上記蓄積領域から読出された符号化画像データについて
    フレーム単位の解析処理が終了するごとにロードしたカ
    ウント値のデクリメントが行われるレジスタ手段と、 上記レジスタ手段のカウント値が初期値に戻ったとき
    に、上記再生出力時刻管理情報が抽出されたフレームの
    符号化画像データが上記蓄積領域から読み出されたこと
    を示すタイミング検出信号を出力するようにされた検出
    手段と、 を備えて構成されていることを特徴とするタイミング検
    出回路。
  2. 【請求項2】 符号化画像データを蓄積する蓄積領域に
    蓄積された符号化画像データのフレーム数をカウントし
    ており、 上記蓄積領域に書込まれる符号化画像データのフレーム
    から再生出力時刻管理情報が抽出されたタイミングで、
    上記蓄積領域に蓄積されているフレーム数のカウント値
    をロードして保持すると共に、上記蓄積領域から読出さ
    れた符号化画像データについてフレーム単位で解析処理
    が終了されるごとに、ロードしたカウント値のデクリメ
    ントを行い、このロードしたカウント値が初期値に戻っ
    たときに、上記再生出力時刻管理情報が抽出されたフレ
    ームの符号化画像データが上記蓄積領域から読み出され
    たことを示すタイミング検出信号を出力するようにした
    ことを特徴とするタイミング検出方法。
JP7186616A 1995-06-30 1995-06-30 タイミング検出回路及びその方法 Withdrawn JPH0918870A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP7186616A JPH0918870A (ja) 1995-06-30 1995-06-30 タイミング検出回路及びその方法
US08/667,818 US5818547A (en) 1995-06-30 1996-06-20 Timing detection device and method
KR1019960026985A KR970004880A (ko) 1995-06-30 1996-06-28 타이밍 검출 회로 및 그 방법
CN96110240A CN1140955A (zh) 1995-06-30 1996-06-28 定时检测设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7186616A JPH0918870A (ja) 1995-06-30 1995-06-30 タイミング検出回路及びその方法

Publications (1)

Publication Number Publication Date
JPH0918870A true JPH0918870A (ja) 1997-01-17

Family

ID=16191703

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7186616A Withdrawn JPH0918870A (ja) 1995-06-30 1995-06-30 タイミング検出回路及びその方法

Country Status (4)

Country Link
US (1) US5818547A (ja)
JP (1) JPH0918870A (ja)
KR (1) KR970004880A (ja)
CN (1) CN1140955A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11250565A (ja) * 1997-11-11 1999-09-17 Deutsche Thomson Brandt Gmbh データバッファを制御する方法及び装置
US6230141B1 (en) 1997-12-08 2001-05-08 Deutsche Thomson-Brandt Gmbh Synchronization of a two-channel audio decoder with a multichannel audio decoder
EP0895427A3 (en) * 1997-07-28 2006-01-18 Sony Electronics Inc. Audio-video synchronizing
KR100849512B1 (ko) * 2007-02-09 2008-07-31 엠텍비젼 주식회사 이미지 센서, 상기 이미지 센서의 프레임 순서 식별 방법, 및 상기 방법의 프로그램을 기록하는 기록 매체
CN100442819C (zh) * 1999-11-30 2008-12-10 伊强德斯股份有限公司 互锁装置
US7502379B2 (en) 2003-06-10 2009-03-10 Mitsubishi Denki Kabushiki Kaisha Disk playback apparatus

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6501810B1 (en) * 1998-10-13 2002-12-31 Agere Systems Inc. Fast frame synchronization
US7020384B1 (en) * 1999-08-12 2006-03-28 Lg Electronics Inc. Method for creating and recording transport time information for data recorded on a disk
KR100376578B1 (ko) 1999-08-12 2003-03-17 엘지전자 주식회사 디지털 데이터 스트림 기록방법 및 그에 따른 표현제어정보 제공방법
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7366402B2 (en) * 2000-06-02 2008-04-29 Lg Electronics Inc. Method and apparatus of recording a high definition digital television broadcast signal
JP2002016917A (ja) * 2000-06-30 2002-01-18 Toshiba Corp 動画像の時間情報復号方法
KR100470025B1 (ko) * 2001-06-15 2005-02-04 엘지전자 주식회사 디지털 데이터 스트림 기록장치 및 방법과, 그에 따른기록매체
JP4029630B2 (ja) * 2002-02-27 2008-01-09 ソニー株式会社 インタリーブ処理装置とインタリーブ処理方法及びインタリーブ処理プログラム
US7418190B2 (en) * 2002-08-22 2008-08-26 Microsoft Corporation Accelerated access to frames from a compressed digital video stream without keyframes
US9558787B2 (en) 2014-01-29 2017-01-31 Google Inc. Media application backgrounding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5396497A (en) * 1993-02-26 1995-03-07 Sony Corporation Synchronization of audio/video information
CA2146801C (en) * 1994-05-27 1999-11-02 Barin Geoffry Haskell Timing recovery for variable bit-rate video on asynchronous transfer mode (atm) networks
US5559999A (en) * 1994-09-09 1996-09-24 Lsi Logic Corporation MPEG decoding system including tag list for associating presentation time stamps with encoded data units
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
US5517250A (en) * 1995-02-28 1996-05-14 General Instrument Corporation Of Delaware Acquisition of desired data from a packetized data stream and synchronization thereto
US5598415A (en) * 1995-08-04 1997-01-28 General Instrument Corporation Of Delaware Transmission of high rate isochronous data in MPEG-2 data streams
US5715176A (en) * 1996-01-23 1998-02-03 International Business Machines Corporation Method and system for locating a frame position in an MPEG data stream

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0895427A3 (en) * 1997-07-28 2006-01-18 Sony Electronics Inc. Audio-video synchronizing
JPH11250565A (ja) * 1997-11-11 1999-09-17 Deutsche Thomson Brandt Gmbh データバッファを制御する方法及び装置
US6230141B1 (en) 1997-12-08 2001-05-08 Deutsche Thomson-Brandt Gmbh Synchronization of a two-channel audio decoder with a multichannel audio decoder
EP0923252A3 (en) * 1997-12-08 2004-05-12 Deutsche Thomson-Brandt Gmbh Synchronization device for decoders
CN100442819C (zh) * 1999-11-30 2008-12-10 伊强德斯股份有限公司 互锁装置
US7502379B2 (en) 2003-06-10 2009-03-10 Mitsubishi Denki Kabushiki Kaisha Disk playback apparatus
KR100849512B1 (ko) * 2007-02-09 2008-07-31 엠텍비젼 주식회사 이미지 센서, 상기 이미지 센서의 프레임 순서 식별 방법, 및 상기 방법의 프로그램을 기록하는 기록 매체

Also Published As

Publication number Publication date
US5818547A (en) 1998-10-06
KR970004880A (ko) 1997-01-29
CN1140955A (zh) 1997-01-22

Similar Documents

Publication Publication Date Title
JP3491365B2 (ja) 符号化データ復号方法および復号装置
US6628890B1 (en) Digital recording/reproduction apparatus
JP3264290B2 (ja) 復号方法および復号装置
JP3330797B2 (ja) 動画像データ格納方式および動画像データ復号方式
US8891937B2 (en) Encoded stream generating apparatus and method, data transmission system and method, and editing system and method
KR100290331B1 (ko) 오디오-비디오 신호의 동기 재생 장치
JPH0918870A (ja) タイミング検出回路及びその方法
JPH08340541A (ja) デジタルデータの伝送方法、伝送装置、記録方法、記録装置、再生方法、再生装置、記録再生方法及び記録再生装置
US7024100B1 (en) Video storage and retrieval apparatus
JP2001204032A (ja) Mpeg復号装置
JP2000331421A (ja) 情報記録装置及び情報再生装置
JP4468497B2 (ja) ディジタル符号化ビデオフィルムの原データを再生する方法及び装置
US8428117B2 (en) Image encoder and image encoding method
US8331456B2 (en) System and method for audio and visual synchronization
JP2003339019A (ja) 記録再生装置および記録再生方法
JP2001078146A (ja) 映像復号化方法,及びその装置
JP2002033712A (ja) パケット処理装置及びそのパケット出力方法
EP1148723B1 (en) Special reproduction data generating device, medium, and information aggregate
JP3176020B2 (ja) マルチチャネル記録再生装置
JP2001268513A (ja) 動画像再生装置および動画像記録再生システム
JP4334562B2 (ja) デジタル映像信号記録再生装置、記録装置、及び再生装置、並びに、デジタル映像信号記録再生方法、記録方法、及び再生方法
JP2003101956A (ja) 再生装置
JP2003101968A (ja) 再生装置
JP2003087749A (ja) 画像データ再生装置および画像データ再生方法
JP2003101944A (ja) 記録装置、出力装置およびデジタル監視カメラシステム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20020903