JPH1174880A - 情報ストリームフレーム同期のための方法および装置 - Google Patents

情報ストリームフレーム同期のための方法および装置

Info

Publication number
JPH1174880A
JPH1174880A JP10147678A JP14767898A JPH1174880A JP H1174880 A JPH1174880 A JP H1174880A JP 10147678 A JP10147678 A JP 10147678A JP 14767898 A JP14767898 A JP 14767898A JP H1174880 A JPH1174880 A JP H1174880A
Authority
JP
Japan
Prior art keywords
information
stream
frame
information stream
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10147678A
Other languages
English (en)
Other versions
JP4157617B2 (ja
Inventor
Paul Wallace Lyons
ワラス ライオンズ ポール
John Prickett Beltz
プリケット ベルツ ジョン
Alfonse A Acampora
アンソニー アカンポラ アルフォンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sarnoff Corp
Original Assignee
Sarnoff Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sarnoff Corp filed Critical Sarnoff Corp
Publication of JPH1174880A publication Critical patent/JPH1174880A/ja
Application granted granted Critical
Publication of JP4157617B2 publication Critical patent/JP4157617B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605Creation or processing of packetized elementary streams [PES]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers

Abstract

(57)【要約】 (修正有) 【課題】 圧縮情報フレームを同期させる費用効果の高
い方法および装置を提供する。 【解決手段】 一連の情報フレームを表す複数の情報セ
グメントを含んだ圧縮情報ストリームを処理するタイミ
ング同期方法および装置である。バッファの過剰利用の
指標に応答して、情報フレームを表す情報セグメントが
削除される。つまり、バッファ利用率の一つ以上の指標
に応答して情報フレームを追加または削減する。第1の
情報ストリームは、第1のタイミング基準に関連するタ
イミング情報と、第1タイミング基準に従って符号化さ
れた一連の圧縮情報フレームと、を備えている。第2の
情報ストリームは、第1の情報ストリームに含まれるタ
イミング情報を用いて圧縮情報フレームを復号すること
により形成される。この第2情報ストリームは、一般
に、情報フレームを追加または削除することによって第
2タイミング基準に同期させられる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、全般的に通信シス
テムに関し、特に情報ストリームのフレーム同期に関す
る。
【0002】
【従来の技術】受信ビットストリーム用の復号およびプ
レゼンテーションプロセスの同期は、リアルタイムのデ
ィジタルデータ通信および配信システムの特に重要な側
面である。受信データは(そのデータが生成および送信
されるレートに一致するように)特定のレートで処理さ
れることが期待されるので、同期がとれないとデコーダ
でバッファのオーバーブローまたはアンダーフローのい
ずれかが発生し、結果としてプレゼンテーションの損失
および/または同期ずれが発生する。
【0003】幾つかの通信システムでは、使用可能な帯
域幅がより効率的に使用されるように、送信するデータ
が圧縮されている。例えば、動画専門家グループ(Movi
ng Pictures Experts Group:MPEG)は、ディジタルデー
タ配信システムに関する幾つかの規格を提案している。
MPEG−1として知られる第1の規格は、ISO/I
EC規格11172を指しており、この規格は参照文献
として本明細書に組み込まれる。MPEG−2として知
られる第2の規格は、ISO/IEC規格13818を
指しており、この規格も参照文献として本明細書に組み
込まれる。
【0004】MPEGに準拠したシステムは、映像、音
声および補助データを含んだ完全なプレゼンテーション
を生成および記憶するために使用されている。各ピクチ
ャごとに生成されるデータの量は(ピクチャコーディン
グの方法および複雑さに基づいて)可変なので、タイミ
ングをピクチャデータの開始から直接導き出すことはで
きない。したがって、プレゼンテーションの適切な表示
にとって重要なタイミング信号は、生成時または記憶時
にMPEG情報ストリーム中に埋め込まれる。これらの
タイミング信号は、MPEG準拠システムの受信側にお
いて情報を正確に表示するために使用される。
【0005】現在のアナログテレビジョンスタジオの実
務では、入力信号をスタジオ基準タイミングに同期させ
ている。これは、フレームシンクロナイザを使用するこ
とにより達成される。このフレームシンクロナイザは、
信号源および宛先におけるタイミング基準の差に基づい
てフレームを追加または削除する。アナログテレビジョ
ンシステムのフレームシンクロナイザは、アナログテレ
ビジョン信号に含まれる同期パルスを利用する。これら
の同期パルスは、水平ライン、ピクチャフィールドおよ
びピクチャフレームを描く。
【0006】
【発明が解決しようとする課題】MPEGに準拠した情
報ストリームはアナログテレビジョン型の同期パルスを
含まないので、このようなストリームのフレーム同期は
特有の様々な問題をもたらす。例えば、MPEG準拠の
送信ステーションはプログラムを符号化し、その符号化
されたプログラムを、ローカル(すなわち、送信機)発
振器に対して参照されるテレビジョン信号、例えば27
MHzステーションクロック、として送信する。自身の
ローカル発振器を有する受信機ステーションは、そのテ
レビジョン信号を受信して復号する。この受信機は、受
信した信号をローカルタイミング基準(local timing r
eference)に同期させなければならない。一つの方法
は、送信クロックと受信クロックとを同期させることで
ある。これは費用が高く、また一方の(すなわち、送信
または受信)ステーションがステーションクロックの制
御を他方のステーションまたはステーション外部の基準
にゆだねる必要があるという欠点もある。
【0007】従ってこの分野では、MPEG準拠情報ス
トリームなどの圧縮情報ストリーム内に含まれる映像お
よび他の圧縮情報フレームを同期させる費用効果の高い
方法および装置が必要とされている。また、送信ステー
ションのフレームレートと受信ステーションのフレーム
レートとの間に必要なフレーム同期を提供するとともに
タイミング基準のローカル制御が維持されるようなフレ
ーム同期方法および装置を提供することが望ましい。
【0008】
【課題を解決するための手段】従来技術に付随する上述
の欠点は、非同期の圧縮情報ストリームをタイミング基
準に適合させるのに適した本発明のタイミング同期方法
および装置によって解決される。本発明は、バッファ利
用率の一つ以上の指標(indicia)に応答して情報フレ
ームを追加または削減する。第1の情報ストリームは、
第1のタイミング基準に関連するタイミング情報と、第
1タイミング基準に従って符号化された一連の圧縮情報
フレームと、を備えている。第2の情報ストリームは、
第1の情報ストリームに含まれるタイミング情報を用い
て圧縮情報フレームを復号することにより形成される。
この第2情報ストリームは、一般に、情報フレームを追
加または削除することによって第2タイミング基準に同
期させられる。したがって、第1タイミング基準と第2
タイミング基準との間のタイミング差を補償するために
調整を行ってもよい。また、第2情報ストリームを出力
に結合する前に様々な整列(alignment)を行うことが
望ましい場合もある。例えば、情報ストリームによって
配信される情報の最終的な品質にとって重大でない情報
フレームのみを削除することが望ましい。
【0009】MPEGシンクロナイザは、タイミングユ
ニットから受信した制御信号に応答し、あるいはフレー
ムシンクロナイザ内の入力バッファにおけるオーバーフ
ロー状態またはアンダーフロー状態の指標に応答して、
MPEGフレームまたはアクセス単位を選択的に追加ま
たは削減する。また、フレームシンクロナイザは、マル
チプレクサによる入力ストリームの選択に先立って、そ
のストリームのフレーム整列及びビデオバッファベリフ
ァイヤ(VBV)整列を実行してもよい。
【0010】送信システムクロックと受信システムクロ
ックとの間のタイミングオフセットは、1)複合VBV
バッファ(combined VBV buffer)および受信システム
入力バッファ内に記憶されたフレームの数の増減に注目
することによって、あるいは2)トランスポートストリ
ームを受信する場合には、PCRオフセットの差、すな
わちローカルPCRと受信PCRとの差に注目すること
によって決定される。
【0011】
【発明の実施の形態】添付の図面とともに以下の詳細な
説明を考察することによって、本発明の開示内容を容易
に理解することができる。
【0012】理解を容易にするため、図面に共通の同一
要素には可能な限り同一の参照番号を使用している。
【0013】情報処理システム内のMPEG情報ストリ
ームを処理するビデオフレームシンクロナイザに関連し
て本発明を説明する。本発明に従ってオーディオデータ
フレームシンクロナイザや補助データフレームシンクロ
ナイザを構成してもよい。また、ここで述べる本発明の
実施形態は、例えばセグメント化されたデータを含む非
同期圧縮情報ストリームをタイミング基準に同期させな
ければならないような別の圧縮データシステムで使用す
るように修正を加えてもよいことに注意すべきである。
【0014】図1は、情報処理システム100のブロッ
ク図を示している。トランスポートストリームデコーダ
110は、27MHzのスタジオ基準(ステーションク
ロック)、例えばリモート供給源、に対して非同期の入
力トランスポートストリームSTINを復号し、プログ
ラムストリームSPを生成する。このプログラムストリ
ームSPは、複数のパケット化基本ストリーム(packet
ized elementary stream:PES)から構成されてい
る。PESデマルチプレクサ120は、プログラムスト
リームSPを逆多重化し、オーディオストリームS1A
およびビデオストリームS1Vを含んだ複数の基本PE
Sストリームか複数のトランスポートパケット化PES
ストリームのいずれかを生成する。当業者であれば分か
るように、PESストリームはトランスポートパケット
構造内に埋め込まれている。したがって、以下の説明で
はPESストリームのみを扱う。PESストリームS1
A、S1Vは、27MHzステーションクロックS10
に対して非同期のプレゼンテーションタイムスタンプ
(PTS)やデコードタイムスタンプ(DTS)などの
タイミング情報を含んでいる。ビデオPESストリーム
S1VおよびオーディオPESストリームS1Aは、そ
れぞれビデオフレームシンクロナイザ200およびオー
ディオプロセッサ201に結合されている。
【0015】ビデオフレームシンクロナイザ200につ
いては、図2を参照して以下でより詳細に説明する。簡
単に説明すると、ビデオフレームシンクロナイザ200
は、受信システムデータレートを調整して確実にローカ
ル出力データレートに一致させるように動作する。この
フレームシンクロナイザは、下流側のシステム構成要素
におけるバッファ利用率(buffer utilization)を示す
バッファフロー制御信号S12を監視し、それに応じて
ビデオフレームシンクロナイザ200の出力ストリーム
S2PVのデータレートを増減してバッファ利用率を適
切なレベルに維持する。フレームを追加するか削減する
かの決定は、受信回路内における経時的なフレーム数の
変化に基づいている。ビデオフレームを追加するか削除
するかの決定はオーディオプロセッサ201に結合さ
れ、この決定に応じて適切なオーディオフレームが追加
または削除されるようになっている。ビデオフレームシ
ンクロナイザ200およびオーディオプロセッサ201
は、フレーム同期ビデオS2PVパケット化基本ストリ
ーム(PES)およびフレーム同期オーディオS2PA
パケット化基本ストリーム(PES)をそれぞれ生成す
る。これらは、PESスイッチャ130に結合される。
バッファ管理機能に加えて、ビデオフレームシンクロナ
イザは、PESスイッチャによるストリームの選択に先
立ってそのストリームのビデオフレームを整列(alig
n)させるので、ビデオフレームシンクロナイザによっ
て提供される最初の二つのフレームは、アンカフレーム
(anchor frame)、例えばI−フレームおよびP−フレ
ーム、となる。
【0016】また、PESスイッチャ130は、ビデオ
S3PVパケット化基本ストリームおよびオーディオS
3PAパケット化基本ストリームの第2のペアをPES
ソース140(例えば、ディジタルビデオディスクプレ
ーヤ、テーププレーヤ、カメラ、サーバなど)から受信
する。このPESソース140は、下流側のシステム構
成要素におけるバッファ利用率を示すバッファフロー制
御信号S12を監視し、それに応じてPESソース14
0の出力ストリームS3PV、S3PAのデータレート
を増減してバッファ利用率の適切なレベルを維持する。
【0017】制御信号(図示せず)に応答して、PES
スイッチャ130は、一対のビデオパケット化基本スト
リームS4PVおよびオーディオパケット化基本ストリ
ームS4PAを選択し、対応するビデオリタイミングユ
ニット300Vおよびオーディオリタイミングユニット
300Aに結合させる。このビデオリタイミングユニッ
ト300Vについては、図3を参照して以下でより詳細
に説明する。簡単に説明しておくと、ビデオリタイミン
グユニット300Vは、プログラムクロック基準ベース
(Program Clock Reference Base:PCRB)信号S9
から得られる新しいタイミング情報を用いて、ビデオス
トリームの古いプレゼンテーションタイムスタンプ(P
TS)およびデコードタイムスタンプ(DTS)を復号
およびリタイム(retime)する。オーディオリタイミン
グユニット300Aは、プログラムクロック基準ベース
(PCRB)信号S9から得られる新しいタイミング情
報を用いて、オーディオストリームの古いPTSをリタ
イムする。ビデオリタイミングユニット300Vおよび
オーディオリタイミングユニット300Aは、それぞれ
リタイムビデオストリームS7PVおよびリタイムオー
ディオストリームS7PAを生成する。更に、ビデオリ
タイミングユニット300Vは、多数の制御信号を生成
する。バッファフロー制御信号S12は、ビデオフレー
ムシンクロナイザ200およびPESソース140にお
けるデータ生成を調整するために使用される。このバッ
ファフロー制御信号S12は、図1ではビデオPTS−
DTSリタイミングユニット300Vによって生成され
るように示されている。そのフラグに応じて、ビット数
がそれぞれ増加又は減少する。ビデオPTS−DTSリ
タイミング回路での初期設定プロセス中に、VBVバッ
ファのVBV遅延が入力ストリームのVBV遅延に整列
させられる。ビデオPTS−DTSリタイミング回路で
発生する信号S330は、整列プロセス(alignment pr
ocess)の最後には入力ストリームのVBV遅延がVB
VバッファのVBV遅延と等しいことを示している。フ
レームを追加または削減する必要性を判断する際に使用
するために、ビデオフレームシンクロナイザの複合VB
Vバッファ(combined VBV buffer)および入力FIF
O中のフレーム数が記憶される。あるいは、トランスポ
ートストリームが受信されている場合には、PCRオフ
セット(入力PCRとローカルPCRとの差)を用いて
フレームを追加または削減する必要性を判断してもよ
い。オーディオリタイミングユニット300Aはバッフ
ァフロー管理機能を含まないものの、それ以外の点で
は、ビデオリタイミングユニット300Vとほぼ同じよ
うに動作するので、ここで更に説明をすることはしな
い。
【0018】ビデオリタイミングユニット300Vおよ
びオーディオリタイミングユニット300Aとして使用
するのに適した装置は、図3を参照して以下で述べる。
また、このような装置は、本発明と同時に出願された米
国特許出願(代理人整理番号12389)にも記載され
ている。なお、この出願は参照文献として本明細書に組
み込まれる。
【0019】トランスポートストリームエンコーダ(T
SE)150は、リタイムビデオS7PV PESスト
リームおよびリタイムオーディオS7PA PESスト
リームを受信し、これらのストリームを符号化して出力
トランスポートストリームS11を生成する。TSE1
50は、27MHzステーションクロック信号S10を
受信して出力トランスポートストリームS11のPCR
スタンピングを実行するPCR発生器/リタイマ(PCR
generator and retimer)を含む。また、このPCR発
生器は、同期PCRベース基準信号S9を90KHzの
レート(27MHzのステーションクロックを300で
割ったもの)で生成する。このPCRB基準信号S9
は、PTS及びDTSスタンピングプロセスに使用する
ために、リタイミングユニット300V、300Aに戻
される。
【0020】上述の情報処理システム100は、新型テ
レビジョンシステム委員会(ATSC)によるディジタ
ルテレビジョン規格文書A/53(参照文献として本明
細書に組み込まれる)に記述されているシステムなどの
ディジタル通信システムに使用することができる。この
ようなシステムでは、多くの場合、滑らかな又は「シー
ムレス(seamless)な」方法で(すなわち、好ましくな
い視覚的又は聴覚的影響を最小限に抑えるような方法
で)第1の(すなわち、現在選択されている)ビデオソ
ースおよび/またはオーディオソースから第2の(すな
わち、次に選択される)ビデオソースおよび/またはオ
ーディオソースに切り替わることが望ましい。
【0021】MPEGストリーム間の滑らかな切り替え
を確保するためには、以下の処理操作が望ましいことを
本発明者は発見した。まず第1に、次に選択されるスト
リームには、切り替えの前にフレーム整列プロセスを施
すべきである。このフレーム整列プロセスは、出力に結
合された次に選択されるストリームの第1のフレームが
確実に非予測フレーム、すなわちイントラフレーム(in
traframe)または「I−フレーム」となるようにする。
第2のフレームは、別のI−フレームであるか、あるい
は第1フレームだけを用いて予測されたフレーム、すな
わち前方向予測フレームまたは「P−フレーム」である
べきである。I−フレームの後に別のI−フレーム、ま
たは第1フレームだけを用いて予測されたフレーム、す
なわち前方向予測フレームもしくは「P−フレーム」が
続かない場合には、特別に符号化されたP−フレーム
を、以前から存在するI−フレームシリーズとB−フレ
ームシリーズとの間に追加してもよい。これにより、整
列プロセス中にエントリポイントがストリームに人為的
に挿入される。このフレーム整列プロセスは、フレーム
シンクロナイザ200によって実行される。第2に、P
TS−DTSリタイミングユニット300VによってV
BV遅延の整列が実行される。整列の結果は、図1の信
号S330で示される。第3に、VBV遅延およびバッ
ファメモリ(例えば、遠端デコーダ(far-end decode
r)入力バッファやFIFO220)の利用率は、切り
替えの前後に監視すべきである。S330がVBV遅延
整列を知らせると、フレームシンクロナイザ200中の
複合VBVバッファおよび入力FIFO内に格納された
フレームの数の増減により、フレームを追加または削減
する必要性が判断される。
【0022】図2は、図1に示される情報処理システム
で使用するのに適した本発明に係るフレームシンクロナ
イザのブロック図を示している。このフレームシンクロ
ナイザ200は、パケット化基本ストリーム(PES)
であるストリームS1V(ここでは一例としてビデオス
トリームである)を受信し、第1の動作モード(すなわ
ち、「事前選択」モード)でこの受信PESストリーム
を整列させ、第2の動作モード(すなわち、「選択済」
モードまたは「定常状態」モード)でPESストリーム
を出力に結合する。更に、このフレームシンクロナイザ
は、第2動作モード中に様々なバッファ管理動作を実行
する。オプションとして、コントローラ230は、信号
SWITCH CONTROLによってその動作モード
を事前選択モードまたは選択済モードに強制変更させら
れる。更にまたオプションとして、このコントローラ
は、信号SWITCHを送信することによって、例えば
「下流側」スイッチャ(例えばPESスイッチャ13
0)に切り替え動作を実行させる。
【0023】入力ビデオPESストリームS1Vは、ク
ロック抽出器210、先入れ先出し(FIFO)メモリ
220およびコントローラ230に結合されている。F
IFO220は、理想的には、I−フレームと次のI−
フレームまでの後続の全てのフレーム(次のI−フレー
ムも含む)とを保持するのに十分な大きさを有してい
る。ビデオストリームS1Vは、到着データに関連する
ロードクロック(load clock)S2Vを用いてFIFO
220に同期入力される。一時的に記憶された入力ビデ
オストリームS1Vを表すFIFO出力ストリームS3
Vは、フレーム追加/削減ユニット240に結合され
る。追加/削減ユニット240は、FIFO出力ストリ
ームS3V(通過モード)、追加フレームが追加された
FIFO出力ストリームS3V(フレーム追加モー
ド)、又はフレームが削除されたFIFO出力ストリー
ムS3V(フレーム削減モード)を含む出力ビデオスト
リームS2PVを生成する。追加/削減ユニット240
の動作モードは、コントローラ230からの信号S6V
によって制御される。また、コントローラ230は、監
視信号S5Vを介してFIFO220を監視し、制御信
号S4Vを介してFIFO220を制御する。このコン
トローラは、下流側のシステム構成要素におけるバッフ
ァ利用率を表すバッファフロー制御信号S12を受信す
る。このコントローラは、追加/削減ユニット240に
ビデオフレームを追加または削除させ、それによってリ
モートソースおよびローカルソースのタイミング同期を
維持する。
【0024】コントローラ230は、入力ビデオストリ
ームS1VおよびFIFO220を監視する。また、こ
のコントローラは、例えば記憶された入力ビデオストリ
ームS1Vの全部または一部をFIFO220に放棄さ
せることにより、FIFOの動作を制御する。説明のた
めに、各PESパケットは一つのビデオアクセス単位
(すなわち、ビデオフレーム)を含むものと仮定する。
このビデオストリームが(例えば、PESスイッチャ1
30によって)切り替えられて出力ストリームとなる前
に、切り替えのために整列を行わなければならない。M
PEGシーケンスヘッダはピクチャを復号するのに極め
て重要な情報を含むので、あるストリームへの切り替え
はシーケンスヘッダの直前で起こらなければならない。
シーケンスヘッダがI−フレームの直前にないときに使
用するために、FIFOに入った最後のシーケンスヘッ
ダが保存される。したがって、I−フレームがFIFO
の出力に位置するようになるまでは、FIFOは全ての
データをフラッシュ(flush)される。
【0025】切り替え点(switch point)における双方
のアンカフレームの置換を保証するために、ビットスト
リームは、送信の順序においてI−フレームの次にP−
フレームまたはI−フレームが続かなければならないと
いう制約を有している。I−フレームの次にB−フレー
ムが続く場合は、オプションとして、P−フレーム(こ
れは、ゼロ動きベクトルを備えた非符号化マクロブロッ
クから構成されている)がI−フレームとB−フレーム
との間に挿入されてもよい。このP−フレームは、最後
のフレームをリピートラストフレームコマンド(repeat
lsat frame command)として動作する。リピートフレ
ームがビデオ品質に与える視覚的な影響は、ストリーム
の切り替えと同時に起こるシーンチェンジ(scene chang
e)によってマスクされる。このストリームへの切り替え
の決定がなされるまでは、I−フレームがFIFOに入
るたびにバッファフラッシュプロセスが継続する。I−
フレームの直前にシーケンスヘッダがあれば、PESパ
ケット内のPESヘッダおよびシーケンスヘッダを用い
て切り替えプロセスが継続する。I−フレームに対する
PESパケットがシーケンスヘッダを含んでいなけれ
ば、最後に記憶されたシーケンスヘッダが多重化されて
ストリームにされる。この結果得られる出力ストリーム
は、I−フレームの直前にシーケンスヘッダを含んでい
る。
【0026】切り替え点では、最低限二つのフレームが
FIFOメモリ内に存在しなければならない。この状態
は、切り替え点における時間基準(temporal referenc
e)の計算を可能にする。オプションとして、I−フレ
ームの出力に先立ってGOPヘッダが挿入されてもよ
く、I−フレームの時間基準はゼロに設定される。入力
時間基準および新しい値からのオフセットは、切り替え
点において計算される。
【0027】本質的に、ストリームは、正しくない表示
順序を有する可能性のある現在選択されているストリー
ム中の最後のフレームの結果を用いて任意の位置に残す
ことができる。視覚的な影響は、新しいビデオマテリア
ルへの自然なシフトによってマスクされる。現在選択さ
れているストリームがアンカフレームの直前に残されて
も、フレームの再順序づけの影響は受けない。この時点
で、現在選択されているストリームに属するフレームが
デコーダバッファ内に更に多数存在している。デコーダ
バッファ内のフレームの数は、PESリタイミング回路
300V内のフレームバイトカウンタによって追跡され
る。
【0028】MPEGピクチャヘッダは、(ピクチャヘ
ッダがデコーダのVBVバッファに入った後で)ピクチ
ャを復号する前にデコーダが待つべき時間量を表すVB
V遅延数を含んでいる。したがって、VBV遅延は、デ
コードタイムスタンプ(DTS)−PCRBに等しく、
デコーダバッファ内のフレームの数に関係する。与えら
れた任意の瞬間におけるVBV遅延は、PESリタイミ
ング回路の出力においてこの式を用いて計算される。
【0029】入力MPEGストリームは、ストリームが
符号化またリタイムされたときに生成されたVBV遅延
を含んでいる。次に選択されるストリームのVBV遅延
および現在選択されているストリームのVBV遅延は、
双方とも切り替え時には分かっている。一般に、これら
の値は一致しない。ビデオ符号化中はできるかぎり多く
のフレームをデコーダバッファ内に配置することが望ま
しいので、現在選択されているストリーム内の最後のフ
レームのVBV遅延は大きくなければならない。これ
は、次に選択されるストリームのVBV遅延をデコーダ
バッファ内の実際のVBV遅延に一致させる機会を与え
る。
【0030】次に選択されるストリームのVBV遅延お
よび現在選択されているストリームのVBV遅延は、切
り替え時にPESリタイミング回路300Vにおいて比
較される。これにより、デコーダバッファが過大な遅延
を含んでいるか、あるいは過小の遅延を含んでいるかが
最初に示される。入力VBV遅延値を満足するには少な
すぎる遅延がデコーダバッファに含まれている場合に
は、データは最大のレートで出力されるべきである。こ
れにより、遅延を有する更に多くのフレームがデコーダ
バッファ内に配置される。このプロセスは、デコーダバ
ッファ内のVBV遅延(すなわち、PESリタイミング
回路300Vにおいて計算されたVBV遅延)が、選択
されたばかりのストリームのVBV遅延に近くなるまで
続く。入力FIFO220中のフレーム数は、このプロ
セスの間、監視される。FIFO220が空になりかけ
ていれば、リピートフレームがリピートフレーム記憶装
置からストリームに加えられる。過大な遅延がデコーダ
バッファ内にある場合には、適切な量の遅延がデコーダ
バッファ内に存在するようになるまで出力が停止され
る。FIFO220がオーバーフローしかけていれば、
フレームがストリームから削減される。VBV遅延が整
列されると、出力レート制御は第2動作モードに切り替
わる。
【0031】この第2動作モードは、PESリタイミン
グ回路300Vによって制御される。入力FIFO内の
フレーム数とデコーダバッファ内のフレーム数とを加算
してフレーム周期を乗算すると、このシステムのエンド
ツーエンド遅延(end to enddelay)が得られる。シス
テムのエンドツーエンド遅延は、受信入力FIFOの入
力からVBVバッファの出力に進むために個々のあるゆ
るバイトに対して必要となる時間量として定義すること
もできる。このエンドツーエンド遅延の値は、ローカル
基準クロックからリモートソースのクロックタイミング
差を求める際に使用するために記憶される。この値は、
入力VBV遅延がデコーダバッファ内のVBV遅延に整
列させられたときに記憶される。このエンドツーエンド
遅延値は、リモートクロックとローカルクロックとが正
確に同じレートである場合には一定のままであると予想
される。この他に、入力PCRとローカルPCRとの間
のオフセットを記憶するようにしてもよい。このオフセ
ットは、リモートクロックとローカルクロックとが正確
に同じレートである場合には一定のままであると予想さ
れる。PESリタイミング回路は、データストリームに
埋め込まれたフレームレートに基づいてFIFOからフ
レームを抽出する。デコーダバッファは、現在ストリー
ム中にあるVBV遅延を含んでいる。
【0032】コントローラ230は、FIFO220を
監視し、FIFO220が満たされつつある(すなわ
ち、リモートクロックがステーションクロックよりも速
い)か、あるいは空になりつつある(すなわち、リモー
トクロックはステーションクロックよりも遅い)かを判
断する。FIFOが一杯になる傾向にある場合、コント
ローラは、これに応じて追加/削減ユニットに一以上の
フレームを削減させることができる。FIFOが空にな
る傾向にある場合、コントローラは、これに応じて追加
/削減ユニットに一以上のフレームを追加させることが
できる。このFIFOを充填する動作又は空にする動作
は、FIFOが入力ビデオストリームS1Vの各フレー
ムを簡易に記憶しており、かつPESスイッチャ130
がリモートビデオストリームS2PVおよびリモートオ
ーディオストリームS2PAを出力用に選択したとき
に、フレームシンクロナイザの第2動作モードで発生し
てもよい。
【0033】フレームの削減は、ピクチャ再順序づけ
(picture reordering)方式や予測ピクチャ品質のいず
れも劣化させることなくストリームから安全に除去する
ことのできるフレームを選ぶことによって達成される。
これには、この目的を実現するために一つ以上のフレー
ムを削減することが含まれていてもよい。アンカフレー
ムと次のアンカフレームの前にある全ての介在B−ピク
チャとが削減される場合、予測ピクチャ品質は最小限の
影響しか受けない。ストリーム中の他のピクチャの品質
に影響を及ぼすことなく任意のB−ピクチャを削除する
ことができる。
【0034】フレームの追加は、ゼロ動きベクトルを備
えた非符号化マクロブロックを備えるP型またはB型フ
レームを挿入することによって達成される。このような
フレームは、MPEGに準拠した構文手法において「リ
ピートラストフレーム」コマンドとして動作する。追加
されるフレームは、P−フレームまたはB−フレームの
いずれであってもよいが、P−フレームが好ましい。な
ぜなら、追加フレームがI−フレームを繰り返す場合に
ピクチャ品質がもっとも良く保存されるからである。追
加「ダミー」フレームは、コントローラ内または追加/
削減ユニット内に記憶され、必要なときに挿入される。
【0035】リモートクロック周波数がローカルクロッ
ク周波数よりも一貫して高い場合には、エンドツーエン
ドシステム遅延が増加する。リモートクロック周波数が
ローカルクロック周波数よりも一貫して低い場合には、
エンドツーエンドシステム遅延が減少する。現在の値が
エンドツーエンド遅延用に記憶された値から1フレーム
に等しい値だけ異なっており、かつ、その他の外部基準
を満足する場合、フレームは、そのときの状況に応じて
削減あるいは追加される。
【0036】コントローラ230は、入力PESストリ
ームS1Vにおける外部基準を監視するために使用する
ことができる。評価される外部基準の例としては、シー
ンチェンジ指標(例えば、多数のフレーム内符号化マク
ロブロック(intra-coded macroblock))、黒フィールド
指標、最小数の動き(minimal number motion)、アン
カフレーム(すなわち、I−フレームまたはP−フレー
ムが後に続くI−フレーム)の適切な検出が挙げられ
る。この外部基準を使用することにより、例えばビデオ
やオーディオの品質に及ぼす影響を最小限に抑えるよう
な方法でフレームの追加および削減を実行することがで
きる。
【0037】以下では、フレームシンクロナイザ200
の動作を図4を参照して説明する。この説明のために、
リモート供給STINを表すビデオストリームS2PV
およびオーディオストリームS2PAが、PESスイッ
チャ130によって選択されていると仮定する。また、
ビデオPTS−DTSリタイミングユニットが、選択さ
れたビデオストリームS2PVを監視しており、それに
応じて制御信号を生成するものと仮定する。
【0038】図4は、本発明の理解に役立つフローチャ
ートを示している。図2のフレームシンクロナイザ20
0に関して上述したように、入力ビデオ信号S1Vは先
入れ先出しメモリ220に結合される。FIFO220
は、I−フレームを保持するのに十分な大きさを有して
おり、理想的には、次のI−フレームまでの全ての後続
フレームと次のI−フレームとを更に保持するのに十分
な大きさを有している。以下の説明において、アクセス
単位“A”はFIFO220の出力におけるアクセス単
位である。アクセス単位“B”は次のアクセス単位であ
り、以下同様である。フレームカウンタは、例えばコン
トローラ230内に実装されていてもよい。フレームカ
ウンタは、FIFO220内に記憶されているアクセス
単位の数を単純に計数する。
【0039】図4のフローチャートは、フレーム整列ル
ーチン(ステップ404〜430)、切り替えルーチン
(ステップ440〜460)、およびフレーム追加/削
減ルーチン(ステップ470〜486)という三つの相
互に関連する制御ルーチンを備えている。整列ルーチン
(ステップ404〜430)は、出力ストリームS2P
Vとして入力ストリームS1Vが選択される前に、入力
ストリームS1V内のビデオフレームまたはアクセス単
位を整列させる。切り替えルーチン(ステップ440〜
460)は、結果として得られるストリームS2PVを
出力として選択する動作が、現在選択されているストリ
ーム(例えば、S3PV)に対して適切な時点に確実に
行われるようにする。フレーム追加/削減ルーチン(ス
テップ470〜486)は、複合入力FIFO(combin
ed input FIFO)および遠端デコーダバッファ内のフレ
ーム数を増減するために使用される。これらのルーチン
は、主として図2に示されるコントローラ230の制御
下にある。これらのルーチンの一部分は、他のソースか
ら受信されるデータに依存する。一例を挙げると、VB
V整列プロセス(ステップ470)は、例えばビデオP
TS−DTSリタイミングユニット300Vで行われ
る。下流側のバッファ状態を表すバッファフロー制御信
号S12は、コントローラに供給される。
【0040】整列ルーチン(ステップ404〜430)
は、ステップ406から開始する。この好適な実施形態
では、FIFOを通過するストリーム(S1V)が(例
えば、PESスイッチャ130によって)出力に結合さ
れる前にFIFO内に記憶された少なくとも二つのアク
セス単位(例えば、複数のビデオフレーム)が存在しな
ければならない。更に、第1のアクセス単位は、I−フ
レームでなければならない。FIFO220内に記憶さ
れたアクセス単位の数(CNT)がしきい数値(SW
CNT)未満であれば、このルーチンは更なるアクセス
単位がFIFOに入るのを待つ。アクセス単位の数(F
rame CTR)がしきい数値(ステップ406にお
けるSW CNT)に等しい場合、第1のアクセス単位
(すなわち、アクセス単位“A”)が検査される。アク
セス単位“A”がシーケンスヘッダを含んでいる場合
(ステップ408)、コントローラは、ストリーム切り
替えルーチン(ステップ440〜460)において後で
使用するためにシーケンスヘッダ(SEQ HEADER)を記憶
し(ステップ410)、「シーケンスヘッダストアド
(sequence header stored)」フラグがセットされる。
アクセス単位“A”がI−フレームでない場合(ステッ
プ412)、アクセス単位“A”はFIFOから消去
(purge)され(ステップ404)、それによって残り
のアクセス単位がFIFO中の次の「位置(positio
n)」に進められる。アクセス単位“A”がI−フレー
ムとなるまでステップ406〜412が繰り返される。
【0041】アクセス単位“A”がI−フレームになる
と、次にアクセス単位“B”が検査される(ステップ4
14)。アクセス単位“B”がB−フレームであれば、
オプションとして(ステップ417)、アクセス単位
“A”とアクセス単位“B”との間にP−フレームが挿
入される(ステップ418)。P−フレームがオプショ
ンとして挿入されなければ(ステップ417)、アクセ
ス単位“A”はFIFOから消去され(ステップ40
4)、アクセス単位“A”がI−フレームとなるまでス
テップ406〜412が繰り返される。挿入するフレー
ムは、例えば、ゼロ動きベクトルを有する非符号化マク
ロブロックを備えたP−フレームとすることができる。
このようなフレームは、「リピートラストフレーム」コ
マンドとして動作する(すなわち、アクセス単位“A”
を繰り返す)。
【0042】また、新しい時間基準値を計算する際に使
用するために、アクセス単位“A”およびアクセス単位
“B”に対する時間基準(temporal reference)値も記
憶される(ステップ420)。
【0043】シーケンスヘッダが記憶されなかった場合
(ステップ410)、整列プロセス全体(ステップ40
6〜422)を繰り返さなければならない。これは、ス
トリームS1Vが選択される場合、シーケンスヘッダが
アクセス単位“A”に記憶されたI−フレームに先行す
る必要があるからである。最も新しいシーケンスヘッダ
が、シーケンスヘッダの直後ではないI−フレームの直
前のストリームに挿入するために記憶される。シーケン
スヘッダが記憶されている場合には、出力ストリームS
2PVがスイッチャ130によって選択できる状態にあ
り(すなわち、ステップ426によって示されるよう
に、次に選択される又は切替用“TO”ストリームがレ
ディ状態となり)、「レディフラグ(ready flag)」が
セットされる。
【0044】入力ストリームS1Vがアクティブストリ
ーム(すなわち、現在選択されているストリーム)の場
合、このルーチンは待機状態となる(ステップ42
8)。入力ストリームS1Vがアクティブストリームで
なく(ステップ428)、I−フレームがまだFIFO
にロードされていない場合、このルーチンは待機状態と
なる。次のI−フレームとそれに続くフレームがFIF
Oによって受信されると、この受信I−フレームがアク
セス単位“A”の位置に記憶されるようにFIFOの内
容がフラッシュされる。この後、整列プロセス全体(ス
テップ406〜430)が反復される。
【0045】切り替えルーチン(ステップ440〜46
0)は、ステップ440から開始する。この切り替えル
ーチンは、アクティブストリームの最後の完全なアクセ
ス単位(理想的には“FROM”ストリーム中のアンカ
フレームの直前のアクセス単位)が送信され(ステップ
440)、出力ストリームS2PV(すなわち、“T
O”ストリーム)の選択の準備が完了し(ステップ44
2)、デコーダバッファレディフラグがセット(ステッ
プ444)されているときに開始する。
【0046】上述の条件が満足されているとき(ステッ
プ440〜444)、コントローラ230は、記憶され
たシーケンスヘッダ(ステップ410からのもの)がビ
デオストリームS2PVの第1の出力として送信される
ようにする(ステップ446)。更に、「シーケンスヘ
ッダストアド」フラグがリセットされ、「アクティブス
トリーム識別子(active stream identifier)」フラグ
が変更される。この後、コントローラは、オプションと
して(ステップ447)、ピクチャ群(a group of pic
tures:GOP)ヘッダがビデオストリームS2PVの次
の出力として送信されるようにする(ステップ44
8)。このGOPヘッダは、例えば遠端デコーダ内の時
間基準カウンタをリセットするために使用される。この
後、コントローラは、FIFOに第1の記憶アクセス単
位(すなわち、アクセス単位“A”)を送信させる(ス
テップ450)。
【0047】GOPヘッダが検出されるまでは時間基準
の補正が必要となる。GOPヘッダが整列済I−フレー
ムの直前に検出されなければ(ステップ452)、送信
されているアクセス単位の時間基準(TR)を計算しな
ければならない(ステップ454)。
【0048】オプションとしてGOPがI−フレームの
前に挿入されると、以下の操作が実行される。整列中、
受信アクセス単位“B”がI−フレームまたはP−フレ
ームであれば、全ての時間基準は、受信アクセス単位
“A”時間基準の値だけ減分されなければならない。受
信アクセス単位“B”がB−フレーム(これは、リピー
トP−フレームの挿入を必要とする)である場合、第1
に、アクセス単位“A”時間基準がゼロに設定される。
第2に、挿入されるP−フレーム時間基準は、アクセス
単位“A”の時間基準からアクセス単位“B”の時間基
準を引いた時間基準差に1を足した値に設定される。第
3に、B−フレームとそれに続くフレームとの時間基準
は、“B”アクセス単位の時間基準を入力時間基準から
引いて1を足すことにより計算される(ステップ45
4)。
【0049】GOPがオプションとしてI−フレームの
前に挿入されない場合は、以下の操作が実行される。受
信アクセス単位“B”がI−フレームまたはP−フレー
ムの場合、全ての時間基準は、受信アクセス単位“A”
時間基準の値だけ減分された後、(“FROM”ストリ
ーム中の最後のアンカフレーム時間基準+1)だけ増分
されなければならない。受信アクセス単位“B”がB−
フレームの場合、アクセス単位“A”時間基準はゼロに
設定された後、(“FROM”ストリーム中の最後のア
ンカフレーム時間基準値+1)だけ増分される。アクセ
ス単位“B”はB−フレームなので、リピートP−フレ
ームが挿入されなければならない。挿入されるP−フレ
ームの時間基準は、アクセス単位“A”の時間基準から
アクセス単位“B”の時間基準を引いた時間基準差に1
を足した値に設定された後、(“FROM”ストリーム
中の最後のアンカフレーム時間基準値+1)だけ増分さ
れる。B−フレームとそれに続くフレームの時間基準
は、“B”アクセス単位時間基準を入力時間基準から引
いて1を足した後、(“FROM”ストリーム中の最後
のアンカフレーム時間基準値+1)だけ増分することに
より計算される(ステップ454)。
【0050】フレームインサート(frame insert)フラ
グがセットされている場合(ステップ456)、ゼロ動
きベクトルを有する非符号化マクロブロックを備えたフ
レームが出力ストリームS2PVに挿入される(ステッ
プ458)。上述したように、このようなフレームは、
「リピートラストフレーム」コマンドとして動作する。
【0051】「スイッチストリーム(switch strea
m)」コマンド(すなわち、当初選択されていたバッフ
ァに戻すコマンド)が発行されていなければ(ステップ
460)、ステップ450〜460が繰り返される。こ
のように、入力ストリームS1Vは、出力ビデオストリ
ームS2PVを生成するためにFIFO220を介して
フレーム追加/削減ユニット240に結合されている。
【0052】フレーム追加/削減ルーチン(ステップ4
70〜486)は、ステップ470から開始する。ビデ
オPTS−DTSリタイミングユニット300Vは、以
下のようにしてVBV遅延を整列させる。初期設定で
は、VBVバッファは空である。第1のフレームがVB
Vバッファに出力されるとき、VBVバッファ中のバイ
トの実行総数(running total)は、フレームバイトカウ
ンタ354によって維持される。この総数がVBVバッ
ファサイズに等しい場合、フレームバイトカウンタ35
4から論理演算装置325に送られる出力信号S317
によって論理演算装置325は、データがPTS−DT
Sリタイミングユニット300Vから出力されないよう
にする。
【0053】MPEG2仕様書の付属書類Cに記述され
るように、二つのモードのVBVバッファ動作が可能で
ある。第1のモード(モードA)では、VBV遅延を1
6進数FFFFに設定する必要がある。第2のモード
(モードB)では、VBV遅延を16進数FFFFに設
定する必要はないが、その代わりに、VBV遅延がVB
Vバッファ中のVBV遅延の真の値を表す必要がある。
【0054】モードAの初期設定中は、バッファが一杯
になったことをフレームバイトカウンタ354が知らせ
てくるまでバイトがVBVバッファに出力される。VB
Vバッファが一杯になると、MPEG2仕様書の付属書
類Cに記述されているようにVBVバッファからデータ
が抽出される。
【0055】モードBの初期設定中は、VBV遅延の計
算値が入力ストリームS4P中のVBV遅延値以上にな
るまでバイトがVBVバッファに出力される。この入力
ストリームは、ストリームに含まれる値を用いてバッフ
ァがオーバーフロー/アンダーフローしないという点か
ら、自己一貫性(self consistent)でMPEG2準拠
のものでなければならない。フレームバイトカウンタ3
54に含まれるVBVバッファ満杯状態の計算値は、V
BVバッファのアンダーフロー/オーバーフローを防止
するために使用される。入力ストリームが何らかの理由
で一定とならない場合は、この計算値を用いてVBVバ
ッファへのデータフローを調整することができる。スト
リーム中のDTS−PTS値は、ストリームに含まれる
VBV遅延値と一致する必要がある。
【0056】あるストリームにモードAで切り替える場
合、“TO”ストリーム中のVBV遅延である16進数
FFFF値は、PTS−DTSリタイミングセクション
で維持される計算値で上書きされる。あるストリームに
モードBで切り替える場合、“TO”ストリーム中のV
BV遅延の16進数値は、必要であれば、計算されたV
BVバッファ値と“TO”ストリームのVBV遅延値と
が整列されるまでPTS−DTSリタイミングセクショ
ン300Vで維持される計算値で上書きされる。これ以
外の場合は、VBV遅延が整列するまで入力ストリーム
データフローが保持される。このプロセスは、リタイミ
ング回路に続くトランスポートストリームエンコーダで
発生する再多重化(re-multiplexing)操作を利用す
る。整列期間中、VBVバッファ内のVBV遅延を増加
させるために、データを最大のビデオビットレートでV
BVバッファに出力してもよい。このプロセスは、バッ
ファが一杯にならない限り、VBV遅延が整列されるま
で継続することができる。
【0057】VBV遅延整列の後、入力FIFO内のフ
レーム数とデコーダバッファ内のフレーム数とが加算さ
れ、その加算結果にフレーム周期が乗算されて、このシ
ステムのエンドツーエンド遅延が生成される。このフレ
ーム数は記憶される(ステップ472)。システムのエ
ンドツーエンド遅延は固定されているので、FIFO2
20の適切な利用は、遠端デコーダにおける入力バッフ
ァの適切な利用に関係している。
【0058】定常状態では、FIFOは、入力データス
トリームS1Vを受信し、FIFO出力ストリームS3
Vを送信する。受信ストリーム(S1V)のデータレー
トが送信ストリーム(S3V)のデータレートを超えて
いると(ステップ474)、FIFOは充填を開始す
る。この充填、すなわちFIFOの過剰利用は、エンド
ツーエンド遅延を増大させる傾向を持つ望ましくないオ
ーバーフロー状態をもたらすことがある。同様に、送信
ストリーム(S3V)のデータレートが受信ストリーム
(S1V)のデータレートを超えていると(ステップ4
76)、FIFOは空になり始める。この空隙化、すな
わちFIFOの過少利用は、エンドツーエンド遅延を減
少させる傾向を持つ望ましくないアンダーフロー状態を
もたらすことがある。過剰利用状態に対処するために、
フレーム削減操作(ステップ482および484)が実
行される。また過少利用状態に対処するために、フレー
ムインサートフラグがセットされ(ステップ480)、
これにより切り替えルーチンにステップ458でフレー
ムを挿入するように命令するようになっていてもよい。
挿入/削除フレームによってもたらされるデータの増減
は、リモート入力STINとその結果として得られるト
ランスポートストリームS11との間のフレーム同期を
維持する。
【0059】FIFOの利用は、以下のようにして監視
および補正される。FIFOメモリが過剰に利用されて
おり、フレームの削減に関する全ての外部基準が満足さ
れている場合、FIFOの出力におけるフレーム(すな
わち、アクセス単位“A”)は、フレームがフレーム削
減基準を満足するまで検査される(ステップ482)。
アクセス単位“A”がこの基準を満足する場合、アクセ
ス単位“A”を送信することなく全てのアクセス単位を
FIFO中で前方向にシフトする(すなわち、アクセス
単位“A”は放棄され、アクセス単位“B”がアクセス
単位“A”になり、以下も同様である)ことによって、
アクセス単位“A”は消去される。更に、影響を受けた
フレームの時間基準が修正される。これがフレーム削減
モード(frame drop mode)である。
【0060】FIFOメモリが過少に利用されており、
フレームの追加に関する全ての外部基準が満足されてい
る場合(ステップ478)、フレームインサートフラグ
がセットされる。この後、切り替えルーチンは、ステッ
プ456においてリピートフレームを挿入する。更に、
影響を受けたフレームの時間基準が修正される。これが
フレーム追加モード(frame add mode)である。FIF
Oメモリの利用率が適切な範囲内にあれば(すなわち、
過剰利用率よりも小さく過少利用率よりも大きい)、フ
レームが追加または削減されることもない。これが通過
モード(pass-through mode)である。
【0061】選択されたストリームが再び切り替えられ
る場合(ステップ486)、非定常状態(すなわち、遷
移状態)が存在し、VBVバッファを再整列させる必要
があり、フレーム追加/削減ルーチンがステップ470
で再び開始する。
【0062】図3は、図1の情報処理システムで使用す
るのに適したビデオPTS−DTSリタイミングシステ
ムのブロック構成図を示している。このPTS−DTS
リタイミングユニット300Vは、PESスイッチャ1
30からPES入力ビットストリームS4Pを受信し、
PES出力ビットストリームS7PをTSE150に送
出する。このTSEは、それの出力においてPCRスタ
ンピング(stamping)を行う。TSEは、同期PCRベ
ース基準(S9)を90KHzのレート(27MHzの
ステーションクロックを300で割ったもの)でフィー
ドバックする。このPTS−DTSリタイミングユニッ
トは、以下のように動作する。
【0063】PCRBシリアル−パラレル変換器312
は、TSE150からのPCRB信号S9を、加算器3
14および減算器322に結合されるパラレル(バイ
ト)ストリームS301に変換する。加算器314は、
パラレルPCRB S301をデコーダ遅延時間S30
4に加算して、調整済PCRB時間基準S302を生成
する。この調整済時間基準は、調整済時間基準レジスタ
316に記憶される。最初のピクチャをビデオバッファ
から取り出して遠端デコーダで復号することができる場
合、この調整済PCRB時間基準S302は、PCRB
カウントの値を表している。
【0064】ターンオン初期設定時には、初期設定コマ
ンドS306によって、セレクタ318が、記憶時間基
準S303を新しいタイムスタンプレジスタ320内に
転送する。PESヘッダが入力ビットストリームS4P
中で復号されるたびに、フレームレート(FR)レジス
タ308に記憶されたオフセット数が加算器310によ
って新しいタイムスタンプS308に加算される。この
加算の結果は、セレクタ318を介して新しいタイムス
タンプレジスタ320に戻される。
【0065】加算器310のオフセット数は、具体的に
は、一般的なフレームレートの1フレーム時間に含まれ
る90KHzのサイクルの数である。加算器310のオ
フセット数は表1(第3列)に示されており、以下のよ
うにして自動的に設定される。PES、シーケンス、ピ
クチャ、およびVBV遅延デコーダ302は、入力デー
タストリームS4P中のシーケンス開始コードを検出
し、シーケンス検出信号S312を生成する。フレーム
レートデコーダ304は、4ビットのフレームレートコ
ードS310(表1の第1列)を抽出する。フレームレ
ートコードS310の2進値は、ATSC仕様書に記載
されるように、表1の第2列に列挙されたフレームレー
トに対応する。ルックアップテーブル(LUT)306
は、オフセット数S311(表1の第3列)をフレーム
レートレジスタ308に提供する。シーケンス検出信号
S312に応答して、フレームレートレジスタ308
は、記憶オフセット数を加算器310に提供する。PE
Sストリームは一連の混合フレームレートを複数有する
ことがあるので、本発明のPTS−DTSリタイミング
ユニットは、全てのタイムスタンプ更新値を自動的に計
算することに注意すべきである。
【0066】
【表1】 次のステップでは、新しいPTSおよびDTSを計算す
る。DTS復号ユニット328は、入力データストリー
ムS4P中にDTSが存在すれば、そのDTSを復号し
てDTS信号S321を生成する。DTS復号ユニット
328は、指示フラグ(indication flag)S323も
提供する。この指示フラグは、入力データストリームS
4PがDTSを含む場合にはハイ(2進数の1)であ
り、PTSしか存在しない場合(すなわち、B−フレー
ム動作)にはロー(2進数の0)である。このDTS指
示信号S323は、ANDユニット334およびDTS
更新ユニット340に結合される。新しいDTS S3
27は、DTSフラグS323が入力データストリーム
S4P中にDTSが存在することを知らせる場合にだ
け、新しいタイムスタンプレジスタ320から得られ
る。
【0067】PTS復号ユニット326は、入力データ
ストリームS4P中のPTSを復号し、PTS信号S3
20を生成する。現在のPTS S320とDTS S3
21との間の差分S322は、減算器332によってA
NDユニット334に提供される。新しいPTS S3
26は、減算器332の出力数値S322を新しいタイ
ムスタンプレジスタ320に記憶された数値S308に
加算することによって計算される。この演算は、加算器
336で行われる。DTSが存在しない(すなわち、D
TSフラグ=0)場合は、ANDユニット334から加
算器336への入力S324は(ANDユニット334
の動作に起因して)ゼロであり、新しいPTS S32
6は、新しいタイムスタンプレジスタ320に記憶され
た数値S308である。
【0068】新しいPTS S326および新しいDT
S S327は、対応する更新レジスタ338、340
に記憶される。多重ユニット344は、古い値の代わり
に新しいPTS S326および新しいDTS S327
の値を出力データストリームS7Pに挿入する。コント
ローラ343は、出力されるデータストリームS7P中
の適切なビットの位置を追跡し、多重ユニット344が
更新値をストリーム中の正しい位置に挿入するようにす
る。出力データストリームS7Pは、通常の方法でトラ
ンスポートストリームエンコーダ150に進む。
【0069】また、PTS−DTSリタイミングユニッ
ト300Vは、以下で説明するように、遠端デコーダ
(例えば、セットトップ受信機)におけるバッファの振
る舞いや、ビットストリームソース(例えば、フレーム
シンクロナイザ200やPESソース140)における
バッファの振る舞いやビットストリーム生成の振る舞い
を考慮することによって、システム中のエンドツーエン
ド遅延を管理する能力を提供する。
【0070】PES、シーケンス、ピクチャ、およびV
BV遅延デコーダ302は、入力データストリームS4
P中のPESパケットの開始を検出し、新しいタイムス
タンプレジスタ320に結合されるPES検出信号S3
13を生成する。各PESインターバルでは、新しいタ
イムスタンプレジスタ320が、一般的なフレームレー
トによって決定される固定値S318で更新される。新
しいタイムスタンプレジスタ320の更新された内容S
308は、比較器323によって、調整済時間基準レジ
スタ316の内容S303と比較される。比較の結果
(すなわち、小さい、大きい、又は等しい)は、PES
データが処理されるレート(すなわち、遅すぎる、速す
ぎる、又はちょうど良い)を表す。PESストリームS
4Pが例えばPESソース140によって余りに遅いレ
ートで発行されている場合、PESソース140の出力
バッファ(図示せず)を最大のレートで読み出し、ある
いは取り出すことができる。この比較が処理の進行が速
すぎることを表す場合、エンコーダまたはサーバにおけ
るバッファの読出しを停止または抑制することができ
る。バッファフロー制御信号S12は、フレームシンク
ロナイザ200およびPESソース140に、それぞれ
の出力ストリームのビットレートを制御するために結合
されている。
【0071】更に、通常は、TSE150への入力にバ
ッファ(図示せず)が存在する。TSEバッファが速す
ぎるレートでデータを受信している場合、TSEは、R
ECEIVER NOT READY信号S8をPTS−
DTSリタイミングユニット300に供給してもよい。
このRECEIVER NOT READY信号S8は、
比較器323の出力において論理演算装置325に結合
される。これに応じて、論理演算装置は、エンコーダ2
10、220のビットレート発生を停止または抑制する
バッファフロー制御信号S12を生成する。
【0072】図3のPTS−DTSリタイミングユニッ
トは、VBV遅延数S316を計算し、それを(マルチ
プレクサ344を介して)ピクチャヘッダ内の16ビッ
トフィールドに挿入することができる。PCRBシリア
ル−パラレル変換器312の出力(すなわち、現在の時
刻)は、減算器322において新しいタイムスタンプレ
ジスタ320の内容から減算される。PES、シーケン
ス、ピクチャおよびVBV遅延デコーダ302は、入力
データストリームS4P中のピクチャヘッダを検出し、
VBV遅延更新レジスタ324に結合される画像検出信
号S314を生成する。画像検出信号S314に応答し
て、VBV遅延更新レジスタ324は、減算器322の
出力S315を記憶する。記憶されたこの数値S316
は、ピクチャが遠端デコーダバッファ内に存在すること
になる時間、すなわちVBV遅延パラメータを90KH
zサイクルで表す。このように、本発明は、VBV遅延
フィールドが16進数FFFFに設定されるATSCモ
ードを用いることなく、ATSCに準拠したビットスト
リームを生成する。
【0073】また、ピクチャヘッダ中の時間基準は、A
TSC規格によって指定されるように、ピクチャ群(G
OP)中のピクチャの適切な表示順序を表すように調整
する必要がある。入力データストリームS4Pが、GO
Pヘッダが後に続くシーケンスヘッダに切り替わると、
時間基準は現在選択されているストリームにおいてゼロ
から開始するように適切に設定され、選択されたストリ
ームが別のストリームに切り替わるときに調整が必要と
ならないようになっている。しかしながら、GOPヘッ
ダがシーケンスヘッダの後に続かない場合、新しい時間
基準値は、新しく選択されたストリーム中で適切に更新
されなければならない。この新しい時間基準は、以前に
選択されていたストリーム(すなわち、“FROM”ス
トリーム)を監視することによって決定することができ
る。後に続く新しい時間基準値は、元の値の関係をフレ
ーム単位で監視し、ストリームが切り替えられたときの
時間基準値を指す値で新しい時間基準値を更新すること
によって決定することができる。この手法により、ピク
チャが送信順に並んでいる場合であっても、時間基準の
表示順序が維持されるという結果が得られる。
【0074】デコーダへのビデオストリームのフローを
適切に制御するためには、VBVバッファの満杯状態も
監視しなければならない。初期設定時(すなわち、初期
設定コマンドS306がアサートされたとき)には、P
TS−DTSリタイミングユニット300Vから出力さ
れるバイトの数がフレーム単位で記憶される。現在の時
刻、各フレームの復号時間、フレームごとのバイト数、
およびVBVバッファサイズを用いてVBVバッファの
満杯状態が判断される。
【0075】初期設定時には、VBVバッファは空であ
る。第1のフレームがVBVバッファに出力されると、
VBVバッファ内のバイトの実行総数がフレームバイト
カウンタ354によって維持される。この総数がVBV
バッファサイズに等しければ、フレームバイトカウンタ
354から論理ユニット325への出力信号S317に
応じて、論理ユニット325は、PTS−DTSリタイ
ミングユニットからデータが出力されないようにする。
VBVバッファが満杯でなければ、データは、計算され
たVBVバッファ遅延が受信ストリーム(S4P)中の
VBV遅延以上となるまで出力される。
【0076】定常状態の動作では、第1の期間のエンド
ツーエンド遅延が生じた後に、現在の時刻が復号タイム
スタンプと一致すると、データフレームがVBVバッフ
ァから取り出される。そのフレーム中のバイト数は、P
TS−DTSリタイミングユニット300Vのフレーム
バイトカウンタで維持される実行総数から減算される。
VBVバッファが満杯になっている場合は、ここで、よ
り多くのデータを送信するために空間がつくられる。全
てのエンドツーエンド遅延データがVBVバッファ内に
存在していた場合は、復号のときにVBVバッファから
出るフレームが次のフレームの送出を開始する。
【0077】上述のVBV遅延処理機能は、新しいVB
V遅延数を計算し、入力ストリームS4P中に存在する
VBV遅延数を上書きすることによって動作する。この
方法は、フレーム単位でVBV遅延数を制御するもので
あり、通常は、出力ストリームS7PのMPEG準拠を
確保するのに極めて適している。より精密な制御を提供
するために第2のVBV遅延処理機能(オプション)を
導入し、これによって、現在選択されているストリーム
と次に選択されるストリームとの間でより滑らかに遷移
が行われるようにしてもよい。
【0078】オプションの第2のVBV遅延処理機能
は、次のようにしてPTS−DTSリタイミングユニッ
ト300に組み込むことができる。PES、シーケン
ス、ピクチャー、およびVBV遅延デコーダ302は、
入力データストリームS4PのPESピクチャヘッダ内
に含まれるVBV遅延パラメータを検出する。この検出
されたVBV遅延S329は、第2の比較器327に結
合され、減算器322によって生成された更新済VBV
遅延数S315と比較される。この比較の結果S330
は、二つのVBV遅延の相対的な均等性を表しており、
フレーム同期に使用するために出力され、論理演算装置
325に結合される。論理演算装置325では、デコー
ダバッファ利用率が更に計算される。この追加の計算
は、二つのVBV遅延の差分の大きさに注目するもので
あり、それに応じて、比較器323の出力とともに動作
しビデオ/オーディオエンコーダ(生のビットストリー
ムの場合)やサーバ(記憶されたビットストリームの場
合)におけるデータ生成を調整するバッファフロー制御
信号S12を生成する。
【0079】入力ストリーム中に存在するVBV遅延数
は、デコーダにおけるバッファによって制御されるよう
なシステムのエンドツーエンド遅延を維持するために、
エンコーダ(図示せず)によって最初に計算されてい
る。減算器322によって生成されているVBV遅延と
現在選択されているストリームS4Pで使用されるVB
V遅延との変位を測定することによって、論理演算装置
325は、バッファフロー制御信号S12をより正確に
調整することができる。バッファフロー制御信号S12
は、上述したように、ビットストリームソースのデータ
レートを加速または減速するために使用してもよい。
【0080】ここまで、情報処理システム内のMPEG
情報ストリームを処理するビデオフレームシンクロナイ
ザに関連して本発明を説明してきた。当業者ではあれば
分かるように、本発明は、一つ以上の情報ストリームを
受信して処理する汎用コンピュータをプログラムするこ
とによって実施することもできる。このような汎用コン
ピュータは、本発明に従ってプログラムされると特定用
途コンピュータとなる。例えば、図2のFIFO220
は、メモリポインタ等を用いてアクセスされるアドレス
指定可能記憶装置(addressable memory)であってもよ
い。フレームは、一つ以上のアクセス単位を表す一つ以
上の記憶場所をスキップする(すなわち、飛ばす)こと
によって削減してもよい。また、フレームは、一つ以上
のアクセス単位を表す追加の記憶場所をポイントするこ
とによって追加してもよい。これらの記憶場所は、各記
憶場所またはフレームが次の場所またはフレームへのポ
インタを含んでいる、いわゆる「連結リスト(linked l
ist)」として構成されていてもよい。ポインタを修正
することによって、記憶場所またはフレームを出力スト
リーム中で選択的にスキップしたり含めたりしてもよ
い。
【0081】更に、本明細書で述べた本発明の実施形態
は、例えばセグメント化されたデータを含む非同期圧縮
情報ストリームがタイミング基準に同期されていなけれ
ばならないような他の圧縮データシステムで使用するた
めに修正を加えてもよい。このような圧縮データシステ
ムには、有線または無線のテレコムシステムや他の情報
処理システムが含まれていてもよい。
【0082】図2のフレームシンクロナイザ200およ
び上述の方法は、フレームレートの変換用途で有用であ
る。すなわち、このフレーム追加/削減方法によって、
図3のフレームシンクロナイザおよびPTS−DTSリ
タイミングシステム300は、効率の良いフレームレー
ト変換器になることができる。例えば、60フレーム/
秒(fps)の順次走査ストリームを59.94fps
の順次走査ストリームに変換することができ、またその
逆の変換も可能である。同様に、30fpsインタレー
ス走査ストリームを29.97fpsインタレース走査
ストリームに変換することができ、またその逆の変換も
可能である。60fps順次走査入力ストリームを5
9.94fps順次走査出力ストリームに変換する場
合、あるいは30fpsインタレース走査入力ストリー
ムを29.97fpsインタレース出力ストリームに変
換する場合、出力ストリームのシーケンスヘッダ中のフ
レームレートコードを適切に変更しなければならない。
これは、PTSやDTSなど、他の関係を有する適切な
タイムスタンピングを保証するものである。出力フレー
ムレートは入力フレームレートよりも小さいので、FI
FO中のフレームの数は、あらかじめ確立されたフレー
ム削減ルールおよびフレーム時間再順序づけ(temporal
re-ordering)ルールに従ってフレームを削減しなけれ
ばならない程度まで増加する。
【0083】59.94fps順次走査入力ストリーム
を60fps順次走査出力ストリームに変換する場合、
あるいは29.94fpsインタレース走査入力ストリ
ームを30fpsインタレース出力ストリームに変換す
る場合には、出力ストリームのシーケンスヘッダ中のフ
レームレートコードを前のように適切に変更しなければ
ならない。出力フレームレートは入力フレームレートよ
りも大きいので、FIFO中のフレームの数は、あらか
じめ確立されたフレーム繰返しルールおよびフレーム時
間再順序づけルールを用いてフレームを追加しなければ
ならない程度まで減少する。
【0084】いま述べたように、このフレームレートの
変換は、連続入力ストリームを類似する走査型の出力ス
トリームに変換するために使用することができる。した
がって、出入りの程度に関連する上述のルールに従い、
上述の追加/削減方法を使用することによって、フレー
ムシンクロナイザ200を“from”ストリームと
“to”ストリームとの間で切り替えることができる。
類似していない走査型の場合には、出力ストリームは、
選択された入力ストリームの走査型に従わなければなら
ない。また、“to”ストリームおよび“from”ス
トリームが類似する走査型の場合は全て、“to”スト
リームは元のフレームレートのままであってもよく、あ
るいは“from”ストリームのフレームレートに変更
してもよい(すなわち、フレームレート変換器およびス
イッチャの双方として動作する)。
【0085】本明細書では本発明の開示内容を含む種々
の実施形態を詳細に示して説明してきたが、当業者は、
これらの開示内容を依然として含む他の多くの変形例を
容易に考案することができる。
【図面の簡単な説明】
【図1】図1は、本発明に係るフレームシンクロナイザ
を含んだ情報処理システムのブロック図である。
【図2】図1の情報処理システムで使用するのに適した
本発明に係るフレームシンクロナイザのブロック図であ
る。
【図3】図1の情報処理システムで使用するのに適した
ビデオPTS−DTSリタイミングシステムのブロック
図である。
【図4】図2のフレームシンクロナイザを理解する際に
便利なフローチャートである。
【符号の説明】
100…情報処理システム、200…ビデオフレームシ
ンクロナイザ、210…クロック抽出器、220…FI
FO、230…コントローラ、240…フレーム追加/
削減ユニット。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン プリケット ベルツ アメリカ合衆国, ニュー ジャージー 州, ウィリングボロ, クリアウォータ ー ドライヴ 63 (72)発明者 アルフォンス アンソニー アカンポラ アメリカ合衆国, ニュー ヨーク州, スタトゥン アイランド, ドーソン サ ークル 56

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 一連の情報フレームを表す複数の情報セ
    グメントを含んだ情報ストリームを処理する方法であっ
    て、 前記情報ストリームを第1の記憶装置に第1のフローレ
    ートで記憶するステップと、 記憶された前記情報ストリームを前記第1記憶装置から
    第2のフローレートで検索するステップと、 前記第1記憶装置の利用率の指標を監視するステップ
    と、 前記第1記憶装置の利用率が第1のしきいレベルよりも
    大きいことを示す前記指標に応答して、少なくとも一つ
    の前記情報フレームを表す情報セグメントを前記情報ス
    トリームから選択的に削除するステップと、を備える方
    法。
  2. 【請求項2】 前記情報ストリームのバッファ要求指標
    を第2の情報ストリームのバッファ要求指標と比較する
    ステップと、 これらのバッファ要求指標が実質的に等しい場合に前記
    検索情報ストリームを送信するステップと、を更に備え
    る請求項1記載の方法。
  3. 【請求項3】 前記送信された情報ストリームおよび前
    記第2情報ストリームの一方を受け取る第2の記憶装置
    の利用率の指標を監視するステップと、 前記第2記憶装置が前記送信された情報ストリームを受
    け取る場合に、前記第2記憶装置の利用率が第3のしき
    いレベルよりも大きいことを示す前記第2指標に応答し
    て、少なくとも一つの前記情報フレームを表す情報セグ
    メントを前記情報ストリームから選択的に削除し、前記
    第2記憶装置の利用率が第4のしきいレベルよりも小さ
    いことを示す前記第2の指標に応答して、少なくとも一
    つの前記情報フレームを表す情報セグメントを前記情報
    ストリームに選択的に追加するステップと、を更に備え
    る請求項2記載の方法。
  4. 【請求項4】 前記利用率の指標は、前記第1のフロー
    レートと第2のフローレートとの差分を示している、請
    求項1記載の方法。
  5. 【請求項5】 前記処理された情報ストリームを受け取
    る前記第2記憶装置の利用率の指標を監視するステップ
    と、 前記第2記憶装置の利用率が第3のしきいレベルよりも
    大きいことを示す前記第2指標に応答して、少なくとも
    一つの前記情報フレームを表す情報セグメントを前記情
    報ストリームから選択的に削除するステップと、 前記第2記憶装置の利用率が第4のしきいレベルよりも
    小さいことを示す前記第2指標に応答して、少なくとも
    一つの前記情報フレームを表す情報セグメントを前記情
    報ストリームに選択的に追加するステップと、を更に備
    える請求項1記載の方法。
  6. 【請求項6】 前記第2記憶装置から第3のフローレー
    トで情報が検索され、 前記利用率の第2指標が、前記第2フローレートと前記
    第3フローレートとの差分を示している、請求項3記載
    の方法。
  7. 【請求項7】 前記情報フレームがMPEGビデオアク
    セス単位を表している請求項1記載の方法。
  8. 【請求項8】 前記削除される情報フレームがB−フレ
    ームを備えている請求項7記載の方法。
  9. 【請求項9】 一連の情報フレームを表す複数の情報セ
    グメントを備えた情報ストリームを処理する方法であっ
    て、 前記情報ストリームを受信するステップと、 選択動作モードにおいて、この受信情報ストリームを出
    力情報ストリームとして出力に結合し、前記出力情報ス
    トリームのフローレートの指標を受け取り、前記フロー
    レートが第1の所定しきいレベルよりも大きいことを示
    す前記指標に応答して、少なくとも一つの前記情報フレ
    ームを表す情報セグメントを前記情報ストリームから選
    択的に削除し、前記フローレートが第2の所定しきいレ
    ベルよりも小さいことを示す前記指標に応答して、少な
    くとも一つの前記情報フレームを表す情報セグメントを
    前記情報ストリームに選択的に追加するステップと、を
    備える方法。
  10. 【請求項10】 非選択動作モードを更に備える請求項
    9記載の方法であって、前記非選択動作モードは、 前記受信情報ストリームの少なくとも一部分を記憶する
    ステップと、 前記選択動作モードに入るときに第1の所定の型の情報
    フレームが前記出力に結合される前記第1情報フレーム
    となるように、前記記憶された情報ストリームを整列さ
    せるステップと、を備えている方法。
  11. 【請求項11】 前記整列ステップは、前記選択動作モ
    ードに入るときに前記第1の所定の型または第2の所定
    の型の情報フレームが前記出力に結合される第2情報フ
    レームとなるように、前記記憶された情報ストリームを
    整列させるステップを更に備えている、請求項10記載
    の方法。
  12. 【請求項12】 前記非選択動作モードは、 前記記憶された情報ストリームに含まれるバッファ利用
    率パラメータを、現在選択されている情報ストリームに
    含まれるバッファ利用率パラメータと比較するステップ
    と、 前記バッファ利用率パラメータが実質的に等しい場合に
    前記選択動作モードに入るステップと、を更に備えてい
    る、請求項11記載の方法。
  13. 【請求項13】 一連の情報フレームを表す圧縮情報ス
    トリームを処理して出力情報ストリームを生成する装置
    であって、 前記圧縮情報ストリームおよびバッファ利用率の指標を
    受け取って制御信号を生成するコントローラと、 前記コントローラに結合され、前記圧縮情報ストリーム
    を受け取るフレームシーケンス調整器であって、前記制
    御信号に応答して前記圧縮情報ストリームから情報フレ
    ームを追加および削除し、前記出力情報ストリームを生
    成するフレームシーケンス調整器と、を備え、 前記コントローラは、前記バッファ利用率が第1の所定
    しきいレベルよりも大きいことを示す前記指標に応答し
    て、前記フレームシーケンス調整器に情報フレームを削
    除させ、 前記コントローラは、前記バッファ利用率が第2の所定
    しきいレベルよりも小さいことを示す前記指標に応答し
    て、前記フレームシーケンス調整器に情報フレームを追
    加させるようになっている装置。
  14. 【請求項14】 前記バッファ利用率の指標は、前記出
    力情報ストリームのフローレートの指標を含んでいる、
    請求項13記載の装置。
  15. 【請求項15】 前記フレームシーケンス調整器は、前
    記圧縮情報ストリームの少なくとも一部分を記憶する記
    憶手段を更に備えており、 前記バッファ利用率の指標は、前記出力情報ストリーム
    のフローレートの指標を含んでいる、請求項13記載の
    装置。
  16. 【請求項16】 前記フレームシーケンス調整器は、前
    記記憶手段から削除されるべき情報フレームを取り除く
    ことによってこのフレームを削除し、 前記フレームシーケンス調整器は、情報フレームを繰り
    返すことによって情報フレームを追加する、請求項15
    記載の装置。
  17. 【請求項17】 前記バッファ利用率の指標は、前記フ
    レームシーケンス調整器の前記記憶手段の利用率の指標
    を含んでおり、 前記コントローラは、前記記憶手段の利用率が第3の所
    定しきいレベルよりも大きいことを示す前記指標に応答
    して、前記フレームシーケンス調整器に情報フレームを
    削除させ、 前記コントローラは、前記バッファ利用率が第4の所定
    しきいレベルよりも小さいことを示す前記指標に応答し
    て、前記フレームシーケンス調整器に情報フレームを追
    加させる、請求項15記載の装置。
  18. 【請求項18】 前記圧縮情報ストリームは、バッファ
    利用率パラメータを含んでおり、 前記コントローラは、非選択動作モードにおいて、前記
    圧縮情報ストリームに含まれる前記バッファ利用率パラ
    メータを現在選択されている情報ストリームに含まれる
    バッファ利用率パラメータと比較し、 前記バッファ利用率パラメータが実質的に等しい場合、
    前記コントローラは選択動作モードに入るようになって
    いる、請求項13記載の装置。
  19. 【請求項19】 選択動作モードに入るときに第1の所
    定の型の情報フレームが出力に結合されるように、前記
    コントローラは、非選択動作モードで前記フレームシー
    ケンス調整器に前記圧縮情報ストリームを記憶させる請
    求項13又は18記載の装置。
JP14767898A 1997-05-28 1998-05-28 情報ストリームフレーム同期のための方法および装置 Expired - Lifetime JP4157617B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/864,325 US6061399A (en) 1997-05-28 1997-05-28 Method and apparatus for information stream frame synchronization
US08/864325 1997-05-28

Publications (2)

Publication Number Publication Date
JPH1174880A true JPH1174880A (ja) 1999-03-16
JP4157617B2 JP4157617B2 (ja) 2008-10-01

Family

ID=25343023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14767898A Expired - Lifetime JP4157617B2 (ja) 1997-05-28 1998-05-28 情報ストリームフレーム同期のための方法および装置

Country Status (6)

Country Link
US (1) US6061399A (ja)
EP (1) EP0881840A3 (ja)
JP (1) JP4157617B2 (ja)
KR (1) KR100538135B1 (ja)
CA (1) CA2234328C (ja)
TW (1) TW373411B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007312007A (ja) * 2006-05-17 2007-11-29 Sony Corp 動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法
US7729358B2 (en) 1999-06-30 2010-06-01 Sony Corporation Transcoding apparatus, method and medium

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US9286294B2 (en) 1992-12-09 2016-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content suggestion engine
US20040071211A1 (en) * 1997-04-07 2004-04-15 Kinya Washino Video production system with mixed frame removal
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
US6339842B1 (en) 1998-06-10 2002-01-15 Dennis Sunga Fernandez Digital television with subscriber conference overlay
US7355621B1 (en) * 1998-06-10 2008-04-08 Fernandez Dennis S Digital television with subscriber conference overlay
US6754905B2 (en) 1998-07-23 2004-06-22 Diva Systems Corporation Data structure and methods for providing an interactive program guide
EP1097587A1 (en) 1998-07-23 2001-05-09 Diva Systems Corporation Interactive user interface
US6359911B1 (en) * 1998-12-04 2002-03-19 Koninklijke Philips Electronics N.V. (Kpenv) MPEG-2 transport demultiplexor architecture with non-time-critical post-processing of packet information
JP3327240B2 (ja) * 1999-02-10 2002-09-24 日本電気株式会社 画像・音声符号化装置
JP3324556B2 (ja) * 1999-04-13 2002-09-17 日本電気株式会社 映像記録方式
US6904610B1 (en) 1999-04-15 2005-06-07 Sedna Patent Services, Llc Server-centric customized interactive program guide in an interactive television environment
US6754271B1 (en) 1999-04-15 2004-06-22 Diva Systems Corporation Temporal slice persistence method and apparatus for delivery of interactive program guide
US7096487B1 (en) 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
GB2350980B (en) * 1999-06-08 2003-08-27 Sgs Thomson Microelectronics Device and method for processing a stream of data
US6330286B1 (en) * 1999-06-09 2001-12-11 Sarnoff Corporation Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus
US6778499B1 (en) * 1999-06-18 2004-08-17 Nortel Networks Limited Method and apparatus for enabling the smooth transmission of bursty data in a wireless communications system
CA2388606C (en) * 1999-10-27 2009-12-29 Diva Systems Corporation Picture-in-picture and multiple video streams using slice-based encoding
US6792047B1 (en) 2000-01-04 2004-09-14 Emc Corporation Real time processing and streaming of spliced encoded MPEG video and associated audio
US7096481B1 (en) 2000-01-04 2006-08-22 Emc Corporation Preparation of metadata for splicing of encoded MPEG video and audio
JP2001230821A (ja) * 2000-02-16 2001-08-24 Sony Corp データ中継装置および方法、並びに提供媒体
JP3911380B2 (ja) * 2000-03-31 2007-05-09 松下電器産業株式会社 転送レート制御装置
JP2001326940A (ja) * 2000-05-16 2001-11-22 Matsushita Electric Ind Co Ltd 符号化動画像ビットストリーム処理方法、及び装置、並びに符号化動画像ビットストリーム処理プログラムを格納した記録媒体
JP3896768B2 (ja) * 2000-05-31 2007-03-22 日本電気株式会社 Mpegビデオエレメンタリストリーム抽出装置及びそれに用いるエレメンタリストリーム抽出方法
US6896159B2 (en) * 2000-06-08 2005-05-24 Beverage Works, Inc. Beverage dispensing apparatus having fluid director
US7754025B1 (en) 2000-06-08 2010-07-13 Beverage Works, Inc. Dishwasher having a door supply housing which holds dish washing supply for multiple wash cycles
US7004355B1 (en) * 2000-06-08 2006-02-28 Beverage Works, Inc. Beverage dispensing apparatus having drink supply canister holder
US6751525B1 (en) 2000-06-08 2004-06-15 Beverage Works, Inc. Beverage distribution and dispensing system and method
US6799085B1 (en) * 2000-06-08 2004-09-28 Beverage Works, Inc. Appliance supply distribution, dispensing and use system method
US7083071B1 (en) 2000-06-08 2006-08-01 Beverage Works, Inc. Drink supply canister for beverage dispensing apparatus
JP3569205B2 (ja) * 2000-06-09 2004-09-22 シャープ株式会社 記録再生装置
US6871006B1 (en) 2000-06-30 2005-03-22 Emc Corporation Processing of MPEG encoded video for trick mode operation
US6940873B2 (en) * 2000-12-27 2005-09-06 Keen Personal Technologies, Inc. Data stream control system for associating counter values with stored selected data packets from an incoming data transport stream to preserve interpacket time interval information
US7023924B1 (en) 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
US6937770B1 (en) 2000-12-28 2005-08-30 Emc Corporation Adaptive bit rate control for rate reduction of MPEG coded video
KR100470025B1 (ko) * 2001-06-15 2005-02-04 엘지전자 주식회사 디지털 데이터 스트림 기록장치 및 방법과, 그에 따른기록매체
US7412004B2 (en) * 2001-06-29 2008-08-12 Agere Systems Inc. Method and apparatus for controlling buffer overflow in a communication system
US7908628B2 (en) 2001-08-03 2011-03-15 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator content coding and formatting
US7793326B2 (en) 2001-08-03 2010-09-07 Comcast Ip Holdings I, Llc Video and digital multimedia aggregator
US6931071B2 (en) * 2001-08-31 2005-08-16 Stmicroelectronics, Inc. Apparatus and method for synchronizing video and audio MPEG streams in a video playback device
US6980594B2 (en) 2001-09-11 2005-12-27 Emc Corporation Generation of MPEG slow motion playout
US6968091B2 (en) * 2001-09-18 2005-11-22 Emc Corporation Insertion of noise for reduction in the number of bits for variable-length coding of (run, level) pairs
US6959116B2 (en) * 2001-09-18 2005-10-25 Emc Corporation Largest magnitude indices selection for (run, level) encoding of a block coded picture
US20030066094A1 (en) * 2001-09-29 2003-04-03 Koninklijke Philips Electronics N.V. Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
US7120168B2 (en) * 2001-11-20 2006-10-10 Sony Corporation System and method for effectively performing an audio/video synchronization procedure
US9948977B2 (en) * 2003-01-09 2018-04-17 Avago Technologies General Ip (Singapore) Pte. Ltd. System, method, and apparatus for determining presentation time for picture without presentation time stamp
US6850284B2 (en) * 2002-08-27 2005-02-01 Motorola, Inc. Method and apparatus for decoding audio and video information
GB2396502B (en) * 2002-12-20 2006-03-15 Tandberg Television Asa Frame synchronisation of compressed video signals
US20040128694A1 (en) * 2002-12-30 2004-07-01 International Business Machines Corporation Fast selection of media streams
US20040146211A1 (en) * 2003-01-29 2004-07-29 Knapp Verna E. Encoder and method for encoding
JP2004253099A (ja) 2003-02-21 2004-09-09 Toshiba Corp シンクフレーム構造、情報記憶媒体、情報記録方法、情報再生方法、および情報再生装置
JP2004320081A (ja) 2003-04-10 2004-11-11 Sony Corp 映像信号記録装置及び方法、並びに、映像信号出力装置及び方法
EP1511204A3 (en) * 2003-08-28 2005-10-05 Sony Deutschland GmbH Method for synchronizing packet based digital data streams
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US20050104873A1 (en) * 2003-11-14 2005-05-19 Mallinath Hatti Last frame repeat
KR20050052717A (ko) * 2003-12-01 2005-06-07 엘지전자 주식회사 오디오 원본 보존 트랜스코딩 시스템 및 방법
US20050226327A1 (en) * 2004-03-30 2005-10-13 Kim Seong-Bong MPEG coding method, moving picture transmitting system and method using the same
US7471337B2 (en) * 2004-06-09 2008-12-30 Lsi Corporation Method of audio-video synchronization
US20060062388A1 (en) * 2004-09-17 2006-03-23 Gaurav Aggarwal System and method for command for fast I-picture rewind
JP2006174363A (ja) * 2004-12-20 2006-06-29 Nec Electronics Corp フレームシンクロナイザ、光ディスク装置、情報記録/再生装置及び信号同期方法。
WO2006081454A2 (en) 2005-01-26 2006-08-03 Internet Broadcasting Corporation Layered multicast and fair bandwidth allocation and packet prioritization
EP1859625A1 (en) * 2005-03-07 2007-11-28 Koninklijke Philips Electronics N.V. Buffering of video stream data
US8233540B2 (en) * 2005-03-10 2012-07-31 Qualcomm Incorporated Method of time base reconstruction for discrete time labeled video
US7716551B2 (en) * 2005-12-07 2010-05-11 Microsoft Corporation Feedback and frame synchronization between media encoders and decoders
US20130002950A1 (en) * 2006-09-22 2013-01-03 Ken Thompson Methods and Systems for Transport Stream Time Base Correction
US7796625B2 (en) * 2007-01-10 2010-09-14 International Business Machines Corporation Recovery flushing for a network packet dispatcher
US20080253451A1 (en) * 2007-04-13 2008-10-16 Media Tek Inc. Methods for real-time monitoring time reference in decoding systems
US8752092B2 (en) * 2008-06-27 2014-06-10 General Instrument Corporation Method and apparatus for providing low resolution images in a broadcast system
JP2011114490A (ja) * 2009-11-25 2011-06-09 Toshiba Corp 放送素材送出装置及びデータ送出方法
JP5489675B2 (ja) * 2009-11-27 2014-05-14 三菱電機株式会社 映像情報再生方法及びシステム、並びに映像情報コンテンツ
JP2012010263A (ja) * 2010-06-28 2012-01-12 Sony Corp 符号化装置、撮像装置、符号化伝送システムおよび符号化方法
US9001886B2 (en) * 2010-11-22 2015-04-07 Cisco Technology, Inc. Dynamic time synchronization
KR101147793B1 (ko) * 2010-12-29 2012-05-18 전자부품연구원 방송 송신 장치용 다중화기 및 그 다중화기의 rs 프레임 생성 방법
US8643696B2 (en) * 2011-01-19 2014-02-04 Broadcom Corporation Synchronizing media streams using time signal(s) from an independent time source
US9154813B2 (en) 2011-06-09 2015-10-06 Comcast Cable Communications, Llc Multiple video content in a composite video stream
US9055632B2 (en) * 2012-08-10 2015-06-09 Infineon Technologies Ag Bit packer for control signals
KR20140039920A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상 데이터 처리 방법과 장치 및 이를 포함하는 단말기
US20170244894A1 (en) * 2016-02-22 2017-08-24 Seastar Labs, Inc. Method and Apparatus for Managing Latency of Remote Video Production
WO2021113205A1 (en) * 2019-12-01 2021-06-10 Arris Enterprises Llc Audio visual time base correction in adaptive bit rate applications
US11461535B2 (en) 2020-05-27 2022-10-04 Bank Of America Corporation Video buffering for interactive videos using a markup language
US11237708B2 (en) 2020-05-27 2022-02-01 Bank Of America Corporation Video previews for interactive videos using a markup language
CN114567796A (zh) * 2022-03-04 2022-05-31 北京字节跳动网络技术有限公司 一种丢帧方法、装置、服务器和介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164828A (en) * 1990-02-26 1992-11-17 Sony Corporation Video signal transmission and method and apparatus for coding video signal used in this
SE9103380L (sv) * 1991-11-15 1993-03-08 Televerket Foerfarande och apparat foer bildkodning med oeverhoppning av bilder och/eller komponenter
JP2658832B2 (ja) * 1993-11-12 1997-09-30 日本電気株式会社 動画像復号制御装置
KR0148146B1 (ko) * 1994-02-18 1998-09-15 김광호 중요영상데이타의 손실방지장치
US5720037A (en) * 1994-06-16 1998-02-17 Lucent Technologies Inc. Multimedia on-demand server
KR100376904B1 (ko) * 1994-11-18 2003-06-02 산요 덴키 가부시키가이샤 인코드된비디오데이타를제어할수있는비디오디코딩장치
US5754241A (en) * 1994-11-18 1998-05-19 Sanyo Electric Co., Ltd Video decoder capable of controlling encoded video data
TW322238U (en) * 1995-06-06 1997-12-01 Nippon Steel Corp A moving picture signal decoder
GB9607162D0 (en) * 1996-04-04 1996-06-12 Digi Media Vision Ltd Improvements in or relating to the transmission of data
KR100215822B1 (ko) * 1996-12-27 1999-08-16 구자홍 비트스트림 오버플로우를 방지하는 영상디코딩방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7729358B2 (en) 1999-06-30 2010-06-01 Sony Corporation Transcoding apparatus, method and medium
US7787473B2 (en) 1999-06-30 2010-08-31 Sony Corporation Transcoding apparatus, method and medium
JP2007312007A (ja) * 2006-05-17 2007-11-29 Sony Corp 動画像データ処理装置、ストリーム生成装置、撮像装置、および動画像データ処理方法
US8073313B2 (en) 2006-05-17 2011-12-06 Sony Corporation Moving picture data processing apparatus, stream generating apparatus, imaging apparatus, and moving picture data processing method

Also Published As

Publication number Publication date
US6061399A (en) 2000-05-09
TW373411B (en) 1999-11-01
CA2234328C (en) 2008-09-09
EP0881840A2 (en) 1998-12-02
KR19980087430A (ko) 1998-12-05
EP0881840A3 (en) 2001-01-10
JP4157617B2 (ja) 2008-10-01
CA2234328A1 (en) 1998-11-28
KR100538135B1 (ko) 2006-02-28

Similar Documents

Publication Publication Date Title
JP4157617B2 (ja) 情報ストリームフレーム同期のための方法および装置
US6330286B1 (en) Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus
EP0881838B1 (en) Timing correction
US6034731A (en) MPEG frame processing method and apparatus
EP1002424B1 (en) Processing coded video
US6188700B1 (en) Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
US6157674A (en) Audio and video data transmitting apparatus, system, and method thereof
KR100868820B1 (ko) 데이터 스트림을 전달하는 방법 및 시스템과 데이터 저장 레벨을 제어하는 방법
EP0901718B1 (en) Method and apparatus for splicing compressed information streams
US8335262B2 (en) Dynamic rate adjustment to splice compressed video streams
US8837660B2 (en) Handling video transition errors in video on demand streams
JP2002510947A (ja) 圧縮ビデオ・データのバースト状データ伝送
WO1997019562A1 (en) Method and apparatus for increasing channel utilization for digital video transmission
CA2303149C (en) Seamless splicing of compressed video programs
US20020015577A1 (en) Data distribution apparatus and method, and data distribution system
US5798804A (en) Image decoder for decoding variable-length image data using frame synchronizing signal and method of decoding the image data
JPH1093841A (ja) 映像同期信号補正装置
US20040228411A1 (en) Method and system for decoder clock control in presence of jitter
KR100279582B1 (ko) 디지탈 영상압축신호의 편집장치
JP2002094938A (ja) データ処理方法及び装置、データ伝送システム、伝送媒体
KR20140148304A (ko) 전송 스트림 전환 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070508

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070808

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070910

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070913

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20071009

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20071012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term