JP3091393B2 - 符号化されたビデオ信号をスプライシングする方法 - Google Patents

符号化されたビデオ信号をスプライシングする方法

Info

Publication number
JP3091393B2
JP3091393B2 JP17923495A JP17923495A JP3091393B2 JP 3091393 B2 JP3091393 B2 JP 3091393B2 JP 17923495 A JP17923495 A JP 17923495A JP 17923495 A JP17923495 A JP 17923495A JP 3091393 B2 JP3091393 B2 JP 3091393B2
Authority
JP
Japan
Prior art keywords
data stream
data
buffer
sequence
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17923495A
Other languages
English (en)
Other versions
JPH0884333A (ja
Inventor
エガワ レン
ロバート メイヤー エドウィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPH0884333A publication Critical patent/JPH0884333A/ja
Application granted granted Critical
Publication of JP3091393B2 publication Critical patent/JP3091393B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、Moving Picture E
xperts Group (MPEG) によって採択された規格に従って
符号化されたビデオ信号の処理に関し、特に、第１のソ
ースからのMPEG符号化されたデータストリームを、結合
画像が再生されたときにビデオデータの損失がないよう
に第２のソースからのMPEG符号化されたデータストリー
ムにスプライシングする方法に関する。
【０００２】
【従来の技術】米国において、デジタル符号化高精細テ
レビ信号のための規格が提案されている。この規格は、
International Standards Organization (ISO)のMoving
Picture Experts Group (MPEG) によって提案されたMP
EG-2規格と本質的に同一である。この規格は、draft in
ternational standard (DIS) 公報「情報技術−−動画
および関連音声の一般符号化、推奨H.262」に記載され
ている。この公報はISOから入手可能であり、そのMPEG-
2システム規格「ISO/IEC 13818-1」に関する教示、およ
びそのMPEG-2デジタルビデオ符号化規格「ISO/IEC 1381
8-2」に関する教示についてここに援用する。
【０００３】MPEG-2規格は、実際には数個の異なる規格
からなる。MPEG-2において、数個の異なるプロフィール
(profiles)が規定されており、その各々は、符号化され
た画像の異なる複雑さのレベルに対応している。各プロ
フィールにおいて異なるレベルが規定され、その各々の
レベルが、異なる解像度に対応する。主プロフィール(M
ain Profile)として知られるMPEG-2「規格」の１つであ
る主レベル(Main Level)の規格は、既存のテレビ規格
（NTSCおよびPALなど）に合致するビデオ信号を符号化
するために意図されている。別の主プロフィール(Main
Profile)として知られる別の「規格」の１つである高レ
ベル(High Level)規格は、高精細テレビ画像を符号化す
るために意図されている。主プロフィール高レベル規格
に従って符号化された画像は、画像フレーム毎に1152本
ものアクティブラインおよびライン毎に1920個の画素を
有し得る。米国のHDTV規格として現在実現されているの
は、この規格である。
【０００４】MPEG-2規格は、データと制御情報の混合物
を含む複雑なシンタックスを規定する。この制御情報の
うちある部分は、数個の異なるフォーマットを有する信
号をこの規格によってカバーすることを可能にする。こ
れらのフォーマットは、ライン毎の画面要素（画素）数
が異なり、フレームまたはフィールド毎のライン数が異
なり、かつ毎秒あたりのフレームまたはフィールド数が
異なる画像を規定する。更に、MPEG-2主プロフィールの
基本シンタックスは、シーケンス層、グループピクチャ
層、ピクチャ層、スライス層、マクロブロック層、およ
びブロック層の６層の画像シーケンスを表す圧縮された
MPEG-2ビットストリームを規定する。これらの層の各々
は、制御情報および「詰め込み」(stuffing)文字ととも
に導入される。詰め込み文字は、入力データストリーム
のデータレートをピクチャが表示されるレートにマッチ
させるため、必要に応じて挿入される。最後に、補助的
情報としても知られる他の制御情報（フレームタイプ、
マクロブロックパターン、画像動きベクトル、係数ジグ
ザグパターンおよび逆量子化情報など）が、符号化され
たビットストリーム中に散りばめられている。
【０００５】デジタル画像を効率的に受像するために
は、復号器は制御部分を認識し、必要な制御情報を抽出
し、この抽出されたデータをビデオ信号情報処理に用い
なければならない。各シーケンス層について指定されて
いる情報の１つは、ビデオバッファリングベリファイヤ
（VBV）バッファサイズである。VBVバッファサイズ値
は、ビデオシーケンスが復号化される前に復号器の入力
バッファに記憶されるべきビデオシーケンスからの入力
データのビット数を表す。もし復号化が始まるときにこ
のビット数が記憶されていれば、入力バッファは、ビデ
オシーケンスの処理中にフルになることも（オーバーフ
ロー）ことも、空になる（アンダーフロー）こともな
い。
【０００６】
【発明が解決しようとする課題】VBVバッファサイズ値
は、新しいシーケンスデータが受信されたときに入力バ
ッファが空であること、または少なくとも、入力バッフ
ァの中身がVBVバッファサイズ値に達する前に入力バッ
ファ中の全データが削除されることを仮定している。VB
Vバッファサイズ値が入力バッファをオーバーフローさ
せたりアンダーフローさせたりすることがないことを保
証するためには、画像スプライシングをシーケンス境界
において行うことがMPEG規格においては好ましい。
【０００７】しかし、このことは、ある特定のピクチャ
が表示された後に、そのピクチャがシーケンス境界にあ
ろうがなかろうが次々とシーンを切り替えることを望む
ビデオ編集者にとっては容認できないことがあり得る。
また、放送局名メッセージまたは広告をHDTVプログラム
中に任意の間隔で挿入するなど、短いプログラム断片を
挿入することを望む放送者にとっても望ましくないこと
があり得る。
【０００８】もしスプライシングがシーケンス境界で行
われなければ、入力バッファ中にすでに存在するデータ
は、挿入シーケンスからの新しいデータによってバッフ
ァがオーバーフローするまで、バッファから読み出され
て処理されないことがあり得る。または、すでに入力バ
ッファ中に存在するデータにより、VBVバッファサイズ
基準が満たされた旨の表示を復号器が早く行い過ぎるか
もしれない。この場合、復号器は、記憶されたデータの
処理において入力バッファをオーバーフローさせたりア
ンダーフローさせたりすることがあり得る。
【０００９】この問題を解決するための１つの方法が、
MPEG-2規格DIS ISO/IEC 13818-1に提案されている。こ
の方法によれば、データストリーム中のあるアクセス単
位、すなわちピクチャを、SEAMLESS_SPLICE_FLAGにより
標識する。このフラッグは、挿入シーケンスを主シーケ
ンスにスプライシングするための安全な場所を標識して
いる。しかし従来のスプライシング方法によれば、この
フラッグをセットするための基準を満たすアクセス単位
の数は限られている。さらに、このスプライシング方法
では、挿入されたストリームのビットレートをあるレベ
ルに限定することによってその基準を満たしており、挿
入されたストリームが可変可能なビットレートストリー
ムになり得ない。
【００１０】もう１つの方法は、MPEG規格の範囲内で、
挿入が容易になるようなフォーマットを規定し、かつこ
のフォーマットを表すフラグを設けることである。しか
しこの方法では、コンパチビリティのないフォーマット
を扱うことができず、MPEG規格のロバスト性(robustnes
s)を減少させてしまう。
【００１１】本発明の目的は、他のシーケンスを主シー
ケンス中の任意のピクチャ境界に挿入することを可能に
するような主MPEG符号化シーケンスの処理方法を実現す
ることにある。
【００１２】
【課題を解決するための手段】本発明のビデオ信号のス
プライシング方法は、第１および第２の符号化された高
解像度テレビ信号をそれぞれ表す第１および第２のデー
タストリームを、該第１のデータストリーム中の選択さ
れたピクチャ境界においてバッファを用いてスプライシ
ングする方法が提供される。該第１および該第２のデー
タストリームの各々は、データレートおよびデータが該
バッファから呼び出される時刻を表す複数の復号化タイ
ムスタンプを有しており、該方法は、該第１のデータス
トリームを分析することによって該第１のデータストリ
ーム中かつ選択されたピクチャ境界後に挿入される無効
情報量(null information)を決定するステップであっ
て、該第１および第２のデータストリームの該データレ
ートおよび該第１および第２のデータストリーム中の該
復号化タイムスタンプから該無効データ量を決定するス
テップと、該選択されたピクチャ境界までの該第１のデ
ータストリームを該バッファに伝送するステップと、該
決定された量の無効情報を該バッファに伝送するステッ
プと、該第２のデータストリームを該バッファに伝送す
るステップと、スプライシングされたデータを該バッフ
ァから呼び出すステップと、を包含しており、そのこと
により上記目的が達成される。
【００１３】ある実施例では、前記第２のデータストリ
ームを前記バッファに伝送する前記ステップが、該第２
のデータストリームの第１の部分を、該第１のデータス
トリームの前記データレートで該バッファに伝送するス
テップおよび、該第２のデータストリームの第２の部分
を、該第２のデータストリームの前記データレートで該
バッファに伝送するステップを包含してもよい。
【００１４】他の実施例では、前記データストリーム
が、Motion Picture Experts Group(MPEG)によって開発
された規格に従って符号化されたビットストリームであ
り、前記無効情報の量が、第２のデータストリームのシ
ーケンス開始コードの前に挿入される詰め込みビットの
数であってもよい。
【００１５】更に、他の実施例では、前記無効情報の量
が、式 NSTUFF = Nlast + Nnext +Nsplc - Nnew によっ
て決定されてもよい。 ただしNlastは、前記第１のデー
タストリーム中の前記選択されたピクチャが前記バッフ
ァに記憶される時刻と該選択せれたピクチャが該メモリ
から呼び出される復号化タイムスタンプとの間のビット
数を表し、Nnextは、２つの復号化タイムスタンプ間に
供給される該第１のデータストリーム中のビット数を表
し、Nsplcは、該第１のデータストリームの整数個の復
号化タイムスタンプ間に供給される該第１のビットスト
リーム中のビット数を表し、Nnewは、前記第２のデータ
ストリーム中であって該第２のデータストリームの最初
の復号化タイムスタンプより前のビット数を表し、N
splcはNnew以上の値であってもよい。
【００１６】図１は、スプライシング動作を説明するデ
ータ図である。図において、シーケンス112が、主HDTV
信号のシーケンス110に挿入されることによって、変更
シーケンス110'を形成している。図１に示すように、主
MPEGシーケンス110は、シーケンス開始コードを含むシ
ーケンスヘッダ112、数個のアクセス単位（ピクチャ）1
16およびシーケンス終了コード114を含む。説明を簡便
にするため、図１にはシーケンス層とピクチャ層との間
にあるグループピクチャ層(group of pictures layer)
を示していない。挿入されるシーケンス112はまた、シ
ーケンスヘッダ118、数個のアクセス単位（ピクチャ）1
22およびシーケンス終了コード120を含む。
【００１７】MPEG規格に規定されるように、各シーケン
ス開始コードの前に、値ゼロにされた(zero-valued)詰
め込みビット記号列(string)が存在しても良い。MPEG規
格においては、これらのビットは復号器によって無視さ
れ、入力バッファに書き込まれない無効情報を表す。詰
め込みビットは、データが供給されるレートが、データ
から導き出された画像を表示するレートと一致すること
を保証するために用いられる。これら詰め込みビットが
受信されている間、復号器は、入力バッファから表示用
のデータを読み出している。このように、詰め込みビッ
トが受信されている間、入力バッファに保持されている
データ量は減少する。
【００１８】結合されたシーケンスを、図１に変更デー
タストリーム110'として示す。このデータストリーム
は、シーケンスヘッダ112、アクセス単位116、変更シー
ケンスヘッダ118'、アクセス単位122および変更シーケ
ンス終了コード120'を含んでいる。変更シーケンス開始
コード118'は、前主シーケンスの最初の部分の最後を示
すシーケンス終了コード、詰め込みビット数NSTUFF、挿
入シーケンスのシーケンス開始コードおよび挿入シーケ
ンスの変更ヘッダを含む。挿入シーケンスの元のヘッダ
のビットレートフィールドは、16進数FFFFに変更され
る。これは、可変可能なビットレートシーケンスであ
る。この変更は、挿入シーケンスのビットレートが主シ
ーケンスのビットレートと異なり、元の挿入シーケンス
が一定のビットレートシーケンスだった場合にのみ行わ
れる。
【００１９】本発明の方法によれば、あるシーケンスの
開始部は、別のシーケンス中の任意のアクセスユニット
にスプライシングされる。元のシーケンスの残りが、挿
入シーケンスが主シーケンスにスプライシングされたの
と同様に挿入シーケンスにスプライシングされてはじめ
て、シーケンスの挿入は完了する。このように、変更シ
ーケンスヘッダ120'は、シーケンス終了コード、数個の
詰め込みビットおよび主シーケンスの変更シーケンスヘ
ッダを含む。変更シーケンスヘッダ118'に関しては、も
し主および挿入シーケンスのビットレートが異なり、か
つ元の主シーケンスが一定のビットレートを使用してい
れば、シーケンスヘッダ120'のビットレートフィールド
が16進数FFFFに変更され得る。これは可変可能なビット
レートシーケンスである。
【００２０】加えられるべき詰め込みビット数は、下記
に図５および図６を用いて説明される本発明の方法によ
り決定される。実際のスプライシング動作は、下記に図
２、図３および図７を用いて説明する。
【００２１】図２（ａ）および図２（ｂ）は、バッファ
のフル度と時間の関係を表すグラフであり、本発明で述
べる課題および本発明における課題を解決する方法を説
明する図である。図２（ａ）の実線は、主シーケンスの
データストリームの一部STREAM1を示し、図２（ｂ）の
実線は、挿入シーケンスのデータストリームの一部STRE
AM2を示す。本発明の実施例においては、これらのデー
タストリームはビットストリームである。これら図にお
ける垂直方向の移動は、データがバッファから読まれる
時刻を表している。この種の図においては，データがバ
ッファから即時的に読み出されるようなモデルを想定す
ることが一般的である。これら曲線の斜線部分は、デー
タがバッファに書き込まれている間の時刻を表す。これ
ら斜線部の傾きはデータストリームのデータレートに比
例する。
【００２２】シーケンスSTREAM2は、時刻TIにおいて、
アクセス単位AU1の直後にシーケンスSTREAM1に挿入され
る。この例において用いられる入力バッファサイズが10
00であれば、STREAM2が時刻TIにおいてSTREAM1に挿入さ
れれば、STREAM2のVBVバッファサイズ（すなわち500）
に達する前にバッファはオーバーフローする。このこと
を防ぐために、本発明の方法では、図２（ａ）に点線で
示すように、NSTUFF個の詰め込みビットを時刻TIのAU1
とSTREAM2の開始部との間に挿入する。この結果、T
I後、MPEGビットストリームのバッファフル度は、実線
ではなく点線をたどる。値Tlast、DTS1、Tnext、DTS
nextおよびDTS2を用いて、下記に説明するようにNSTUFF
の最適値を計算する。詰め込みビットがデータストリー
ムに挿入されている間、バッファには新しいデータは加
えられない。挿入シーケンスを表す新しいデータは、点
線の傾きがゼロでないとき(non-zero)加えられる。
【００２３】図２（ａ）および図２（ｂ）から、STREAM
2によってデータが供給されるレートは、STREAM1によっ
てデータが供給されるレートも小さいことがわかる。そ
れにも関わらず、STREAM2のデータの、復号化タイムス
タンプDTS1とDTSnextとの間に供給される最初の部分
は、シーケンスSTREAM1と同じレートで供給される。一
方、図２（ｂ）に示すように、STREAM2のDTSnextの後に
供給される部分は、元のSTREAM2と同じレートで供給さ
れる。
【００２４】図２（ａ）および図２（ｂ）のグラフは、
シーケンスが固定データレートを有するように符号化さ
れたときの、本発明の実施例における方法の動作を示し
ている。図３（ａ）および図３（ｂ）は、シーケンスが
可変データレートを有するように符号化されたときの、
本発明の実施例における方法の動作を示している。図３
（ａ）および図３（ｂ）中における図２（ａ）および図
２（ｂ）に対応する要素には、プライム(')を付して示
している。
【００２５】図４は、本発明によるMPEG-2またはHDTVス
プライサおよびMPEG-2またはHDTV復号器の部分を示すブ
ロック図である。このスプライサは、主および挿入MPEG
-2 HDTV信号、STREAM1およびSTREAM2をそれぞれ受信す
るように結合されたプロセッサ412を有している。これ
らの信号の各々は、「感色量子化を有する高解像度ビデ
オ復号化システム」と題された米国特許第5,294,974号
に記載されているような従来のHDTV符号器を用いて発生
してもよい。この米国特許は、そのHDTV符号器に関する
教示についてここに援用する。または、これらの信号
は、ISO/IEC 13818-2 DISに記載されるようなMPEG-2符
号器を用いて発生してもよい。この公報は、そのMPEG-2
符号器に関する教示についてここに援用する。
【００２６】プロセッサ412は、２つのバッファBStest4
14およびBSdec416に結合されている。これらのバッファ
は、好ましくは同一のものを使用する。バッファ414
は、値NSTUFFを計算するための情報を集めるために用い
られる。実際のスプライシングは、バッファ416を用い
て行う。スプライシングされた信号は、バッファ416か
ら、復号器420の入力バッファ424に送られる。復号器42
0はまた、プロセッサ422を有している。プロセッサ422
は、動画像を再生するために入力バッファ424からデー
タを引き出す。
【００２７】図５は、シーケンスSTREAM1およびSTREAM2
に関する情報を集める際のプロセッサ412に対する制御
プロセスを示すフローチャートである。このプロセス
は、ステップ510から始まる。ステップ512において、プ
ロセッサは、その書き込みアドレスポインタをバッファ
の最初にセットすることによって、バッファ414を初期
化する。ステップ514において、プロセッサは、STREAM1
のシーケンスヘッダ中に指定されたデータレートで、ST
REAM1をバッファに送る。本実施例においては、STREAM1
およびSTREAM2は両方とも記憶された信号である（例え
ばデジタルビデオテープレコーダから得られる）。この
ように、信号は、スプライシングパラメータを決定する
ために１回と、実際のスプライシング動作を行うための
合計２回アクセスされる。記憶されていないが衛星フィ
ード(satellite feed)から到来する２つの信号をスプラ
イシングするためには、実際のスプライシング動作の前
にスプライシングパラメータが決定されるようにするた
め補償遅延（不図示）が必要な場合もある。
【００２８】ステップ514において、アクセス単位AU1に
よって表されるピクチャ直後の挿入ポイントがバッファ
414に記憶されたか否かを決定する。AU1が受信されるま
で、全ての受信されたアクセス単位は、そのアクセス単
位の復号化タイムスタンプ(DTS)フィールドによって示
される時刻においてバッファ414から除去される。すな
わち、図４に示す復号器420などの復号器によって入力
バッファから除去される場合と同じシーケンスおよび同
じタイミングで、データはバッファ414から除去され
る。アクセス単位が除去されたときにも、シーケンスST
REAM1は、ステップ520に示されるように適切なデータレ
ートで供給され続け、制御はステップ516に移され、AU1
が受信されたか否かを決定する。
【００２９】アクセス単位AU1がいったん受信される
と、制御はステップ522に移り、TlastおよびNlastの値
を決定する。図２（ａ）に示すように、Tlastは、AU1が
受信された時刻と、AU1が処理のために入力バッファか
ら読み出される時刻であるAU1の復号化タイムスタンプD
TS1との差である。
【００３０】次に、ステップ524において、DTSnext、T
nextおよびNnextの値を決定する。DTSnextは、DTS1の次
の復号化タイムスタンプまでの時間である。MPEG規格に
おいては、復号化タイムスタンプは、規則正しい間隔で
発生する。従って、DTSnextは、DTS1とその１つ前の復
号化タイムスタンプとの差を計算し、その差値をDTS1に
加算することによって決定され得る。または、この値
は、STREAM1を監視し、DTS1以外のDTSに遭遇するまでAU
1に続くアクセス単位ヘッダからDTS値を抽出することに
よっても決定され得る。図２（ａ）に示すように、T
nextは、DTS1をDTSnextから減算することによって計算
される。同様に、期間Tnext中にバッファに記憶される
データのビット数Nnextは、TnextをSTREAM1のデータレ
ートR1または、ISO/IEC 13818-1およびISO/IEC 138181-
2に規定される最大データストリームレートRmax[p.1]以
下の任意のレートで乗算することによって計算される。
このデータレートは、シーケンスヘッダから得ることが
できる。もしSTREAM1が可変可能なレートを有するデー
タストリームであれば、図３（ａ）に示すように、R1は
ISO/IEC 13818-1およびISO/IEC 138181-2に規定される
最大データストリームレートRmax[p.1]以下の任意のデ
ータレートである。
【００３１】ステップ526において、これらの値が決定
されると、サイドバッファ414を再び空にし、STREAM2か
らのデータのバッファ414への記憶をステップ528におい
て開始する。このデータは、STREAM2のビットレートで
バッファに記憶される。ステップ532を含むループで示
されるように、STREAM2の最初のアクセス単位の復号化
タイムスタンプに対応する時刻までデータは記憶され
る。この時刻を、DTS2*とする。時刻DTS2*においてバッ
ファ414に記憶されているデータの量をNnewとし、この
値をステップ534のプロセスによって保存する。ステッ
プ536において、STREAM2が固定レートストリームか可変
レートストリームであるかを決定する。もし可変レート
ストリームであれば、制御はステップ538に移り、STREA
M2のビットレートを表す値R2を決定する。この場合、R2
には、DTS2*によって規定される期間中のデータレート
の平均値が割り当てられる。ステップ540において、パ
ラメータを収集するプロセスは終了する。
【００３２】パラメータが決定された後、プロセッサ41
2は、値NSTUFFを計算する。このプロセスは、図６のス
テップ610から開始する。ステップ612において、一時変
数Ｋがゼロにセットされる。次に、ステップ614におい
て、データレートR2を有するバッファに書き込れるデー
タ量を表す値Nsplcを計算する。
【００３３】あるスプライシングにおいては、Nnewによ
って表されるデータ量は、データレートR1で期間Tnext
にバッファに記憶され得ない場合がある。この状態は、
ステップ614、616および618を含むループによって処理
される。ステップ614において、Nsplcの試算値(trial v
alue)がＫ、TnextおよびR2の積として決定される。ステ
ップ616において、この試算値は(Nnew − Nlast− N
next)の値と比較される。
【００３４】もしNsplcがステップ616において(Nnew −
Nlast− Nnext)以上であると判断されれば、制御はス
テップ620に移り、NSTUFFの値を式(1)に従って決定す
る。 NSTUFF = Nlast + Nnext + Nsplc - Nnew (1) ステップ622において、プロセスは終了する。発明者
は、この数の詰め込みビットを挿入シーケンスSTREAM2
の前に加えることによって、データストリームが受信さ
れたときの入力バッファのオーバーフローは無くなるこ
とを見出した。
【００３５】NSTUFFの適切な値が決定された後、プロセ
ッサ412は図７に示すプロセスを実行することにより、S
TREAM1をSTREAM2にスプライシングする。このプロセス
は、ステップ710において図４に416として示すバッファ
BSdecを空にすることによって開始する。ステップ712に
おいて、プロセッサ412は、STREAM1からのデータをバッ
ファ416にSTREAM1のデータレートで送る。ステップ714
において、AU1の最終ビットがバッファ416に書き込まれ
たかどうかを決定する。もし書き込まれていなければ、
ステップ716および718に示すように、AU1以前のAUを、
その復号化タイムスタンプ(DTS)に対応する期間におい
て除去し、AU1が記憶されるまでSTREAM1からのデータを
供給し続ける。
【００３６】AU1が記憶されると、ステップ720において
バッファ416中のAU1を含みより以前のAUを、各AUに対応
する復号化タイムスタンプにおいて除去する。AU1が記
憶された時刻から開始し、ステップ722において、NSTUF
F個の詰め込みビットをビットレートR1でバッファ416に
送る。ステップ724において、NSTUFF個の詰め込みビッ
トが全て、時刻DTSnextより前に送られたか否かを決定
する。もし送られていなければ、制御はステップ734に
移り、NSTUFF個の詰め込みビットが全て、時刻DTSnext
において送られたか否かを決定する。もしこの条件が満
たされなければ、ステップ736を実行して残りの詰め込
みビットをレートR2でバッファ416に送る。
【００３７】ステップ724において、NSTUFF個の詰め込
みビットがDTSnextより前に送られたと決定されれば、
ステップ726を実行し、STREAM2の最初の部分をバッファ
416にビットレートR1で送り始める。ステップ728におい
て、プロセスは変数Ｋが値ゼロを有するか否かを決定す
る。もしゼロでなければ、制御はステップ738に移り、S
TREAM2からのデータをバッファ416にビットレートR2で
送る。NSTUFF個の詰め込みビットが時刻DTSnext に、送
られたと決定されると、ステップ738もステップ734の後
に実行される。ステップ738の後に、ステップ740が実行
され、DTS2に対応する時刻においてAU2をバッファ416か
ら除去する。
【００３８】図８、図９および図10は、バッファのフル
度と時間の関係を表すグラフであり、Ｋの値が１である
場合のスプライシングを示している。図10において、DT
Snextによって表される時刻とDTS2によって表される時
刻との間では、STREAM2が一定のビットレートシーケン
スならば、ビットレートはSTREAM2のビットレートR2で
あり、STREAM2が可変ビットレートシーケンスならば、T
2*（図９）中の平均ビットレートである。
【００３９】もしステップ728において変数Ｋがゼロに
等しいと決定されれば、ステップ730おいて、STREAM2の
最初のアクセス単位であるAU2がバッファから除去され
る。ステップ730またはステップ740の後、ステップ732
が実行されてSTREAM2からのデータをSTREAM２のビット
レートで供給し続ける。これが、スプライシングプロセ
スの最後のステップである。
【００４０】図４に示すように、データはバッファ416
から除去され、復号器420の入力バッファ424に加えられ
る。バッファ424は、詰め込みビットを無視し、STREAM2
データの印加を、プロセッサ422が充分な量のデータを
入力バッファ424から除去することによってSTREAM2デー
タのためのスペースが確保されるまで、効果的に遅延す
る。
【００４１】
【発明の効果】本発明によれば、Moving Picture Exper
ts Group(MPEG)によって採択された規格に従って符号化
された２つの圧縮ビデオ信号をスプライシングする方法
において、第１の圧縮ビデオ信号中の任意のアクセス単
位（ピクチャ）後にスプライシングを発生させることが
可能である。
【００４２】これにより、本発明は、他のシーケンスを
主シーケンス中の任意のピクチャ境界に挿入することを
可能にするような主MPEG符号化シーケンスの処理方法を
実現する。
【図面の簡単な説明】
【図１】本発明による挿入動作を示すデータ図である。
【図２】（ａ）および（ｂ）は、バッファのフル度と時
間の関係を表すグラフであり、本発明における固定デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
【図３】（ａ）および（ｂ）は、バッファのフル度と時
間の関係を表すグラフであり、本発明における可変デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
【図４】本発明による動作を行うHDTVまたはMPEG-2符号
器および復号器に好適に用いられる回路を示すブロック
図。
【図５】主および挿入データストリームからパラメータ
値を抽出するプロセスのフローチャートである。
【図６】抽出されたパラメータ値から詰め込みビット数
を計算するプロセスのフローチャート図である。
【図７】図６で計算した数の詰め込みビットの数を主シ
ーケンスの挿入ポイントと挿入シーケンスの開始部との
間に挿入する挿入プロセスのフローチャート図である。
【図８】バッファのフル度と時間の関係を表すグラフで
あり、図７の変数Ｋの値が１である場合の本発明による
動作を説明する図である。
【図９】バッファのフル度と時間の関係を表すグラフで
あり、図７の変数Ｋの値が１である場合の本発明による
動作を説明する図である。
【図１０】バッファのフル度と時間の関係を表すグラフ
であり、図７の変数Ｋの値が１である場合の本発明によ
る動作を説明する図である。
【符号の説明】
110 主シーケンス 110' 変更シーケンス 112 シーケンス 114、120 シーケンス終了コード 116、122 アクセス単位（ピクチャ） 118 シーケンスヘッダ 118' 変更シーケンスヘッダ 412、422 プロセッサ 414 バッファBStest 416 バッファBSdec 420 復号器 424 入力バッファ
フロントページの続き (56)参考文献 特開 平４−14974（ＪＰ，Ａ) 欧州特許出願公開594316（ＥＰ，Ａ ２) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/025 - 7/088 H04N 7/64 - 7/68 H04N 5/38

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】 第１および第２の符号化された高解像度
    テレビ信号をそれぞれ表す第１および第２のデータスト
    リームを、該第１のデータストリーム中の選択されたピ
    クチャ境界においてバッファを用いて符号化されたビデ
    オ信号をスプライシングする方法であって、該第１およ
    び該第２のデータストリームの各々は、データレートお
    よびデータが該バッファから呼び出される時刻を表す複
    数の復号化タイムスタンプを有しており、該方法は、 該第１のデータストリームを分析することによって該第
    １のデータストリーム中かつ選択されたピクチャ境界後
    に挿入される無効情報量を決定するステップであって、
    該第１および第２のデータストリームの該データレート
    および該第１および第２のデータストリーム中の該復号
    化タイムスタンプから該無効情報量を決定するステップ
    と、 該選択されたピクチャ境界までの該第１のデータストリ
    ームを該バッファに伝送するステップと、 該決定された量の無効情報を該バッファに伝送するステ
    ップと、 該第２のデータストリームを該バッファに伝送するステ
    ップと、 スプライシングされたデータを該バッファから引き出す
    ステップとを包含することを特徴とする符号化されたビ
    デオ信号をスプライシングする方法。
  2. 【請求項２】 前記第２のデータストリームを前記バッ
    ファに伝送する前記ステップが、 該第２のデータストリームの第１の部分を、該第１のデ
    ータストリームの前記データレートで該バッファに伝送
    するステップおよび、 該第２のデータストリームの第２の部分を、該第２のデ
    ータストリームの前記データレートで該バッファに伝送
    するステップを包含している請求項１に記載の方法。
  3. 【請求項３】 前記データストリームが、Motion Pictu
    re Experts Group(MPEG)によって開発された規格に従っ
    て符号化されたビットストリームであり、前記無効情報
    の量が、第２のデータストリームのシーケンス開始コー
    ドの前に挿入される詰め込みビットの数である請求項２
    に記載の方法。
  4. 【請求項４】 前記詰め込みビットの数が、下記式によ
    って決定される請求項３に記載の方法であって、 NSTUFF = Nlast + Nnext + Nsplc - Nnew ただしNlastは、前記第１のデータストリーム中の前記
    選択されたピクチャが前記バッファに記憶される時刻と
    該選択せれたピクチャが該メモリから呼び出される復号
    化タイムスタンプとの間のビット数を表し、 Nnextは、２つの復号化タイムスタンプ間に供給される
    該第１のデータストリーム中のビット数を表し、 Nsplcは、該第１のデータストリームの整数個の復号化
    タイムスタンプ間に供給される該第１のビットストリー
    ム中のビット数を表し、 Nnewは、前記第２のデータストリーム中であって該第２
    のデータストリームの最初の復号化タイムスタンプより
    前のビット数を表し、 NsplcはNnew以上の値である方法。
JP17923495A 1994-07-15 1995-07-14 符号化されたビデオ信号をスプライシングする方法 Expired - Fee Related JP3091393B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US27651594A 1994-07-15 1994-07-15
US08/276,515 1994-07-15

Publications (2)

Publication Number Publication Date
JPH0884333A JPH0884333A (ja) 1996-03-26
JP3091393B2 true JP3091393B2 (ja) 2000-09-25

Family

ID=23056938

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17923495A Expired - Fee Related JP3091393B2 (ja) 1994-07-15 1995-07-14 符号化されたビデオ信号をスプライシングする方法

Country Status (3)

Country Link
EP (1) EP0692911B1 (ja)
JP (1) JP3091393B2 (ja)
DE (1) DE69515386T2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534944A (en) * 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
CA2157066C (en) * 1994-10-21 1999-09-21 Nelson Botsford Iii Method for controlling a compressed data buffer
JPH08265774A (ja) * 1995-03-27 1996-10-11 Sony Corp 画像圧縮方法及び画像圧縮装置
EP0805601B1 (en) * 1996-05-02 2005-03-30 Sony Corporation Encoding, storing and transmitting digital signals
CA2197727A1 (en) * 1996-06-27 1997-12-27 Richard Frank Bruno Method for altering a broadcast transmission as a function of its recipient on a communications network
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
AU4601697A (en) * 1996-12-18 1998-07-15 Thomson Consumer Electronics, Inc Efficient fixed-length block compression and decompression
GB9700956D0 (en) * 1997-01-17 1997-03-05 Digi Media Vision Ltd Improvements in or relating to switching between compressed bitstreams
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
KR20000029596A (ko) * 1997-05-27 2000-05-25 요트.게.아. 롤페즈 비디오시퀀스의스위칭방법,대응스위칭소자및디코딩시스템
FR2765983B1 (fr) * 1997-07-11 2004-12-03 France Telecom Signal de donnees de modification d'une scene graphique, procede et dispositif correspondants
GB9716545D0 (en) * 1997-08-06 1997-10-08 Nds Ltd A method and apparatus for switching between digital bit-streams
GB2328099B (en) * 1997-08-08 2002-07-03 British Broadcasting Corp Processing coded video
JPH1175189A (ja) * 1997-08-27 1999-03-16 Mitsubishi Electric Corp 画像符号化方法
CA2273940C (en) * 1997-10-03 2008-12-09 Sony Corporation Encoded stream splicing device and method, and an encoded stream generating device and method
US6154496A (en) * 1997-11-25 2000-11-28 Philips Electronics N.A. Corp. Video buffer for seamless splicing of MPEG streams
US6049569A (en) * 1997-12-09 2000-04-11 Philips Electronics N.A. Corporation Method and apparatus for encoding digital video bit streams with seamless splice points and method and apparatus for splicing such digital video bit streams
JP4232209B2 (ja) * 1998-01-19 2009-03-04 ソニー株式会社 圧縮画像データの編集装置及び圧縮画像データの編集方法
JP4275746B2 (ja) * 1998-02-03 2009-06-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 符号化ビデオシーケンスの切り替え方法及びこれに対応する装置
EP0972408A2 (en) * 1998-02-03 2000-01-19 Koninklijke Philips Electronics N.V. Method of switching of coded video sequences and corresponding device
GB9807202D0 (en) 1998-04-03 1998-06-03 Nds Ltd A method and apparatus for processing compressed video data streams
JP2000165802A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd ストリーム編集装置と編集方法
GB2347812A (en) * 1999-03-08 2000-09-13 Nds Ltd Real time splicing of video signals
GB2353652B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor
US7010492B1 (en) 1999-09-30 2006-03-07 International Business Machines Corporation Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media
US8341662B1 (en) 1999-09-30 2012-12-25 International Business Machine Corporation User-controlled selective overlay in a streaming media
US7145912B1 (en) * 2000-03-23 2006-12-05 Tut Systems, Inc. Demultiplexing a statistically multiplexed MPEG transport stream into CBR single program transport streams
US6694060B2 (en) * 2000-12-21 2004-02-17 General Instrument Corporation Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals
JP2003204482A (ja) * 2001-10-22 2003-07-18 Matsushita Electric Ind Co Ltd 放送装置
JP2010531079A (ja) * 2007-05-29 2010-09-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ信号のオブジェクトの視覚化

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
US5294974A (en) 1992-07-24 1994-03-15 Matsushita Electric Corporation Of America High-definition video encoding system having color-sensitive quantization
US5367341A (en) * 1992-10-20 1994-11-22 Canon Information Systems, Inc. Digital video editor having lost video frame protection

Also Published As

Publication number Publication date
EP0692911B1 (en) 2000-03-08
DE69515386D1 (de) 2000-04-13
JPH0884333A (ja) 1996-03-26
EP0692911A2 (en) 1996-01-17
DE69515386T2 (de) 2000-08-24
EP0692911A3 (en) 1996-03-13

Similar Documents

Publication Publication Date Title
JP3091393B2 (ja) 符号化されたビデオ信号をスプライシングする方法
US5534944A (en) Method of splicing MPEG encoded video
JP3942630B2 (ja) 映像デコーダにおけるチャンネル・バッファの管理
JP3103301B2 (ja) Ｍｐｅｇ１規格により符号化された音声映像信号ストリームの多重化方法
JP4232209B2 (ja) 圧縮画像データの編集装置及び圧縮画像データの編集方法
US7424203B2 (en) Data reproduction transmission apparatus and data reproduction transmission method
US6154496A (en) Video buffer for seamless splicing of MPEG streams
US8644672B2 (en) Apparatus and method for image coding and decoding
US6219381B1 (en) Image processing apparatus and method for realizing trick play
US20030231863A1 (en) Trick play signal generation for a digital video recorder using retrieved intra-encoded pictures and generated inter-encoded pictures
KR20000028928A (ko) 비디오 신호 디코더 및 비디오 신호 디코더에서 메모리액세스를 감소시키는 방법
US6333950B1 (en) Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded
EP0826289B1 (en) Data multiplexing apparatus
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
JP2001025007A (ja) Ｍｐｅｇストリーム切替方法
KR100724206B1 (ko) 정보 처리 장치, 방법 및 기록 매체
EP0862331A1 (en) Image encoding apparatus and image encoding method
JP3668556B2 (ja) ディジタル信号符号化方法
JP2001285868A (ja) 動画像符号列切替装置及び動画像符号列切替方法
JP3679606B2 (ja) 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体
JP3839911B2 (ja) 画像処理装置および画像処理方法
US20020064225A1 (en) Compact MPEG data processing circuit and method of controlling the same
JPH10304311A (ja) 映像符号化装置及び映像復号化装置
EP0871337A2 (en) Method and apparatus for modifying a digital data stream
JPH08163558A (ja) 画像復号装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000619

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees