JP3091393B2 - 符号化されたビデオ信号をスプライシングする方法 - Google Patents
符号化されたビデオ信号をスプライシングする方法Info
- Publication number
- JP3091393B2 JP3091393B2 JP17923495A JP17923495A JP3091393B2 JP 3091393 B2 JP3091393 B2 JP 3091393B2 JP 17923495 A JP17923495 A JP 17923495A JP 17923495 A JP17923495 A JP 17923495A JP 3091393 B2 JP3091393 B2 JP 3091393B2
- Authority
- JP
- Japan
- Prior art keywords
- data stream
- data
- buffer
- sequence
- bits
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 36
- 239000000872 buffer Substances 0.000 claims description 94
- 238000003780 insertion Methods 0.000 description 21
- 230000037431 insertion Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 101150060836 KSL4 gene Proteins 0.000 description 6
- 239000000284 extract Substances 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】本発明は、Moving Picture E
xperts Group (MPEG) によって採択された規格に従って
符号化されたビデオ信号の処理に関し、特に、第1のソ
ースからのMPEG符号化されたデータストリームを、結合
画像が再生されたときにビデオデータの損失がないよう
に第2のソースからのMPEG符号化されたデータストリー
ムにスプライシングする方法に関する。
xperts Group (MPEG) によって採択された規格に従って
符号化されたビデオ信号の処理に関し、特に、第1のソ
ースからのMPEG符号化されたデータストリームを、結合
画像が再生されたときにビデオデータの損失がないよう
に第2のソースからのMPEG符号化されたデータストリー
ムにスプライシングする方法に関する。
【0002】
【従来の技術】米国において、デジタル符号化高精細テ
レビ信号のための規格が提案されている。この規格は、
International Standards Organization (ISO)のMoving
Picture Experts Group (MPEG) によって提案されたMP
EG-2規格と本質的に同一である。この規格は、draft in
ternational standard (DIS) 公報「情報技術−−動画
および関連音声の一般符号化、推奨H.262」に記載され
ている。この公報はISOから入手可能であり、そのMPEG-
2システム規格「ISO/IEC 13818-1」に関する教示、およ
びそのMPEG-2デジタルビデオ符号化規格「ISO/IEC 1381
8-2」に関する教示についてここに援用する。
レビ信号のための規格が提案されている。この規格は、
International Standards Organization (ISO)のMoving
Picture Experts Group (MPEG) によって提案されたMP
EG-2規格と本質的に同一である。この規格は、draft in
ternational standard (DIS) 公報「情報技術−−動画
および関連音声の一般符号化、推奨H.262」に記載され
ている。この公報はISOから入手可能であり、そのMPEG-
2システム規格「ISO/IEC 13818-1」に関する教示、およ
びそのMPEG-2デジタルビデオ符号化規格「ISO/IEC 1381
8-2」に関する教示についてここに援用する。
【0003】MPEG-2規格は、実際には数個の異なる規格
からなる。MPEG-2において、数個の異なるプロフィール
(profiles)が規定されており、その各々は、符号化され
た画像の異なる複雑さのレベルに対応している。各プロ
フィールにおいて異なるレベルが規定され、その各々の
レベルが、異なる解像度に対応する。主プロフィール(M
ain Profile)として知られるMPEG-2「規格」の1つであ
る主レベル(Main Level)の規格は、既存のテレビ規格
(NTSCおよびPALなど)に合致するビデオ信号を符号化
するために意図されている。別の主プロフィール(Main
Profile)として知られる別の「規格」の1つである高レ
ベル(High Level)規格は、高精細テレビ画像を符号化す
るために意図されている。主プロフィール高レベル規格
に従って符号化された画像は、画像フレーム毎に1152本
ものアクティブラインおよびライン毎に1920個の画素を
有し得る。米国のHDTV規格として現在実現されているの
は、この規格である。
からなる。MPEG-2において、数個の異なるプロフィール
(profiles)が規定されており、その各々は、符号化され
た画像の異なる複雑さのレベルに対応している。各プロ
フィールにおいて異なるレベルが規定され、その各々の
レベルが、異なる解像度に対応する。主プロフィール(M
ain Profile)として知られるMPEG-2「規格」の1つであ
る主レベル(Main Level)の規格は、既存のテレビ規格
(NTSCおよびPALなど)に合致するビデオ信号を符号化
するために意図されている。別の主プロフィール(Main
Profile)として知られる別の「規格」の1つである高レ
ベル(High Level)規格は、高精細テレビ画像を符号化す
るために意図されている。主プロフィール高レベル規格
に従って符号化された画像は、画像フレーム毎に1152本
ものアクティブラインおよびライン毎に1920個の画素を
有し得る。米国のHDTV規格として現在実現されているの
は、この規格である。
【0004】MPEG-2規格は、データと制御情報の混合物
を含む複雑なシンタックスを規定する。この制御情報の
うちある部分は、数個の異なるフォーマットを有する信
号をこの規格によってカバーすることを可能にする。こ
れらのフォーマットは、ライン毎の画面要素(画素)数
が異なり、フレームまたはフィールド毎のライン数が異
なり、かつ毎秒あたりのフレームまたはフィールド数が
異なる画像を規定する。更に、MPEG-2主プロフィールの
基本シンタックスは、シーケンス層、グループピクチャ
層、ピクチャ層、スライス層、マクロブロック層、およ
びブロック層の6層の画像シーケンスを表す圧縮された
MPEG-2ビットストリームを規定する。これらの層の各々
は、制御情報および「詰め込み」(stuffing)文字ととも
に導入される。詰め込み文字は、入力データストリーム
のデータレートをピクチャが表示されるレートにマッチ
させるため、必要に応じて挿入される。最後に、補助的
情報としても知られる他の制御情報(フレームタイプ、
マクロブロックパターン、画像動きベクトル、係数ジグ
ザグパターンおよび逆量子化情報など)が、符号化され
たビットストリーム中に散りばめられている。
を含む複雑なシンタックスを規定する。この制御情報の
うちある部分は、数個の異なるフォーマットを有する信
号をこの規格によってカバーすることを可能にする。こ
れらのフォーマットは、ライン毎の画面要素(画素)数
が異なり、フレームまたはフィールド毎のライン数が異
なり、かつ毎秒あたりのフレームまたはフィールド数が
異なる画像を規定する。更に、MPEG-2主プロフィールの
基本シンタックスは、シーケンス層、グループピクチャ
層、ピクチャ層、スライス層、マクロブロック層、およ
びブロック層の6層の画像シーケンスを表す圧縮された
MPEG-2ビットストリームを規定する。これらの層の各々
は、制御情報および「詰め込み」(stuffing)文字ととも
に導入される。詰め込み文字は、入力データストリーム
のデータレートをピクチャが表示されるレートにマッチ
させるため、必要に応じて挿入される。最後に、補助的
情報としても知られる他の制御情報(フレームタイプ、
マクロブロックパターン、画像動きベクトル、係数ジグ
ザグパターンおよび逆量子化情報など)が、符号化され
たビットストリーム中に散りばめられている。
【0005】デジタル画像を効率的に受像するために
は、復号器は制御部分を認識し、必要な制御情報を抽出
し、この抽出されたデータをビデオ信号情報処理に用い
なければならない。各シーケンス層について指定されて
いる情報の1つは、ビデオバッファリングベリファイヤ
(VBV)バッファサイズである。VBVバッファサイズ値
は、ビデオシーケンスが復号化される前に復号器の入力
バッファに記憶されるべきビデオシーケンスからの入力
データのビット数を表す。もし復号化が始まるときにこ
のビット数が記憶されていれば、入力バッファは、ビデ
オシーケンスの処理中にフルになることも(オーバーフ
ロー)ことも、空になる(アンダーフロー)こともな
い。
は、復号器は制御部分を認識し、必要な制御情報を抽出
し、この抽出されたデータをビデオ信号情報処理に用い
なければならない。各シーケンス層について指定されて
いる情報の1つは、ビデオバッファリングベリファイヤ
(VBV)バッファサイズである。VBVバッファサイズ値
は、ビデオシーケンスが復号化される前に復号器の入力
バッファに記憶されるべきビデオシーケンスからの入力
データのビット数を表す。もし復号化が始まるときにこ
のビット数が記憶されていれば、入力バッファは、ビデ
オシーケンスの処理中にフルになることも(オーバーフ
ロー)ことも、空になる(アンダーフロー)こともな
い。
【0006】
【発明が解決しようとする課題】VBVバッファサイズ値
は、新しいシーケンスデータが受信されたときに入力バ
ッファが空であること、または少なくとも、入力バッフ
ァの中身がVBVバッファサイズ値に達する前に入力バッ
ファ中の全データが削除されることを仮定している。VB
Vバッファサイズ値が入力バッファをオーバーフローさ
せたりアンダーフローさせたりすることがないことを保
証するためには、画像スプライシングをシーケンス境界
において行うことがMPEG規格においては好ましい。
は、新しいシーケンスデータが受信されたときに入力バ
ッファが空であること、または少なくとも、入力バッフ
ァの中身がVBVバッファサイズ値に達する前に入力バッ
ファ中の全データが削除されることを仮定している。VB
Vバッファサイズ値が入力バッファをオーバーフローさ
せたりアンダーフローさせたりすることがないことを保
証するためには、画像スプライシングをシーケンス境界
において行うことがMPEG規格においては好ましい。
【0007】しかし、このことは、ある特定のピクチャ
が表示された後に、そのピクチャがシーケンス境界にあ
ろうがなかろうが次々とシーンを切り替えることを望む
ビデオ編集者にとっては容認できないことがあり得る。
また、放送局名メッセージまたは広告をHDTVプログラム
中に任意の間隔で挿入するなど、短いプログラム断片を
挿入することを望む放送者にとっても望ましくないこと
があり得る。
が表示された後に、そのピクチャがシーケンス境界にあ
ろうがなかろうが次々とシーンを切り替えることを望む
ビデオ編集者にとっては容認できないことがあり得る。
また、放送局名メッセージまたは広告をHDTVプログラム
中に任意の間隔で挿入するなど、短いプログラム断片を
挿入することを望む放送者にとっても望ましくないこと
があり得る。
【0008】もしスプライシングがシーケンス境界で行
われなければ、入力バッファ中にすでに存在するデータ
は、挿入シーケンスからの新しいデータによってバッフ
ァがオーバーフローするまで、バッファから読み出され
て処理されないことがあり得る。または、すでに入力バ
ッファ中に存在するデータにより、VBVバッファサイズ
基準が満たされた旨の表示を復号器が早く行い過ぎるか
もしれない。この場合、復号器は、記憶されたデータの
処理において入力バッファをオーバーフローさせたりア
ンダーフローさせたりすることがあり得る。
われなければ、入力バッファ中にすでに存在するデータ
は、挿入シーケンスからの新しいデータによってバッフ
ァがオーバーフローするまで、バッファから読み出され
て処理されないことがあり得る。または、すでに入力バ
ッファ中に存在するデータにより、VBVバッファサイズ
基準が満たされた旨の表示を復号器が早く行い過ぎるか
もしれない。この場合、復号器は、記憶されたデータの
処理において入力バッファをオーバーフローさせたりア
ンダーフローさせたりすることがあり得る。
【0009】この問題を解決するための1つの方法が、
MPEG-2規格DIS ISO/IEC 13818-1に提案されている。こ
の方法によれば、データストリーム中のあるアクセス単
位、すなわちピクチャを、SEAMLESS_SPLICE_FLAGにより
標識する。このフラッグは、挿入シーケンスを主シーケ
ンスにスプライシングするための安全な場所を標識して
いる。しかし従来のスプライシング方法によれば、この
フラッグをセットするための基準を満たすアクセス単位
の数は限られている。さらに、このスプライシング方法
では、挿入されたストリームのビットレートをあるレベ
ルに限定することによってその基準を満たしており、挿
入されたストリームが可変可能なビットレートストリー
ムになり得ない。
MPEG-2規格DIS ISO/IEC 13818-1に提案されている。こ
の方法によれば、データストリーム中のあるアクセス単
位、すなわちピクチャを、SEAMLESS_SPLICE_FLAGにより
標識する。このフラッグは、挿入シーケンスを主シーケ
ンスにスプライシングするための安全な場所を標識して
いる。しかし従来のスプライシング方法によれば、この
フラッグをセットするための基準を満たすアクセス単位
の数は限られている。さらに、このスプライシング方法
では、挿入されたストリームのビットレートをあるレベ
ルに限定することによってその基準を満たしており、挿
入されたストリームが可変可能なビットレートストリー
ムになり得ない。
【0010】もう1つの方法は、MPEG規格の範囲内で、
挿入が容易になるようなフォーマットを規定し、かつこ
のフォーマットを表すフラグを設けることである。しか
しこの方法では、コンパチビリティのないフォーマット
を扱うことができず、MPEG規格のロバスト性(robustnes
s)を減少させてしまう。
挿入が容易になるようなフォーマットを規定し、かつこ
のフォーマットを表すフラグを設けることである。しか
しこの方法では、コンパチビリティのないフォーマット
を扱うことができず、MPEG規格のロバスト性(robustnes
s)を減少させてしまう。
【0011】本発明の目的は、他のシーケンスを主シー
ケンス中の任意のピクチャ境界に挿入することを可能に
するような主MPEG符号化シーケンスの処理方法を実現す
ることにある。
ケンス中の任意のピクチャ境界に挿入することを可能に
するような主MPEG符号化シーケンスの処理方法を実現す
ることにある。
【0012】
【課題を解決するための手段】本発明のビデオ信号のス
プライシング方法は、第1および第2の符号化された高
解像度テレビ信号をそれぞれ表す第1および第2のデー
タストリームを、該第1のデータストリーム中の選択さ
れたピクチャ境界においてバッファを用いてスプライシ
ングする方法が提供される。該第1および該第2のデー
タストリームの各々は、データレートおよびデータが該
バッファから呼び出される時刻を表す複数の復号化タイ
ムスタンプを有しており、該方法は、該第1のデータス
トリームを分析することによって該第1のデータストリ
ーム中かつ選択されたピクチャ境界後に挿入される無効
情報量(null information)を決定するステップであっ
て、該第1および第2のデータストリームの該データレ
ートおよび該第1および第2のデータストリーム中の該
復号化タイムスタンプから該無効データ量を決定するス
テップと、該選択されたピクチャ境界までの該第1のデ
ータストリームを該バッファに伝送するステップと、該
決定された量の無効情報を該バッファに伝送するステッ
プと、該第2のデータストリームを該バッファに伝送す
るステップと、スプライシングされたデータを該バッフ
ァから呼び出すステップと、を包含しており、そのこと
により上記目的が達成される。
プライシング方法は、第1および第2の符号化された高
解像度テレビ信号をそれぞれ表す第1および第2のデー
タストリームを、該第1のデータストリーム中の選択さ
れたピクチャ境界においてバッファを用いてスプライシ
ングする方法が提供される。該第1および該第2のデー
タストリームの各々は、データレートおよびデータが該
バッファから呼び出される時刻を表す複数の復号化タイ
ムスタンプを有しており、該方法は、該第1のデータス
トリームを分析することによって該第1のデータストリ
ーム中かつ選択されたピクチャ境界後に挿入される無効
情報量(null information)を決定するステップであっ
て、該第1および第2のデータストリームの該データレ
ートおよび該第1および第2のデータストリーム中の該
復号化タイムスタンプから該無効データ量を決定するス
テップと、該選択されたピクチャ境界までの該第1のデ
ータストリームを該バッファに伝送するステップと、該
決定された量の無効情報を該バッファに伝送するステッ
プと、該第2のデータストリームを該バッファに伝送す
るステップと、スプライシングされたデータを該バッフ
ァから呼び出すステップと、を包含しており、そのこと
により上記目的が達成される。
【0013】ある実施例では、前記第2のデータストリ
ームを前記バッファに伝送する前記ステップが、該第2
のデータストリームの第1の部分を、該第1のデータス
トリームの前記データレートで該バッファに伝送するス
テップおよび、該第2のデータストリームの第2の部分
を、該第2のデータストリームの前記データレートで該
バッファに伝送するステップを包含してもよい。
ームを前記バッファに伝送する前記ステップが、該第2
のデータストリームの第1の部分を、該第1のデータス
トリームの前記データレートで該バッファに伝送するス
テップおよび、該第2のデータストリームの第2の部分
を、該第2のデータストリームの前記データレートで該
バッファに伝送するステップを包含してもよい。
【0014】他の実施例では、前記データストリーム
が、Motion Picture Experts Group(MPEG)によって開発
された規格に従って符号化されたビットストリームであ
り、前記無効情報の量が、第2のデータストリームのシ
ーケンス開始コードの前に挿入される詰め込みビットの
数であってもよい。
が、Motion Picture Experts Group(MPEG)によって開発
された規格に従って符号化されたビットストリームであ
り、前記無効情報の量が、第2のデータストリームのシ
ーケンス開始コードの前に挿入される詰め込みビットの
数であってもよい。
【0015】更に、他の実施例では、前記無効情報の量
が、式 NSTUFF = Nlast + Nnext +Nsplc - Nnew によっ
て決定されてもよい。 ただしNlastは、前記第1のデー
タストリーム中の前記選択されたピクチャが前記バッフ
ァに記憶される時刻と該選択せれたピクチャが該メモリ
から呼び出される復号化タイムスタンプとの間のビット
数を表し、Nnextは、2つの復号化タイムスタンプ間に
供給される該第1のデータストリーム中のビット数を表
し、Nsplcは、該第1のデータストリームの整数個の復
号化タイムスタンプ間に供給される該第1のビットスト
リーム中のビット数を表し、Nnewは、前記第2のデータ
ストリーム中であって該第2のデータストリームの最初
の復号化タイムスタンプより前のビット数を表し、N
splcはNnew以上の値であってもよい。
が、式 NSTUFF = Nlast + Nnext +Nsplc - Nnew によっ
て決定されてもよい。 ただしNlastは、前記第1のデー
タストリーム中の前記選択されたピクチャが前記バッフ
ァに記憶される時刻と該選択せれたピクチャが該メモリ
から呼び出される復号化タイムスタンプとの間のビット
数を表し、Nnextは、2つの復号化タイムスタンプ間に
供給される該第1のデータストリーム中のビット数を表
し、Nsplcは、該第1のデータストリームの整数個の復
号化タイムスタンプ間に供給される該第1のビットスト
リーム中のビット数を表し、Nnewは、前記第2のデータ
ストリーム中であって該第2のデータストリームの最初
の復号化タイムスタンプより前のビット数を表し、N
splcはNnew以上の値であってもよい。
【0016】図1は、スプライシング動作を説明するデ
ータ図である。図において、シーケンス112が、主HDTV
信号のシーケンス110に挿入されることによって、変更
シーケンス110'を形成している。図1に示すように、主
MPEGシーケンス110は、シーケンス開始コードを含むシ
ーケンスヘッダ112、数個のアクセス単位(ピクチャ)1
16およびシーケンス終了コード114を含む。説明を簡便
にするため、図1にはシーケンス層とピクチャ層との間
にあるグループピクチャ層(group of pictures layer)
を示していない。挿入されるシーケンス112はまた、シ
ーケンスヘッダ118、数個のアクセス単位(ピクチャ)1
22およびシーケンス終了コード120を含む。
ータ図である。図において、シーケンス112が、主HDTV
信号のシーケンス110に挿入されることによって、変更
シーケンス110'を形成している。図1に示すように、主
MPEGシーケンス110は、シーケンス開始コードを含むシ
ーケンスヘッダ112、数個のアクセス単位(ピクチャ)1
16およびシーケンス終了コード114を含む。説明を簡便
にするため、図1にはシーケンス層とピクチャ層との間
にあるグループピクチャ層(group of pictures layer)
を示していない。挿入されるシーケンス112はまた、シ
ーケンスヘッダ118、数個のアクセス単位(ピクチャ)1
22およびシーケンス終了コード120を含む。
【0017】MPEG規格に規定されるように、各シーケン
ス開始コードの前に、値ゼロにされた(zero-valued)詰
め込みビット記号列(string)が存在しても良い。MPEG規
格においては、これらのビットは復号器によって無視さ
れ、入力バッファに書き込まれない無効情報を表す。詰
め込みビットは、データが供給されるレートが、データ
から導き出された画像を表示するレートと一致すること
を保証するために用いられる。これら詰め込みビットが
受信されている間、復号器は、入力バッファから表示用
のデータを読み出している。このように、詰め込みビッ
トが受信されている間、入力バッファに保持されている
データ量は減少する。
ス開始コードの前に、値ゼロにされた(zero-valued)詰
め込みビット記号列(string)が存在しても良い。MPEG規
格においては、これらのビットは復号器によって無視さ
れ、入力バッファに書き込まれない無効情報を表す。詰
め込みビットは、データが供給されるレートが、データ
から導き出された画像を表示するレートと一致すること
を保証するために用いられる。これら詰め込みビットが
受信されている間、復号器は、入力バッファから表示用
のデータを読み出している。このように、詰め込みビッ
トが受信されている間、入力バッファに保持されている
データ量は減少する。
【0018】結合されたシーケンスを、図1に変更デー
タストリーム110'として示す。このデータストリーム
は、シーケンスヘッダ112、アクセス単位116、変更シー
ケンスヘッダ118'、アクセス単位122および変更シーケ
ンス終了コード120'を含んでいる。変更シーケンス開始
コード118'は、前主シーケンスの最初の部分の最後を示
すシーケンス終了コード、詰め込みビット数NSTUFF、挿
入シーケンスのシーケンス開始コードおよび挿入シーケ
ンスの変更ヘッダを含む。挿入シーケンスの元のヘッダ
のビットレートフィールドは、16進数FFFFに変更され
る。これは、可変可能なビットレートシーケンスであ
る。この変更は、挿入シーケンスのビットレートが主シ
ーケンスのビットレートと異なり、元の挿入シーケンス
が一定のビットレートシーケンスだった場合にのみ行わ
れる。
タストリーム110'として示す。このデータストリーム
は、シーケンスヘッダ112、アクセス単位116、変更シー
ケンスヘッダ118'、アクセス単位122および変更シーケ
ンス終了コード120'を含んでいる。変更シーケンス開始
コード118'は、前主シーケンスの最初の部分の最後を示
すシーケンス終了コード、詰め込みビット数NSTUFF、挿
入シーケンスのシーケンス開始コードおよび挿入シーケ
ンスの変更ヘッダを含む。挿入シーケンスの元のヘッダ
のビットレートフィールドは、16進数FFFFに変更され
る。これは、可変可能なビットレートシーケンスであ
る。この変更は、挿入シーケンスのビットレートが主シ
ーケンスのビットレートと異なり、元の挿入シーケンス
が一定のビットレートシーケンスだった場合にのみ行わ
れる。
【0019】本発明の方法によれば、あるシーケンスの
開始部は、別のシーケンス中の任意のアクセスユニット
にスプライシングされる。元のシーケンスの残りが、挿
入シーケンスが主シーケンスにスプライシングされたの
と同様に挿入シーケンスにスプライシングされてはじめ
て、シーケンスの挿入は完了する。このように、変更シ
ーケンスヘッダ120'は、シーケンス終了コード、数個の
詰め込みビットおよび主シーケンスの変更シーケンスヘ
ッダを含む。変更シーケンスヘッダ118'に関しては、も
し主および挿入シーケンスのビットレートが異なり、か
つ元の主シーケンスが一定のビットレートを使用してい
れば、シーケンスヘッダ120'のビットレートフィールド
が16進数FFFFに変更され得る。これは可変可能なビット
レートシーケンスである。
開始部は、別のシーケンス中の任意のアクセスユニット
にスプライシングされる。元のシーケンスの残りが、挿
入シーケンスが主シーケンスにスプライシングされたの
と同様に挿入シーケンスにスプライシングされてはじめ
て、シーケンスの挿入は完了する。このように、変更シ
ーケンスヘッダ120'は、シーケンス終了コード、数個の
詰め込みビットおよび主シーケンスの変更シーケンスヘ
ッダを含む。変更シーケンスヘッダ118'に関しては、も
し主および挿入シーケンスのビットレートが異なり、か
つ元の主シーケンスが一定のビットレートを使用してい
れば、シーケンスヘッダ120'のビットレートフィールド
が16進数FFFFに変更され得る。これは可変可能なビット
レートシーケンスである。
【0020】加えられるべき詰め込みビット数は、下記
に図5および図6を用いて説明される本発明の方法によ
り決定される。実際のスプライシング動作は、下記に図
2、図3および図7を用いて説明する。
に図5および図6を用いて説明される本発明の方法によ
り決定される。実際のスプライシング動作は、下記に図
2、図3および図7を用いて説明する。
【0021】図2(a)および図2(b)は、バッファ
のフル度と時間の関係を表すグラフであり、本発明で述
べる課題および本発明における課題を解決する方法を説
明する図である。図2(a)の実線は、主シーケンスの
データストリームの一部STREAM1を示し、図2(b)の
実線は、挿入シーケンスのデータストリームの一部STRE
AM2を示す。本発明の実施例においては、これらのデー
タストリームはビットストリームである。これら図にお
ける垂直方向の移動は、データがバッファから読まれる
時刻を表している。この種の図においては,データがバ
ッファから即時的に読み出されるようなモデルを想定す
ることが一般的である。これら曲線の斜線部分は、デー
タがバッファに書き込まれている間の時刻を表す。これ
ら斜線部の傾きはデータストリームのデータレートに比
例する。
のフル度と時間の関係を表すグラフであり、本発明で述
べる課題および本発明における課題を解決する方法を説
明する図である。図2(a)の実線は、主シーケンスの
データストリームの一部STREAM1を示し、図2(b)の
実線は、挿入シーケンスのデータストリームの一部STRE
AM2を示す。本発明の実施例においては、これらのデー
タストリームはビットストリームである。これら図にお
ける垂直方向の移動は、データがバッファから読まれる
時刻を表している。この種の図においては,データがバ
ッファから即時的に読み出されるようなモデルを想定す
ることが一般的である。これら曲線の斜線部分は、デー
タがバッファに書き込まれている間の時刻を表す。これ
ら斜線部の傾きはデータストリームのデータレートに比
例する。
【0022】シーケンスSTREAM2は、時刻TIにおいて、
アクセス単位AU1の直後にシーケンスSTREAM1に挿入され
る。この例において用いられる入力バッファサイズが10
00であれば、STREAM2が時刻TIにおいてSTREAM1に挿入さ
れれば、STREAM2のVBVバッファサイズ(すなわち500)
に達する前にバッファはオーバーフローする。このこと
を防ぐために、本発明の方法では、図2(a)に点線で
示すように、NSTUFF個の詰め込みビットを時刻TIのAU1
とSTREAM2の開始部との間に挿入する。この結果、T
I後、MPEGビットストリームのバッファフル度は、実線
ではなく点線をたどる。値Tlast、DTS1、Tnext、DTS
nextおよびDTS2を用いて、下記に説明するようにNSTUFF
の最適値を計算する。詰め込みビットがデータストリー
ムに挿入されている間、バッファには新しいデータは加
えられない。挿入シーケンスを表す新しいデータは、点
線の傾きがゼロでないとき(non-zero)加えられる。
アクセス単位AU1の直後にシーケンスSTREAM1に挿入され
る。この例において用いられる入力バッファサイズが10
00であれば、STREAM2が時刻TIにおいてSTREAM1に挿入さ
れれば、STREAM2のVBVバッファサイズ(すなわち500)
に達する前にバッファはオーバーフローする。このこと
を防ぐために、本発明の方法では、図2(a)に点線で
示すように、NSTUFF個の詰め込みビットを時刻TIのAU1
とSTREAM2の開始部との間に挿入する。この結果、T
I後、MPEGビットストリームのバッファフル度は、実線
ではなく点線をたどる。値Tlast、DTS1、Tnext、DTS
nextおよびDTS2を用いて、下記に説明するようにNSTUFF
の最適値を計算する。詰め込みビットがデータストリー
ムに挿入されている間、バッファには新しいデータは加
えられない。挿入シーケンスを表す新しいデータは、点
線の傾きがゼロでないとき(non-zero)加えられる。
【0023】図2(a)および図2(b)から、STREAM
2によってデータが供給されるレートは、STREAM1によっ
てデータが供給されるレートも小さいことがわかる。そ
れにも関わらず、STREAM2のデータの、復号化タイムス
タンプDTS1とDTSnextとの間に供給される最初の部分
は、シーケンスSTREAM1と同じレートで供給される。一
方、図2(b)に示すように、STREAM2のDTSnextの後に
供給される部分は、元のSTREAM2と同じレートで供給さ
れる。
2によってデータが供給されるレートは、STREAM1によっ
てデータが供給されるレートも小さいことがわかる。そ
れにも関わらず、STREAM2のデータの、復号化タイムス
タンプDTS1とDTSnextとの間に供給される最初の部分
は、シーケンスSTREAM1と同じレートで供給される。一
方、図2(b)に示すように、STREAM2のDTSnextの後に
供給される部分は、元のSTREAM2と同じレートで供給さ
れる。
【0024】図2(a)および図2(b)のグラフは、
シーケンスが固定データレートを有するように符号化さ
れたときの、本発明の実施例における方法の動作を示し
ている。図3(a)および図3(b)は、シーケンスが
可変データレートを有するように符号化されたときの、
本発明の実施例における方法の動作を示している。図3
(a)および図3(b)中における図2(a)および図
2(b)に対応する要素には、プライム(')を付して示
している。
シーケンスが固定データレートを有するように符号化さ
れたときの、本発明の実施例における方法の動作を示し
ている。図3(a)および図3(b)は、シーケンスが
可変データレートを有するように符号化されたときの、
本発明の実施例における方法の動作を示している。図3
(a)および図3(b)中における図2(a)および図
2(b)に対応する要素には、プライム(')を付して示
している。
【0025】図4は、本発明によるMPEG-2またはHDTVス
プライサおよびMPEG-2またはHDTV復号器の部分を示すブ
ロック図である。このスプライサは、主および挿入MPEG
-2 HDTV信号、STREAM1およびSTREAM2をそれぞれ受信す
るように結合されたプロセッサ412を有している。これ
らの信号の各々は、「感色量子化を有する高解像度ビデ
オ復号化システム」と題された米国特許第5,294,974号
に記載されているような従来のHDTV符号器を用いて発生
してもよい。この米国特許は、そのHDTV符号器に関する
教示についてここに援用する。または、これらの信号
は、ISO/IEC 13818-2 DISに記載されるようなMPEG-2符
号器を用いて発生してもよい。この公報は、そのMPEG-2
符号器に関する教示についてここに援用する。
プライサおよびMPEG-2またはHDTV復号器の部分を示すブ
ロック図である。このスプライサは、主および挿入MPEG
-2 HDTV信号、STREAM1およびSTREAM2をそれぞれ受信す
るように結合されたプロセッサ412を有している。これ
らの信号の各々は、「感色量子化を有する高解像度ビデ
オ復号化システム」と題された米国特許第5,294,974号
に記載されているような従来のHDTV符号器を用いて発生
してもよい。この米国特許は、そのHDTV符号器に関する
教示についてここに援用する。または、これらの信号
は、ISO/IEC 13818-2 DISに記載されるようなMPEG-2符
号器を用いて発生してもよい。この公報は、そのMPEG-2
符号器に関する教示についてここに援用する。
【0026】プロセッサ412は、2つのバッファBStest4
14およびBSdec416に結合されている。これらのバッファ
は、好ましくは同一のものを使用する。バッファ414
は、値NSTUFFを計算するための情報を集めるために用い
られる。実際のスプライシングは、バッファ416を用い
て行う。スプライシングされた信号は、バッファ416か
ら、復号器420の入力バッファ424に送られる。復号器42
0はまた、プロセッサ422を有している。プロセッサ422
は、動画像を再生するために入力バッファ424からデー
タを引き出す。
14およびBSdec416に結合されている。これらのバッファ
は、好ましくは同一のものを使用する。バッファ414
は、値NSTUFFを計算するための情報を集めるために用い
られる。実際のスプライシングは、バッファ416を用い
て行う。スプライシングされた信号は、バッファ416か
ら、復号器420の入力バッファ424に送られる。復号器42
0はまた、プロセッサ422を有している。プロセッサ422
は、動画像を再生するために入力バッファ424からデー
タを引き出す。
【0027】図5は、シーケンスSTREAM1およびSTREAM2
に関する情報を集める際のプロセッサ412に対する制御
プロセスを示すフローチャートである。このプロセス
は、ステップ510から始まる。ステップ512において、プ
ロセッサは、その書き込みアドレスポインタをバッファ
の最初にセットすることによって、バッファ414を初期
化する。ステップ514において、プロセッサは、STREAM1
のシーケンスヘッダ中に指定されたデータレートで、ST
REAM1をバッファに送る。本実施例においては、STREAM1
およびSTREAM2は両方とも記憶された信号である(例え
ばデジタルビデオテープレコーダから得られる)。この
ように、信号は、スプライシングパラメータを決定する
ために1回と、実際のスプライシング動作を行うための
合計2回アクセスされる。記憶されていないが衛星フィ
ード(satellite feed)から到来する2つの信号をスプラ
イシングするためには、実際のスプライシング動作の前
にスプライシングパラメータが決定されるようにするた
め補償遅延(不図示)が必要な場合もある。
に関する情報を集める際のプロセッサ412に対する制御
プロセスを示すフローチャートである。このプロセス
は、ステップ510から始まる。ステップ512において、プ
ロセッサは、その書き込みアドレスポインタをバッファ
の最初にセットすることによって、バッファ414を初期
化する。ステップ514において、プロセッサは、STREAM1
のシーケンスヘッダ中に指定されたデータレートで、ST
REAM1をバッファに送る。本実施例においては、STREAM1
およびSTREAM2は両方とも記憶された信号である(例え
ばデジタルビデオテープレコーダから得られる)。この
ように、信号は、スプライシングパラメータを決定する
ために1回と、実際のスプライシング動作を行うための
合計2回アクセスされる。記憶されていないが衛星フィ
ード(satellite feed)から到来する2つの信号をスプラ
イシングするためには、実際のスプライシング動作の前
にスプライシングパラメータが決定されるようにするた
め補償遅延(不図示)が必要な場合もある。
【0028】ステップ514において、アクセス単位AU1に
よって表されるピクチャ直後の挿入ポイントがバッファ
414に記憶されたか否かを決定する。AU1が受信されるま
で、全ての受信されたアクセス単位は、そのアクセス単
位の復号化タイムスタンプ(DTS)フィールドによって示
される時刻においてバッファ414から除去される。すな
わち、図4に示す復号器420などの復号器によって入力
バッファから除去される場合と同じシーケンスおよび同
じタイミングで、データはバッファ414から除去され
る。アクセス単位が除去されたときにも、シーケンスST
REAM1は、ステップ520に示されるように適切なデータレ
ートで供給され続け、制御はステップ516に移され、AU1
が受信されたか否かを決定する。
よって表されるピクチャ直後の挿入ポイントがバッファ
414に記憶されたか否かを決定する。AU1が受信されるま
で、全ての受信されたアクセス単位は、そのアクセス単
位の復号化タイムスタンプ(DTS)フィールドによって示
される時刻においてバッファ414から除去される。すな
わち、図4に示す復号器420などの復号器によって入力
バッファから除去される場合と同じシーケンスおよび同
じタイミングで、データはバッファ414から除去され
る。アクセス単位が除去されたときにも、シーケンスST
REAM1は、ステップ520に示されるように適切なデータレ
ートで供給され続け、制御はステップ516に移され、AU1
が受信されたか否かを決定する。
【0029】アクセス単位AU1がいったん受信される
と、制御はステップ522に移り、TlastおよびNlastの値
を決定する。図2(a)に示すように、Tlastは、AU1が
受信された時刻と、AU1が処理のために入力バッファか
ら読み出される時刻であるAU1の復号化タイムスタンプD
TS1との差である。
と、制御はステップ522に移り、TlastおよびNlastの値
を決定する。図2(a)に示すように、Tlastは、AU1が
受信された時刻と、AU1が処理のために入力バッファか
ら読み出される時刻であるAU1の復号化タイムスタンプD
TS1との差である。
【0030】次に、ステップ524において、DTSnext、T
nextおよびNnextの値を決定する。DTSnextは、DTS1の次
の復号化タイムスタンプまでの時間である。MPEG規格に
おいては、復号化タイムスタンプは、規則正しい間隔で
発生する。従って、DTSnextは、DTS1とその1つ前の復
号化タイムスタンプとの差を計算し、その差値をDTS1に
加算することによって決定され得る。または、この値
は、STREAM1を監視し、DTS1以外のDTSに遭遇するまでAU
1に続くアクセス単位ヘッダからDTS値を抽出することに
よっても決定され得る。図2(a)に示すように、T
nextは、DTS1をDTSnextから減算することによって計算
される。同様に、期間Tnext中にバッファに記憶される
データのビット数Nnextは、TnextをSTREAM1のデータレ
ートR1または、ISO/IEC 13818-1およびISO/IEC 138181-
2に規定される最大データストリームレートRmax[p.1]以
下の任意のレートで乗算することによって計算される。
このデータレートは、シーケンスヘッダから得ることが
できる。もしSTREAM1が可変可能なレートを有するデー
タストリームであれば、図3(a)に示すように、R1は
ISO/IEC 13818-1およびISO/IEC 138181-2に規定される
最大データストリームレートRmax[p.1]以下の任意のデ
ータレートである。
nextおよびNnextの値を決定する。DTSnextは、DTS1の次
の復号化タイムスタンプまでの時間である。MPEG規格に
おいては、復号化タイムスタンプは、規則正しい間隔で
発生する。従って、DTSnextは、DTS1とその1つ前の復
号化タイムスタンプとの差を計算し、その差値をDTS1に
加算することによって決定され得る。または、この値
は、STREAM1を監視し、DTS1以外のDTSに遭遇するまでAU
1に続くアクセス単位ヘッダからDTS値を抽出することに
よっても決定され得る。図2(a)に示すように、T
nextは、DTS1をDTSnextから減算することによって計算
される。同様に、期間Tnext中にバッファに記憶される
データのビット数Nnextは、TnextをSTREAM1のデータレ
ートR1または、ISO/IEC 13818-1およびISO/IEC 138181-
2に規定される最大データストリームレートRmax[p.1]以
下の任意のレートで乗算することによって計算される。
このデータレートは、シーケンスヘッダから得ることが
できる。もしSTREAM1が可変可能なレートを有するデー
タストリームであれば、図3(a)に示すように、R1は
ISO/IEC 13818-1およびISO/IEC 138181-2に規定される
最大データストリームレートRmax[p.1]以下の任意のデ
ータレートである。
【0031】ステップ526において、これらの値が決定
されると、サイドバッファ414を再び空にし、STREAM2か
らのデータのバッファ414への記憶をステップ528におい
て開始する。このデータは、STREAM2のビットレートで
バッファに記憶される。ステップ532を含むループで示
されるように、STREAM2の最初のアクセス単位の復号化
タイムスタンプに対応する時刻までデータは記憶され
る。この時刻を、DTS2*とする。時刻DTS2*においてバッ
ファ414に記憶されているデータの量をNnewとし、この
値をステップ534のプロセスによって保存する。ステッ
プ536において、STREAM2が固定レートストリームか可変
レートストリームであるかを決定する。もし可変レート
ストリームであれば、制御はステップ538に移り、STREA
M2のビットレートを表す値R2を決定する。この場合、R2
には、DTS2*によって規定される期間中のデータレート
の平均値が割り当てられる。ステップ540において、パ
ラメータを収集するプロセスは終了する。
されると、サイドバッファ414を再び空にし、STREAM2か
らのデータのバッファ414への記憶をステップ528におい
て開始する。このデータは、STREAM2のビットレートで
バッファに記憶される。ステップ532を含むループで示
されるように、STREAM2の最初のアクセス単位の復号化
タイムスタンプに対応する時刻までデータは記憶され
る。この時刻を、DTS2*とする。時刻DTS2*においてバッ
ファ414に記憶されているデータの量をNnewとし、この
値をステップ534のプロセスによって保存する。ステッ
プ536において、STREAM2が固定レートストリームか可変
レートストリームであるかを決定する。もし可変レート
ストリームであれば、制御はステップ538に移り、STREA
M2のビットレートを表す値R2を決定する。この場合、R2
には、DTS2*によって規定される期間中のデータレート
の平均値が割り当てられる。ステップ540において、パ
ラメータを収集するプロセスは終了する。
【0032】パラメータが決定された後、プロセッサ41
2は、値NSTUFFを計算する。このプロセスは、図6のス
テップ610から開始する。ステップ612において、一時変
数Kがゼロにセットされる。次に、ステップ614におい
て、データレートR2を有するバッファに書き込れるデー
タ量を表す値Nsplcを計算する。
2は、値NSTUFFを計算する。このプロセスは、図6のス
テップ610から開始する。ステップ612において、一時変
数Kがゼロにセットされる。次に、ステップ614におい
て、データレートR2を有するバッファに書き込れるデー
タ量を表す値Nsplcを計算する。
【0033】あるスプライシングにおいては、Nnewによ
って表されるデータ量は、データレートR1で期間Tnext
にバッファに記憶され得ない場合がある。この状態は、
ステップ614、616および618を含むループによって処理
される。ステップ614において、Nsplcの試算値(trial v
alue)がK、TnextおよびR2の積として決定される。ステ
ップ616において、この試算値は(Nnew − Nlast− N
next)の値と比較される。
って表されるデータ量は、データレートR1で期間Tnext
にバッファに記憶され得ない場合がある。この状態は、
ステップ614、616および618を含むループによって処理
される。ステップ614において、Nsplcの試算値(trial v
alue)がK、TnextおよびR2の積として決定される。ステ
ップ616において、この試算値は(Nnew − Nlast− N
next)の値と比較される。
【0034】もしNsplcがステップ616において(Nnew −
Nlast− Nnext)以上であると判断されれば、制御はス
テップ620に移り、NSTUFFの値を式(1)に従って決定す
る。 NSTUFF = Nlast + Nnext + Nsplc - Nnew (1) ステップ622において、プロセスは終了する。発明者
は、この数の詰め込みビットを挿入シーケンスSTREAM2
の前に加えることによって、データストリームが受信さ
れたときの入力バッファのオーバーフローは無くなるこ
とを見出した。
Nlast− Nnext)以上であると判断されれば、制御はス
テップ620に移り、NSTUFFの値を式(1)に従って決定す
る。 NSTUFF = Nlast + Nnext + Nsplc - Nnew (1) ステップ622において、プロセスは終了する。発明者
は、この数の詰め込みビットを挿入シーケンスSTREAM2
の前に加えることによって、データストリームが受信さ
れたときの入力バッファのオーバーフローは無くなるこ
とを見出した。
【0035】NSTUFFの適切な値が決定された後、プロセ
ッサ412は図7に示すプロセスを実行することにより、S
TREAM1をSTREAM2にスプライシングする。このプロセス
は、ステップ710において図4に416として示すバッファ
BSdecを空にすることによって開始する。ステップ712に
おいて、プロセッサ412は、STREAM1からのデータをバッ
ファ416にSTREAM1のデータレートで送る。ステップ714
において、AU1の最終ビットがバッファ416に書き込まれ
たかどうかを決定する。もし書き込まれていなければ、
ステップ716および718に示すように、AU1以前のAUを、
その復号化タイムスタンプ(DTS)に対応する期間におい
て除去し、AU1が記憶されるまでSTREAM1からのデータを
供給し続ける。
ッサ412は図7に示すプロセスを実行することにより、S
TREAM1をSTREAM2にスプライシングする。このプロセス
は、ステップ710において図4に416として示すバッファ
BSdecを空にすることによって開始する。ステップ712に
おいて、プロセッサ412は、STREAM1からのデータをバッ
ファ416にSTREAM1のデータレートで送る。ステップ714
において、AU1の最終ビットがバッファ416に書き込まれ
たかどうかを決定する。もし書き込まれていなければ、
ステップ716および718に示すように、AU1以前のAUを、
その復号化タイムスタンプ(DTS)に対応する期間におい
て除去し、AU1が記憶されるまでSTREAM1からのデータを
供給し続ける。
【0036】AU1が記憶されると、ステップ720において
バッファ416中のAU1を含みより以前のAUを、各AUに対応
する復号化タイムスタンプにおいて除去する。AU1が記
憶された時刻から開始し、ステップ722において、NSTUF
F個の詰め込みビットをビットレートR1でバッファ416に
送る。ステップ724において、NSTUFF個の詰め込みビッ
トが全て、時刻DTSnextより前に送られたか否かを決定
する。もし送られていなければ、制御はステップ734に
移り、NSTUFF個の詰め込みビットが全て、時刻DTSnext
において送られたか否かを決定する。もしこの条件が満
たされなければ、ステップ736を実行して残りの詰め込
みビットをレートR2でバッファ416に送る。
バッファ416中のAU1を含みより以前のAUを、各AUに対応
する復号化タイムスタンプにおいて除去する。AU1が記
憶された時刻から開始し、ステップ722において、NSTUF
F個の詰め込みビットをビットレートR1でバッファ416に
送る。ステップ724において、NSTUFF個の詰め込みビッ
トが全て、時刻DTSnextより前に送られたか否かを決定
する。もし送られていなければ、制御はステップ734に
移り、NSTUFF個の詰め込みビットが全て、時刻DTSnext
において送られたか否かを決定する。もしこの条件が満
たされなければ、ステップ736を実行して残りの詰め込
みビットをレートR2でバッファ416に送る。
【0037】ステップ724において、NSTUFF個の詰め込
みビットがDTSnextより前に送られたと決定されれば、
ステップ726を実行し、STREAM2の最初の部分をバッファ
416にビットレートR1で送り始める。ステップ728におい
て、プロセスは変数Kが値ゼロを有するか否かを決定す
る。もしゼロでなければ、制御はステップ738に移り、S
TREAM2からのデータをバッファ416にビットレートR2で
送る。NSTUFF個の詰め込みビットが時刻DTSnext に、送
られたと決定されると、ステップ738もステップ734の後
に実行される。ステップ738の後に、ステップ740が実行
され、DTS2に対応する時刻においてAU2をバッファ416か
ら除去する。
みビットがDTSnextより前に送られたと決定されれば、
ステップ726を実行し、STREAM2の最初の部分をバッファ
416にビットレートR1で送り始める。ステップ728におい
て、プロセスは変数Kが値ゼロを有するか否かを決定す
る。もしゼロでなければ、制御はステップ738に移り、S
TREAM2からのデータをバッファ416にビットレートR2で
送る。NSTUFF個の詰め込みビットが時刻DTSnext に、送
られたと決定されると、ステップ738もステップ734の後
に実行される。ステップ738の後に、ステップ740が実行
され、DTS2に対応する時刻においてAU2をバッファ416か
ら除去する。
【0038】図8、図9および図10は、バッファのフル
度と時間の関係を表すグラフであり、Kの値が1である
場合のスプライシングを示している。図10において、DT
Snextによって表される時刻とDTS2によって表される時
刻との間では、STREAM2が一定のビットレートシーケン
スならば、ビットレートはSTREAM2のビットレートR2で
あり、STREAM2が可変ビットレートシーケンスならば、T
2*(図9)中の平均ビットレートである。
度と時間の関係を表すグラフであり、Kの値が1である
場合のスプライシングを示している。図10において、DT
Snextによって表される時刻とDTS2によって表される時
刻との間では、STREAM2が一定のビットレートシーケン
スならば、ビットレートはSTREAM2のビットレートR2で
あり、STREAM2が可変ビットレートシーケンスならば、T
2*(図9)中の平均ビットレートである。
【0039】もしステップ728において変数Kがゼロに
等しいと決定されれば、ステップ730おいて、STREAM2の
最初のアクセス単位であるAU2がバッファから除去され
る。ステップ730またはステップ740の後、ステップ732
が実行されてSTREAM2からのデータをSTREAM2のビット
レートで供給し続ける。これが、スプライシングプロセ
スの最後のステップである。
等しいと決定されれば、ステップ730おいて、STREAM2の
最初のアクセス単位であるAU2がバッファから除去され
る。ステップ730またはステップ740の後、ステップ732
が実行されてSTREAM2からのデータをSTREAM2のビット
レートで供給し続ける。これが、スプライシングプロセ
スの最後のステップである。
【0040】図4に示すように、データはバッファ416
から除去され、復号器420の入力バッファ424に加えられ
る。バッファ424は、詰め込みビットを無視し、STREAM2
データの印加を、プロセッサ422が充分な量のデータを
入力バッファ424から除去することによってSTREAM2デー
タのためのスペースが確保されるまで、効果的に遅延す
る。
から除去され、復号器420の入力バッファ424に加えられ
る。バッファ424は、詰め込みビットを無視し、STREAM2
データの印加を、プロセッサ422が充分な量のデータを
入力バッファ424から除去することによってSTREAM2デー
タのためのスペースが確保されるまで、効果的に遅延す
る。
【0041】
【発明の効果】本発明によれば、Moving Picture Exper
ts Group(MPEG)によって採択された規格に従って符号化
された2つの圧縮ビデオ信号をスプライシングする方法
において、第1の圧縮ビデオ信号中の任意のアクセス単
位(ピクチャ)後にスプライシングを発生させることが
可能である。
ts Group(MPEG)によって採択された規格に従って符号化
された2つの圧縮ビデオ信号をスプライシングする方法
において、第1の圧縮ビデオ信号中の任意のアクセス単
位(ピクチャ)後にスプライシングを発生させることが
可能である。
【0042】これにより、本発明は、他のシーケンスを
主シーケンス中の任意のピクチャ境界に挿入することを
可能にするような主MPEG符号化シーケンスの処理方法を
実現する。
主シーケンス中の任意のピクチャ境界に挿入することを
可能にするような主MPEG符号化シーケンスの処理方法を
実現する。
【図1】本発明による挿入動作を示すデータ図である。
【図2】(a)および(b)は、バッファのフル度と時
間の関係を表すグラフであり、本発明における固定デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
間の関係を表すグラフであり、本発明における固定デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
【図3】(a)および(b)は、バッファのフル度と時
間の関係を表すグラフであり、本発明における可変デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
間の関係を表すグラフであり、本発明における可変デー
タレートMPEG-2符号化信号の処理を説明するための図で
ある。
【図4】本発明による動作を行うHDTVまたはMPEG-2符号
器および復号器に好適に用いられる回路を示すブロック
図。
器および復号器に好適に用いられる回路を示すブロック
図。
【図5】主および挿入データストリームからパラメータ
値を抽出するプロセスのフローチャートである。
値を抽出するプロセスのフローチャートである。
【図6】抽出されたパラメータ値から詰め込みビット数
を計算するプロセスのフローチャート図である。
を計算するプロセスのフローチャート図である。
【図7】図6で計算した数の詰め込みビットの数を主シ
ーケンスの挿入ポイントと挿入シーケンスの開始部との
間に挿入する挿入プロセスのフローチャート図である。
ーケンスの挿入ポイントと挿入シーケンスの開始部との
間に挿入する挿入プロセスのフローチャート図である。
【図8】バッファのフル度と時間の関係を表すグラフで
あり、図7の変数Kの値が1である場合の本発明による
動作を説明する図である。
あり、図7の変数Kの値が1である場合の本発明による
動作を説明する図である。
【図9】バッファのフル度と時間の関係を表すグラフで
あり、図7の変数Kの値が1である場合の本発明による
動作を説明する図である。
あり、図7の変数Kの値が1である場合の本発明による
動作を説明する図である。
【図10】バッファのフル度と時間の関係を表すグラフ
であり、図7の変数Kの値が1である場合の本発明によ
る動作を説明する図である。
であり、図7の変数Kの値が1である場合の本発明によ
る動作を説明する図である。
110 主シーケンス 110' 変更シーケンス 112 シーケンス 114、120 シーケンス終了コード 116、122 アクセス単位(ピクチャ) 118 シーケンスヘッダ 118' 変更シーケンスヘッダ 412、422 プロセッサ 414 バッファBStest 416 バッファBSdec 420 復号器 424 入力バッファ
フロントページの続き (56)参考文献 特開 平4−14974(JP,A) 欧州特許出願公開594316(EP,A 2) (58)調査した分野(Int.Cl.7,DB名) H04N 7/025 - 7/088 H04N 7/64 - 7/68 H04N 5/38
Claims (4)
- 【請求項1】 第1および第2の符号化された高解像度
テレビ信号をそれぞれ表す第1および第2のデータスト
リームを、該第1のデータストリーム中の選択されたピ
クチャ境界においてバッファを用いて符号化されたビデ
オ信号をスプライシングする方法であって、該第1およ
び該第2のデータストリームの各々は、データレートお
よびデータが該バッファから呼び出される時刻を表す複
数の復号化タイムスタンプを有しており、該方法は、 該第1のデータストリームを分析することによって該第
1のデータストリーム中かつ選択されたピクチャ境界後
に挿入される無効情報量を決定するステップであって、
該第1および第2のデータストリームの該データレート
および該第1および第2のデータストリーム中の該復号
化タイムスタンプから該無効情報量を決定するステップ
と、 該選択されたピクチャ境界までの該第1のデータストリ
ームを該バッファに伝送するステップと、 該決定された量の無効情報を該バッファに伝送するステ
ップと、 該第2のデータストリームを該バッファに伝送するステ
ップと、 スプライシングされたデータを該バッファから引き出す
ステップとを包含することを特徴とする符号化されたビ
デオ信号をスプライシングする方法。 - 【請求項2】 前記第2のデータストリームを前記バッ
ファに伝送する前記ステップが、 該第2のデータストリームの第1の部分を、該第1のデ
ータストリームの前記データレートで該バッファに伝送
するステップおよび、 該第2のデータストリームの第2の部分を、該第2のデ
ータストリームの前記データレートで該バッファに伝送
するステップを包含している請求項1に記載の方法。 - 【請求項3】 前記データストリームが、Motion Pictu
re Experts Group(MPEG)によって開発された規格に従っ
て符号化されたビットストリームであり、前記無効情報
の量が、第2のデータストリームのシーケンス開始コー
ドの前に挿入される詰め込みビットの数である請求項2
に記載の方法。 - 【請求項4】 前記詰め込みビットの数が、下記式によ
って決定される請求項3に記載の方法であって、 NSTUFF = Nlast + Nnext + Nsplc - Nnew ただしNlastは、前記第1のデータストリーム中の前記
選択されたピクチャが前記バッファに記憶される時刻と
該選択せれたピクチャが該メモリから呼び出される復号
化タイムスタンプとの間のビット数を表し、 Nnextは、2つの復号化タイムスタンプ間に供給される
該第1のデータストリーム中のビット数を表し、 Nsplcは、該第1のデータストリームの整数個の復号化
タイムスタンプ間に供給される該第1のビットストリー
ム中のビット数を表し、 Nnewは、前記第2のデータストリーム中であって該第2
のデータストリームの最初の復号化タイムスタンプより
前のビット数を表し、 NsplcはNnew以上の値である方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US27651594A | 1994-07-15 | 1994-07-15 | |
US08/276,515 | 1994-07-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0884333A JPH0884333A (ja) | 1996-03-26 |
JP3091393B2 true JP3091393B2 (ja) | 2000-09-25 |
Family
ID=23056938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17923495A Expired - Fee Related JP3091393B2 (ja) | 1994-07-15 | 1995-07-14 | 符号化されたビデオ信号をスプライシングする方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP0692911B1 (ja) |
JP (1) | JP3091393B2 (ja) |
DE (1) | DE69515386T2 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5534944A (en) * | 1994-07-15 | 1996-07-09 | Matsushita Electric Corporation Of America | Method of splicing MPEG encoded video |
CA2157066C (en) * | 1994-10-21 | 1999-09-21 | Nelson Botsford Iii | Method for controlling a compressed data buffer |
JPH08265774A (ja) * | 1995-03-27 | 1996-10-11 | Sony Corp | 画像圧縮方法及び画像圧縮装置 |
DE69732874T2 (de) * | 1996-05-02 | 2006-04-20 | Sony Corp. | Kodierung, Speicherung und Übertragung von digitalen Signalen |
CA2197727A1 (en) * | 1996-06-27 | 1997-12-27 | Richard Frank Bruno | Method for altering a broadcast transmission as a function of its recipient on a communications network |
US5917830A (en) * | 1996-10-18 | 1999-06-29 | General Instrument Corporation | Splicing compressed packetized digital video streams |
CN1153451C (zh) * | 1996-12-18 | 2004-06-09 | 汤姆森消费电子有限公司 | 一种多格式视频信号处理器 |
GB9700956D0 (en) * | 1997-01-17 | 1997-03-05 | Digi Media Vision Ltd | Improvements in or relating to switching between compressed bitstreams |
US5982436A (en) * | 1997-03-28 | 1999-11-09 | Philips Electronics North America Corp. | Method for seamless splicing in a video encoder |
KR20000029596A (ko) * | 1997-05-27 | 2000-05-25 | 요트.게.아. 롤페즈 | 비디오시퀀스의스위칭방법,대응스위칭소자및디코딩시스템 |
FR2765983B1 (fr) * | 1997-07-11 | 2004-12-03 | France Telecom | Signal de donnees de modification d'une scene graphique, procede et dispositif correspondants |
GB9716545D0 (en) * | 1997-08-06 | 1997-10-08 | Nds Ltd | A method and apparatus for switching between digital bit-streams |
GB2328099B (en) * | 1997-08-08 | 2002-07-03 | British Broadcasting Corp | Processing coded video |
JPH1175189A (ja) | 1997-08-27 | 1999-03-16 | Mitsubishi Electric Corp | 画像符号化方法 |
CN1148955C (zh) * | 1997-10-03 | 2004-05-05 | 索尼公司 | 编码数据流接合设备和方法及编码数据流生成设备和方法 |
US6154496A (en) * | 1997-11-25 | 2000-11-28 | Philips Electronics N.A. Corp. | Video buffer for seamless splicing of MPEG streams |
US6049569A (en) * | 1997-12-09 | 2000-04-11 | Philips Electronics N.A. Corporation | Method and apparatus for encoding digital video bit streams with seamless splice points and method and apparatus for splicing such digital video bit streams |
JP4232209B2 (ja) * | 1998-01-19 | 2009-03-04 | ソニー株式会社 | 圧縮画像データの編集装置及び圧縮画像データの編集方法 |
KR100664452B1 (ko) * | 1998-02-03 | 2007-01-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 코딩된 비디오 시퀀스들을 스위칭하는 방법 및 그것에 대응하는 장치 |
KR100674399B1 (ko) * | 1998-02-03 | 2007-01-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 코딩된 비디오 시퀀스들의 스위칭 방법 및 장치 |
GB9807202D0 (en) | 1998-04-03 | 1998-06-03 | Nds Ltd | A method and apparatus for processing compressed video data streams |
JP2000165802A (ja) | 1998-11-25 | 2000-06-16 | Matsushita Electric Ind Co Ltd | ストリーム編集装置と編集方法 |
GB2347812A (en) * | 1999-03-08 | 2000-09-13 | Nds Ltd | Real time splicing of video signals |
GB2353652B (en) * | 1999-08-26 | 2003-07-23 | Sony Uk Ltd | Signal processor |
US7010492B1 (en) | 1999-09-30 | 2006-03-07 | International Business Machines Corporation | Method and apparatus for dynamic distribution of controlled and additional selective overlays in a streaming media |
US8341662B1 (en) | 1999-09-30 | 2012-12-25 | International Business Machine Corporation | User-controlled selective overlay in a streaming media |
US7145912B1 (en) * | 2000-03-23 | 2006-12-05 | Tut Systems, Inc. | Demultiplexing a statistically multiplexed MPEG transport stream into CBR single program transport streams |
US6694060B2 (en) * | 2000-12-21 | 2004-02-17 | General Instrument Corporation | Frame bit-size allocation for seamlessly spliced, variable-encoding-rate, compressed digital video signals |
JP2003204482A (ja) * | 2001-10-22 | 2003-07-18 | Matsushita Electric Ind Co Ltd | 放送装置 |
CN101682790A (zh) * | 2007-05-29 | 2010-03-24 | 皇家飞利浦电子股份有限公司 | 可视化视频信号的对象 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2969782B2 (ja) * | 1990-05-09 | 1999-11-02 | ソニー株式会社 | 符号化データ編集方法及び符号化データ編集装置 |
US5294974A (en) | 1992-07-24 | 1994-03-15 | Matsushita Electric Corporation Of America | High-definition video encoding system having color-sensitive quantization |
US5367341A (en) * | 1992-10-20 | 1994-11-22 | Canon Information Systems, Inc. | Digital video editor having lost video frame protection |
-
1995
- 1995-07-13 EP EP19950110995 patent/EP0692911B1/en not_active Expired - Lifetime
- 1995-07-13 DE DE1995615386 patent/DE69515386T2/de not_active Expired - Fee Related
- 1995-07-14 JP JP17923495A patent/JP3091393B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
DE69515386D1 (de) | 2000-04-13 |
DE69515386T2 (de) | 2000-08-24 |
JPH0884333A (ja) | 1996-03-26 |
EP0692911A2 (en) | 1996-01-17 |
EP0692911A3 (en) | 1996-03-13 |
EP0692911B1 (en) | 2000-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3091393B2 (ja) | 符号化されたビデオ信号をスプライシングする方法 | |
US5534944A (en) | Method of splicing MPEG encoded video | |
JP3942630B2 (ja) | 映像デコーダにおけるチャンネル・バッファの管理 | |
JP3103301B2 (ja) | Mpeg1規格により符号化された音声映像信号ストリームの多重化方法 | |
JP4232209B2 (ja) | 圧縮画像データの編集装置及び圧縮画像データの編集方法 | |
US7424203B2 (en) | Data reproduction transmission apparatus and data reproduction transmission method | |
US6154496A (en) | Video buffer for seamless splicing of MPEG streams | |
US8644672B2 (en) | Apparatus and method for image coding and decoding | |
US6219381B1 (en) | Image processing apparatus and method for realizing trick play | |
EP1069774A1 (en) | Encoding device, encoding method, decoding device, decoding method, coding system and coding method | |
US20030231863A1 (en) | Trick play signal generation for a digital video recorder using retrieved intra-encoded pictures and generated inter-encoded pictures | |
KR20000028928A (ko) | 비디오 신호 디코더 및 비디오 신호 디코더에서 메모리액세스를 감소시키는 방법 | |
US6333950B1 (en) | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded | |
EP0826289B1 (en) | Data multiplexing apparatus | |
US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
JP2001025007A (ja) | Mpegストリーム切替方法 | |
EP0862331A1 (en) | Image encoding apparatus and image encoding method | |
JP3668556B2 (ja) | ディジタル信号符号化方法 | |
KR20010110167A (ko) | 정보 처리 장치, 방법 및 기록 매체 | |
JP2001285868A (ja) | 動画像符号列切替装置及び動画像符号列切替方法 | |
JP3679606B2 (ja) | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 | |
JP3839911B2 (ja) | 画像処理装置および画像処理方法 | |
US20020064225A1 (en) | Compact MPEG data processing circuit and method of controlling the same | |
JPH10304311A (ja) | 映像符号化装置及び映像復号化装置 | |
EP0871337A2 (en) | Method and apparatus for modifying a digital data stream |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000619 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |