JPH11205734A - 圧縮画像データの編集装置及び圧縮画像データの編集方法 - Google Patents

圧縮画像データの編集装置及び圧縮画像データの編集方法

Info

Publication number
JPH11205734A
JPH11205734A JP803298A JP803298A JPH11205734A JP H11205734 A JPH11205734 A JP H11205734A JP 803298 A JP803298 A JP 803298A JP 803298 A JP803298 A JP 803298A JP H11205734 A JPH11205734 A JP H11205734A
Authority
JP
Japan
Prior art keywords
elementary stream
picture
vbv
stream
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP803298A
Other languages
English (en)
Other versions
JP4232209B2 (ja
Inventor
Atsushi Yamato
敦 大和
Katsumi Tawara
勝己 田原
Kanta Yasuda
幹太 安田
Shinji Negishi
愼治 根岸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP00803298A priority Critical patent/JP4232209B2/ja
Priority to EP20060075028 priority patent/EP1655963A3/en
Priority to EP19990300079 priority patent/EP0930786A3/en
Priority to US09/231,055 priority patent/US6345122B1/en
Priority to KR1019990001391A priority patent/KR100607382B1/ko
Publication of JPH11205734A publication Critical patent/JPH11205734A/ja
Application granted granted Critical
Publication of JP4232209B2 publication Critical patent/JP4232209B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23611—Insertion of stuffing data into a multiplex stream, e.g. to obtain a constant bitrate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/032—Electronic editing of digitised analogue information signals, e.g. audio or video signals on tapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】 ＶＢＶバッファを破綻させることなく、２つ
の圧縮画像データのデータストリームを任意の接続点で
接続する圧縮画像データの編集装置等を提供する。 【解決手段】 編集装置１は、ＭＰＥＧ２方式で圧縮さ
れたメインストリームとサブストリームとの間に、最初
のピクチャが黒画像のＩピクチャで続くピクチャが全て
のマクロブロックがスキップトマクロブロックから構成
されるＰピクチャからなる挿入ストリームを挿入する。
この挿入ストリームには、メインストリームの最後のピ
クチャの次に伝送されるピクチャのＶＢＶディレイが、
この挿入ストリームの最初のピクチャのＶＢＶディレイ
としてピクチャヘッダに書き込まれる。また、サブスト
リームの接続点におけるＶＢＶバッファに対するビット
占有量に基づきデータ量が演算されたスタッフィングバ
イトが、挿入ストリームの最後のピクチャとともに伝送
される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、テレビジョン会議
システム、テレビジョン電話システム、デジタル放送シ
ステム等に用いられる圧縮画像データの編集装置及び圧
縮画像データの編集方法に関し、特に、２つの圧縮画像
データのデータストリームを任意の接続点で接続して、
連続した１つの圧縮画像のデータストリームを生成する
圧縮画像データの編集装置及び圧縮画像データの編集方
法に関するものである。
【０００２】
【従来の技術】近年、デジタル放送システムやテレビジ
ョン電話システム等のデジタル方式による動画像の伝送
システムの開発が進んでいる。このようなデジタル方式
による動画像の伝送システムでは、一般に、ＭＰＥＧ２
ビデオ方式等で画像圧縮した動画像データが取り扱われ
ている。
【０００３】このＭＰＥＧとは、ＩＳＯ/ＩＥＣ ＪＴＣ
１／ＳＣ２９（International Organization for Stand
ardization/International Electrotechnical Commissi
on,Joint Technical Committee 1/Sub Committee 29：
国際標準化機構／国際電気標準会議 合同技術委員会１
／専門部会２９）の蓄積用動画像符号化の検討組織の略
称であり、ＭＰＥＧ１標準としてＩＳＯ１１１７２が、
ＭＰＥＧ２標準としてＩＳＯ１３８１８が規格化されて
いる。また、これらの国際標準おいて、システム多重化
の項目でＩＳＯ１１１７２−１及びＩＳＯ１３８１８−
１が、映像符号化の項目でＩＳＯ１１１７２−２及びＩ
ＳＯ１３８１８−２が、音声符号化の項目でＩＳＯ１１
１７２−３及びＩＳＯ１３８１８−３が、それぞれ標準
化されている。
【０００４】ここで、ＭＰＥＧ２ビデオ（ＩＳＯ１３８
１８−２）の規格では、入力された圧縮画像データをデ
コード処理する場合に復号器の前段に設けられた入力バ
ッファがアンダーフロー又はオーバーフローしないよう
に、エンコード処理を行う際に復号器の前段に設けられ
る入力バッファの容量を予め仮想的に想定し、この入力
バッファが破綻しないように発生する符号量を制御する
ことが規定されている。このＭＰＥＧ２ビデオの規格で
は、このような発生する符号量の制御用の仮想バッファ
をＶＢＶ（Video Buffering Verifier）バッファと規定
し、また、このＶＢＶバッファの容量をＶＢＶバッファ
サイズ（vbv_buffer_size）として規定している。
【０００５】具体的に、このＶＢＶバッファの機能につ
いて、図１４を用いて説明する。なお、この図１４は、
復号器の前段に設けられる入力バッファにＭＰＥＧスト
リームが供給された場合の、この入力バッファに格納さ
れるデータ量の推移を表している。この図１４の横軸
は、時間を示しており、供給されるＭＰＥＧストリーム
に含まれる各ピクチャのデコードのタイミング
（ｔ101，ｔ102，ｔ103・・・）を記入している。ま
た、縦軸は、入力バッファが格納するデータ量（ビット
占有量）を示している。
【０００６】入力バッファは、ＭＰＥＧ２ビデオ方式で
画像圧縮されたＭＰＥＧストリームをそのビットレート
に応じて順次格納していく。
【０００７】まず、供給が開始した時刻ｔ100からｖｂ
ｖ_ｄｅｌａｙ時間経過した時刻ｔ101において、デコー
ド処理のために、最初のピクチャが復号器により引き抜
かれる。
【０００８】ここで、このｖｂｖ_ｄｅｌａｙは、ラン
ダムアクセスにより所定のピクチャデータを取得してそ
のピクチャのデコード処理をする場合での、入力バッフ
ァに格納されるデータ量が初期状態となるまでの時間を
示している。このｖｂｖ_ｄｅｌａｙを示すデータは、
ＭＰＥＧストリームのピクチャ層に格納されており、例
えば、その時間が９０ｋＨｚのクロックを用いて表され
ている。
【０００９】また、復号器により引き抜かれるピクチャ
のデータ量は、そのピクチャのデータサイズ（picture_
size）と、ピクチャスタートコードのデータサイズ（pi
cture_start_code）と、シーケンスヘッダのデータサイ
ズ（sequence_header）とを加えた量である。なお、pic
ture_sizeと、picture_start_codeと、sequence_header
とを加えたデータ量を、以下イメージサイズ（image_si
ze）とする。
【００１０】続いて、この時刻ｔ101以降も、この入力
バッファには、ＭＰＥＧストリームが所定のビットレー
トに応じて順次供給され続ける。そして、この時刻ｔ
101から、デコード管理時間（Decode Time Stamp）の間
隔であるΔＤＴＳ毎に経過していく各時刻ｔ102，時刻
ｔ103・・・時刻n，時刻n+1・・・においても、各ピク
チャのイメージサイズ分のデータが復号器により引き抜
かれていく。
【００１１】このように、復号器の前段に設けられた入
力バッファでは、ＭＰＥＧストリームがそのビットレー
トに応じて順次格納されていくとともに、各ピクチャの
デコードタイミング（時刻ｔ101，時刻ｔ102，時刻ｔ
103・・・）において、そのピクチャのイメージサイズ
分のデータが復号器により引き抜かれていくこととな
る。
【００１２】ここで、供給されたＭＰＥＧストリームの
総データ量と各デコードタイミングで引き抜かれたピク
チャのイメージサイズの総データ量との差が、この入力
バッファのバッファサイズより大きくなると、この入力
バッファがオーバフローしてしまう。また、反対に、各
デコードタイミングで引き抜かれるピクチャのイメージ
サイズの総データ量が供給されたＭＰＥＧストリームの
総データ量よりも大きくなると、この入力バッファがア
ンダーフローしてしまう。
【００１３】そこで、ＭＰＥＧ２ビデオ（ＩＳＯ１３８
１８−２）の規格では、ＭＰＥＧストリームのエンコー
ド処理を行う際に、復号器の前段に設けられる入力バッ
ファの容量をＶＢＶバッファサイズ（vbv_buffer_siz
e）として仮想的に想定し、このＶＢＶバッファサイズ
に対して破綻が生じないように、発生する符号量を制御
することが規定されている。
【００１４】
【発明が解決しようとする課題】ところで、ＭＰＥＧ２
方式で画像圧縮した動画像を放送する放送局等では、一
般に、２つ以上の動画像データをつなぎ合わせて１つの
動画像データにする編集処理が行われる。例えば、放送
局等では、図１５に示すように、映画の動画像データに
対して、短時間のコマーシャル等を挿入するといった編
集処理が行われている。
【００１５】特に、このような編集処理を行う場合に
は、伝送のリアルタイム性や処理の簡便性の観点から、
ベースバンドの動画像データを取り扱って編集処理を行
うのではなく、ＭＰＥＧストリームをデコードすること
なく圧縮画像をそのまま取り扱った編集処理が、従来よ
り行われている。
【００１６】以下、ＭＰＥＧ２ビデオ方式で画像圧縮さ
れた第１の圧縮画像データのデータストリーム（以下、
メインストリームと呼ぶ。）に対して、ＭＰＥＧ２ビデ
オ方式で画像圧縮された第２の圧縮画像データのデータ
ストリーム（以下、サブストリームと呼ぶ。）をつなぎ
合わせ、１つのスプライスドストリームを生成する従来
の第１〜第３の編集処理について説明する。
【００１７】なお、この従来の第１〜第３の編集処理を
説明するために用いる図１６〜図１８には、それぞれ、
メインストリームのＶＢＶバッファに対するビット占有
量、サブストリームのＶＢＶバッファに対するビット占
有量、スプライスドストリームのＶＢＶバッファに対す
るビット占有量を示すものとする。
【００１８】まず、従来の第１の編集処理について図１
６を用いて説明する。従来の第１の編集処理では、図１
６（ａ）に示すように、メインストリームのつなぎ合わ
せを行う接続点（Splice Point）を、ＶＢＶバッファへ
の供給の終了のタイミング（時刻ｔ111）としている。
また、従来の第１の編集処理では、図１６（ｂ）に示す
ように、サブストリームの接続点（Splice Point）を、
ＶＢＶバッファへの供給の開始のタイミング（時刻ｔ
121）としている。そして、第１の編集処理では、メイ
ンストリームとサブストリームの各接続点同士を時刻ｔ
111でつなぎ合わせることにより、例えば、図１６
（ｃ）に示すような、時刻ｔ112までメインストリーム
のピクチャが復号器により引き抜かれ、時刻ｔ112以降
サブストリームのピクチャが復号器に引き抜かれる１つ
のスプライスドストリームを生成している。
【００１９】しかしながら、この従来の第１の編集処理
により生成されたスプライスドストリームは、この図１
６（ｃ）の斜線部分で示すように、供給される総データ
量と引き抜かれるピクチャの総データ量との差がＶＢＶ
バッファサイズより大きくなりこのＶＢＶバッファがオ
ーバーフローしてしまう可能性があった。
【００２０】続いて、従来の第２の編集処理について図
１７を用いて説明する。この従来の第２の編集処理で
は、図１７（ａ）に示すように、メインストリームの接
続点（Splice Point）を、復号器による最後のピクチャ
の引き抜きタイミング（時刻ｔ131）としている。ま
た、この従来の第２の編集処理では、図１７（ｂ）に示
すように、サブストリームの接続点（Splice Point）
を、ＶＢＶバッファのビット占有量がメインストリーム
の接続点におけるＶＢＶバッファのビット占有量と同一
となるタイミング（時刻ｔ141）としている。そして、
第２の編集処理では、メインストリームとサブストリー
ムの各接続点同士を時刻131においてつなぎ合わせるこ
とにより、例えば、図１７（ｃ）に示すような、時刻ｔ
131までメインストリームのピクチャが復号器により引
き抜かれ、時刻ｔ131以降サブストリームのピクチャが
復号器により引き抜かれる１つのスプライスドストリー
ムを生成している。
【００２１】しかしながら、この従来の第２の編集処理
では、メインストリームの最後に引き抜かれるピクチャ
の次のピクチャのＶＢＶディレイ（next_vbv_delay）を
もって、サブストリームの最初のピクチャの引き抜きが
行われるため、この図１７（ｃ）の斜線部分で示すよう
に、供給される総データ量より引き抜かれるピクチャの
総データ量が多くなりＶＢＶバッファがアンダーフロー
してしまう可能性があった。すなわち、サブストリーム
の最初に引き抜かれるピクチャのＶＢＶディレイ（firs
t_vbv_delay）よりも、メインストリームの最後に引き
抜かれるピクチャの次のピクチャのＶＢＶディレイ（ne
xt_vbv_delay）が短くなり、ＶＢＶバッファがアンダー
フローしてしまう可能性があった。
【００２２】続いて、従来の第３の編集処理について図
１８を用いて説明する。この従来の第３の編集処理で
は、図１８（ａ）に示すように、メインストリームの接
続点（Splice Point）を、復号器による最後のピクチャ
の引き抜きタイミング（時刻ｔ151）とし、かつ、ＶＢ
Ｖバッファのビット占有量が零となるタイミングとして
いる。また、この従来の第３の編集処理では、図１８
（ｂ）に示すように、サブストリームの接続点（Splice
Point）を、ＶＢＶバッファへの供給の開始のタイミン
グ（時刻ｔ161）としている。そして、第３の編集処理
では、メインストリームとサブストリームの各接続点同
士を時刻151においてつなぎ合わせることにより、例え
ば、図１８（ｃ）に示すような、時刻ｔ151までメイン
ストリームのピクチャが復号器により引き抜かれ、時刻
ｔ152以降サブストリームのピクチャが復号器により引
き抜かれる１つのスプライスドストリームを生成してい
る。
【００２３】しかしながら、この従来の第３の編集処理
では、メインストリームの最後のピクチャが引き抜かれ
てからサブストリームの供給が開始されるので、ＶＢＶ
バッファがオーバフローやアンダーフローすることはな
いが、復号器がピクチャを引き抜くことができない時間
帯（時刻ｔ151〜時刻ｔ152）が生じてしまっていた。ま
た、同様に、メインストリームの最後のピクチャが供給
されたタイミング（時刻ｔ150）からサブストリームの
供給が開始されるまでの、ＶＢＶバッファにデータが供
給されない時間帯（時刻ｔ150〜時刻ｔ151）が生じてし
まっていた。従って、この第３の編集処理では、ＭＰＥ
Ｇストリームの連続性を保つことができず、復号器側の
処理に対して制約が生じていまい、安定した復号処理を
行うことができなかった。
【００２４】本発明は、このような実情を鑑みてなされ
たものであり、復号器の入力バッファを破綻させること
なくかつ復号器の処理に制約を与えることがないよう
に、２つの圧縮画像データのデータストリームを任意の
接続点で接続して、連続した１つの圧縮画像データスト
リーム圧縮画像データを生成する圧縮画像データの編集
装置及び圧縮画像データの編集方法を提供することを目
的とする。
【００２５】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る圧縮画像データの編集装置は、第１
の圧縮画像データのデータストリーム（第１のエレメン
タリストリーム）の任意の接続点と、第２の圧縮画像デ
ータのデータストリーム（第２のエレメンタリストリー
ム）の任意の接続点とを接続して、連続した１つの圧縮
画像データのデータストリームを生成する圧縮画像デー
タの編集装置であって、上記第１のエレメンタリストリ
ームの任意の接続点と第２のエレメンタリストリームの
任意の接続点との間に、所定の圧縮画像データと擬似デ
ータとを有する挿入圧縮画像データのデータストリーム
（挿入エレメンタリストリーム）を挿入して、この第１
と第２のエレメンタリストリームを接続する接続手段
と、上記第１のエレメンタリストリームの任意の接続点
における符号発生量制御用の仮想バッファに対するビッ
ト占有量と、上記第２のエレメンタリストリームの任意
の接続点における符号発生量制御用の仮想バッファに対
するビット占有量と、上記挿入エレメンタリストリーム
の符号発生量制御用の仮想バッファに対するビット占有
量とを検出し、これら検出したビット占有量に基づき上
記接続手段を制御する制御手段とを備え、上記制御手段
は、挿入エレメンタリストリームの圧縮画像データの枚
数と擬似データのデータ量を制御して、上記挿入エレメ
ンタリストリームの最初の符号発生量制御用の仮想バッ
ファに対するビット占有量を、上記第１のエレメンタリ
ストリームの任意の接続点における符号発生量制御用の
仮想バッファに対するビット占有量に一致させ、上記挿
入エレメンタリストリームの最後の符号発生量制御用の
仮想バッファに対するビット占有量を、上記第２のエレ
メンタリストリームの任意の接続点における符号発生量
制御用の仮想バッファに対するビット占有量に一致させ
ることを特徴とする。
【００２６】この圧縮画像データの編集装置では、最初
の符号発生量制御用の仮想バッファに対するビット占有
量を第１のエレメンタリストリームの任意の接続点にお
ける符号発生量制御用の仮想バッファに対するビット占
有量に一致させ、最後の符号発生量制御用の仮想バッフ
ァに対するビット占有量を上記第２のエレメンタリスト
リームの任意の接続点における符号発生量制御用の仮想
バッファに対するビット占有量に一致させた挿入エレメ
ンタリストリームを、上記第１と第２のエレメンタリス
トリームの間に挿入し、連続した１つの圧縮画像データ
のデータストリームを生成する。
【００２７】また、本発明に係る圧縮画像データの編集
装置は、上記挿入エレメンタリストリームの符号発生量
制御用の仮想バッファに対するビット占有量がこの仮想
バッファのバッファサイズを越える場合には、このバッ
ファサイズから超過した分のデータ量以上の擬似データ
を挿入することを特徴とする。
【００２８】この圧縮画像データの編集装置では、圧縮
画像データとともに擬似データを挿入した挿入エレメン
タリストリームを、上記第１と第２のエレメンタリスト
リームの間に挿入し、連続した１つの圧縮画像データの
データストリームを生成する。
【００２９】本発明に係る圧縮画像データの編集方法
は、任意の接続点までの第１の圧縮画像データのデータ
ストリーム（第１のエレメンタリストリーム）を入力
し、所定の圧縮画像データと擬似データとを有する挿入
圧縮画像データのデータストリーム（挿入エレメンタリ
ストリーム）を入力し、任意の接続点からの第２の圧縮
画像データのデータストリーム（第２のエレメンタリス
トリーム）を入力し、上記第１のエレメンタリストリー
ムの任意の接続点における符号発生量制御用の仮想バッ
ファに対するビット占有量と、上記第２のエレメンタリ
ストリームの任意の接続点における符号発生量制御用の
仮想バッファに対するビット占有量と、挿入エレメンタ
リストリームの符号発生量制御用の仮想バッファに対す
るビット占有量とを検出して、これら検出したビット占
有量に基づき、挿入エレメンタリストリームの圧縮画像
データの枚数と擬似データのデータ量を制御して、上記
挿入エレメンタリストリームの最初の符号発生量制御用
の仮想バッファに対するビット占有量を、上記第１のエ
レメンタリストリームの任意の接続点における符号発生
量制御用の仮想バッファに対するビット占有量に一致さ
せ、上記挿入エレメンタリストリームの最後の符号発生
量制御用の仮想バッファに対するビット占有量を、上記
第２のエレメンタリストリームの任意の接続点における
符号発生量制御用の仮想バッファに対するビット占有量
に一致させて、上記第１のエレメンタリストリームの任
意の接続点と第２のエレメンタリストリームの任意の接
続点との間に、上記挿入エレメンタリストリームを挿入
して、この第１と第２のエレメンタリストリームを接続
することを特徴とする。
【００３０】この圧縮画像データの編集方法では、最初
の符号発生量制御用の仮想バッファに対するビット占有
量を第１のエレメンタリストリームの任意の接続点にお
ける符号発生量制御用の仮想バッファに対するビット占
有量に一致させ、最後の符号発生量制御用の仮想バッフ
ァに対するビット占有量を上記第２のエレメンタリスト
リームの任意の接続点における符号発生量制御用の仮想
バッファに対するビット占有量に一致させた挿入エレメ
ンタリストリームを、上記第１と第２のエレメンタリス
トリームの間に挿入し、連続した１つの圧縮画像データ
のデータストリームを生成する。
【００３１】また、本発明に係る圧縮画像データの編集
方法は、上記挿入エレメンタリストリームの符号発生量
制御用の仮想バッファに対するビット占有量がこの仮想
バッファのバッファサイズを越える場合には、このバッ
ファサイズから超過した分のデータ量以上の擬似データ
を挿入することを特徴とする。
【００３２】この圧縮画像データの編集方法では、圧縮
画像データとともに擬似データを挿入した挿入エレメン
タリストリームを、上記第１と第２のエレメンタリスト
リームの間に挿入し、連続した１つの圧縮画像データの
データストリームを生成する。
【００３３】
【発明の実施の形態】以下、本発明を適用した実施の形
態の圧縮画像データの編集装置について、図面を参照し
ながら説明する。
【００３４】この本発明の実施の形態の編集装置は、Ｍ
ＰＥＧ２ビデオ方式で画像圧縮された第１の圧縮画像デ
ータのデータストリーム（第１のエレメンタリストリー
ム）の任意のピクチャの後ろに、任意のピクチャから始
まるＭＰＥＧ２ビデオ方式で画像圧縮された第２の圧縮
画像データのデータストリーム（第２のエレメンタリス
トリーム）をつなぎ合わせ、１つのスプライスドストリ
ームを生成する装置である。
【００３５】例えば、この本発明の実施の形態の編集装
置１は、図１に示すように、第１のエレメンタリストリ
ーム（以下、メインストリームと呼ぶ。）が映画等をＭ
ＰＥＧ２ビデオ方式で画像圧縮したものであり、第２の
エレメンタリストリーム（以下、サブストリームと呼
ぶ。）が短時間のコマーシャル等をＭＰＥＧ２ビデオ方
式で画像圧縮したものである場合に、映画等に対して、
コマーシャル等を適時挿入して１つの番組のデータスト
リームを生成するといった処理等を行う。また、この本
発明の実施の形態の編集装置１は、図２に示すように、
放送局の本局から伝送された映画やニュース等を受信し
て、地方コマーシャル，地方天気予報又は生中継映像等
を挿入して地方用の番組を生成するといった放送局の支
局で行われる処理等を行う。
【００３６】図３に、この本発明の実施の形態の編集装
置のブロック構成図を示す。
【００３７】編集装置１には、任意のピクチャでデータ
が終了するメインストリームと、任意のピクチャからデ
ータが開始するサブストリームとが例えば図示しないサ
ーバー等から供給される。このメインストリームとサブ
ストリームのそれぞれの任意のピクチャ、すなわち、メ
インストリームの最後のピクチャとサブストリームの最
初のピクチャは、例えば、この編集装置１を用いて編集
操作を行っているユーザ等により設定される。ユーザ等
により設定されたこれらピクチャに基づきメインストリ
ームの接続点（Splice Point）と、サブストリームの接
続点（Splice Point）とが定められ、この編集装置１に
よりこの接続点同士が接続され、２つのストリームが１
つのデータストリームが生成される。
【００３８】この編集装置１は、メインストリームの最
後のピクチャの次に伝送すべきピクチャのＶＢＶディレ
イを検出するピクチャ復号時間検出部２と、サブストリ
ームの最初のピクチャのＶＢＶディレイを検出するＶＢ
Ｖディレイ検出部３と、黒画像のＩピクチャを格納した
黒画像Ｉピクチャサーバ４と、リピートＰピクチャを格
納したリピートＰピクチャサーバ５と、黒画像Ｉピクチ
ャとリピートＰピクチャを切り換えるピクチャ切換スイ
ッチ６と、スタッフィングバイトを発生するスタッフィ
ングバイト発生部７と、メインストリーム，サブストリ
ーム，黒画像Ｉピクチャ又はリピートＰピクチャ，スタ
ッフィングバイトが供給されこれらを切り換えて１つの
スプライスドストリームを生成するマルチプレクサ８
と、各部の制御を行う制御部９とを備えている。
【００３９】ピクチャ復号時間検出部２には、任意のピ
クチャでデータが終了するすなわち接続点（Splice Poi
nt）でデータが終了するメインストリームが供給され
る。このピクチャ復号時間検出部２は、この最後のピク
チャの次に伝送すべきピクチャのＶＢＶディレイを検出
する。すなわち、ピクチャ復号時間検出部２は、メイン
ストリームの接続点の直後に接続されるピクチャのＶＢ
Ｖディレイを検出する。
【００４０】具体的に、所定のピクチャの次に伝送され
るピクチャのＶＢＶディレイ（next_vbv_delay）は、こ
の所定のピクチャのＶＢＶディレイ（vbv_delay）と、
その所定のピクチャのイメージサイズ（image_size）
と、デコード管理時間（DecodeTime Stamp）の間隔であ
るΔＤＴＳと、伝送するデータストリームのビットレー
ト（bitrate）とから、以下の式（１）により求めるこ
とができる。
【００４１】 next_vbv_delay＝vbv_delay −（image_size/bitrate）＋ΔＤＴＳ ・・・（１）
【００４２】従って、メインストリームの最後のピクチ
ャの次に伝送すべきピクチャのＶＢＶディレイ（next_v
bv_delay）は、メインストリームの最後のピクチャのＶ
ＢＶディレイ（last_vbv_delay）と、この最後のピクチ
ャのイメージサイズ（image_size）と、デコード管理時
間（Decode Time Stamp）の間隔であるΔＤＴＳと、メ
インストリームのビットレート（bitrate）とから、以
下の式（２）により求めることができる。
【００４３】 next_vbv_delay＝last_vbv_delay −（image_size/bitrate）＋ΔＤＴＳ ・・・（２）
【００４４】なお、図４に、メインストリームのＶＢＶ
バッファに対するビット占有量の推移を示すとともに、
この式（２）に示した各パラメータを示す。
【００４５】ピクチャ復号時間検出部２は、以上のよう
に求めたメインストリームの最後のピクチャの次に復号
するピクチャのＶＢＶディレイ（next_vbv_delay）を、
制御部９に供給する。
【００４６】ＶＢＶディレイ検出部３には、任意のピク
チャからデータが開始するサブストリームが供給され
る。ピクチャ復号時間検出部２は、サブストリームの最
初のピクチャのＶＢＶディレイ（first_vbv_delay）を
検出する。
【００４７】図５に、サブストリームのＶＢＶバッファ
に対するビット占有量の推移を示すとともに、このサブ
ストリームの最初のピクチャのＶＢＶディレイ（first_
vbv_delay）を示す。
【００４８】ＶＢＶディレイ検出部３は、検出したサブ
ストリームの最初のピクチャのＶＢＶディレイ（first_
vbv_delay）を、制御部９に供給する。
【００４９】黒画像Ｉピクチャサーバ４は、黒画像のＩ
ピクチャのピクチャデータを格納しており、制御部９の
制御に基づきこの黒画像のＩピクチャを出力する。
【００５０】リピートＰピクチャサーバ５は、全てのマ
クロブロックがスキップトマクロブロックから構成され
るＰピクチャ（以下、リピートＰピクチャと呼ぶ。）の
ピクチャデータを格納している。ここで、ＭＰＥＧ２で
は、何も情報を必要としないマクロブロックのことをス
キップトマクロブロック（Skipped MB）と呼んでいる。
このスキップトマクロブロックは、符号化がされていな
いマクロブロックであり、このスキップトマクロブロッ
クを復号した場合には１つ前のマクロブロックの情報が
繰り返されることとなる。リピートＰピクチャは、全て
のマクロブロックがこのようなスキップトマクロブロッ
クから構成されているものである。
【００５１】リピートＰピクチャサーバ５は、制御部９
の制御に基づき、格納しているリピートＰピクチャを出
力する。
【００５２】ピクチャ切換スイッチ６は、制御部９の制
御に基づき、黒画像Ｉピクチャサーバ４或いはリピート
Ｐピクチャサーバ５から出力される黒画像Ｉピクチャ又
はリピートＰピクチャを切り換える。
【００５３】スタッフィングバイト発生部７は、ＭＰＥ
Ｇストリームの符号化において、符号発生量が少ない場
合に生成される擬似データであるスタッフィングバイト
（Stuffing_Byte）を発生する。このスタッフィングバ
イトは、特に何等意味を持たないデータであり、復号器
側で読み捨てられるものである。
【００５４】このスタッフィングバイトの符号量、出力
タイミングは、制御部９により制御される。
【００５５】マルチプレクサ８は、メインストリーム，
サブストリーム，黒画像Ｉピクチャ又はリピートＰピク
チャ，スタッフィングバイトが供給されこれらを切り換
えて１つのスプライスドストリームを生成する。具体的
には、マルチプレクサ８は、図６に示すように、メイン
ストリームの接続点（Splice Point）とサブストリーム
の接続点（Splice Point）との間に、黒画像Ｉピクチ
ャ，リピートＰピクチャ，スタッフィングバイト等を有
する挿入圧縮画像データのデータストリーム（以下、挿
入ストリームと呼ぶ。）を挿入して、１つのスプライス
ドストリームを生成する。
【００５６】制御部９は、上述した各部の制御及び監視
を行い、上記マルチプレクサ８及びピクチャ切換スイッ
チ６の切り換えの制御を行う。
【００５７】つぎに、メインストリームとサブストリー
ムとの間に挿入する挿入ストリームについてさらに説明
する。
【００５８】制御部９は、図７に示すように、メインス
トリームの最後のピクチャ、すなわち、接続点（Splice
Point）までのデータを伝送し終えると、マルチプレク
サ８を切り換えて、黒画像Ｉピクチャサーバ４に格納さ
れた黒画像Ｉピクチャを、挿入ストリームとして続けて
伝送する。このとき、ピクチャ復号時間検出部２が検出
したメインストリームの最後のピクチャの次に伝送する
ピクチャのＶＢＶディレイ（next_vbv_delay）に基づ
き、この黒画像Ｉピクチャのビット占有量（first_pict
ure_occupancy）を求めてピクチャヘッダに書き込む。
【００５９】なお、各ピクチャのビット占有量（occupa
ncy）は、以下の式（３）により求められる。
【００６０】 occupancy＝vbv_delay×bitrate／frequency ・・・（３） ここで、vbv_delayは、そのピクチャのＶＢＶディレイ
であり、frequencyは、ＶＢＶディレイを表すためのク
ロック周波数である。このfrequencyは、例えば、９０
ｋＨｚ単位で示されている。
【００６１】このことから、この黒画像Ｉピクチャのビ
ット占有量（first_picture_occupancy）は、ピクチャ
復号時間検出部２により検出されたメインストリームの
最後のピクチャの次に復号するピクチャのＶＢＶディレ
イ（next_vbv_delay）から、以下の式（４）により求め
られる。
【００６２】 first_picture_occupancy＝next_vbv_delay×bitrate／ｆｒｅｑｕｅｎｃｙ ・・・（４）
【００６３】編集装置１では、以上のように求めたメイ
ンストリームの最後のピクチャの次に復号するピクチャ
のＶＢＶディレイ（ｎｅｘｔ＿ｖｂｖ＿ｄｅｌａｙ）
を、挿入ストリームの最初のピクチャのビット占有量
（first_picture_occupancy）としてピクチャヘッダに
書き込むことによって、メインストリームと挿入ストリ
ームとを連続的に接続することができる。そして、この
ように接続したスプライスドストリームでは、入力バッ
ファが破綻することなく、また、何等処理に制約を設け
ずに復号できる。
【００６４】制御部９は、この黒画像Ｉピクチャを伝送
し終えると、ピクチャ切換スイッチ６を切り換えて、リ
ピートＰピクチャサーバ５に格納されたリピートＰピク
チャの伝送を行う。制御部９は、このリピートＰピクチ
ャを、黒画像Ｉピクチャの後に続けて予め設定された枚
数だけ順次伝送していく。すなわち、制御部９は、つな
ぎ合わせるメインストリームとサブストリームとの時間
間隔等を予め設定しておき、この挿入ストリームの表示
時間や伝送時間を求め、その間隔に応じた枚数のリピー
トＰピクチャを伝送する。
【００６５】なお、ここで、制御部９は、各リピートＰ
ピクチャの伝送を行う際に、ビット占有量（occupanc
y）がＶＢＶバッファサイズ（vbv_buffer_size）を越え
ないように、すなわち、この挿入ストリームがＶＢＶバ
ッファに対して破綻しないように監視を行う。制御部９
は、挿入ストリームがオーバーフローしてしまう場合に
は、マルチプレクサ８を切り換えて、スタッフィングバ
イト発生部７が発生するスタッフィングバイトを各リピ
ートＰピクチャとともに伝送する。
【００６６】具体的に、このスタッフィングバイトのデ
ータ量は、図８及び以下に示すように求めることができ
る。
【００６７】まず、制御部９は、次に伝送するリピート
ＰピクチャのＶＢＶディレイ（next_vbv_delay）を、各
リピートＰピクチャのＶＢＶディレイ（vbv_delay）及
びイメージサイズ（image_size）から、以下の式（１）
により求める。
【００６８】 next_vbv_delay＝vbv_delay −（image_size/bitrate）＋ΔＤＴＳ ・・・（１）
【００６９】次に伝送するリピートＰピクチャのビット
占有量（next_picture_occupancy）を、求めたＶＢＶデ
ィレイ（next_vbv_delay）から、以下の式（５）により
求める。
【００７０】 next_picture_occupancy＝next_vbv_delay×bitrate／frequency ・・・（５）
【００７１】そして、各ピクチャに挿入するスタッフィ
ングバイトのデータ量は、次に伝送するリピートＰピク
チャのビット占有量（next_picture_occupancy）とＶＢ
Ｖバッファサイズ（vbv_buffer_size）の差から、以下
の式（６）のように求めることができる。
【００７２】 stuffing_Byte＝vbv_buffer_size−next_picture_occupancy ・・・（６）
【００７３】例えば、next_vbv_delayが５５,０４８、b
itrateが３,０００,０００ＢＰＳ、vbv_buffer_sizeが
１,８３５,００８ｂｉｔ、frequencyが９０ｋＨｚの場
合、スタッフィングバイトのデータ量は以下のように求
められる。
【００７４】 next_picture_occupancy＝55048×3000000/90000＝1834933 stuffing_Byte ＝1835008−1834933＝75 bit＝9.4 Byte
【００７５】編集装置１では、以上のようにリピートＰ
ピクチャを伝送する際に、挿入ストリームとＶＢＶバッ
ファサイズを監視しながら、リピートＰピクチャとスタ
ッフィングバイトの挿入を繰り返し、ＭＰＥＧストリー
ムとして連続した挿入ストリームを生成することによ
り、ＶＢＶバッファを破綻させることなくスプライスド
ストリームを生成することができる。
【００７６】続いて、制御部９は、図９に示すように、
所定枚数分のリピートＰピクチャを伝送し終えると、す
なわち、挿入ストリームの接続点（Splice Point）まで
のデータを伝送し終えると、マルチプレクサ８を切り換
えてサブストリームの伝送を開始する。このとき、制御
部９は、ＶＢＶディレイ検出部３が検出したサブストリ
ームの最初のピクチャのＶＢＶディレイ（first_vbv_de
lay）に基づき、挿入ストリームの最後のピクチャに挿
入するスタッフィングバイトのデータ量を調整して、挿
入ストリームとサブストリームとを接続する。
【００７７】具体的に、制御部９は、この挿入ストリー
ムの最後のピクチャに挿入するスタッフィングバイトの
データ量は、以下のように求める。
【００７８】まず、制御部９は、挿入ストリームとサブ
ストリームとの接続点（Spice Point）におけるビット
占有量であるデコードサイズ（first_picture_decode_s
ize）を、以下の式（７）により求める。
【００７９】 first_picture_decode_size＝（first_vbv_delay−ΔＤＴＳ）×bitrate ＋picture start code＋sequence header ・・・（７）
【００８０】そして、この制御部９は、このデコードサ
イズ（first_picture_decode_size）と挿入ストリーム
の最後のピクチャのビット占有量（last_picture_occup
ancy）から、この挿入ストリームの最後のピクチャに挿
入するスタッフィングバイト（staffing_Byte）を以下
の式（８）により求める。
【００８１】 staffing_Byte＝last_picture_occupancy−first_picture_decode_size ・・・（８）
【００８２】編集装置１では、以上のように求めたスタ
ッフィングバイトを挿入ストリームの最後のピクチャと
ともに挿入することによって、挿入ストリームとサブス
トリームとを連続的に接続することができる。そして、
このように接続したスプライスドストリームでは、入力
バッファが破綻することなく、また、何等処理に制約を
設けずに復号できる。
【００８３】以上、メインストリームとサブストリーム
との間に挿入する挿入ストリームについて説明したが、
この挿入ストリームは、例えば、以下に説明するような
ものであってもよい。
【００８４】すなわち、この挿入ストリームでは、先頭
のＩピクチャは黒画像に限られない。つまり、挿入スト
リームの先頭の画像は、あらゆる画像であってもよく、
その色彩や画像の内容は限られない。例えば、黒画像を
先頭に挿入した場合には、このメインストリームとサブ
ストリームと間には、黒画像がモニタに表示されること
となるが、例えば、青画像や、緑画像又は所定のコメン
トや静止画像等もこのメインストリームとサブストリー
ムと間に表示することもできる。
【００８５】また、この挿入ストリームでは、このＩピ
クチャを挿入せず、先頭からリピートＰピクチャの挿入
を行っても良い。この場合には、メインストリームの最
後の画像がフリーズされて表示されることとなる。
【００８６】また、この挿入ストリームでは、リピート
Ｐピクチャは固定枚数に限られず、その枚数をメインス
トリームとサブストリームとの関係により可変としても
良い。例えば、図１０に示すように、挿入ストリームと
サブストリームとの接続点（Splice Point）のデコード
サイズ（first_picture_decode_size）を、先の式
（７）により求める。同様に、メインストリームとサブ
ストリームとの接続点（Splice Point）のデコードサイ
ズ（decode_size）を求める。そして、リピートＰピク
チャを一枚挿入すると、一定のビット占有量（occupanc
y）が増加されることから、挿入ストリームとサブスト
リームとの接続点（Splice Point）のデコードサイズ
（first_picture_decode_size）と、メインストリーム
とサブストリームとの接続点（Splice Point）のデコー
ドサイズ（decode_size）との差に基づき、挿入するリ
ピートＰピクチャの最低必要となる枚数を計算する。こ
の場合、挿入ストリームに含まれるリピートＰピクチャ
の枚数が最小となるように設定することができる。
【００８７】つぎに、この編集装置１の処理内容を、図
１１及び図１２に示すフローチャートを用いて説明す
る。
【００８８】まず、図１１に示すステップＳ１におい
て、この編集装置１にメインストリームが供給される
と、このメインストリームの最後のピクチャの次に伝送
されるピクチャのＶＢＶディレイ（next_vbv_delay）
を、先の式（２）により求める。
【００８９】続いてステップＳ２において、挿入ストリ
ームの最初のピクチャにＩピクチャを挿入するか、或い
は、リピートＰピクチャを挿入するか判断する。Ｉピク
チャを挿入する場合には、ステップＳ３に進み、リピー
トＰピクチャを挿入する場合には、ステップＳ４に進
む。
【００９０】続いてステップＳ３において、例えば、黒
画像等のＩピクチャを挿入する。このとき、この黒画像
Ｉピクチャのビット占有量（first_picture_occupanc
y）を先の式（４）により求めてピクチャヘッダに書き
込む。また、次のリピートＰピクチャのビット占有量
（next_picture_occupancy）がＶＢＶバッファサイズ
（vbv_buffer_size）を越えている場合には、先の式
（６）によりスタッフィングバイト（stuffing_Byte）
を求めて挿入する。このステップＳ３からステップＳ４
に進む。
【００９１】続いてステップＳ４において、挿入するリ
ピートＰピクチャの枚数が固定であるか、最小の枚数と
するかを判断する。リピートＰピクチャの枚数が固定で
ある場合にはステップＳ５に進み、リピートＰピクチャ
の枚数を最小にする場合には図１２に示すステップＳ１
０に進む。
【００９２】ステップＳ５において、リピートＰピクチ
ャを挿入する。
【００９３】続いてステップＳ６において、次のリピー
トＰピクチャのビット占有量（next_picture_occupanc
y）を計算する。
【００９４】続いてステップＳ７において、次のリピー
トＰピクチャのビット占有量（next_picture_occupanc
y）がＶＢＶバッファサイズ（vbv_buffer_size）を越え
ているかどうかを判断する。越えている場合には、ステ
ップＳ８において先の式（６）によりスタッフィングバ
イト（stuffing_Byte）を求めて挿入し、ステップＳ９
に進む。また、越えていない場合には、そのままステッ
プＳ９に進む。
【００９５】続いてステップＳ９において、設定された
枚数分のリピートＰピクチャの挿入が終了したかどうか
を判断する。設定された枚数分のリピートＰピクチャを
挿入した場合には、ステップＳ１６に進み、設定された
枚数分のリピートＰピクチャを挿入していない場合に
は、ステップＳ５からの処理を繰り返す。
【００９６】一方、図１２に示すステップＳ１０におい
て、挿入ストリームとサブストリームとの接続点（Spli
ce Point）のデコードサイズ（first_picture_decode_s
ize）と、メインストリームとサブストリームとの接続
点（Splice Point）のデコードサイズ（decode_size）
を求める。
【００９７】続いてステップＳ１１において、リピート
Ｐピクチャを挿入する。
【００９８】続いてステップＳ１２において、次のリピ
ートＰピクチャのビット占有量（next_picture_occupan
cy）を計算する。
【００９９】続いてステップＳ１３において、次のリピ
ートＰピクチャのビット占有量（next_picture_occupan
cy）がＶＢＶバッファサイズ（vbv_buffer_size）を越
えているかどうかを判断する。越えている場合には、ス
テップＳ１４において先の式（６）によりスタッフィン
グバイト（stuffing_Byte）を求めて挿入し、ステップ
Ｓ１５に進む。また、越えていない場合には、そのまま
ステップＳ１５に進む。
【０１００】続いてステップＳ１５において、現在のデ
コードサイズが、挿入ストリームとサブストリームとの
接続点（Splice Point）のデコードサイズ（first_pict
ure_decode_size）を越えているかどうかを判断する。
越えていると判断する場合には、図１１に示すステップ
Ｓ１６に進み、越えていないと判断する場合には、ステ
ップＳ１０からの処理を繰り返す。
【０１０１】図１１に示すステップＳ１６において、サ
ブストリームの最初のピクチャのＶＢＶディレイ（firs
t_vbv_delay）を検出する。
【０１０２】続いてステップＳ１７において、挿入スト
リームの最後のピクチャに挿入するスタッフィングバイ
ト（staffing_Byte）を、先の式（８）により求め、求
めたデータ量のスタッフィングバイトを挿入する。
【０１０３】そして、挿入ストリームとサブストリーム
とを接続点（Splice Point）で接続して処理を終了す
る。
【０１０４】以上のステップＳ１からステップＳ１７ま
での処理を行うことによって、編集装置１では、メイン
ストリームとサブストリームとの間に挿入ストリームを
挿入し、連続したスプライスドストリームを生成する。
【０１０５】以上のように本発明の実施の形態の編集装
置１では、ストリームの最初のＶＢＶバッファに対する
ビット占有量を、メインストリームと接続点（Splice P
oint）におけるＶＢＶバッファに対するビット占有量に
一致させ、かつ、ストリームの最後のＶＢＶバッファに
対するビット占有量を、サブストリームの任意の接続点
（Splice Point）におけるＶＢＶバッファに対するビッ
ト占有量に一致させた挿入ストリームを生成することが
できる。
【０１０６】このことにより、この編集装置１では、Ｖ
ＢＶバッファを破綻させることなく、メインストリーム
とサブストリームをそのまま連続的に接続することがで
きる。そのため、この２つのストリームを接続したスプ
ライスドストリームを復号する場合においても、入力段
に設けられたバッファの破綻、すなわち、オーバフロー
及びアンダーフローが生じないとともに、何等制約がさ
れずに処理を行うことができる。
【０１０７】なお、編集装置１では、メインストリーム
とサブストリームの供給端子の入れ替えを行うことによ
り、例えば、図１３に示すように、映画等の連続した動
画像の一部にコマーシャルを挿入するといった処理を行
うことができる。すなわち、まず、映画等の画像データ
の前半部分をメインストリームとし、コマーシャルをサ
ブストリームとして、この映画の前半部分にコマーシャ
ルを接続する。続いて、映画の前半部分が接続されてい
るコマーシャルをメインストリームとし、映画の後半部
分をサブストリームとして、このコマーシャルに、映画
の後半部分を接続する。このことにより、編集装置１で
は、映画等の連続した動画像の一部分にコマーシャルを
挿入することができる。
【０１０８】
【発明の効果】本発明に係る圧縮画像データの編集装置
及び圧縮画像データの編集方法では、最初の符号発生量
制御用の仮想バッファに対するビット占有量を第１のエ
レメンタリストリームの任意の接続点における符号発生
量制御用の仮想バッファに対するビット占有量に一致さ
せ、最後の符号発生量制御用の仮想バッファに対するビ
ット占有量を上記第２のエレメンタリストリームの任意
の接続点における符号発生量制御用の仮想バッファに対
するビット占有量に一致させた挿入エレメンタリストリ
ームを、上記第１と第２のエレメンタリストリームの間
に挿入し、連続した１つの圧縮画像データのデータスト
リームを生成する。
【０１０９】このことにより、本発明に係る圧縮画像デ
ータの編集装置及び圧縮画像データの編集方法では、符
号発生量制御用の仮想バッファを破綻させることなく、
２つの圧縮画像データのデータストリームをそのまま連
続的に接続することができる。そのため、この２つの圧
縮画像データを接続したエレメンタリストリームを復号
する場合においても、入力段に設けられたバッファの破
綻、すなわち、オーバフロー及びアンダーフローが生じ
ないとともに処理に制約がされず、通常どうりの処理を
行うことができる。
【０１１０】また、圧縮画像データの編集装置及び圧縮
画像データの編集方法では、圧縮画像データとともに擬
似データを挿入した挿入エレメンタリストリームを、上
記第１と第２のエレメンタリストリームの間に挿入し、
連続した１つの圧縮画像データのデータストリームを生
成することにより、符号発生量制御用の仮想バッファを
破綻しない挿入エレメンタリストリームを、第１と第２
のエレメンタリストリームの間に挿入することができ
る。
【０１１１】また、本発明に係る圧縮画像データの編集
装置及び圧縮画像データの編集方法では、挿入エレメン
タリストリームとして画面内予測符号化画像やリピート
ピクチャ等を挿入することにより、第１と第２のエレメ
ンタリストリームの接続点間の挿入エレメンタリストリ
ームを表示させている際に、第１の圧縮画像データの任
意の接続点の画像を静止させて表示させることや、ま
た、例えば、黒画像等の任意の画像を表示させることが
できる。
【図面の簡単な説明】
【図１】本発明の実施の形態の編集装置の適用例を説明
する為の図である。
【図２】本発明の実施の形態の編集装置の適用例を説明
する為の図である。
【図３】本発明の実施の形態の編集装置のブロック構成
図である。
【図４】上記編集装置に供給されるメインストリームの
ＶＢＶバッファに対するビット占有量の推移を示す図で
ある。
【図５】上記編集装置に供給されるサブストリームのＶ
ＢＶバッファに対するビット占有量の推移を示す図であ
る。
【図６】上記編集装置が生成するスプライスドストリー
ムのＶＢＶバッファに対するビット占有量の推移を示す
図である。
【図７】上記編集装置が生成するスプライスドストリー
ムのメインストリームと挿入ストリームの接続点におけ
るＶＢＶバッファに対するビット占有量の推移を示す図
である。
【図８】上記編集装置が生成する挿入ストリームのＶＢ
Ｖバッファに対するビット占有量の推移を示す図であ
る。
【図９】上記編集装置が生成するスプライスドストリー
ムの挿入ストリームとサブストリームの接続点における
ＶＢＶバッファに対するビット占有量の推移を示す図で
ある。
【図１０】上記編集装置が生成するスプライスドストリ
ームのＶＢＶバッファに対するビット占有量の推移を示
す図である。
【図１１】上記編集装置の処理内容を示すフローチャー
トである。
【図１２】上記編集装置の処理内容を示すフローチャー
トである。
【図１３】上記編集装置により、映画等の連続した画像
データにコマーシャルを挿入する処理を説明するための
図である。
【図１４】復号器の前段に設けられる入力バッファにＭ
ＰＥＧストリームが供給された場合における、この入力
バッファに対するＭＰＥＧストリームのビット占有量の
推移を示す図である。
【図１５】１つの長時間の映画等に対して、短時間のコ
マーシャル等を挿入して番組を作製するといった編集処
理を説明する為の図である。
【図１６】従来の編集処理におけるメインストリームの
ＶＢＶバッファに対するビット占有量、サブストリーム
のＶＢＶバッファに対するビット占有量、スプライスド
ストリームのＶＢＶバッファに対するビット占有量を示
す図である。
【図１７】従来の編集処理におけるメインストリームの
ＶＢＶバッファに対するビット占有量、サブストリーム
のＶＢＶバッファに対するビット占有量、スプライスド
ストリームのＶＢＶバッファに対するビット占有量を示
す図である。
【図１８】従来の編集処理におけるメインストリームの
ＶＢＶバッファに対するビット占有量、サブストリーム
のＶＢＶバッファに対するビット占有量、スプライスド
ストリームのＶＢＶバッファに対するビット占有量を示
す図である。
【符号の説明】
１ 編集装置、２ ピクチャ復号時間検出部、３ ＶＢ
Ｖディレイ検出部、４黒画像Ｉピクチャサーバ、５ リ
ピートＰピクチャサーバ、６ ピクチャ切換スイッチ、
７ スタッフィングバイト発生部、８ マルチプレク
サ、９ 制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 根岸 愼治 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (34)

    【特許請求の範囲】
  1. 【請求項１】 第１の圧縮画像データのデータストリー
    ム（第１のエレメンタリストリーム）の任意の接続点
    と、第２の圧縮画像データのデータストリーム（第２の
    エレメンタリストリーム）の任意の接続点とを接続し
    て、連続した１つの圧縮画像データのデータストリーム
    を生成する圧縮画像データの編集装置であって、 上記第１のエレメンタリストリームの任意の接続点と第
    ２のエレメンタリストリームの任意の接続点との間に、
    所定の圧縮画像データと擬似データとを有する挿入圧縮
    画像データのデータストリーム（挿入エレメンタリスト
    リーム）を挿入して、この第１と第２のエレメンタリス
    トリームを接続する接続手段と、 上記第１のエレメンタリストリームの任意の接続点にお
    ける符号発生量制御用の仮想バッファに対するビット占
    有量と、上記第２のエレメンタリストリームの任意の接
    続点における符号発生量制御用の仮想バッファに対する
    ビット占有量と、上記挿入エレメンタリストリームの符
    号発生量制御用の仮想バッファに対するビット占有量と
    を検出し、これら検出したビット占有量に基づき上記接
    続手段を制御する制御手段とを備え、 上記制御手段は、挿入エレメンタリストリームの圧縮画
    像データの枚数と擬似データのデータ量を制御して、上
    記挿入エレメンタリストリームの最初の符号発生量制御
    用の仮想バッファに対するビット占有量を、上記第１の
    エレメンタリストリームの任意の接続点における符号発
    生量制御用の仮想バッファに対するビット占有量に一致
    させ、上記挿入エレメンタリストリームの最後の符号発
    生量制御用の仮想バッファに対するビット占有量を、上
    記第２のエレメンタリストリームの任意の接続点におけ
    る符号発生量制御用の仮想バッファに対するビット占有
    量に一致させることを特徴とする圧縮画像データの編集
    装置。
  2. 【請求項２】 上記制御手段は、上記挿入エレメンタリ
    ストリームの符号発生量制御用の仮想バッファに対する
    ビット占有量がこの仮想バッファのバッファサイズを越
    える場合には、このバッファサイズから超過した分のデ
    ータ量以上の擬似データを挿入することを特徴とする請
    求項１に記載の圧縮画像データの編集装置。
  3. 【請求項３】 上記接続手段は、画面内予測符号化画像
    を少なくとも１枚以上有する挿入エレメンタリストリー
    ムを挿入して、第１と第２のエレメンタリストリームを
    接続することを特徴とする請求項１に記載の圧縮画像デ
    ータの編集装置。
  4. 【請求項４】 上記接続手段は、黒画像の画面内予測符
    号化画像を少なくとも１枚以上有する挿入エレメンタリ
    ストリームを挿入して、第１と第２のエレメンタリスト
    リームを接続することを特徴とする請求項３に記載の圧
    縮画像データの編集装置。
  5. 【請求項５】 上記接続手段は、前画像を繰り返して表
    示するリピートピクチャ少なくとも１枚以上の有する挿
    入エレメンタリストリームを挿入して、第１と第２のエ
    レメンタリストリームを接続することを特徴とする請求
    項１に記載の圧縮画像データの編集装置。
  6. 【請求項６】 上記接続手段は、最初の１枚が黒画像の
    画面内予測符号化画像であり、他が前画像を繰り返して
    表示するリピートピクチャである挿入エレメンタリスト
    リームを挿入して、第１と第２のエレメンタリストリー
    ムを接続することを特徴とする請求項５に記載の圧縮画
    像データの編集装置。
  7. 【請求項７】 上記制御手段は、上記挿入エレメンタリ
    ストリームの符号発生量制御用の仮想バッファに対する
    ビット占有量が、上記第２のエレメンタリストリームの
    任意の接続点における符号発生量制御用の仮想バッファ
    に対するビット占有量を越えるまで、リピートピクチャ
    を挿入することを特徴とする請求項５に記載の圧縮画像
    データの編集装置。
  8. 【請求項８】 ＭＰＥＧ２ビデオ方式で符号化された第
    １の圧縮画像データのデータストリーム（第１のエレメ
    ンタリストリーム）の任意の接続点と、ＭＰＥＧ２ビデ
    オ方式で符号化された第２の圧縮画像データのデータス
    トリーム（第２のエレメンタリストリーム）の任意の接
    続点とを接続して、ＭＰＥＧ２ビデオ方式で符号化され
    た連続した１つの圧縮画像データのデータストリームを
    生成する圧縮画像データの編集装置であって、 上記第１のエレメンタリストリームの任意の接続点と第
    ２のエレメンタリストリームの任意の接続点との間に、
    ＭＰＥＧ２ビデオ方式で符号化された所定の圧縮画像デ
    ータとスタッフィングバイトとを有する挿入圧縮画像デ
    ータのデータストリーム（挿入エレメンタリストリー
    ム）を挿入して、この第１と第２のエレメンタリストリ
    ームを接続する接続手段と、 上記第１のエレメンタリストリームの任意の接続点にお
    けるＶＢＶ（Video Buffering Verifier）バッファに対
    するビット占有量と、上記第２のエレメンタリストリー
    ムの任意の接続点におけるＶＢＶバッファに対するビッ
    ト占有量と、上記挿入エレメンタリストリームのＶＢＶ
    バッファに対するビット占有量とを検出し、これら検出
    したビット占有量に基づき上記接続手段を制御する制御
    手段とを備え、 上記制御手段は、挿入エレメンタリストリームの圧縮画
    像データの枚数とスタッフィングバイトのデータ量を制
    御して、上記挿入エレメンタリストリームの最初のＶＢ
    Ｖバッファに対するビット占有量を、上記第１のエレメ
    ンタリストリームの任意の接続点におけるＶＢＶバッフ
    ァに対するビット占有量に一致させ、上記挿入エレメン
    タリストリームの最後のＶＢＶバッファに対するビット
    占有量を、上記第２のエレメンタリストリームの任意の
    接続点におけるＶＢＶバッファに対するビット占有量に
    一致させることを特徴とする圧縮画像データの編集装
    置。
  9. 【請求項９】 上記制御手段は、ＭＰＥＧ２ビデオ方式
    で符号化されたデータストリームのＶＢＶディレイ（VB
    V_delay）と、ビットレート（bitrate）と、このＶＢＶ
    ディレイのクロック周波数（frequency）とから、 VBV_delay×（bitrate／frequency） を演算してＶＢＶバッファに対するビット占有量を検出
    することを特徴とする請求項８に記載の圧縮画像データ
    の編集装置。
  10. 【請求項１０】 上記制御手段は、第１のエレメンタリ
    ストリームの最後のピクチャのＶＢＶディレイ（last_v
    bv_delay）と、この最後のピクチャのイメージサイズ
    （image_size）と、デコード管理時間（Decode Time St
    amp）の間隔ΔＤＴＳとから、以下の式に基づき第１の
    エレメンタリストリームの最後のピクチャの次に挿入す
    べきピクチャのＶＢＶディレイ（next_vbv_delay）を求
    め、 next_vbv_delay＝last_vbv_delay−（image_size／bitr
    ate）＋ΔＤＴＳ この第１のエレメンタリストリームの最後のピクチャの
    次に挿入すべきＶＢＶディレイ（next_vbv_delay）を、
    挿入エレメンタリストリームの最初のピクチャのＶＢＶ
    ディレイとして、上記挿入エレメンタリストリームの最
    初のＶＢＶバッファに対するビット占有量を、上記第１
    のエレメンタリストリームの任意の接続点におけるＶＢ
    Ｖバッファに対するビット占有量に一致させることを特
    徴とする請求項９に記載の圧縮画像データの編集装置。
  11. 【請求項１１】 上記制御手段は、第２のエレメンタリ
    ストリームの最初のピクチャのＶＢＶディレイ（first_
    vbv_delay）と、この最後のピクチャのピクチャスター
    トコード（picture start code）及びシーケンスヘッダ
    （sequence header）と、デコード管理時間（Decode Ti
    me Stamp）の間隔ΔＤＴＳとから、以下の式に基づき第
    ２のエレメンタリストリームの接続点におけるビット占
    有量（first_picture_decode_size）を求め、 first_picture_decode_size＝（first_vbv_delay−ΔＤ
    ＴＳ）×bitrate＋picture start code＋sequence head
    er この第２のエレメンタリストリームの接続点におけるビ
    ット占有量（first_picture_decode_size）に応じたス
    タッフィングバイトを挿入ストリームの最後のピクチャ
    とともに挿入して、上記挿入エレメンタリストリームの
    最後のＶＢＶバッファに対するビット占有量を、上記第
    ２のエレメンタリストリームの任意の接続点におけるＶ
    ＢＶバッファに対するビット占有量に一致させることを
    特徴とする請求項９に記載の圧縮画像データの編集装
    置。
  12. 【請求項１２】 上記制御手段は、挿入エレメンタリス
    トリームの所定のピクチャのＶＢＶディレイ（first_vb
    v_delay）と、この所定のピクチャのイメージサイズ（i
    mage_size）と、デコード管理時間（Decode Time Stam
    p）の間隔ΔＤＴＳとから、以下の式に基づきこの所定
    のピクチャの次に挿入すべきピクチャのＶＢＶディレイ
    （next_vbv_delay）を求め、 next_vbv_delay＝vbv_delay−（image_size／bitrate）
    ＋ΔＤＴＳ この所定のピクチャの次に挿入すべきピクチャのビット
    占有量がＶＢＶバッファのバッファサイズを越える場合
    には、超過分のデータ量のスタッフィングバイトをこの
    所定のピクチャとともに挿入することを特徴とする請求
    項９に記載の圧縮画像データの編集装置。
  13. 【請求項１３】 上記接続手段は、Ｉピクチャを少なく
    とも１枚以上有する挿入エレメンタリストリームを挿入
    して、第１と第２のエレメンタリストリームを接続する
    ことを特徴とする請求項８に記載の圧縮画像データの編
    集装置。
  14. 【請求項１４】 上記接続手段は、黒画像のＩピクチャ
    を少なくとも１枚以上有する挿入エレメンタリストリー
    ムを挿入して、第１と第２のエレメンタリストリームを
    接続することを特徴とする請求項１３に記載の圧縮画像
    データの編集装置。
  15. 【請求項１５】 上記接続手段は、全てのマクロブロッ
    クがスキップトマクロブロックから構成されるＰピクチ
    ャ（リピートＰピクチャ）を少なくとも１枚以上有する
    挿入エレメンタリストリームを挿入して、第１と第２の
    エレメンタリストリームを接続することを特徴とする請
    求項８に記載の圧縮画像データの編集装置。
  16. 【請求項１６】 上記接続手段は、最初の１枚が黒画像
    のＩピクチャであり、他がリピートＰピクチャである挿
    入エレメンタリストリームを挿入して、第１と第２のエ
    レメンタリストリームを接続することを特徴とする請求
    項１５に記載の圧縮画像データの編集装置。
  17. 【請求項１７】 上記制御手段は、上記挿入エレメンタ
    リストリームのＶＢＶバッファに対するビット占有量
    が、上記第２のエレメンタリストリームの任意の接続点
    におけるＶＢＶバッファに対するビット占有量を越える
    まで、リピートＰピクチャを挿入することを特徴とする
    請求項１５に記載の圧縮画像データの編集装置。
  18. 【請求項１８】 任意の接続点までの第１の圧縮画像デ
    ータのデータストリーム（第１のエレメンタリストリー
    ム）を入力し、 所定の圧縮画像データと擬似データとを有する挿入圧縮
    画像データのデータストリーム（挿入エレメンタリスト
    リーム）を入力し、 任意の接続点からの第２の圧縮画像データのデータスト
    リーム（第２のエレメンタリストリーム）を入力し、 上記第１のエレメンタリストリームの任意の接続点にお
    ける符号発生量制御用の仮想バッファに対するビット占
    有量と、上記第２のエレメンタリストリームの任意の接
    続点における符号発生量制御用の仮想バッファに対する
    ビット占有量と、挿入エレメンタリストリームの符号発
    生量制御用の仮想バッファに対するビット占有量とを検
    出して、これら検出したビット占有量に基づき、挿入エ
    レメンタリストリームの圧縮画像データの枚数と擬似デ
    ータのデータ量を制御して、上記挿入エレメンタリスト
    リームの最初の符号発生量制御用の仮想バッファに対す
    るビット占有量を、上記第１のエレメンタリストリーム
    の任意の接続点における符号発生量制御用の仮想バッフ
    ァに対するビット占有量に一致させ、上記挿入エレメン
    タリストリームの最後の符号発生量制御用の仮想バッフ
    ァに対するビット占有量を、上記第２のエレメンタリス
    トリームの任意の接続点における符号発生量制御用の仮
    想バッファに対するビット占有量に一致させて、上記第
    １のエレメンタリストリームの任意の接続点と第２のエ
    レメンタリストリームの任意の接続点との間に、上記挿
    入エレメンタリストリームを挿入して、この第１と第２
    のエレメンタリストリームを接続することを特徴とする
    圧縮画像データの編集方法。
  19. 【請求項１９】 上記挿入エレメンタリストリームの符
    号発生量制御用の仮想バッファに対するビット占有量が
    この仮想バッファのバッファサイズを越える場合には、
    このバッファサイズから超過した分のデータ量以上の擬
    似データを挿入することを特徴とする請求項１８に記載
    の圧縮画像データの編集方法。
  20. 【請求項２０】 画面内予測符号化画像を少なくとも１
    枚以上有する挿入エレメンタリストリームを挿入して、
    第１と第２のエレメンタリストリームを接続することを
    特徴とする請求項１８に記載の圧縮画像データの編集方
    法。
  21. 【請求項２１】 黒画像の画面内予測符号化画像を少な
    くとも１枚以上有する挿入エレメンタリストリームを挿
    入して、第１と第２のエレメンタリストリームを接続す
    ることを特徴とする請求項２０に記載の圧縮画像データ
    の編集方法。
  22. 【請求項２２】 前画像を繰り返して表示するリピート
    ピクチャ少なくとも１枚以上の有する挿入エレメンタリ
    ストリームを挿入して、第１と第２のエレメンタリスト
    リームを接続することを特徴とする請求項１８に記載の
    圧縮画像データの編集方法。
  23. 【請求項２３】 最初の１枚が黒画像の画面内予測符号
    化画像であり、他が前画像を繰り返して表示するリピー
    トピクチャである挿入エレメンタリストリームを挿入し
    て、第１と第２のエレメンタリストリームを接続するこ
    とを特徴とする請求項２２に記載の圧縮画像データの編
    集方法。
  24. 【請求項２４】 上記挿入エレメンタリストリームの符
    号発生量制御用の仮想バッファに対するビット占有量
    が、上記第２のエレメンタリストリームの任意の接続点
    における符号発生量制御用の仮想バッファに対するビッ
    ト占有量を越えるまで、リピートピクチャを挿入するこ
    とを特徴とする請求項２２に記載の圧縮画像データの編
    集方法。
  25. 【請求項２５】 任意の接続点までのＭＰＥＧ２ビデオ
    方式で符号化された第１の圧縮画像データのデータスト
    リーム（第１のエレメンタリストリーム）を入力し、 ＭＰＥＧ２ビデオ方式で符号化された所定の圧縮画像デ
    ータとスタッフィングバイトとを有する挿入圧縮画像デ
    ータのデータストリーム（挿入エレメンタリストリー
    ム）を入力し、 任意の接続点からのＭＰＥＧ２ビデオ方式で符号化され
    た第２の圧縮画像データのデータストリーム（第２のエ
    レメンタリストリーム）を入力し、 上記第１のエレメンタリストリームの任意の接続点にお
    けるＶＢＶ（Video Buffering Verifier）バッファに対
    するビット占有量と、上記第２のエレメンタリストリー
    ムの任意の接続点におけるＶＢＶバッファに対するビッ
    ト占有量と、挿入エレメンタリストリームのＶＢＶバッ
    ファに対するビット占有量とを検出して、これら検出し
    たビット占有量に基づき、挿入エレメンタリストリーム
    の圧縮画像データの枚数とスタッフィングバイトのデー
    タ量を制御して、上記挿入エレメンタリストリームの最
    初のＶＢＶバッファに対するビット占有量を、上記第１
    のエレメンタリストリームの任意の接続点におけるＶＢ
    Ｖバッファに対するビット占有量に一致させ、上記挿入
    エレメンタリストリームの最後のＶＢＶバッファに対す
    るビット占有量を、上記第２のエレメンタリストリーム
    の任意の接続点におけるＶＢＶバッファに対するビット
    占有量に一致させて、上記第１のエレメンタリストリー
    ムの任意の接続点と第２のエレメンタリストリームの任
    意の接続点との間に、上記挿入エレメンタリストリーム
    を挿入して、この第１と第２のエレメンタリストリーム
    を接続することを特徴とする圧縮画像データの編集方
    法。
  26. 【請求項２６】 ＭＰＥＧ２ビデオ方式で符号化された
    データストリームのＶＢＶディレイ（VBV_delay）と、
    ビットレート（bitrate）と、このＶＢＶディレイのク
    ロック周波数（frequency）とから、 VBV_delay×（bitrate／frequency） を演算してＶＢＶバッファに対するビット占有量を検出
    することを特徴とする請求項２５に記載の圧縮画像デー
    タの編集方法。
  27. 【請求項２７】 第１のエレメンタリストリームの最後
    のピクチャのＶＢＶディレイ（last_vbv_delay）と、こ
    の最後のピクチャのイメージサイズ（image_size）と、
    デコード管理時間（Decode Time Stamp）の間隔ΔＤＴ
    Ｓとから、以下の式に基づき第１のエレメンタリストリ
    ームの最後のピクチャの次に挿入すべきピクチャのＶＢ
    Ｖディレイ（next_vbv_delay）を求め、 next_vbv_delay＝last_vbv_delay−（image_size／bitr
    ate）＋ΔＤＴＳ この第１のエレメンタリストリームの最後のピクチャの
    次に挿入すべきＶＢＶディレイ（next_vbv_delay）を、
    挿入エレメンタリストリームの最初のピクチャのＶＢＶ
    ディレイとして、上記挿入エレメンタリストリームの最
    初のＶＢＶバッファに対するビット占有量を、上記第１
    のエレメンタリストリームの任意の接続点におけるＶＢ
    Ｖバッファに対するビット占有量に一致させることを特
    徴とする請求項２６に記載の圧縮画像データの編集方
    法。
  28. 【請求項２８】 第２のエレメンタリストリームの最初
    のピクチャのＶＢＶディレイ（first_vbv_delay）と、
    この最後のピクチャのピクチャスタートコード（pictur
    e start code）及びシーケンスヘッダ（sequence heade
    r）と、デコード管理時間（Decode Time Stamp）の間隔
    ΔＤＴＳとから、以下の式に基づき第２のエレメンタリ
    ストリームの接続点におけるビット占有量（first_pict
    ure_decode_size）を求め、 first_picture_decode_size＝（first_vbv_delay−ΔＤ
    ＴＳ）×bitrate＋picture start code＋sequence head
    er この第２のエレメンタリストリームの接続点におけるビ
    ット占有量（first_picture_decode_size）に応じたス
    タッフィングバイトを挿入ストリームの最後のピクチャ
    とともに挿入して、上記挿入エレメンタリストリームの
    最後のＶＢＶバッファに対するビット占有量を、上記第
    ２のエレメンタリストリームの任意の接続点におけるＶ
    ＢＶバッファに対するビット占有量に一致させることを
    特徴とする請求項２６に記載の圧縮画像データの編集方
    法。
  29. 【請求項２９】 挿入エレメンタリストリームの所定の
    ピクチャのＶＢＶディレイ（first_vbv_delay）と、こ
    の所定のピクチャのイメージサイズ（image_size）と、
    デコード管理時間（Decode Time Stamp）の間隔ΔＤＴ
    Ｓとから、以下の式に基づきこの所定のピクチャの次に
    挿入すべきピクチャのＶＢＶディレイ（next_vbv_dela
    y）を求め、 next_vbv_delay＝vbv_delay−（image_size／bitrate）
    ＋ΔＤＴＳ この所定のピクチャの次に挿入すべきピクチャのビット
    占有量がＶＢＶバッファのバッファサイズを越える場合
    には、超過分のデータ量のスタッフィングバイトをこの
    所定のピクチャとともに挿入することを特徴とする請求
    項２６に記載の圧縮画像データの編集方法。
  30. 【請求項３０】 Ｉピクチャを少なくとも１枚以上有す
    る挿入エレメンタリストリームを挿入して、第１と第２
    のエレメンタリストリームを接続することを特徴とする
    請求項２５に記載の圧縮画像データの編集方法。
  31. 【請求項３１】 黒画像のＩピクチャを少なくとも１枚
    以上有する挿入エレメンタリストリームを挿入して、第
    １と第２のエレメンタリストリームを接続することを特
    徴とする請求項３０に記載の圧縮画像データの編集方
    法。
  32. 【請求項３２】 全てのマクロブロックがスキップトマ
    クロブロックから構成されるＰピクチャ（リピートＰピ
    クチャ）を少なくとも１枚以上有する挿入エレメンタリ
    ストリームを挿入して、第１と第２のエレメンタリスト
    リームを接続することを特徴とする請求項２５に記載の
    圧縮画像データの編集方法。
  33. 【請求項３３】 最初の１枚が黒画像のＩピクチャであ
    り、他がリピートＰピクチャである挿入エレメンタリス
    トリームを挿入して、第１と第２のエレメンタリストリ
    ームを接続することを特徴とする請求項３２に記載の圧
    縮画像データの編集方法。
  34. 【請求項３４】 上記挿入エレメンタリストリームのＶ
    ＢＶバッファに対するビット占有量が、上記第２のエレ
    メンタリストリームの任意の接続点におけるＶＢＶバッ
    ファに対するビット占有量を越えるまで、リピートＰピ
    クチャを挿入することを特徴とする請求項３２に記載の
    圧縮画像データの編集方法。
JP00803298A 1998-01-19 1998-01-19 圧縮画像データの編集装置及び圧縮画像データの編集方法 Expired - Fee Related JP4232209B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP00803298A JP4232209B2 (ja) 1998-01-19 1998-01-19 圧縮画像データの編集装置及び圧縮画像データの編集方法
EP20060075028 EP1655963A3 (en) 1998-01-19 1999-01-06 Compressed picture data editing apparatus and method
EP19990300079 EP0930786A3 (en) 1998-01-19 1999-01-06 Compressed picture data editing apparatus and method
US09/231,055 US6345122B1 (en) 1998-01-19 1999-01-14 Compressed picture data editing apparatus and method
KR1019990001391A KR100607382B1 (ko) 1998-01-19 1999-01-19 압축 화상 데이터 편집 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00803298A JP4232209B2 (ja) 1998-01-19 1998-01-19 圧縮画像データの編集装置及び圧縮画像データの編集方法

Publications (2)

Publication Number Publication Date
JPH11205734A true JPH11205734A (ja) 1999-07-30
JP4232209B2 JP4232209B2 (ja) 2009-03-04

Family

ID=11682004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00803298A Expired - Fee Related JP4232209B2 (ja) 1998-01-19 1998-01-19 圧縮画像データの編集装置及び圧縮画像データの編集方法

Country Status (4)

Country Link
US (1) US6345122B1 (ja)
EP (2) EP0930786A3 (ja)
JP (1) JP4232209B2 (ja)
KR (1) KR100607382B1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128181A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Ind Co Ltd デジタル放送における広告放送挿入のための方法および装置
JP2001359071A (ja) * 2000-06-14 2001-12-26 Sony Corp データ配信装置及び方法、データ配信システム
JP2002330441A (ja) * 2001-05-01 2002-11-15 Sony Corp 符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び符号化装置
JP2003296335A (ja) * 2002-04-02 2003-10-17 Kddi Corp 動画像検索装置
WO2004006573A1 (ja) * 2002-07-08 2004-01-15 Sony Corporation 画像データ処理装置及び方法
WO2004008752A1 (ja) * 2002-07-08 2004-01-22 Sony Corporation 画像データ処理装置及び方法
US7477831B2 (en) 2002-11-08 2009-01-13 Nec Corporation Apparatus and method for video editing
JP2011211689A (ja) * 2010-03-11 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9392276B2 (en) 2012-07-02 2016-07-12 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040261127A1 (en) * 1991-11-25 2004-12-23 Actv, Inc. Digital interactive system for providing full interactivity with programming events
US20010013123A1 (en) * 1991-11-25 2001-08-09 Freeman Michael J. Customized program creation by splicing server based video, audio, or graphical segments
US7448063B2 (en) * 1991-11-25 2008-11-04 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
JP2000165802A (ja) * 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd ストリーム編集装置と編集方法
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
US6747707B2 (en) * 2000-03-31 2004-06-08 Matsushita Electric Industrial Co., Ltd. Data editing system for finally editing a recording medium using received compressed data
US7861261B2 (en) * 2000-04-07 2010-12-28 Visible World, Inc. Systems and methods for managing and distributing media content
US7870579B2 (en) 2000-04-07 2011-01-11 Visible Worl, Inc. Systems and methods for managing and distributing media content
US7895620B2 (en) * 2000-04-07 2011-02-22 Visible World, Inc. Systems and methods for managing and distributing media content
US7890971B2 (en) * 2000-04-07 2011-02-15 Visible World, Inc. Systems and methods for managing and distributing media content
US7904922B1 (en) 2000-04-07 2011-03-08 Visible World, Inc. Template creation and editing for a message campaign
US7900227B2 (en) * 2000-04-07 2011-03-01 Visible World, Inc. Systems and methods for managing and distributing media content
US7870578B2 (en) * 2000-04-07 2011-01-11 Visible World, Inc. Systems and methods for managing and distributing media content
US7050460B1 (en) * 2000-04-14 2006-05-23 Ati International Srl Method and apparatus for multiplexing data streams using time constraints
EP1310092A1 (en) * 2000-07-25 2003-05-14 Agilevision, L.L.C. Splicing compressed, local video segments into fixed time slots in a network feed
US7292782B2 (en) * 2000-09-27 2007-11-06 Victor Company Of Japan, Limited MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
US7490344B2 (en) 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US7305691B2 (en) * 2001-05-07 2007-12-04 Actv, Inc. System and method for providing targeted programming outside of the home
US20020194589A1 (en) * 2001-05-08 2002-12-19 Cristofalo Michael Technique for optimizing the delivery of advertisements and other programming segments by making bandwidth tradeoffs
US20030058707A1 (en) * 2001-09-12 2003-03-27 Dilger Bruce C. System and process for implementing commercial breaks in programming
AU2003215292A1 (en) * 2002-02-15 2004-03-11 Visible World, Inc. System and method for seamless switching through buffering
JP3615195B2 (ja) * 2002-03-19 2005-01-26 株式会社東芝 コンテンツ記録再生装置およびコンテンツ編集方法
US7075899B2 (en) * 2002-05-21 2006-07-11 Actv, Inc. System and method for providing private in-band data to digital set-top boxes in a broadcast environment
US7269836B2 (en) * 2003-03-24 2007-09-11 International Business Machines Corporation System and method for providing multiplexing and remultiplexing of MPEG-2 streams
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
WO2005114997A1 (en) * 2004-05-18 2005-12-01 Koninklijke Philips Electronics N.V. Seamless adding of real-time information
US8412363B2 (en) * 2004-07-02 2013-04-02 The Nielson Company (Us), Llc Methods and apparatus for mixing compressed digital bit streams
US8966551B2 (en) 2007-11-01 2015-02-24 Cisco Technology, Inc. Locating points of interest using references to media frames within a packet flow
US9197857B2 (en) * 2004-09-24 2015-11-24 Cisco Technology, Inc. IP-based stream splicing with content-specific splice points
JP2008518544A (ja) * 2004-10-29 2008-05-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｍｐｅｇストリームのスライシング
WO2007127166A2 (en) 2006-04-24 2007-11-08 Visible World Inc. Systems and methods for generating media content using microtrends
EP2958106B1 (en) 2006-10-11 2018-07-18 The Nielsen Company (US), LLC Methods and apparatus for embedding codes in compressed audio data streams
US8543667B2 (en) 2008-01-14 2013-09-24 Akamai Technologies, Inc. Policy-based content insertion
US8335262B2 (en) 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
US8743906B2 (en) 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US9565397B2 (en) 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US9906757B2 (en) 2009-02-26 2018-02-27 Akamai Technologies, Inc. Deterministically skewing synchronized events for content streams
US8650602B2 (en) 2009-02-27 2014-02-11 Akamai Technologies, Inc. Input queued content switching using a playlist
EP2403248B1 (en) * 2009-02-27 2018-07-04 Fujitsu Limited Moving picture encoding device, moving picture encoding method, and moving picture encoding computer program
JP2011029696A (ja) * 2009-07-21 2011-02-10 Sony Corp 情報処理装置、録画方法及び録画システム
ES2693648T3 (es) 2010-06-18 2018-12-13 Akamai Technologies, Inc. Extensión de una red de distribución de contenidos (CDN) en una red móvil o alámbrica
US20160105689A1 (en) * 2014-10-13 2016-04-14 Vigor Systems Inc. Replacing a corrupted video frame
US9955159B2 (en) * 2014-10-31 2018-04-24 Google Llc Multi-video decoding with input switching

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100279582B1 (ko) * 1993-08-06 2001-02-01 구자홍 디지탈 영상압축신호의 편집장치
JPH07212766A (ja) * 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
US5534944A (en) 1994-07-15 1996-07-09 Matsushita Electric Corporation Of America Method of splicing MPEG encoded video
DE69515386T2 (de) * 1994-07-15 2000-08-24 Matsushita Electric Ind Co Ltd Verfahren zur Verbindung von MPEG-Videosequenzen
GB9424437D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Encoder system level buffer management
KR0185922B1 (ko) * 1995-06-08 1999-05-01 김광호 버퍼점유량의 불연속을 방지하기 위한 방법
GB2307613B (en) 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
US5859660A (en) * 1996-02-29 1999-01-12 Perkins; Michael G. Non-seamless splicing of audio-video transport streams
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
US5917830A (en) * 1996-10-18 1999-06-29 General Instrument Corporation Splicing compressed packetized digital video streams
US6188700B1 (en) * 1996-11-07 2001-02-13 Sony Corporation Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
US6154496A (en) * 1997-11-25 2000-11-28 Philips Electronics N.A. Corp. Video buffer for seamless splicing of MPEG streams

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128181A (ja) * 1999-10-26 2001-05-11 Matsushita Electric Ind Co Ltd デジタル放送における広告放送挿入のための方法および装置
JP2001359071A (ja) * 2000-06-14 2001-12-26 Sony Corp データ配信装置及び方法、データ配信システム
JP4491918B2 (ja) * 2000-06-14 2010-06-30 ソニー株式会社 データ配信装置及び方法、データ配信システム
JP2002330441A (ja) * 2001-05-01 2002-11-15 Sony Corp 符号化方法、符号化方法のプログラム、符号化方法のプログラムを記録した記録媒体及び符号化装置
JP2003296335A (ja) * 2002-04-02 2003-10-17 Kddi Corp 動画像検索装置
CN100417216C (zh) * 2002-07-08 2008-09-03 索尼株式会社 图像数据处理装置与方法
JP2004048102A (ja) * 2002-07-08 2004-02-12 Sony Corp 画像データ処理装置及び方法
JP2004048104A (ja) * 2002-07-08 2004-02-12 Sony Corp 画像データ処理装置及び方法
WO2004008752A1 (ja) * 2002-07-08 2004-01-22 Sony Corporation 画像データ処理装置及び方法
CN100440958C (zh) * 2002-07-08 2008-12-03 索尼株式会社 图像数据处理装置和方法
WO2004006573A1 (ja) * 2002-07-08 2004-01-15 Sony Corporation 画像データ処理装置及び方法
US7477831B2 (en) 2002-11-08 2009-01-13 Nec Corporation Apparatus and method for video editing
JP2011211689A (ja) * 2010-03-11 2011-10-20 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US9392276B2 (en) 2012-07-02 2016-07-12 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US9438924B2 (en) 2012-07-02 2016-09-06 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US9712838B2 (en) 2012-07-02 2017-07-18 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US9716896B2 (en) 2012-07-02 2017-07-25 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US10070144B2 (en) 2012-07-02 2018-09-04 Fujitsu Limited Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method

Also Published As

Publication number Publication date
KR19990067973A (ko) 1999-08-25
KR100607382B1 (ko) 2006-08-02
JP4232209B2 (ja) 2009-03-04
EP1655963A3 (en) 2010-08-04
EP0930786A2 (en) 1999-07-21
EP1655963A2 (en) 2006-05-10
EP0930786A3 (en) 2002-06-05
US6345122B1 (en) 2002-02-05

Similar Documents

Publication Publication Date Title
JPH11205734A (ja) 圧縮画像データの編集装置及び圧縮画像データの編集方法
US6993081B1 (en) Seamless splicing/spot-insertion for MPEG-2 digital video/audio stream
US6188700B1 (en) Method and apparatus for encoding MPEG signals using variable rate encoding and dynamically varying transmission buffers
EP1397918B1 (en) Splicing of digital video transport streams
US8160134B2 (en) Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US6671323B1 (en) Encoding device, encoding method, decoding device, decoding method, coding system and coding method
US6806909B1 (en) Seamless splicing of MPEG-2 multimedia data streams
US20060143669A1 (en) Fast channel switching for digital TV
EP0881838A1 (en) Timing correction
JP2002510947A (ja) 圧縮ビデオ・データのバースト状データ伝送
JP2000511740A (ja) ビデオ・エンコーダにおける継目なし継ぎの方法
KR100301826B1 (ko) 비디오디코더
KR20040054615A (ko) 디지털 비디오 디코더에서 심리스 스트림 스위칭을제공하는 시스템 및 데이터 포맷
EP2123044A1 (en) Methods and apparatus for video stream splicing
US6298088B1 (en) Method and apparatus for splicing compressed information signals
EP1146730A2 (en) Method and apparatus for reproducing compressively coded data
US6532242B1 (en) Method for encoding, editing and transmitting digital signals
US7333711B2 (en) Data distribution apparatus and method, and data distribution system
US20060072671A1 (en) System, method and apparatus for clean channel change
US7269839B2 (en) Data distribution apparatus and method, and data distribution system
JP2001309371A (ja) Ｍｐｅｇデコーダ
JP2824028B2 (ja) 動画像圧縮装置
US9219930B1 (en) Method and system for timing media stream modifications
JP2004193961A (ja) 映像伝送システム
JP4371066B2 (ja) 編集装置及び編集方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050119

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081118

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees