JPH09139912A - 符号化データ編集装置とデータ復号装置 - Google Patents
符号化データ編集装置とデータ復号装置Info
- Publication number
- JPH09139912A JPH09139912A JP29660095A JP29660095A JPH09139912A JP H09139912 A JPH09139912 A JP H09139912A JP 29660095 A JP29660095 A JP 29660095A JP 29660095 A JP29660095 A JP 29660095A JP H09139912 A JPH09139912 A JP H09139912A
- Authority
- JP
- Japan
- Prior art keywords
- data
- buffer
- occupancy
- coded
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 従来、VBVバッファの占有量を予測して発
生符号量を制御しつつ符号化された符号化データ列の一
部を切り取って繋げる場合、復号化時にVBVバッファ
がオーバーフローもしくはアンダーフローを起こしてし
まう可能性がある。 【解決手段】 そこで、この発明は、符号化データ列の
切り取り部の先頭におけるバッファ内のデータ占有量A
と切り取り部の直後の符号化データ列の先頭におけるバ
ッファ内のデータ占有量Bを各々予測するバッファ占有
量判断回路8を設け、A>Bの場合は切り取られる符号
化データ列の前後の符号化データの間にAとBとの差分
だけ追加挿入し、A<Bの場合は切り取られる符号化デ
ータ列の前後の符号化データの間に、nピクチャ分に相
当する符号化データを含むデータを追加挿入することに
よって、各VBVバッファ占有量AとBを一致させる。
生符号量を制御しつつ符号化された符号化データ列の一
部を切り取って繋げる場合、復号化時にVBVバッファ
がオーバーフローもしくはアンダーフローを起こしてし
まう可能性がある。 【解決手段】 そこで、この発明は、符号化データ列の
切り取り部の先頭におけるバッファ内のデータ占有量A
と切り取り部の直後の符号化データ列の先頭におけるバ
ッファ内のデータ占有量Bを各々予測するバッファ占有
量判断回路8を設け、A>Bの場合は切り取られる符号
化データ列の前後の符号化データの間にAとBとの差分
だけ追加挿入し、A<Bの場合は切り取られる符号化デ
ータ列の前後の符号化データの間に、nピクチャ分に相
当する符号化データを含むデータを追加挿入することに
よって、各VBVバッファ占有量AとBを一致させる。
Description
【0001】
【発明の属する技術分野】この発明は、動画像信号を圧
縮符号化したデジタルデータを編集する符号化データ編
集装置と動画像の符号化データを復号するデータ復号装
置に関する。
縮符号化したデジタルデータを編集する符号化データ編
集装置と動画像の符号化データを復号するデータ復号装
置に関する。
【0002】
【従来の技術】動画像を高能率で圧縮符号化する手法と
して、ISO/IEC 13812-2 に規格化されたMPEG2と呼
ばれる動画像符号化方式がある。MPEG2方式による
画像圧縮は、画像間の動き補償(MC)予測と 8× 8画
素のDCTを組み合わせたハイブリッド方式の変換を行
い、これにより得られる信号に対してさらに量子化、及
び可変長符号化を施すものである(参考文献:ISO/IEC
13812-2 Draft International Standard)。また、MC
予測の種類としては、過去の画像を参照画像とする前方
予測、未来の画像を参照画像とする後方予測、過去、未
来両方の画像を参照画像とする双方向(内挿)予測、及
び予測を用いないイントラの各モードがある。
して、ISO/IEC 13812-2 に規格化されたMPEG2と呼
ばれる動画像符号化方式がある。MPEG2方式による
画像圧縮は、画像間の動き補償(MC)予測と 8× 8画
素のDCTを組み合わせたハイブリッド方式の変換を行
い、これにより得られる信号に対してさらに量子化、及
び可変長符号化を施すものである(参考文献:ISO/IEC
13812-2 Draft International Standard)。また、MC
予測の種類としては、過去の画像を参照画像とする前方
予測、未来の画像を参照画像とする後方予測、過去、未
来両方の画像を参照画像とする双方向(内挿)予測、及
び予測を用いないイントラの各モードがある。
【0003】このMC予測モードは、16×16画素のマク
ロブロック毎に設定可能であるが、符号化画像(ピクチ
ャ)の種類により使用可能なモードが決められている。
このピクチャタイプには次の3種類がある。イントラマ
クロブロックのみで構成されるピクチャをIピクチャ、
イントラ及び前方予測マクロブロックで構成されるPピ
クチャ、すべてのMC予測モードが許されるBピクチャ
がそれである。
ロブロック毎に設定可能であるが、符号化画像(ピクチ
ャ)の種類により使用可能なモードが決められている。
このピクチャタイプには次の3種類がある。イントラマ
クロブロックのみで構成されるピクチャをIピクチャ、
イントラ及び前方予測マクロブロックで構成されるPピ
クチャ、すべてのMC予測モードが許されるBピクチャ
がそれである。
【0004】ここでIピクチャは予測を用いず、原画像
自体をDCT変換し、量子化、可変長符号化されたもの
であるので、単独の符号化データで復号が可能であるの
に対し、Pピクチャは入力画像順で過去の、すでに符号
化されたIまたはPピクチャとのMC予測誤差信号をD
CT変換、量子化、可変長符号化されたもの、そしてB
ピクチャは過去及び未来の、すでに符号化されたIまた
はPピクチャとのMC予測誤差信号をDCT変換、量子
化、可変長符号化されたものである。このためP及びB
ピクチャの復号は、これに先行して、Iピクチャより始
まる参照画像の復号を行う必要がある。
自体をDCT変換し、量子化、可変長符号化されたもの
であるので、単独の符号化データで復号が可能であるの
に対し、Pピクチャは入力画像順で過去の、すでに符号
化されたIまたはPピクチャとのMC予測誤差信号をD
CT変換、量子化、可変長符号化されたもの、そしてB
ピクチャは過去及び未来の、すでに符号化されたIまた
はPピクチャとのMC予測誤差信号をDCT変換、量子
化、可変長符号化されたものである。このためP及びB
ピクチャの復号は、これに先行して、Iピクチャより始
まる参照画像の復号を行う必要がある。
【0005】MPEG2では、任意の数の上記タイプの
ピクチャにより構成されるGOP(group of pictures)
という階層を持ち得る。このGOPで最初に符号化され
るピクチャはIピクチャと定められており、このIピク
チャの前にはGOPの先頭であることを示すGOPヘッ
ダが挿入される。このGOPヘッダ中には、タイムコー
ド、そのGOPを構成する符号化データがGOP内のデ
ータのみで復号可能すなわち前のGOPの画像データを
参照しない独立したGOP(closed GOP)であるかど
うかを示すフラグ(closed_gop)、そして本来前のGO
Pの画像データを参照する必要があるが、編集によりこ
れができなくなったことを示すフラグ(broken_link)が
あり、GOPを単位として編集が行えるような工夫がな
されている。
ピクチャにより構成されるGOP(group of pictures)
という階層を持ち得る。このGOPで最初に符号化され
るピクチャはIピクチャと定められており、このIピク
チャの前にはGOPの先頭であることを示すGOPヘッ
ダが挿入される。このGOPヘッダ中には、タイムコー
ド、そのGOPを構成する符号化データがGOP内のデ
ータのみで復号可能すなわち前のGOPの画像データを
参照しない独立したGOP(closed GOP)であるかど
うかを示すフラグ(closed_gop)、そして本来前のGO
Pの画像データを参照する必要があるが、編集によりこ
れができなくなったことを示すフラグ(broken_link)が
あり、GOPを単位として編集が行えるような工夫がな
されている。
【0006】図11はこのようなMPEG2方式の符号
化部を備えた従来の符号化データ編集装置の構成を示す
ブロック図である。
化部を備えた従来の符号化データ編集装置の構成を示す
ブロック図である。
【0007】同図において、入力端子1に入力された原
画像信号はMPEG2方式による符号化部2に供給され
る。符号化部2は制御部3からのピクチャタイプ、量子
化ステップ等の符号化パラメータ制御信号に基づき原画
像信号の符号化を行うと共に、制御部3に符号量制御の
ための発生符号量等の符号化情報を返す。また、符号化
部2によって符号化された符号化データはデジタル信号
記録部4に出力されて記録される。制御部3は、デジタ
ル信号記録部4に記録制御信号を与えることにより、デ
ジタル信号記録部4に符号化データを記録するように制
御する。カット部5はデジタル信号記録部4から符号化
データを読み出し、その一部を切り取って繋ぎ合わせる
編集を行い、その編集結果をデジタル信号記録部4に返
送して記録し直す。
画像信号はMPEG2方式による符号化部2に供給され
る。符号化部2は制御部3からのピクチャタイプ、量子
化ステップ等の符号化パラメータ制御信号に基づき原画
像信号の符号化を行うと共に、制御部3に符号量制御の
ための発生符号量等の符号化情報を返す。また、符号化
部2によって符号化された符号化データはデジタル信号
記録部4に出力されて記録される。制御部3は、デジタ
ル信号記録部4に記録制御信号を与えることにより、デ
ジタル信号記録部4に符号化データを記録するように制
御する。カット部5はデジタル信号記録部4から符号化
データを読み出し、その一部を切り取って繋ぎ合わせる
編集を行い、その編集結果をデジタル信号記録部4に返
送して記録し直す。
【0008】図12は上記の符号化部2の具体的な構成
を示すブロック図である。同図において、入力端子11
に入力された原画像信号は符号化順変換回路12に入力
される。符号化順変換回路12は、内部のメモリバッフ
ァを用いて、原画像の入力順から符号化順への変換(符
号化順変換)を行うと共に、走査順、ブロック/マクロ
ブロック順変換を行って符号化順画像信号を出力する。
を示すブロック図である。同図において、入力端子11
に入力された原画像信号は符号化順変換回路12に入力
される。符号化順変換回路12は、内部のメモリバッフ
ァを用いて、原画像の入力順から符号化順への変換(符
号化順変換)を行うと共に、走査順、ブロック/マクロ
ブロック順変換を行って符号化順画像信号を出力する。
【0009】図13はこの符号化順変換回路12による
符号化順変換の様子を示す図であり、GOPのピクチャ
構成と各ピクチャの予測の方向も併せて示している。図
中上段に示すGOP構成は原画像データの入力順、即ち
画像表示順を示し、図中下段には符号化順変換後の変換
されたGOP構成を示している。また、図中の矢印は各
ピクチャの予測方向を示している。この例において、1
つのGOPは1つのIピクチャ、1つのPピクチャ及び
4つのBピクチャにより構成され、I、Pピクチャの周
期は3ピクチャとしている。
符号化順変換の様子を示す図であり、GOPのピクチャ
構成と各ピクチャの予測の方向も併せて示している。図
中上段に示すGOP構成は原画像データの入力順、即ち
画像表示順を示し、図中下段には符号化順変換後の変換
されたGOP構成を示している。また、図中の矢印は各
ピクチャの予測方向を示している。この例において、1
つのGOPは1つのIピクチャ、1つのPピクチャ及び
4つのBピクチャにより構成され、I、Pピクチャの周
期は3ピクチャとしている。
【0010】このように、符号化順変換回路12は原画
像信号に対する各変換処理を行い、各ピクチャの原画像
信号をマクロブロック単位で構成される符号化順画像信
号に変換して減算回路13に出力する。
像信号に対する各変換処理を行い、各ピクチャの原画像
信号をマクロブロック単位で構成される符号化順画像信
号に変換して減算回路13に出力する。
【0011】減算回路13はこの符号化順画像信号か
ら、動き補償回路25の予測画像信号を減算して予測誤
差信号を得る。この予測誤差信号はDCT回路14でブ
ロック毎に2次元DCT変換されてDCT係数信号とし
て出力される。さらに量子化回路15は、このDCT係
数信号に対し、符号化制御回路26から供給される量子
化制御信号により設定される量子化ステップに基づき量
子化を施す。
ら、動き補償回路25の予測画像信号を減算して予測誤
差信号を得る。この予測誤差信号はDCT回路14でブ
ロック毎に2次元DCT変換されてDCT係数信号とし
て出力される。さらに量子化回路15は、このDCT係
数信号に対し、符号化制御回路26から供給される量子
化制御信号により設定される量子化ステップに基づき量
子化を施す。
【0012】これにより得られる量子化信号はVLC・
文法生成回路16及び局部復号回路29の逆量子化回路
19に供給される。VLC・文法生成回路16は、量子
化回路15により量子化された信号を可変長符号化する
と共に、符号化制御回路26で生成されるヘッダデータ
等の付加信号をこれに多重して所定フォーマットのMP
EG2符号化データを生成し、この符号化データをバッ
ファ17を介して出力端子18に出力する。またVLC
・文法生成回路16は、ここで生成した符号化データの
符号量を符号化制御回路26に供給する。
文法生成回路16及び局部復号回路29の逆量子化回路
19に供給される。VLC・文法生成回路16は、量子
化回路15により量子化された信号を可変長符号化する
と共に、符号化制御回路26で生成されるヘッダデータ
等の付加信号をこれに多重して所定フォーマットのMP
EG2符号化データを生成し、この符号化データをバッ
ファ17を介して出力端子18に出力する。またVLC
・文法生成回路16は、ここで生成した符号化データの
符号量を符号化制御回路26に供給する。
【0013】量子化回路15で量子化された信号は、符
号化制御回路26からの量子化制御信号により設定され
る量子化ステップにより、量子化回路15で施された量
子化の逆の処理、すなわち逆量子化を行い、これにより
得られるDCT係数信号を逆DCT回路20に供給す
る。
号化制御回路26からの量子化制御信号により設定され
る量子化ステップにより、量子化回路15で施された量
子化の逆の処理、すなわち逆量子化を行い、これにより
得られるDCT係数信号を逆DCT回路20に供給す
る。
【0014】逆DCT回路20は、DCT回路14の2
次元DCT変換とは逆の2次元逆DCT変換を行い、こ
れにより得られる予測誤差信号を加算回路21に供給す
る。加算回路21は、逆DCT回路20で得られた予測
誤差信号と、動き補償回路25で動き補償された予測画
像信号とを加算し、局部復号化回路29の出力信号であ
る復号画像信号を得て、これをスイッチ22に入力す
る。
次元DCT変換とは逆の2次元逆DCT変換を行い、こ
れにより得られる予測誤差信号を加算回路21に供給す
る。加算回路21は、逆DCT回路20で得られた予測
誤差信号と、動き補償回路25で動き補償された予測画
像信号とを加算し、局部復号化回路29の出力信号であ
る復号画像信号を得て、これをスイッチ22に入力す
る。
【0015】スイッチ22は、符号化制御回路26から
のピクチャタイプ信号によりI、Pピクチャの時のみ閉
じるように動作する。すなわちI、Pピクチャの時のみ
復号画像信号がスイッチ22の出力に現れ、これが参照
画像メモリ23に書き込まれる。
のピクチャタイプ信号によりI、Pピクチャの時のみ閉
じるように動作する。すなわちI、Pピクチャの時のみ
復号画像信号がスイッチ22の出力に現れ、これが参照
画像メモリ23に書き込まれる。
【0016】参照画像メモリ23は常に、過去に符号化
された2フレーム分の復号画像を保持する。そして参照
画像メモリ23の中の、入力順で過去、未来の参照画像
信号は動き検出回路24に供給される。
された2フレーム分の復号画像を保持する。そして参照
画像メモリ23の中の、入力順で過去、未来の参照画像
信号は動き検出回路24に供給される。
【0017】動き検出回路24は参照画像信号と符号化
順変換回路12の出力信号である符号化順画像信号によ
り動きベクトル及び、最適な予測モードをマクロブロッ
ク毎に検出する。この予測モードは、符号化順制御回路
26のピクチャタイプ信号により制限される。これによ
り得た予測モード信号は参照画像メモリ23、動き補償
回路25及び符号化制御回路26に、そしてこの予測モ
ードに対応する動きベクトル信号は動き補償回路25及
び符号化制御回路26に供給される。
順変換回路12の出力信号である符号化順画像信号によ
り動きベクトル及び、最適な予測モードをマクロブロッ
ク毎に検出する。この予測モードは、符号化順制御回路
26のピクチャタイプ信号により制限される。これによ
り得た予測モード信号は参照画像メモリ23、動き補償
回路25及び符号化制御回路26に、そしてこの予測モ
ードに対応する動きベクトル信号は動き補償回路25及
び符号化制御回路26に供給される。
【0018】参照画像メモリ23はこの予測モード信号
に従い、予測に用いる参照画像信号を動き補償回路25
に供給する。動き補償回路25は予測モード信号及び動
きベクトル信号により参照画像信号の動き補償、そして
予測モードによっては時間方向の内挿処理を行い、最終
的な予測画像信号を得、これを減算回路13及び加算回
路21に供給する。なお予測モード信号がイントラモー
ドである場合には、この予測画像信号は“0”となるた
め、DCT回路14の入力信号は符号化順画像信号とな
り、予測を用いずに原画像信号そのものを符号化するこ
とになる。
に従い、予測に用いる参照画像信号を動き補償回路25
に供給する。動き補償回路25は予測モード信号及び動
きベクトル信号により参照画像信号の動き補償、そして
予測モードによっては時間方向の内挿処理を行い、最終
的な予測画像信号を得、これを減算回路13及び加算回
路21に供給する。なお予測モード信号がイントラモー
ドである場合には、この予測画像信号は“0”となるた
め、DCT回路14の入力信号は符号化順画像信号とな
り、予測を用いずに原画像信号そのものを符号化するこ
とになる。
【0019】以上の動作によりMPEG2方式による動
画像の圧縮符号化が行われる。
画像の圧縮符号化が行われる。
【0020】ここで図11に示す制御回路3は、符号化
部2に与える量子化ステップ等のパラメータを変更する
ことにより符号量の制御を行う。この符号量制御は、1
つにMPEG2で規定されるVBV(video buffering
verifier)バッファによるものである。
部2に与える量子化ステップ等のパラメータを変更する
ことにより符号量の制御を行う。この符号量制御は、1
つにMPEG2で規定されるVBV(video buffering
verifier)バッファによるものである。
【0021】符号化データ量は、異なったピクチャタイ
プあるいはその原画像の性質により大きく異なるため、
一定ビットレートのチャネルに符号化データを蓄積ある
いは伝送しようとすると必然的に符号化器、復号化器は
バッファを備える必要がある。VBVバッファは仮想的
な復号化器であり、符号化の際、このVBVバッファが
オーバーフローやアンダーフローを起こさないように発
生符号量を制御することによって、実際の復号化器が正
しく動作することを保証する。
プあるいはその原画像の性質により大きく異なるため、
一定ビットレートのチャネルに符号化データを蓄積ある
いは伝送しようとすると必然的に符号化器、復号化器は
バッファを備える必要がある。VBVバッファは仮想的
な復号化器であり、符号化の際、このVBVバッファが
オーバーフローやアンダーフローを起こさないように発
生符号量を制御することによって、実際の復号化器が正
しく動作することを保証する。
【0022】ここで、以上のように作成された符号化デ
ータ列の一部を、各国の諸事情(日本国においては映倫
など)により切り取る方法について説明する。
ータ列の一部を、各国の諸事情(日本国においては映倫
など)により切り取る方法について説明する。
【0023】カット部5は、デジタル信号記録部4に記
録されている符号化データに対して、制御部3から供給
される切り取る領域(削除領域)を示す信号に基づき、
削除領域の符号化データ列をGOP単位で切り取る。切
り取った後、デジタル信号記録部4に記録されている切
り取り領域の以前の領域の符号化データ列の後尾と切り
取り領域以降の符号化データ列の先頭とを繋ぎ合わせ
る。
録されている符号化データに対して、制御部3から供給
される切り取る領域(削除領域)を示す信号に基づき、
削除領域の符号化データ列をGOP単位で切り取る。切
り取った後、デジタル信号記録部4に記録されている切
り取り領域の以前の領域の符号化データ列の後尾と切り
取り領域以降の符号化データ列の先頭とを繋ぎ合わせ
る。
【0024】しかしながら、このような符号化データに
対する編集は、実際の復号化器が持つバッファのオーバ
ーフローやアンダーフローを発生させる原因となる。こ
の点について図14から図16を用いて詳しく説明す
る。
対する編集は、実際の復号化器が持つバッファのオーバ
ーフローやアンダーフローを発生させる原因となる。こ
の点について図14から図16を用いて詳しく説明す
る。
【0025】図14はある固定レート(CBR)の符号
化データのVBVバッファの占有量の遷移を示す図であ
り、縦軸がVBVバッファの占有量、横軸が時刻であ
る。このように、制御部3はVBVバッファがオーバー
フロー、アンダーフローしないように、ピクチャ毎に最
適な符号量割り当てを行っている。
化データのVBVバッファの占有量の遷移を示す図であ
り、縦軸がVBVバッファの占有量、横軸が時刻であ
る。このように、制御部3はVBVバッファがオーバー
フロー、アンダーフローしないように、ピクチャ毎に最
適な符号量割り当てを行っている。
【0026】ここで、図14において、A−Bまたは
A’−B’間の符号化データ列を切り取って繋ぎ合わせ
ることを考えてみる。
A’−B’間の符号化データ列を切り取って繋ぎ合わせ
ることを考えてみる。
【0027】まずA−B間の符号化データ列を切り取り
その前後の符号化データ列を繋げた場合のVBVバッフ
ァの占有量の遷移を図15に示す。この場合、繋げた後
のピクチャCの復号時にVBVバッファのアンダーフロ
ーが生じる。すなわち、ピクチャCで必要とされる大量
の符号化データは、本来はそれ以前にVBVバッファに
送られ蓄積されていなければならない。しかし、A−B
間を切り取ったことによってピクチャCの符号化データ
が先送りできなくなって復号化時の符号化データが不足
となり、この結果、VBVバッファのアンダーフローが
生じてしまう。また、A’−B’間の符号化データ列を
切り取ってその前後の符号化データ列を繋げた場合のV
BVバッファの占有量の遷移を図16に示す。この場合
には、VBVバッファのオーバーフローが生じてしま
う。すなわち、先に述べたように、VBVバッファには
将来の復号化に必要な符号化データが蓄積されていなけ
ればならないが、A’−B’間を切り取ったことによっ
て、復号化に必要な符号化データの量に比べ、一定時間
に先送りされてくる符号化データの量の方が多くなり、
この結果、オーバーフローを引き起こしてしまう。
その前後の符号化データ列を繋げた場合のVBVバッフ
ァの占有量の遷移を図15に示す。この場合、繋げた後
のピクチャCの復号時にVBVバッファのアンダーフロ
ーが生じる。すなわち、ピクチャCで必要とされる大量
の符号化データは、本来はそれ以前にVBVバッファに
送られ蓄積されていなければならない。しかし、A−B
間を切り取ったことによってピクチャCの符号化データ
が先送りできなくなって復号化時の符号化データが不足
となり、この結果、VBVバッファのアンダーフローが
生じてしまう。また、A’−B’間の符号化データ列を
切り取ってその前後の符号化データ列を繋げた場合のV
BVバッファの占有量の遷移を図16に示す。この場合
には、VBVバッファのオーバーフローが生じてしま
う。すなわち、先に述べたように、VBVバッファには
将来の復号化に必要な符号化データが蓄積されていなけ
ればならないが、A’−B’間を切り取ったことによっ
て、復号化に必要な符号化データの量に比べ、一定時間
に先送りされてくる符号化データの量の方が多くなり、
この結果、オーバーフローを引き起こしてしまう。
【0028】
【発明が解決しようとする課題】このように、符号化デ
ータ列の一部を切り取った場合、切り取った直後の符号
化データ列のGOPヘッダ中にbroken_link フラグを立
てればMPEGのシンタックス上における問題は生じな
いが、切り取った前後の符号化データ列の発生符号量の
制御が連続して行われていないため、復号化時にVBV
バッファのアンダーフローまたはオーバーフローを起こ
してしまう可能性が大いにある。
ータ列の一部を切り取った場合、切り取った直後の符号
化データ列のGOPヘッダ中にbroken_link フラグを立
てればMPEGのシンタックス上における問題は生じな
いが、切り取った前後の符号化データ列の発生符号量の
制御が連続して行われていないため、復号化時にVBV
バッファのアンダーフローまたはオーバーフローを起こ
してしまう可能性が大いにある。
【0029】また、切り取った直後の符号化データにお
ける最初のIピクチャに続くBピクチャが切り取ったG
OPの中のピクチャを参照画像としていた場合、正しく
そのBピクチャを復号することができなくなる。
ける最初のIピクチャに続くBピクチャが切り取ったG
OPの中のピクチャを参照画像としていた場合、正しく
そのBピクチャを復号することができなくなる。
【0030】また、これまでbroken_link フラグが立っ
ているGOPの復号器の動作は規定されていないため、
この時の再生画像は復号器の構成により異なるものにな
ってしまう。
ているGOPの復号器の動作は規定されていないため、
この時の再生画像は復号器の構成により異なるものにな
ってしまう。
【0031】本発明は、以上の課題を解決するためのも
ので、復号化時にVBVバッファのオーバーフローやア
ンダーフローを起こさないように符号化データの一部切
り取り編集を行うことのできる符号化データ編集装置を
提供することを目的とする。また本発明は、切り取った
直後の符号化データも正しく復号できるように、符号化
データの一部切り取り編集を行うことのできる符号化デ
ータ編集装置を提供することを目的とする。
ので、復号化時にVBVバッファのオーバーフローやア
ンダーフローを起こさないように符号化データの一部切
り取り編集を行うことのできる符号化データ編集装置を
提供することを目的とする。また本発明は、切り取った
直後の符号化データも正しく復号できるように、符号化
データの一部切り取り編集を行うことのできる符号化デ
ータ編集装置を提供することを目的とする。
【0032】また、本発明は、復号化時にVBVバッフ
ァのオーバーフローやアンダーフローを起こさないよう
に符号化データの一部切り取り編集を行うことが可能な
データ復号装置の提供を目的としている。
ァのオーバーフローやアンダーフローを起こさないよう
に符号化データの一部切り取り編集を行うことが可能な
データ復号装置の提供を目的としている。
【0033】
【課題を解決するための手段】上記目的を達成するため
に、本発明の符号化データ編集装置は、復号化時に用い
られるバッファの占有量を予測して発生符号量を制御し
た符号化データ列の一部を切り取って繋げる符号化デー
タ編集装置において、符号化データ列の切り取り部の先
頭におけるバッファ内のデータ占有量Aと切り取り部の
直後の符号化データ列の先頭におけるバッファ内のデー
タ占有量Bを各々予測するバッファ占有量予測手段と、
バッファ占有量予測手段によって各々予測されたデータ
占有量AとBとを一致させるよう符号化データ列を結合
する符号化データ列結合手段とを具備して構成されたも
のである。
に、本発明の符号化データ編集装置は、復号化時に用い
られるバッファの占有量を予測して発生符号量を制御し
た符号化データ列の一部を切り取って繋げる符号化デー
タ編集装置において、符号化データ列の切り取り部の先
頭におけるバッファ内のデータ占有量Aと切り取り部の
直後の符号化データ列の先頭におけるバッファ内のデー
タ占有量Bを各々予測するバッファ占有量予測手段と、
バッファ占有量予測手段によって各々予測されたデータ
占有量AとBとを一致させるよう符号化データ列を結合
する符号化データ列結合手段とを具備して構成されたも
のである。
【0034】また本発明の符号化データ編集装置は、復
号化時に用いられるバッファの占有量を予測して発生符
号量を制御した符号化データ列の一部を切り取って繋げ
る符号化データ編集装置において、符号化データ列の切
り取り部の先頭におけるバッファ内のデータ占有量Aと
前記切り取り部の直後の符号化データ列の先頭における
バッファ内のデータ占有量Bを各々予測するバッファ占
有量予測手段と、バッファ占有量予測手段によって各々
予測されたデータ占有量AとBとの大小関係がA>Bで
ある場合、切り取り部の前後の符号化データ列の間に、
復号化において無効なデータをAとBとの差分追加し、
A<Bである場合、切り取り部の前後の符号化データ列
の間に、n(但し、nは1以上の整数)ピクチャ分に相
当する符号化データ列を含むデータを追加して各占有量
A、Bを一致させるデータ追加手段とを具備して構成さ
れる。
号化時に用いられるバッファの占有量を予測して発生符
号量を制御した符号化データ列の一部を切り取って繋げ
る符号化データ編集装置において、符号化データ列の切
り取り部の先頭におけるバッファ内のデータ占有量Aと
前記切り取り部の直後の符号化データ列の先頭における
バッファ内のデータ占有量Bを各々予測するバッファ占
有量予測手段と、バッファ占有量予測手段によって各々
予測されたデータ占有量AとBとの大小関係がA>Bで
ある場合、切り取り部の前後の符号化データ列の間に、
復号化において無効なデータをAとBとの差分追加し、
A<Bである場合、切り取り部の前後の符号化データ列
の間に、n(但し、nは1以上の整数)ピクチャ分に相
当する符号化データ列を含むデータを追加して各占有量
A、Bを一致させるデータ追加手段とを具備して構成さ
れる。
【0035】またこの発明において、データ追加手段
は、データ占有量AとBとの大小関係がA<Bの場合、
切り取り部の前後の符号化データ列の間に、nピクチャ
分に相当する、AとBとの差分以上の符号化データ列を
追加し、追加した後のバッファ内の符号化データ列の占
有量Cを求め、このデータ占有量Cとデータ占有量Bと
の大小関係がB<Cである場合、復号化において無効な
データをBとCとの差分nピクチャ分に相当する符号化
データ列に付加するものとしている。
は、データ占有量AとBとの大小関係がA<Bの場合、
切り取り部の前後の符号化データ列の間に、nピクチャ
分に相当する、AとBとの差分以上の符号化データ列を
追加し、追加した後のバッファ内の符号化データ列の占
有量Cを求め、このデータ占有量Cとデータ占有量Bと
の大小関係がB<Cである場合、復号化において無効な
データをBとCとの差分nピクチャ分に相当する符号化
データ列に付加するものとしている。
【0036】すなわち、本発明によれば、切り取り部の
前後の符号化データ列の間に、スタッフィングビットや
ユーザデータ等の、復号化において無効なデータやnピ
クチャ分の符号化データ列を含むデータを追加して、符
号化データ列の切り取り部の先頭におけるバッファ内の
データ占有量Aと切り取り部の直後の符号化データ列の
先頭におけるバッファ内のデータ占有量Bとを一致させ
ることで、復号化時にVBVバッファがオーバーフロー
あるいはアンダーフローを起こさないように符号化デー
タの編集を効率よく行うことが可能となる。
前後の符号化データ列の間に、スタッフィングビットや
ユーザデータ等の、復号化において無効なデータやnピ
クチャ分の符号化データ列を含むデータを追加して、符
号化データ列の切り取り部の先頭におけるバッファ内の
データ占有量Aと切り取り部の直後の符号化データ列の
先頭におけるバッファ内のデータ占有量Bとを一致させ
ることで、復号化時にVBVバッファがオーバーフロー
あるいはアンダーフローを起こさないように符号化デー
タの編集を効率よく行うことが可能となる。
【0037】なお、追加するnピクチャ分に相当する個
々の符号化データ列としては、切り取り部の直前の符号
化データ列の復号化後の再生順序が最後のピクチャを連
続的に再符号化したデータを用いることが好ましい。ま
た、これら追加するピクチャのタイプは全てPピクチャ
とする。
々の符号化データ列としては、切り取り部の直前の符号
化データ列の復号化後の再生順序が最後のピクチャを連
続的に再符号化したデータを用いることが好ましい。ま
た、これら追加するピクチャのタイプは全てPピクチャ
とする。
【0038】さらに、追加するnピクチャ分に相当する
個々の符号化データ列は、マクロブロック・エスケープ
及びマクロブロック・アドレス・インクリメントを用い
て構成されたデータであってもよく、また、原画像が編
集環境において存在しない状況においては、外部より入
力した符号化データ列を復号した再生画像を参照画像と
して再符号化したデータであってもよい。
個々の符号化データ列は、マクロブロック・エスケープ
及びマクロブロック・アドレス・インクリメントを用い
て構成されたデータであってもよく、また、原画像が編
集環境において存在しない状況においては、外部より入
力した符号化データ列を復号した再生画像を参照画像と
して再符号化したデータであってもよい。
【0039】さらに、データ追加手段によるピクチャ追
加後、切り取り部の直後の符号化データ列のうち切り取
り部に含まれるピクチャを参照画像として符号化された
ピクチャを、切り取り部の直後の符号化データ列に含ま
れるピクチャのみを参照画像として用いて再符号化する
再符号化手段を設けることで、編集により切り取られた
直後の符号化データも正しく復号できるように、符号化
データ列の一部切り取り編集を行うことができる。
加後、切り取り部の直後の符号化データ列のうち切り取
り部に含まれるピクチャを参照画像として符号化された
ピクチャを、切り取り部の直後の符号化データ列に含ま
れるピクチャのみを参照画像として用いて再符号化する
再符号化手段を設けることで、編集により切り取られた
直後の符号化データも正しく復号できるように、符号化
データ列の一部切り取り編集を行うことができる。
【0040】また、本発明のデータ復号装置は、VBV
バッファの状態に基づいて発生符号量を制御しつつ符号
化されたデータ列を復号するデータ復号装置において、
符号化データ列の一部を切り取るデータ切取手段と、符
号化データ列の切り取り部の先頭におけるバッファ内の
データ占有量Aと切り取り部の直後の符号化データ列の
先頭におけるバッファ内のデータ占有量Bを各々判定す
るバッファ占有量判定手段と、バッファ占有量判定手段
によって各々判定されたデータ占有量AとBとの大小関
係がA>Bである場合、切り取り部の前後の符号化デー
タ列の間に、復号化において無効なデータをAとBとの
差分追加し、A<Bである場合、切り取り部の前後の符
号化データ列の間に、n(但し、nは1以上の整数)ピ
クチャ分に相当する符号化データ列を含むデータを追加
して各占有量A、Bを一致させるデータ追加手段と、デ
ータ追加手段によって各占有量A、Bを一致させたあと
の切り取り部の前後の符号化データ列を結合するデータ
結合手段とを具備してなるものである。
バッファの状態に基づいて発生符号量を制御しつつ符号
化されたデータ列を復号するデータ復号装置において、
符号化データ列の一部を切り取るデータ切取手段と、符
号化データ列の切り取り部の先頭におけるバッファ内の
データ占有量Aと切り取り部の直後の符号化データ列の
先頭におけるバッファ内のデータ占有量Bを各々判定す
るバッファ占有量判定手段と、バッファ占有量判定手段
によって各々判定されたデータ占有量AとBとの大小関
係がA>Bである場合、切り取り部の前後の符号化デー
タ列の間に、復号化において無効なデータをAとBとの
差分追加し、A<Bである場合、切り取り部の前後の符
号化データ列の間に、n(但し、nは1以上の整数)ピ
クチャ分に相当する符号化データ列を含むデータを追加
して各占有量A、Bを一致させるデータ追加手段と、デ
ータ追加手段によって各占有量A、Bを一致させたあと
の切り取り部の前後の符号化データ列を結合するデータ
結合手段とを具備してなるものである。
【0041】このような構成をとることによって、この
データ復号装置においては、復号化時にVBVバッファ
のオーバーフローやアンダーフローを起こさないように
符号化データの一部切り取り編集を行うことが可能とな
る。
データ復号装置においては、復号化時にVBVバッファ
のオーバーフローやアンダーフローを起こさないように
符号化データの一部切り取り編集を行うことが可能とな
る。
【0042】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面に基づき詳細に説明する。
て図面に基づき詳細に説明する。
【0043】図1に本発明の第1の実施形態であるMP
EG2符号化データ編集装置の全体構成を示すブロック
図である。
EG2符号化データ編集装置の全体構成を示すブロック
図である。
【0044】入力端子1に入力された原画像(動画像)
信号は、MPEG2方式による符号化部2に供給され
る。符号化部2は制御部3からのピクチャタイプ、量子
化ステップ等の符号化パラメータ制御信号に基づき符号
化を行うとともに、制御部3に符号量制御を行うための
発生符号量等の符号化情報を返す。そして符号化部2に
よって符号化された符号化データはデジタル信号記録部
4に出力されて記録される。
信号は、MPEG2方式による符号化部2に供給され
る。符号化部2は制御部3からのピクチャタイプ、量子
化ステップ等の符号化パラメータ制御信号に基づき符号
化を行うとともに、制御部3に符号量制御を行うための
発生符号量等の符号化情報を返す。そして符号化部2に
よって符号化された符号化データはデジタル信号記録部
4に出力されて記録される。
【0045】パラメータ記録部7には、制御部3から、
符号化の際に符号化部2を制御するための符号化パラメ
ータ、ピクチャ毎のVBVバッファ占有量、ピクチャ毎
の発生符号量等が入力され、記録される。また、制御部
3はこのパラメータ記録部7に記録されている情報を読
み出すことができる。
符号化の際に符号化部2を制御するための符号化パラメ
ータ、ピクチャ毎のVBVバッファ占有量、ピクチャ毎
の発生符号量等が入力され、記録される。また、制御部
3はこのパラメータ記録部7に記録されている情報を読
み出すことができる。
【0046】バッファ占有量判断回路8は、パラメータ
記録部7から切り取る領域の符号化データ列の先頭のピ
クチャにおけるVBVバッファ占有量と、切り取り領域
の直後の先頭のピクチャにおけるVBVバッファの占有
量の値を各々読み出し、大小の判断を行う。そして、こ
の判断結果を制御部3に返す。制御部3は編集作業時、
バッファ占有量判断部8の結果に基づき、符号化部2、
デジタル信号記録部4、6、カット&ペースト部5を制
御する。また、バッファ占有量判断部8はデジタル信号
記録部6に直接データを書き込めるようになっている。
記録部7から切り取る領域の符号化データ列の先頭のピ
クチャにおけるVBVバッファ占有量と、切り取り領域
の直後の先頭のピクチャにおけるVBVバッファの占有
量の値を各々読み出し、大小の判断を行う。そして、こ
の判断結果を制御部3に返す。制御部3は編集作業時、
バッファ占有量判断部8の結果に基づき、符号化部2、
デジタル信号記録部4、6、カット&ペースト部5を制
御する。また、バッファ占有量判断部8はデジタル信号
記録部6に直接データを書き込めるようになっている。
【0047】次に、この符号化データ編集装置にて符号
化されてデジタル信号記録部4に記録された符号化デー
タを編集(一部の符号化データ列の切り取り)する場合
の動作について説明する。図2は上記符号化データ編集
時の動作手順を示すフローチャートである。
化されてデジタル信号記録部4に記録された符号化デー
タを編集(一部の符号化データ列の切り取り)する場合
の動作について説明する。図2は上記符号化データ編集
時の動作手順を示すフローチャートである。
【0048】バッファ占有量判断部8は、まずパラメー
タ記録部7から、切り取られる符号化データ列の先頭の
ピクチャにおけるVBVバッファの占有量Aを読み出
す。ここで切り取られる符号化データ列を図3に示す符
号化データにおける第2GOPとすると、第2GOPの
先頭のI8ピクチャにおけるVBVバッファ占有量Aを
読み出す。続いて同様に、切り取られる符号化データ列
の直後のピクチャのVBVバッファの占有量Bを読み出
す。すなわち、図3において、第3GOPのI14ピク
チャに於けるVBVバッファ占有量Bを読み出す(ステ
ップ201)。
タ記録部7から、切り取られる符号化データ列の先頭の
ピクチャにおけるVBVバッファの占有量Aを読み出
す。ここで切り取られる符号化データ列を図3に示す符
号化データにおける第2GOPとすると、第2GOPの
先頭のI8ピクチャにおけるVBVバッファ占有量Aを
読み出す。続いて同様に、切り取られる符号化データ列
の直後のピクチャのVBVバッファの占有量Bを読み出
す。すなわち、図3において、第3GOPのI14ピク
チャに於けるVBVバッファ占有量Bを読み出す(ステ
ップ201)。
【0049】次に、バッファ占有量判断部8は、上記各
VBVバッファ占有量A、Bの値を比較する(ステップ
202)。図2においてA>Bの場合はケース1へ、A
<Bの場合はケース2へと処理が分岐される。
VBVバッファ占有量A、Bの値を比較する(ステップ
202)。図2においてA>Bの場合はケース1へ、A
<Bの場合はケース2へと処理が分岐される。
【0050】ケース1は、図14においてA’−B’間
の符号化データ列を切り取る事と同等であり、A’−
B’間をそのまま接続したとすると図16のようなVB
Vバッファ占有量の遷移図となる。つまり、図16は、
VBVバッファに供給する符号量に対して、復号時に必
要となる符号量が少ないために、VBVバッファがオー
バーフローしてしまう事を示している。
の符号化データ列を切り取る事と同等であり、A’−
B’間をそのまま接続したとすると図16のようなVB
Vバッファ占有量の遷移図となる。つまり、図16は、
VBVバッファに供給する符号量に対して、復号時に必
要となる符号量が少ないために、VBVバッファがオー
バーフローしてしまう事を示している。
【0051】そこでバッファ占有量判断部8は、ケース
1の場合、復号時には無視される、つまり復号化におい
て無効に扱われるスタッフィングビットを、切り取られ
る符号化データ列の前後の符号化データの間にAとBと
の差分だけ追加挿入する(ステップ203)。このスタ
ッフィングビットはバッファ占有量判断部8によってデ
ジタル信号記録部6に直接記録される。
1の場合、復号時には無視される、つまり復号化におい
て無効に扱われるスタッフィングビットを、切り取られ
る符号化データ列の前後の符号化データの間にAとBと
の差分だけ追加挿入する(ステップ203)。このスタ
ッフィングビットはバッファ占有量判断部8によってデ
ジタル信号記録部6に直接記録される。
【0052】一方、A<Bの場合(ケース2)は、図1
4においてA−B間の符号化データ列を切り取ることに
相当する。この場合、先のケース1とは逆に復号時に必
要とされる符号量が前倒しで送る符号量より多いため、
結局復号時に符号量が不足する。したがって、図15に
示したようにアンダーフローが生じてしまう。
4においてA−B間の符号化データ列を切り取ることに
相当する。この場合、先のケース1とは逆に復号時に必
要とされる符号量が前倒しで送る符号量より多いため、
結局復号時に符号量が不足する。したがって、図15に
示したようにアンダーフローが生じてしまう。
【0053】そこでこの場合は、切り取られる符号化デ
ータ列の前後の符号化データの間に、nピクチャ分に相
当する符号化データを含むデータを追加挿入することに
よって、各VBVバッファ占有量AとBを一致させる。
ータ列の前後の符号化データの間に、nピクチャ分に相
当する符号化データを含むデータを追加挿入することに
よって、各VBVバッファ占有量AとBを一致させる。
【0054】ここで追加するピクチャは、復号化後の再
生順序が最後のピクチャを再符号化したデータ、つまり
切り取られるGOPの直前のGOPのIまたはPピクチ
ャで符号化された画像を連続的に再符号化したデータと
する。すなわち、図3において、切り取られる第2GO
Pの直前のP5の画像を続けて符号化する。
生順序が最後のピクチャを再符号化したデータ、つまり
切り取られるGOPの直前のGOPのIまたはPピクチ
ャで符号化された画像を連続的に再符号化したデータと
する。すなわち、図3において、切り取られる第2GO
Pの直前のP5の画像を続けて符号化する。
【0055】次に、この追加するピクチャを再符号化す
る手順を説明する。
る手順を説明する。
【0056】まず追加ピクチャを符号化する際に必要な
参照画像(I2ピクチャ)を図12に示した参照画像メ
モリ23に記録するために、制御部3はパラメータ記録
部7からI2ピクチャ及びP5ピクチャを符号化したと
きのパラメータを読み出す。制御部3はこのパラメータ
を基に、以前の符号化時と全く同じパラメータ、同条件
でI2ピクチャを再符号化して参照画像メモリ23に記
録する。その後、P5ピクチャを入力端子1から符号化
部2に入力して、以前と同じパラメータ、同条件で再符
号化を行い参照画像メモリ23に記録する。そして、追
加するピクチャ枚数分のP5ピクチャを入力端子1から
再度符号化部2に入力して、参照画像メモリ23に記録
されているP5ピクチャを参照画像として再符号化を行
う。再符号化された符号化データ(P5’、P5’’)
は、デジタル信号記録部6に記録される(ステップ20
6)。
参照画像(I2ピクチャ)を図12に示した参照画像メ
モリ23に記録するために、制御部3はパラメータ記録
部7からI2ピクチャ及びP5ピクチャを符号化したと
きのパラメータを読み出す。制御部3はこのパラメータ
を基に、以前の符号化時と全く同じパラメータ、同条件
でI2ピクチャを再符号化して参照画像メモリ23に記
録する。その後、P5ピクチャを入力端子1から符号化
部2に入力して、以前と同じパラメータ、同条件で再符
号化を行い参照画像メモリ23に記録する。そして、追
加するピクチャ枚数分のP5ピクチャを入力端子1から
再度符号化部2に入力して、参照画像メモリ23に記録
されているP5ピクチャを参照画像として再符号化を行
う。再符号化された符号化データ(P5’、P5’’)
は、デジタル信号記録部6に記録される(ステップ20
6)。
【0057】この時、追加されるピクチャのピクチャタ
イプはPとしている。このような再符号化を行うことに
より追加するピクチャの発生符号量を押さえることがで
きる。 ここで、nを追加するピクチャの数、bitを
1ピクチャ時間にVBVバッファに伝送できる平均ビッ
トレート、piを追加するピクチャ単位の符号化データ
の符号量とすると、追加するピクチャ枚数nを求める式
は、 となる。実際にはpiが分からないとnは求められない
が、切り取られる領域の直前のGOPの最後のピクチャ
を連続して符号化して得られた符号化データであるた
め、発生符号量であるpiは、ほとんど無視できる値で
ある。
イプはPとしている。このような再符号化を行うことに
より追加するピクチャの発生符号量を押さえることがで
きる。 ここで、nを追加するピクチャの数、bitを
1ピクチャ時間にVBVバッファに伝送できる平均ビッ
トレート、piを追加するピクチャ単位の符号化データ
の符号量とすると、追加するピクチャ枚数nを求める式
は、 となる。実際にはpiが分からないとnは求められない
が、切り取られる領域の直前のGOPの最後のピクチャ
を連続して符号化して得られた符号化データであるた
め、発生符号量であるpiは、ほとんど無視できる値で
ある。
【0058】次に、上式で計算されたn枚のピクチャを
追加した後のVBVバッファの占有量Cを求め、このC
とBとを比較する(ステップ207)。Cは次式で求め
られる。
追加した後のVBVバッファの占有量Cを求め、このC
とBとを比較する(ステップ207)。Cは次式で求め
られる。
【0059】 BとCとの比較結果はB=CまたはB<Cの場合しか存
在しない。B=Cの場合は後述するステップ209に移
る。
在しない。B=Cの場合は後述するステップ209に移
る。
【0060】一方、B<Cの場合は、先に述べたA<B
の場合(ケース1のVBVバッファのオーバーフロー)
と同じ条件になるため、CとBとの差分量のスタッフィ
ングビットを、追加するピクチャの後に挿入する(ステ
ップ208)。図3では、追加するピクチャはP5’、
P5’’の2つのピクチャであり、スタッフィングビッ
トはP5’’の後ろに挿入している。但し、スタッフィ
ングビットの挿入位置はB4の後ろでも、1つ目のP
5’の後ろでもよい。ここでも、スタッフィングビット
はバッファ占有量判断部8によりデジタル信号記録部6
に直接記録される。 このような操作を行うことによ
り、符号化データの編集において各VBVバッファ占有
量AとBとを一致させることができ、VBVバッファの
連続性を保つことができる。
の場合(ケース1のVBVバッファのオーバーフロー)
と同じ条件になるため、CとBとの差分量のスタッフィ
ングビットを、追加するピクチャの後に挿入する(ステ
ップ208)。図3では、追加するピクチャはP5’、
P5’’の2つのピクチャであり、スタッフィングビッ
トはP5’’の後ろに挿入している。但し、スタッフィ
ングビットの挿入位置はB4の後ろでも、1つ目のP
5’の後ろでもよい。ここでも、スタッフィングビット
はバッファ占有量判断部8によりデジタル信号記録部6
に直接記録される。 このような操作を行うことによ
り、符号化データの編集において各VBVバッファ占有
量AとBとを一致させることができ、VBVバッファの
連続性を保つことができる。
【0061】次に、切り離した符号化データ列の間の次
のような繋ぎ目処理を行う。図3の符号化データにおい
て、第3GOPのB12、B13のピクチャは、符号化
時に同じ第3GOPのI14ピクチャと、第2GOPの
P11ピクチャを参照画像としている。従って、第1G
OPと第3GOPを繋ぐことによって、B12、B13
ピクチャは復号時に第1GOPのP5ピクチャを参照画
像として復号してしまうために元の画像に戻らない。従
って、このように前のGOPのピクチャを参照画像に用
いて符号化されているピクチャに対しては再符号化(繋
ぎ目処理)が必要となる。
のような繋ぎ目処理を行う。図3の符号化データにおい
て、第3GOPのB12、B13のピクチャは、符号化
時に同じ第3GOPのI14ピクチャと、第2GOPの
P11ピクチャを参照画像としている。従って、第1G
OPと第3GOPを繋ぐことによって、B12、B13
ピクチャは復号時に第1GOPのP5ピクチャを参照画
像として復号してしまうために元の画像に戻らない。従
って、このように前のGOPのピクチャを参照画像に用
いて符号化されているピクチャに対しては再符号化(繋
ぎ目処理)が必要となる。
【0062】この繋ぎ目処理としては次の2つの方法が
考えられる。まず1つ目として、この第3GOPにbrok
en_link フラグを立てることによりBピクチャを表示さ
せないようにする方法である。この方法は一番簡単な方
法であるが、broken_link フラグが立っているGOPの
復号器の動作は規定されていないため、復号器がどんな
動作をするかという問題が残る。
考えられる。まず1つ目として、この第3GOPにbrok
en_link フラグを立てることによりBピクチャを表示さ
せないようにする方法である。この方法は一番簡単な方
法であるが、broken_link フラグが立っているGOPの
復号器の動作は規定されていないため、復号器がどんな
動作をするかという問題が残る。
【0063】もう一つの方法として、切り取られる領域
のGOPに含まれるピクチャを参照画像としているBピ
クチャ(図3ではB12、B13ピクチャ)を再符号化
する方法がある。この方法について詳述する。
のGOPに含まれるピクチャを参照画像としているBピ
クチャ(図3ではB12、B13ピクチャ)を再符号化
する方法がある。この方法について詳述する。
【0064】図3に示したように、第2GOPに属する
ピクチャ(P11ピクチャ)を参照画像としているの
は、第3GOPのB12、B13のBピクチャの前方予
測の場合である。従って、現在のB12、B13のピク
チャの符号量が一致するように、後方からの予測のみ
で、つまり図3のケース1、2に示したようにI14ピ
クチャからのみの予測で再符号化を行う。
ピクチャ(P11ピクチャ)を参照画像としているの
は、第3GOPのB12、B13のBピクチャの前方予
測の場合である。従って、現在のB12、B13のピク
チャの符号量が一致するように、後方からの予測のみ
で、つまり図3のケース1、2に示したようにI14ピ
クチャからのみの予測で再符号化を行う。
【0065】ここでも、参照画像(I14ピクチャ)を
参照画像メモリ23に記録するために、制御部3はパラ
メータ記録部7からI14ピクチャを符号化したときの
パラメータを読み出す。制御部3はこの読み出したパラ
メータを基に、以前の符号化時と全く同じパラメータ、
同条件でI14ピクチャを再符号化して図12の参照画
像メモリ23に記録する。そしてこのI14ピクチャを
参照画像として用いてB12、B13ピクチャの再符号
化を行う。その際、B12ピクチャのVBVバッファ占
有量B12(Bs)をパラメータ記録部7から読み出し
(ステップ209)、これを初期値とし、且つ次に現れ
るIまたはPピクチャ(この例ではP17ピクチャ)の
VBVバッファ占有量を収束値としてB12、B13ピ
クチャの再符号化を行う。
参照画像メモリ23に記録するために、制御部3はパラ
メータ記録部7からI14ピクチャを符号化したときの
パラメータを読み出す。制御部3はこの読み出したパラ
メータを基に、以前の符号化時と全く同じパラメータ、
同条件でI14ピクチャを再符号化して図12の参照画
像メモリ23に記録する。そしてこのI14ピクチャを
参照画像として用いてB12、B13ピクチャの再符号
化を行う。その際、B12ピクチャのVBVバッファ占
有量B12(Bs)をパラメータ記録部7から読み出し
(ステップ209)、これを初期値とし、且つ次に現れ
るIまたはPピクチャ(この例ではP17ピクチャ)の
VBVバッファ占有量を収束値としてB12、B13ピ
クチャの再符号化を行う。
【0066】このようにして再符号化された符号化デー
タはB12’、B13’ピクチャとしてデジタル信号記
録部6に記録される(ステップ210)。
タはB12’、B13’ピクチャとしてデジタル信号記
録部6に記録される(ステップ210)。
【0067】次に、デジタル信号記録部6に記録された
符号化データを、元の符号化データの編集領域に繋ぐま
たは置換する。
符号化データを、元の符号化データの編集領域に繋ぐま
たは置換する。
【0068】図3のケース1の場合には、第1GOPの
直後にスタッフィングビットを付加し、その後ろに第3
GOP以降を繋げる。そして、カット&ペースト部5は
デジタル信号記録部6からB12’、B13’の各ピク
チャの符号化データを読み出し、デジタル信号記録部4
に記録されているB12、B13の各ピクチャとを置換
する(ステップ211)。
直後にスタッフィングビットを付加し、その後ろに第3
GOP以降を繋げる。そして、カット&ペースト部5は
デジタル信号記録部6からB12’、B13’の各ピク
チャの符号化データを読み出し、デジタル信号記録部4
に記録されているB12、B13の各ピクチャとを置換
する(ステップ211)。
【0069】以上の編集作業を行うことにより、図4及
び図5に示す符号化データ編集後のVBVバッファ占有
量の遷移図のように、復号化時にVBVバッファがオー
バーフローしたりアンダーフローすることのない符号化
データの編集結果を得ることができ、符号化データの繁
ぎ目部分の良好な再生画像を得ることができる。
び図5に示す符号化データ編集後のVBVバッファ占有
量の遷移図のように、復号化時にVBVバッファがオー
バーフローしたりアンダーフローすることのない符号化
データの編集結果を得ることができ、符号化データの繁
ぎ目部分の良好な再生画像を得ることができる。
【0070】なお、前記の説明では、図3のケース1の
場合、第1GOPの後ろにスタッフィングビットを付加
するようにしたが、このスタッフィングビットの代わり
に、第3GOPのシーケンスエクステンション、GOP
ヘッダまたはピクチャコーディングエクステンションの
後ろにユーザデータ等を挿入するようにしてもよく、こ
の場合でも同様の効果を得ることができる。
場合、第1GOPの後ろにスタッフィングビットを付加
するようにしたが、このスタッフィングビットの代わり
に、第3GOPのシーケンスエクステンション、GOP
ヘッダまたはピクチャコーディングエクステンションの
後ろにユーザデータ等を挿入するようにしてもよく、こ
の場合でも同様の効果を得ることができる。
【0071】また、本実施例では、追加するピクチャの
符号化データを作成するのにI2、P5、P5、P5ピ
クチャの順に再符号化を行ってP5’、P5’’ピクチ
ャを求めたが、マクロブロック・エスケープ及びマクロ
ブロック・アドレス・インクリメントを用いて、符号化
データP5’、P5’’のマクロブロックすべてを情報
がなにも必要としないマクロブロックと定義してもよ
い。この場合、バッファ占有量判断部8からデジタル信
号記録部6にマクロブロック・エスケープ及びマクロブ
ロック・アドレス・インクリメントを用いて構成された
符号化データを直接記録する。
符号化データを作成するのにI2、P5、P5、P5ピ
クチャの順に再符号化を行ってP5’、P5’’ピクチ
ャを求めたが、マクロブロック・エスケープ及びマクロ
ブロック・アドレス・インクリメントを用いて、符号化
データP5’、P5’’のマクロブロックすべてを情報
がなにも必要としないマクロブロックと定義してもよ
い。この場合、バッファ占有量判断部8からデジタル信
号記録部6にマクロブロック・エスケープ及びマクロブ
ロック・アドレス・インクリメントを用いて構成された
符号化データを直接記録する。
【0072】なお、図1において、符号化データを記録
するデジタル信号記録部4と編集作業用のデジタル信号
記録部6は別々のものとしたが、1つのデジタル信号記
録部を用いて上記各用途に用いるようにしても構わな
い。
するデジタル信号記録部4と編集作業用のデジタル信号
記録部6は別々のものとしたが、1つのデジタル信号記
録部を用いて上記各用途に用いるようにしても構わな
い。
【0073】次に、本発明の第2の実施形態について図
6を参照しつつ説明する。
6を参照しつつ説明する。
【0074】この符号化データ編集装置は、図3のケー
ス2で、追加するピクチャを符号化する場合の符号化部
の機能に改良を施したものである。すなわち、符号化部
内の符号化順変換回路12は、符号化制御回路26から
の制御信号30を入力した時、内部のメモリバッファに
Pピクチャの原画像信号を継続して保持し、このPピク
チャの原画像信号の符号化順変換結果を、追加するピク
チャの枚数分連続して出力する。
ス2で、追加するピクチャを符号化する場合の符号化部
の機能に改良を施したものである。すなわち、符号化部
内の符号化順変換回路12は、符号化制御回路26から
の制御信号30を入力した時、内部のメモリバッファに
Pピクチャの原画像信号を継続して保持し、このPピク
チャの原画像信号の符号化順変換結果を、追加するピク
チャの枚数分連続して出力する。
【0075】すなわち、符号化順変換回路12は、符号
化制御回路26からの制御信号30を入力すると、例え
ば図3のケース2の場合はI2、P5、P5、P5ピク
チャというように、第1GOPの最後のP5ピクチャの
原画像信号の符号化順変換結果を追加ピクチャの枚数分
(この例では2枚分)続けて出力する。これにより、何
度もPピクチャの原画像信号を外部より入力しなくて
も、追加すべき複数のPピクチャを連続して再符号化す
ることができる。
化制御回路26からの制御信号30を入力すると、例え
ば図3のケース2の場合はI2、P5、P5、P5ピク
チャというように、第1GOPの最後のP5ピクチャの
原画像信号の符号化順変換結果を追加ピクチャの枚数分
(この例では2枚分)続けて出力する。これにより、何
度もPピクチャの原画像信号を外部より入力しなくて
も、追加すべき複数のPピクチャを連続して再符号化す
ることができる。
【0076】次に、本発明の符号化データ編集装置の第
3の実施形態について説明する。
3の実施形態について説明する。
【0077】この符号化データ編集装置は、その編集環
境において符号化部に入力すべき原画像が用意されてい
ない場合に対処すべく構成されたものである。
境において符号化部に入力すべき原画像が用意されてい
ない場合に対処すべく構成されたものである。
【0078】図7にこの符号データ編集装置の構成を示
す。ここでストリーム再生部10は、光ディスク等の記
録媒体に記録された、既に符号化されている符号化デー
タを読み出すものである。この編集装置において、スト
リーム再生部10によって読み出された符号化データ
は、ピクチャの再符号化に用いられる参照画像用の符号
化データ列として符号化部2’に供給され、また、再符
号化すべきピクチャの原画像に代える画像信号を得るた
めに復号器9に供給されて復号化される。復号器9によ
って復号化された画像信号は符号化部2’に入力され、
前記参照画像を用いて符号化(再符号化)され、デジタ
ル信号記録部6に記録される。カット&ペースト部5
は、ストリーム再生部10より入力した編集前の符号化
データ列中の指定部分を切り取り、切り取った部分の前
後の符号化データ列の間にデジタル信号記録部6に記録
された符号化データを追加挿入するなどして目的の符号
化データ編集を行う。
す。ここでストリーム再生部10は、光ディスク等の記
録媒体に記録された、既に符号化されている符号化デー
タを読み出すものである。この編集装置において、スト
リーム再生部10によって読み出された符号化データ
は、ピクチャの再符号化に用いられる参照画像用の符号
化データ列として符号化部2’に供給され、また、再符
号化すべきピクチャの原画像に代える画像信号を得るた
めに復号器9に供給されて復号化される。復号器9によ
って復号化された画像信号は符号化部2’に入力され、
前記参照画像を用いて符号化(再符号化)され、デジタ
ル信号記録部6に記録される。カット&ペースト部5
は、ストリーム再生部10より入力した編集前の符号化
データ列中の指定部分を切り取り、切り取った部分の前
後の符号化データ列の間にデジタル信号記録部6に記録
された符号化データを追加挿入するなどして目的の符号
化データ編集を行う。
【0079】この符号化手段2’の構成について図8を
用いて以下に説明する。なお、同図において図12と同
じ構成の部分には同じ符号を付しである。
用いて以下に説明する。なお、同図において図12と同
じ構成の部分には同じ符号を付しである。
【0080】入力端子50より入力された参照画像用の
符号化データはバッファメモリ51に供給される。バッ
ファメモリ51からは、符号化順変換回路12の符号化
順画像信号にピクチャ単位で同期して符号化データが読
み出され、逆VLC回路52に供給される。逆VLC回
路52は、符号化データ中のヘッダ等に記述されるパラ
メータを復号して符号化制御回路26に与えると共に、
圧縮画像信号の可変長符号を解いて、量子化回路15の
出力信号と同じデータ形態の信号を生成する。この信号
は信号選択回路53に入力される。
符号化データはバッファメモリ51に供給される。バッ
ファメモリ51からは、符号化順変換回路12の符号化
順画像信号にピクチャ単位で同期して符号化データが読
み出され、逆VLC回路52に供給される。逆VLC回
路52は、符号化データ中のヘッダ等に記述されるパラ
メータを復号して符号化制御回路26に与えると共に、
圧縮画像信号の可変長符号を解いて、量子化回路15の
出力信号と同じデータ形態の信号を生成する。この信号
は信号選択回路53に入力される。
【0081】信号選択回路53は符号化制御回路26か
らの割り込み制御信号に基づいて、逆VLC回路52及
び量子化回路15のうちどちらか一方の出力信号を選択
する。この信号選択回路53の出力信号はVLC・文法
生成回路16及び逆量子化回路19に供給される。また
逆VLC回路52により復号された予測モード信号及び
動きベクトル信号はそれぞれ信号選択回路54及び55
に入力される。また、この信号選択回路54及び55の
他方の入力端子には、動き検出回路24からの予測モー
ド信号及び動きベクトル信号がそれぞれ入力される。そ
して信号選択回路54及び55は符号化制御回路26か
らの割り込み制御信号に基づき、どちらか一方をそれぞ
れ選択して出力する。
らの割り込み制御信号に基づいて、逆VLC回路52及
び量子化回路15のうちどちらか一方の出力信号を選択
する。この信号選択回路53の出力信号はVLC・文法
生成回路16及び逆量子化回路19に供給される。また
逆VLC回路52により復号された予測モード信号及び
動きベクトル信号はそれぞれ信号選択回路54及び55
に入力される。また、この信号選択回路54及び55の
他方の入力端子には、動き検出回路24からの予測モー
ド信号及び動きベクトル信号がそれぞれ入力される。そ
して信号選択回路54及び55は符号化制御回路26か
らの割り込み制御信号に基づき、どちらか一方をそれぞ
れ選択して出力する。
【0082】符号化順変換回路12は、内部のメモリバ
ッファを用いて、図13に示すように原画像入力順から
符号化順へのピクチャの並びの変換を行うと共に、走査
順、ブロック/マクロブロック順変換を行って符号化順
画像信号を出力する。符号化制御回路26は、符号化順
変換回路12に制御信号30を与えることにより符号化
順変換回路12のメモリバッファを制御することができ
る。
ッファを用いて、図13に示すように原画像入力順から
符号化順へのピクチャの並びの変換を行うと共に、走査
順、ブロック/マクロブロック順変換を行って符号化順
画像信号を出力する。符号化制御回路26は、符号化順
変換回路12に制御信号30を与えることにより符号化
順変換回路12のメモリバッファを制御することができ
る。
【0083】いま割り込み制御信号が割り込みモードを
示す制御信号であるものとする。このとき、信号選択回
路53、54及び55はそれぞれ入力端子50より入力
された外部からの符号化データより得られる信号、すな
わち、逆VLC回路52からの出力信号を選択して出力
する。この場合、符号化制御回路26は同様に、ピクチ
ャタイプ信号、量子化ステップ制御信号及び文法生成制
御信号についても、逆VLC回路52において復号した
パラメータ信号に基づき制御を行うようにする。このと
きVLC・文法生成回路16の出力信号には、入力端子
50から入力された符号化データと同じ符号化データが
再生される。また割り込みモードとなってから最初のI
ピクチャ以降に参照画像メモリ23に得られる参照画像
データは、入力端子50から供給される符号化データを
復号した信号となる。
示す制御信号であるものとする。このとき、信号選択回
路53、54及び55はそれぞれ入力端子50より入力
された外部からの符号化データより得られる信号、すな
わち、逆VLC回路52からの出力信号を選択して出力
する。この場合、符号化制御回路26は同様に、ピクチ
ャタイプ信号、量子化ステップ制御信号及び文法生成制
御信号についても、逆VLC回路52において復号した
パラメータ信号に基づき制御を行うようにする。このと
きVLC・文法生成回路16の出力信号には、入力端子
50から入力された符号化データと同じ符号化データが
再生される。また割り込みモードとなってから最初のI
ピクチャ以降に参照画像メモリ23に得られる参照画像
データは、入力端子50から供給される符号化データを
復号した信号となる。
【0084】次に図7及び図8に示す符号化データ編集
装置によるピクチャの再符号化の例を図9を用いて説明
する。
装置によるピクチャの再符号化の例を図9を用いて説明
する。
【0085】図9において、aは編集前の符号化データ
とその符号化時に用いられた参照画像、bは目標とする
編集後の符号化データとその符号化時に用いられる参照
画像であり、bー1はスタッフィングビット挿入の場
合、b−2はピクチャ挿入の場合である。また、cは装
置への各入力のタイムチャートである。
とその符号化時に用いられた参照画像、bは目標とする
編集後の符号化データとその符号化時に用いられる参照
画像であり、bー1はスタッフィングビット挿入の場
合、b−2はピクチャ挿入の場合である。また、cは装
置への各入力のタイムチャートである。
【0086】同図aに示すように、第3GOPにおい
て、B12、B13ピクチャはI14ピクチャとP11
ピクチャを参照画像として符号化されている。一方、同
図b−1において、編集後の符号化データにおけるB1
2、B13ピクチャはその符号化に際してI14ピクチ
ャのみを参照画像とし、同図b−2では、さらにP5’
P5’’ピクチャの符号化に際してP5ピクチャを参照
画像とするように編集を行うものする。
て、B12、B13ピクチャはI14ピクチャとP11
ピクチャを参照画像として符号化されている。一方、同
図b−1において、編集後の符号化データにおけるB1
2、B13ピクチャはその符号化に際してI14ピクチ
ャのみを参照画像とし、同図b−2では、さらにP5’
P5’’ピクチャの符号化に際してP5ピクチャを参照
画像とするように編集を行うものする。
【0087】このように符号化されるピクチャの位相の
タイミングを満足させるように、符号化部2’は、スト
リーム再生部10から参照画像として用いられる符号化
データを端子50より、一方、復号器9からは再符号化
する復号画像を端子11よりそれぞれ入力する。
タイミングを満足させるように、符号化部2’は、スト
リーム再生部10から参照画像として用いられる符号化
データを端子50より、一方、復号器9からは再符号化
する復号画像を端子11よりそれぞれ入力する。
【0088】まず、編集を行いたい領域の近傍の符号化
データ(同図c−1ではI8ピクチャから、同図c−2
ではP5ピクチャから)をストリーム再生部10から読
み出し、復号器9に出力する。復号化された画像信号は
符号化部2’に端子11より入力され、符号化順変換回
路12にて符号化順、走査順、ブロック/マクロブロッ
ク順の各種変換が施される。
データ(同図c−1ではI8ピクチャから、同図c−2
ではP5ピクチャから)をストリーム再生部10から読
み出し、復号器9に出力する。復号化された画像信号は
符号化部2’に端子11より入力され、符号化順変換回
路12にて符号化順、走査順、ブロック/マクロブロッ
ク順の各種変換が施される。
【0089】同図c−1の場合、B12、B13ピクチ
ャを符号化するためにI14ピクチャを参照画像として
用いることから、バッファメモリ51からこのI14ピ
クチャの符号化データを抽出し、逆VLC回路52、逆
量子化回路19、逆DCT回路20を通して参照画像メ
モリ23に記録する。そして、この参照画像メモリ23
に記録されているI14ピクチャを参照画像として、復
号器9で復号化された画像信号のうちのB12、B13
の符号化順画像信号を符号化することで、同図b−1に
おける再符号化された符号化データB12’、B13’
が得られる。このようにして得られた再符号化データB
12’、B13’はデジタル信号記録部6に記録され
る。
ャを符号化するためにI14ピクチャを参照画像として
用いることから、バッファメモリ51からこのI14ピ
クチャの符号化データを抽出し、逆VLC回路52、逆
量子化回路19、逆DCT回路20を通して参照画像メ
モリ23に記録する。そして、この参照画像メモリ23
に記録されているI14ピクチャを参照画像として、復
号器9で復号化された画像信号のうちのB12、B13
の符号化順画像信号を符号化することで、同図b−1に
おける再符号化された符号化データB12’、B13’
が得られる。このようにして得られた再符号化データB
12’、B13’はデジタル信号記録部6に記録され
る。
【0090】一方、同図c−2の場合、B12、B13
を再符号化する前に、追加するピクチャP5’、P
5’’の符号化のためP5ピクチャの符号化を必要を行
う。そこで、バッファメモリ51からこのP5ピクチャ
の符号化データを抽出し、逆VLC回路52、逆量子化
回路19、逆DCT回路20を通して参照画像メモリ2
3に記録する。このとき、符号化順変換回路12は制御
信号30により、端子11より入力された復号化された
画像信号P5を保持し、連続して出力する。これによ
り、参照画像メモリ23に記録されているP5ピクチャ
を参照画像として、符号化順画像信号P5、P5が符号
化され、符号化データP5’、P5’’が得られる。こ
のようにして得られた符号化データP5’、P5’’は
デジタル信号記録部6に記録される。その後、上記c−
1の場合と同様に、B12、B13の画像信号が再符号
化されてデジタル信号記録部6に記録される。
を再符号化する前に、追加するピクチャP5’、P
5’’の符号化のためP5ピクチャの符号化を必要を行
う。そこで、バッファメモリ51からこのP5ピクチャ
の符号化データを抽出し、逆VLC回路52、逆量子化
回路19、逆DCT回路20を通して参照画像メモリ2
3に記録する。このとき、符号化順変換回路12は制御
信号30により、端子11より入力された復号化された
画像信号P5を保持し、連続して出力する。これによ
り、参照画像メモリ23に記録されているP5ピクチャ
を参照画像として、符号化順画像信号P5、P5が符号
化され、符号化データP5’、P5’’が得られる。こ
のようにして得られた符号化データP5’、P5’’は
デジタル信号記録部6に記録される。その後、上記c−
1の場合と同様に、B12、B13の画像信号が再符号
化されてデジタル信号記録部6に記録される。
【0091】このように参照画像に符号化データを用い
るのは、符号化時と復号化時の参照画像の不一致を防
ぎ、復号化された画像の劣化(破綻)を防ぐためであ
る。
るのは、符号化時と復号化時の参照画像の不一致を防
ぎ、復号化された画像の劣化(破綻)を防ぐためであ
る。
【0092】また、B12、B13を再符号化する際に
参照画像としてP5を用いてもよいがP5は時間的にB
12、B13から離れており、使用しても効果は少な
い。
参照画像としてP5を用いてもよいがP5は時間的にB
12、B13から離れており、使用しても効果は少な
い。
【0093】このように、編集作業において再符号化処
理を行う場合に、原画像が存在しなくても、既に符号化
されている符号化データを復号化した画像信号を原画像
に代えて符号化部2’に入力し、且つ上記符号化データ
を参照画像として用いて、追加するPピクチャや繋ぎ目
処理のためのBピクチャの再符号化を行うことができ
る。
理を行う場合に、原画像が存在しなくても、既に符号化
されている符号化データを復号化した画像信号を原画像
に代えて符号化部2’に入力し、且つ上記符号化データ
を参照画像として用いて、追加するPピクチャや繋ぎ目
処理のためのBピクチャの再符号化を行うことができ
る。
【0094】次に、本発明のデータ復号装置の実施形態
について図10を用いて説明する。同図に示すように、
このデータ復号装置は、符号化データを記録するデジタ
ル信号記録部51と、デジタル信号記録部51から読み
出された符号化データを復号して端子53より出力する
復号器52と、VBVバッファ占有量判断部54から構
成される。
について図10を用いて説明する。同図に示すように、
このデータ復号装置は、符号化データを記録するデジタ
ル信号記録部51と、デジタル信号記録部51から読み
出された符号化データを復号して端子53より出力する
復号器52と、VBVバッファ占有量判断部54から構
成される。
【0095】VBVバッファ占有量判断部54は、符号
化データ中のシーケンスヘッダに記述されているbit-ra
te-value、ピクチャヘッダに記述されているvbv-delay
及びピクチャヘッダを基に次のピクチャヘッダまでのビ
ット量を求めることにより、各ピクチャのVBVバッフ
ァの占有量を求める。そしてVBVバッファ占有量判断
部54は、図1に示した符号化データ編集装置と同様
に、切り取られる符号化データ列の先頭のピクチャにお
けるVBVバッファの占有量Aと、切り取られる符号化
データ列の直後のピクチャのVBVバッファの占有量B
をそれぞれ求め、以下、図2に示した手順で、各占有量
の値A、Bを一致させるように、切り取り部の前後の符
号化データ列の間へのスタッフィングビットの挿入、若
しくはマクロブロック・エスケープ及びマクロブロック
・アドレス・インクリメントを用いて構成されたPピク
チャの挿入を行い、切り離された符号化データ列間の繋
ぎ目処理を行って、その編集結果をデジタル信号記録部
51に記録し直す。
化データ中のシーケンスヘッダに記述されているbit-ra
te-value、ピクチャヘッダに記述されているvbv-delay
及びピクチャヘッダを基に次のピクチャヘッダまでのビ
ット量を求めることにより、各ピクチャのVBVバッフ
ァの占有量を求める。そしてVBVバッファ占有量判断
部54は、図1に示した符号化データ編集装置と同様
に、切り取られる符号化データ列の先頭のピクチャにお
けるVBVバッファの占有量Aと、切り取られる符号化
データ列の直後のピクチャのVBVバッファの占有量B
をそれぞれ求め、以下、図2に示した手順で、各占有量
の値A、Bを一致させるように、切り取り部の前後の符
号化データ列の間へのスタッフィングビットの挿入、若
しくはマクロブロック・エスケープ及びマクロブロック
・アドレス・インクリメントを用いて構成されたPピク
チャの挿入を行い、切り離された符号化データ列間の繋
ぎ目処理を行って、その編集結果をデジタル信号記録部
51に記録し直す。
【0096】かくして、このようなVBVバッファ占有
量判断部54を設けることによって、復号化時にVBV
バッファのオーバーフローやアンダーフローを起こさな
いように符号化データの一部切り取り編集を行うことが
可能なデータ復号装置を実現することができる。
量判断部54を設けることによって、復号化時にVBV
バッファのオーバーフローやアンダーフローを起こさな
いように符号化データの一部切り取り編集を行うことが
可能なデータ復号装置を実現することができる。
【0097】なお、このデータ復号装置においても、ス
タッフィングビットの代わりにユーザデータを用いても
よい。
タッフィングビットの代わりにユーザデータを用いても
よい。
【0098】
【発明の効果】以上説明したように本発明の符号化デー
タ編集装置によれば、切り取り部の前後の符号化データ
列の間に、スタッフィングビットやユーザデータ等の、
復号化において無効なデータやnピクチャ分の符号化デ
ータ列を含むデータを追加して、符号化データ列の切り
取り部の先頭におけるバッファ内のデータ占有量Aと切
り取り部の直後の符号化データ列の先頭におけるバッフ
ァ内のデータ占有量Bとを一致させることで、復号化時
にVBVバッファがオーバーフローあるいはアンダーフ
ローを起こさないように符号化データの編集を効率よく
行うことが可能となる。
タ編集装置によれば、切り取り部の前後の符号化データ
列の間に、スタッフィングビットやユーザデータ等の、
復号化において無効なデータやnピクチャ分の符号化デ
ータ列を含むデータを追加して、符号化データ列の切り
取り部の先頭におけるバッファ内のデータ占有量Aと切
り取り部の直後の符号化データ列の先頭におけるバッフ
ァ内のデータ占有量Bとを一致させることで、復号化時
にVBVバッファがオーバーフローあるいはアンダーフ
ローを起こさないように符号化データの編集を効率よく
行うことが可能となる。
【0099】また、本発明の符号化データ編集装置によ
れば、ピクチャ追加後、切り取り部の直後の符号化デー
タ列のうち切り取り部に含まれるピクチャを参照画像と
して符号化されたピクチャを、切り取り部の直後の符号
化データ列に含まれるピクチャのみを参照画像として用
いて再符号化することで、編集により切り取られた直後
の符号化データも正しく復号できるようになり良好な再
生画像が得られる。
れば、ピクチャ追加後、切り取り部の直後の符号化デー
タ列のうち切り取り部に含まれるピクチャを参照画像と
して符号化されたピクチャを、切り取り部の直後の符号
化データ列に含まれるピクチャのみを参照画像として用
いて再符号化することで、編集により切り取られた直後
の符号化データも正しく復号できるようになり良好な再
生画像が得られる。
【0100】さらに本発明によれば、データ復号化時に
VBVバッファのオーバーフローやアンダーフローを起
こさないように符号化データの一部切り取り編集を行う
ことが可能なデータ復号装置を実現することができる。
VBVバッファのオーバーフローやアンダーフローを起
こさないように符号化データの一部切り取り編集を行う
ことが可能なデータ復号装置を実現することができる。
【図1】本発明の第1の実施形態である符号化データ編
集装置の構成を示すブロック図
集装置の構成を示すブロック図
【図2】図1の符号化データ編集装置による符号化デー
タ編集時の動作手順を示すフローチャート
タ編集時の動作手順を示すフローチャート
【図3】図1の符号化データ編集装置による符号化デー
タ編集を説明するための符号化データ列を示す図
タ編集を説明するための符号化データ列を示す図
【図4】図1の符号化データ編集装置による編集後の符
号化データのVBVバッファ占有量の遷移を示す図
号化データのVBVバッファ占有量の遷移を示す図
【図5】その他の編集後の符号化データのVBVバッフ
ァ占有量の遷移を示す図
ァ占有量の遷移を示す図
【図6】本発明の第2の実施形態の符号化データ編集装
置の構成を示すブロック図
置の構成を示すブロック図
【図7】本発明の第3の実施形態の符号化データ編集装
置の構成を示すブロック図
置の構成を示すブロック図
【図8】図7の符号化部の構成を示すブロック図
【図9】図7の符号化データ編集装置によるピクチャ再
符号化の例を示す図
符号化の例を示す図
【図10】本発明に係るデータ復号装置の構成を示すブ
ロック図
ロック図
【図11】従来の符号化データ編集装置の構成を示すブ
ロック図
ロック図
【図12】図11の符号化器の構成を示すブロック図
【図13】符号化データの原画像入力順から符号化順へ
の変換と符号化時の各ピクチャの予測方向を示す図
の変換と符号化時の各ピクチャの予測方向を示す図
【図14】ある符号化データのVBVバッファ占有量の
遷移を示す図
遷移を示す図
【図15】図14の符号化データの編集により復号化時
にVBVバッファのアンダーフローが生じた場合のVB
Vバッファ占有量の遷移を示す図
にVBVバッファのアンダーフローが生じた場合のVB
Vバッファ占有量の遷移を示す図
【図16】図14の符号化データの編集により復号化時
にVBVバッファのオーバーフローが生じた場合のVB
Vバッファ占有量の遷移を示す図
にVBVバッファのオーバーフローが生じた場合のVB
Vバッファ占有量の遷移を示す図
2………符号化部 3………制御部 4………デジタル信号記録部 5………カット&ペースト部 6………デジタル信号記録部 7………パラメータ記録部 8………バッファ占有量判断回路 51………デジタル信号記録部 52………復号器 54……VBVバッファ占有量判断部
Claims (15)
- 【請求項1】 復号化時に用いられるバッファの占有量
を予測して発生符号量を制御した符号化データ列の一部
を切り取って繋げる符号化データ編集装置において、 前記符号化データ列の切り取り部の先頭における前記バ
ッファ内のデータ占有量Aと前記切り取り部の直後の符
号化データ列の先頭における前記バッファ内のデータ占
有量Bを各々予測するバッファ占有量予測手段と、 前記バッファ占有量予測手段によって各々予測されたデ
ータ占有量AとBとを一致させるよう前記符号化データ
列を結合する符号化データ列結合手段とを具備すること
を特徴とする符号化データ編集装置。 - 【請求項2】 復号化時に用いられるバッファの占有量
を予測して発生符号量を制御した符号化データ列の一部
を切り取って繋げる符号化データ編集装置において、 前記符号化データ列の切り取り部の先頭における前記バ
ッファ内のデータ占有量Aと前記切り取り部の直後の符
号化データ列の先頭における前記バッファ内のデータ占
有量Bを各々予測するバッファ占有量予測手段と、 前記バッファ占有量予測手段によって各々予測されたデ
ータ占有量AとBとの大小関係がA>Bである場合、前
記切り取り部の前後の符号化データ列の間に、復号化に
おいて無効なデータをAとBとの差分追加し、A<Bで
ある場合、前記切り取り部の前後の符号化データ列の間
に、n(但し、nは1以上の整数)ピクチャ分に相当す
る符号化データ列を含むデータを追加して前記各占有量
A、Bを一致させるデータ追加手段とを具備することを
特徴とする符号化データ編集装置。 - 【請求項3】 請求項2記載の符号化データ編集装置に
おいて、 前記データ追加手段は、前記データ占有量AとBとの大
小関係がA<Bの場合、前記切り取り部の前後の符号化
データ列の間に、nピクチャ分に相当する、AとBとの
差分以上の符号化データ列を追加し、追加した後の前記
バッファ内の符号化データ列の占有量Cを求め、このデ
ータ占有量Cと前記データ占有量Bとの大小関係がB<
Cである場合、復号化において無効なデータをBとCと
の差分前記nピクチャ分に相当する符号化データ列に付
加することを特徴とする符号化データ編集装置。 - 【請求項4】 請求項2記載の符号化データ編集装置に
おいて、 前記追加するnピクチャ分に相当する個々の符号化デー
タ列は、前記切り取り部の直前の符号化データ列の復号
化後の再生順序が最後のピクチャを連続的に再符号化し
たデータであることを特徴とする符号化データ編集装
置。 - 【請求項5】 請求項2記載の符号化データ編集装置に
おいて、 前記追加するnピクチャ分に相当する個々の符号化デー
タ列は、マクロブロック・エスケープ及びマクロブロッ
ク・アドレス・インクリメントを用いて構成されたデー
タであることを特徴とする符号化データ編集装置。 - 【請求項6】 請求項2記載の符号化データ編集装置に
おいて、 前記追加する無効なデータ列は、少なくともスタッフィ
ングビットまたはユーザデータのいずれかを用いて構成
されたデータであることを特徴とする符号化データ編集
装置。 - 【請求項7】 請求項2記載の符号化データ編集装置に
おいて、 前記追加するnピクチャ分に相当する個々の符号化デー
タ列は、外部より入力した符号化データ列を復号した再
生画像を参照画像として再符号化したデータであること
を特徴とする符号化データ編集装置。 - 【請求項8】 請求項2記載の符号化データ編集装置に
おいて、 前記データ追加手段によるデータ追加後、前記切り取り
部の直後の符号化データ列のうち前記切り取り部に含ま
れるピクチャを参照画像として符号化されたピクチャ
を、前記切り取り部の直後の符号化データ列に含まれる
ピクチャのみを参照画像として用いて再符号化する再符
号化手段をさらに具備することを特徴とする符号化デー
タ編集装置。 - 【請求項9】 請求項2記載の符号化データ編集装置に
おいて、 前記追加するnピクチャ分の符号化データ列は全てPピ
クチャであることを特徴とする符号化データ編集装置。 - 【請求項10】 VBVバッファの状態に基づいて発生
符号量を制御しつつ符号化されたデータ列を復号するデ
ータ復号装置において、 前記符号化データ列の一部を切り取るデータ切取手段
と、 前記符号化データ列の切り取り部の先頭における前記バ
ッファ内のデータ占有量Aと前記切り取り部の直後の符
号化データ列の先頭における前記バッファ内のデータ占
有量Bを各々判定するバッファ占有量判定手段と、 前記バッファ占有量判定手段によって各々判定されたデ
ータ占有量AとBとの大小関係がA>Bである場合、前
記切り取り部の前後の符号化データ列の間に、復号化に
おいて無効なデータをAとBとの差分追加し、A<Bで
ある場合、前記切り取り部の前後の符号化データ列の間
に、n(但し、nは1以上の整数)ピクチャ分に相当す
る符号化データ列を含むデータを追加して前記各占有量
A、Bを一致させるデータ追加手段と、 前記データ追加手段によって各占有量A、Bを一致させ
たあとの前記切り取り部の前後の符号化データ列を結合
するデータ結合手段とを具備することを特徴とするデー
タ復号装置。 - 【請求項11】 請求項10記載のデータ復号装置にお
いて、 前記データ追加手段は、前記データ占有量AとBとの大
小関係がA<Bである場合、前記切り取り部の前後の符
号化データ列の間に、nピクチャ分に相当する、AとB
との差分以上の符号化データ列を追加し、追加した後の
前記バッファ内の符号化データ列の占有量Cを求め、こ
のデータ占有量Cと前記データ占有量Bとの大小関係が
B<Cである場合、復号化において無効なデータをBと
Cとの差分前記nピクチャ分に相当する符号化データ列
に付加することを特徴とするデータ復号装置。 - 【請求項12】 請求項10記載のデータ復号装置にお
いて、 前記追加するnピクチャ分に相当する個々の符号化デー
タ列は、マクロブロック・エスケープ及びマクロブロッ
ク・アドレス・インクリメントを用いて構成されたデー
タであることを特徴とするデータ復号装置。 - 【請求項13】 請求項10記載のデータ復号装置にお
いて、 前記バッファ占有率判定手段は、前記符号化データ列の
ヘッダに含まれているbit-rate-value、vbv-delay 、及
びピクチャ毎の符号量により判定することを特徴とする
データ復号装置。 - 【請求項14】 請求項10記載のデータ復号装置にお
いて、 前記追加する無効なデータ列は、少なくともスタッフィ
ングビットまたはユーザデータのいずれかを用いて構成
されたデータであることを特徴とするデータ復号装置。 - 【請求項15】 請求項10記載のデータ復号装置にお
いて、 前記追加するnピクチャ分の符号化データ列は全てPピ
クチャであることを特徴とするデータ復号装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29660095A JP3182329B2 (ja) | 1995-11-15 | 1995-11-15 | 符号化データ編集装置とデータ復号装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29660095A JP3182329B2 (ja) | 1995-11-15 | 1995-11-15 | 符号化データ編集装置とデータ復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09139912A true JPH09139912A (ja) | 1997-05-27 |
JP3182329B2 JP3182329B2 (ja) | 2001-07-03 |
Family
ID=17835653
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29660095A Expired - Fee Related JP3182329B2 (ja) | 1995-11-15 | 1995-11-15 | 符号化データ編集装置とデータ復号装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3182329B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997039588A1 (en) * | 1996-04-12 | 1997-10-23 | Sony Corporation | Image encoder, image encoding method and medium on which image encoding program is recorded |
WO1999018720A1 (en) * | 1997-10-03 | 1999-04-15 | Sony Corporation | Encoded stream splicing device and method, and an encoded stream generating device and method |
JP2001128181A (ja) * | 1999-10-26 | 2001-05-11 | Matsushita Electric Ind Co Ltd | デジタル放送における広告放送挿入のための方法および装置 |
JP2007104182A (ja) * | 2005-10-03 | 2007-04-19 | Nec Electronics Corp | 画像符号化装置、画像符号化方法及び画像編集装置 |
US7292782B2 (en) | 2000-09-27 | 2007-11-06 | Victor Company Of Japan, Limited | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method |
JP2011029980A (ja) * | 2009-07-27 | 2011-02-10 | Fujitsu Ltd | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム |
US8798162B2 (en) | 2010-09-22 | 2014-08-05 | Fujitsu Limited | Encoding method, decoding method, encoder, and decoder |
US10349073B2 (en) | 2015-09-10 | 2019-07-09 | Kabushiki Kaisha Toshiba | Decoding device, image transmission system, and decoding method |
-
1995
- 1995-11-15 JP JP29660095A patent/JP3182329B2/ja not_active Expired - Fee Related
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997039588A1 (en) * | 1996-04-12 | 1997-10-23 | Sony Corporation | Image encoder, image encoding method and medium on which image encoding program is recorded |
US6347117B1 (en) | 1996-04-12 | 2002-02-12 | Sony Corporation | Apparatus and method for encoding images and medium in which image encoding program has been recorded |
US6535556B1 (en) | 1996-04-12 | 2003-03-18 | Sony Corporation | Apparatus and method for encoding images and medium in which image encoding program has been recorded |
WO1999018720A1 (en) * | 1997-10-03 | 1999-04-15 | Sony Corporation | Encoded stream splicing device and method, and an encoded stream generating device and method |
KR100574186B1 (ko) * | 1997-10-03 | 2006-04-27 | 소니 가부시끼 가이샤 | 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템 |
JP2001128181A (ja) * | 1999-10-26 | 2001-05-11 | Matsushita Electric Ind Co Ltd | デジタル放送における広告放送挿入のための方法および装置 |
US7292782B2 (en) | 2000-09-27 | 2007-11-06 | Victor Company Of Japan, Limited | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method |
JP2007104182A (ja) * | 2005-10-03 | 2007-04-19 | Nec Electronics Corp | 画像符号化装置、画像符号化方法及び画像編集装置 |
JP2011029980A (ja) * | 2009-07-27 | 2011-02-10 | Fujitsu Ltd | 動画像編集装置、動画像編集方法及び動画像編集用コンピュータプログラム |
US8737814B2 (en) | 2009-07-27 | 2014-05-27 | Fujitsu Limited | Moving image editing apparatus and moving image editing method |
US8798162B2 (en) | 2010-09-22 | 2014-08-05 | Fujitsu Limited | Encoding method, decoding method, encoder, and decoder |
US10349073B2 (en) | 2015-09-10 | 2019-07-09 | Kabushiki Kaisha Toshiba | Decoding device, image transmission system, and decoding method |
Also Published As
Publication number | Publication date |
---|---|
JP3182329B2 (ja) | 2001-07-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10602218B2 (en) | Encoding device and method, decoding device and method, editing device and method, recording medium, and program | |
KR101227330B1 (ko) | 화상 부호화 장치 및 화상 복호화 장치 | |
US6574274B2 (en) | Picture signal processing system, decoder, picture signal processing method, and decoding method | |
US8260122B2 (en) | MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method | |
KR100968988B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 기록 매체 | |
KR19990082456A (ko) | 영상 데이터 압축 장치 및 그 방법 | |
JP2000278692A (ja) | 圧縮データ処理方法及び処理装置並びに記録再生システム | |
JP4743119B2 (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
US7333711B2 (en) | Data distribution apparatus and method, and data distribution system | |
JP3182329B2 (ja) | 符号化データ編集装置とデータ復号装置 | |
JP4274653B2 (ja) | 動画像合成装置および動画像合成方法 | |
JP3487205B2 (ja) | 画像データ編集装置 | |
JP4174728B2 (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
JPH08251582A (ja) | 符号化データ編集装置 | |
US6754272B2 (en) | Picture signal processing method and apparatus, picture signal recording method and apparatus and recording medium | |
JP4154799B2 (ja) | 圧縮動画像編集装置および記憶媒体 | |
JP4320509B2 (ja) | 映像再符号化装置および方法 | |
JPH08149408A (ja) | ディジタル動画編集方法及び装置 | |
JP4333522B2 (ja) | 情報処理装置および情報処理方法、記録媒体、並びに、プログラム | |
JPH11234675A (ja) | 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体 | |
JP2001157161A (ja) | 画像編集装置、画像編集方法及びプログラム記録媒体 | |
JP2006074327A (ja) | ビデオデータの再符号化装置及びビデオ配信システム | |
JP2006108785A (ja) | 画像符号化装置 | |
JPH10271496A (ja) | 符号化復号化画像の処理方法 | |
JPH09307507A (ja) | 伝送レート変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20010410 |
|
LAPS | Cancellation because of no payment of annual fees |