JP3341839B2 - 画像信号符号化用バッファ管理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はバッファ管理装置に
係り、特に発生符号量制御を行い、複数の可変長符号化
データをつなぎ合わせたり、読み出し変更したりする場
合に好適な可変長符号化データを生成するための画像信
号符号化用バッファ管理装置に関する。

【０００２】

【従来の技術】情報を可変長符号化する代表的な例とし
てＭＰＥＧ（Moving Picture ExpertsGroup）が知られ
ている。このＭＰＥＧでは、符号化ビットストリームは
ビデオ信号の場合１ピクチャ毎に可変長の符号量をもっ
ている。これはＭＰＥＧが離散コサイン変換（ＤＣ
Ｔ）、量子化、ハフマン符号化という情報変換を用いて
いる理由と同時に、画質向上のためにピクチャ毎に配分
する符号量は適応的に変更する必要性があり、動き補償
予測を行っているので、あるときは入力画像そのままを
符号化し、あるときは予測画像の差分である差分画像を
符号化するなど符号化画像自体のエントロピーも大きく
変化するためである。この場合、多くはその画像のエン
トロピー比率に配分しつつ、バッファの制限を守りなが
ら符号量制御される。

【０００３】図５は従来のバッファ制御装置の一例のブ
ロック図を示す。同図において、入力画像データは可変
長符号化器１１に入力されて可変長符号化された後、バ
ッファ管理器１２に入力される。バッファ管理器１２は
入力された符号量と符号化レートとの関係を監視し、所
定のバッファ内に収まるように目標符号量を設定して可
変長符号化器１１にフィードバックする。目標符号量は
図示しない符号量制御器に入力されて、量子化器にセッ
トする量子化値を大きくして発生符号量を抑えたり、量
子化値を小さくして発生符号量を大きくしたりする。

【０００４】このような可変長符号化データを固定の転
送レート（符号化レート）で符号化する場合、図６のよ
うに復号器のバッファ量を最大値とすると、一定速度で
データが入力されて、所定の値だけ溜ったところから、
所定の時間単位（ＮＴＳＣ方式のビデオ信号ならば１／
２９．９７秒単位）で復号化を一瞬で行う仮想デコーダ
モデルを符号化器の出力に接続して使用し、そのバッフ
ァがオーバーフローもアンダーフローも発生しないよう
に符号化することがＭＰＥＧで規定されている。

【０００５】なお、図６中、Ｉ、Ｐ及びＢはＭＰＥＧ規
定のＩピクチャ（フレーム内符号化画像）、Ｐピクチャ
（フレーム間順方向予測符号化画像）及びＢピクチャ
（双方向予測符号化画像）を示し、これらがバッファに
蓄積されて各ピクチャの復号が１／２９．９７秒単位で
一瞬に行われ、データはバッファより瞬時に抜き取られ
ることが示されている。

【０００６】これをＶＢＶ（Video Buffering Verifie
r）といい、これについての詳細は国際標準化機構（Ｉ
ＳＯ）によりＩＳＯ−１１１７２−２、ＩＳＯ１３８１
８−２に記述されている。この規定を守っていれば、Ｖ
ＢＶバッファ内でのレートは局部的に変化しているもの
の、観測時間を長くとれば固定の転送レートとなり、Ｍ
ＰＥＧではこのことを固定レートであると定義する。

【０００７】固定転送レートの場合、定常状態では符号
量は図６のように推移している。また、発生符号量が少
ない場合は図７のように、上限値に張り付いた推移状態
になる。図７中、４つの矢印のピクチャは仮に非常に発
生符号量が少なかった場合でも、無効ビットを追加して
オーバーフローしないように符号量を増やさなければな
らない。

【０００８】可変転送レートの場合は、上記の固定転送
レートの定義を拡張して、バッファ占有値が上限値にな
った場合、復号器の読み出しを中止することにより、原
理的にオーバーフローが起きないように定義されてい
る。図８に示す符号量変化図中、４つの矢印で示すピク
チャは仮に非常に発生符号量が少ないが、復号器の読み
出しが中止されるので、固定転送レートのときのように
無効ビットを入れる必要がない。従って、アンダーフロ
ーだけが発生しないように符号化する。

【０００９】

【発明が解決しようとする課題】しかるに、従来の可変
長符号化データの処理方法及びバッファ制御装置におい
て、符号化したビデオデータを、例えば４５フレーム単
位で編集結合した場合、若しくは数本のビデオ圧縮スト
リームの例えば４５フレーム単位で他のビデオストリー
ムに読み出し先を変更したりした場合、固定転送レート
ではオーバーフローやアンダーフローが、また、可変転
送レートではアンダーフローが発生してしまう可能性が
ある。

【００１０】このことについて、図９と共に説明する。
固定転送レートの場合、ビデオデータのＶＢＶのバッフ
ァ占有値の時間的推移が、図９（Ａ）に示す如く、３つ
のビデオデータ〜で示され、接続点１ではビデオデ
ータとビデオデータが接続され、接続点２ではビデ
オデータとビデオデータとが接続されているが、オ
ーバーフローやアンダーフローを生じることなく正常に
接続されている。

【００１１】また、ビデオデータのＶＢＶのバッファ占
有値の時間的推移が、図９（Ｂ）に示す如く、〜で
示される接続点１ではビデオデータとビデオデータ
が接続され、接続点２ではビデオデータとビデオデー
タとが接続されているが、オーバーフローやアンダー
フローを生じることなく正常に接続されている。

【００１２】ところが、図９（Ｃ）に示すように、ビデ
オデータとビデオデータを接続点１（４５フレーム
目）で接続した場合は、ビデオデータの先頭のピクチ
ャのバッファ占有値をビデオデータの終了時点でのバ
ッファ占有値にする必要があるので、ビデオデータが
図９（Ｂ）に比し全体に上側にシフトされ、４７フレー
ム目等でオーバーフローが発生する。

【００１３】また、ビデオデータとビデオデータを
接続した場合は、ビデオデータの先頭のピクチャのバ
ッファ占有値をビデオデータの終了時点でのバッファ
占有値にして接続するため、９０フレーム目以降でアン
ダーフローが生じる。

【００１４】一方、可変転送レートの場合のビデオデー
タのＶＢＶのバッファ占有値の時間的推移は、例えば図
９（Ｄ）に示す如くになる。すなわち、ビデオデータ
と前記ビデオデータに相当するビデオデータを接続
点１（４５フレーム目）で接続した場合は、ビデオデー
タの先頭のピクチャのバッファ占有値をビデオデータ
の終了時点でのバッファ占有値以下にする必要がある
が、ビデオデータでは４７フレーム目等でオーバーフ
ローしていた部分が可変転送レートのビデオデータで
はバッファの上限値で復号器の読み出しを中止するの
で、オーバーフローはしなくなる。

【００１５】しかし、ビデオデータとビデオデータ
を接続した場合は、ビデオデータの先頭のピクチャの
バッファ占有値をビデオデータの終了時点でのバッフ
ァ占有値以下にして接続するため、図９（Ｄ）に示すよ
うに、固定転送レートのときと同じように９０フレーム
目以降でアンダーフローが生じる。

【００１６】ここで、「アンダーフロー」とは、再生器
でそのピクチャを復号しようとした時間に、まだデータ
が届いていないことを意味する。従って、その場合に
は、再生器の作り方にもよるが、一般には一つ前のピク
チャをもう一度再生する（フリーズ）などして、全部の
データが揃うまで待つことになる。

【００１７】一方、「オーバーフロー」とは、再生器の
バッファをオーバーフローすることにより、その分のデ
ータが失われてしまうことを意味する。一般に、ＭＰＥ
Ｇではハフマン符号化が採用されていて、一部のデータ
が失われると、そのピクチャ全体が失われることもあ
る。また、動き補償予測を行っているので、そのピクチ
ャを参照して予測されている画像も失われ、面内だけで
なく、時間方向の欠落を起こす可能性もある。

【００１８】更に、バッファの制限は所定の接続点で固
定転送レートでは同じバッファ占有値で接続されるこ
と、また、可変転送レートでは前のピクチャのバッファ
占有値以下で接続されたと仮定した値で開始されていれ
ば、所定のピクチャ単位内のバッファ推移に制約は無い
ので、簡単に行う場合には所定のピクチャ単位内の最後
のピクチャの符号量制御を強力に行い目的の符号量にな
るように符号化することになる。

【００１９】しかし、固定転送レートの場合などでは１
ビット精度で合わせなければならず、リアルタイムで符
号化している場合、非現実的である。また、可変転送レ
ートの場合でも接続点で前のピクチャのバッファ占有値
以上になるように制御されていなければならず、所定の
ピクチャ単位内の最後のピクチャの符号量がかなり小さ
い方向に制限されることになり、周期的に画質が悪くな
る危険性がある。

【００２０】本発明は以上の点に鑑みなされたもので、
再生器のバッファのオーバーフローによるデータ欠落を
防止し、アンダーフローによる悪影響を最小限に止めう
る画像信号符号化用バッファ管理装置を提供することを
目的とする。

【００２１】

【課題を解決するための手段】そこで、上記の目的を達
成するため、本発明は下記の装置を提供するものであ
る。 （１） 所定枚数の画像単位を画像圧縮データ生成時の
一つの生成単位とする可変長符号化を行う可変長符号化
手段によって、入力画像信号から画像圧縮データを生成
する際に、その画像圧縮データ復号時に前記画像圧縮デ
ータを蓄積する復号器バッファであり、蓄積する前記画
像圧縮データの占有値における下限値と上限値とを有す
る復号器バッファを想定すると共に、前記バッファの占
有値が前記下限値よりも下がらないように、前記画像圧
縮データの生成単位毎に発生すべき符号量を制御する目
標符号量を設定して前記可変長符号化手段での発生符号
量を制御し、前記バッファの占有値の推移を前記画像圧
縮データの生成単位で監視する画像信号符号化用バッフ
ァ管理装置において、一生成単位の画像圧縮データの生
成終了時における前記バッファの占有値が、前記下限値
と前記上限値との間に設定した第１のバッファ値となる
ように、前記一生成単位における前記目標符号量を設定
する目標符号量設定手段と、前記一生成単位の画像圧縮
データに続く次の一生成単位の画像圧縮データの生成開
始時における前記バッファの占有値を、前記第１のバッ
ファ値と等しいか小なる第２のバッファ値に設定するバ
ッファ値設定手段と、を設けたことを特徴とする画像信
号符号化用バッファ管理装置。

【００２２】上記（１）記載の本発明装置を用いれば、
画像圧縮データにおける生成単位で複数の画像情報の可
変長符号化データを編集接続した場合、若しくは数本の
画像圧縮ストリームの前記生成単位で読み出し先を変更
したりした場合に発生していた、オーバーフローやアン
ダーフローが無くなる。

【００２３】

【発明の実施の形態】次に、本発明になる画像信号符号
化用バッファ管理装置の実施の形態について図面と共に
説明する。まず、第１の実施の形態について説明する。
この実施の形態は、可変転送レートに関する実施の形態
である。図１は第１の実施の形態を適用したバッファ制
御装置のブロック図である。このバッファ制御装置は、
可変長符号化器２１、バッファ値リセット器２２、バッ
ファ管理器２３及び目標符号量制限器２４から構成され
ている。

【００２４】入力画像データは可変長符号化器２１に入
力されて可変長符号化された後、バッファ管理器２３に
入力される。バッファ管理器２３は入力された可変長符
号化データの符号量と符号化レートとの関係を監視し、
下限値と上限値の間の所定のバッファ値内に収まるよう
に目標符号量を設定する。この目標符号量は目標符号量
制限器２４に入力されて、第１の実施の形態では可変長
符号化器２１よりのピクチャカウント情報をもとに接続
点に一つ前のピクチャ、すなわち所定のピクチャ単位
（ＧＯＰ）内の最後のピクチャのバッファ値を、下限値
と上限値の間に設定した第１のバッファ値に収束するよ
うな目標符号量に制限する。

【００２５】目標符号量制限器２４により制限された目
標符号量は、可変長符号化器２１にフィードバックさ
れ、図示しない符号量制御器に入力されて、そこで量子
化器にセットする量子化値を大きくして発生符号量を抑
えたり、量子化値を小さくして発生符号量を大きくした
りする。また、所定のピクチャ単位の最初のピクチャ入
力時には、バッファ値リセット器２２が、可変長符号化
器２１よりのピクチャカウント情報をもとにリセット信
号を発生してバッファ管理器２３に供給する。バッファ
管理器２３は、上記のリセット信号に基づいて、接続点
の始めで第１のバッファ値と等しいか小さな値の第２の
バッファ値にリセットされる。

【００２６】図３（Ａ）は所定のピクチャ単位の第１の
ビデオデータＩの最後のピクチャのバッファ値が第１の
バッファ値Ｖ１になるように目標符号量が制限され、か
つ、第１のビデオデータＩの最後のピクチャに続いて所
定のピクチャ単位の第２のビデオデータIIの最初のピク
チャのバッファ値がバッファ値リセット器２２により第
２のバッファ値Ｖ２にリセットされた状態を示す。

【００２７】このように符号化された２つのビデオデー
タI及びIIを接続すると、図３（Ｂ）に示すようにな
る。すなわち、第１のバッファ値Ｖ１から第２のバッフ
ァ値Ｖ２を差し引いた量だけ、第２のビデオデータIIが
II'で示すように全体的に上方向にシフトされて結合さ
れる。このため、第２のビデオデータのバッファ占有値
がバッファ占有値の上限値を越えてオーバーフローの状
態になろうとする部分が生じるが、このときには復号器
の読み出しを中止することにより、ａで示すようにオー
バーフローが起きないように読み出されるので問題は無
い。

【００２８】次に、他の実施の形態（第２の実施の形
態）について説明する。この実施の形態も、可変転送レ
ートに関する実施の形態である。第２の実施の形態を適
用したバッファ制御装置のブロック構成は図１に示すも
のと共通である。第２の実施の形態では、目標符号量制
限器２４でピクチャカウント情報をもとに接続点の一つ
前のピクチャ単位内での最後のピクチャのバッファ値Ｖ
１へ収束させるために、定常状態のバッファ下限値（例
えば０）から最後のピクチャのバッファ値Ｖ１より少し
低い値（例えばＶ１より２０％程度低い値）へ所定のピ
クチャ毎に徐々に単調増加させるように制限値を発生す
る。この状態を図４に示す。同図に示すように、所定の
ピクチャ単位の第１のビデオデータIIIの下限値が第１
のバッファ値Ｖ１に向かって単調増加され、第２のビデ
オデータIVに接続点で接続される。

【００２９】ここで、所定のピクチャ単位内におけるバ
ッファ下限値は、図４にVで示すように、全体の下限値
を単調増加させても、また、同図にVIで示すように、途
中のピクチャから単調増加させてもよく、要は所定のピ
クチャ単位内において、バッファ占有値が第１のバッフ
ァ値Ｖ１より少し低い値に向かって徐々に増加すればよ
い。この実施の形態では、下限値を徐々に増加すること
で、徐々に発生符号量を制限するようにしたため、極端
な画像劣化や所定のピクチャ単位内で最後のピクチャだ
けが劣化し周期的に画質が悪くなるなどの危険性を防止
できる。

【００３０】また、所定のピクチャ単位は、常に固定の
単位（ここでは４５フレーム時間）でなくてもよく、３
０フレーム時間であったり、１５フレーム時間であった
りしてもよい。その場合、バッファの下限値特性の傾き
は、その圧縮データの生成時間単位の圧縮データの再生
時間に応じて、長い場合には傾きを小さく、短い場合に
は傾きを大きくすることで、制御単位に最も適切なバッ
ファ制御を行うことが可能となる。すなわち、目標符号
量制限器２４におけるバッファの下限値の単調増加の傾
きは、可変の圧縮データの生成時間単位の圧縮データの
再生時間、つまり所定のピクチャ単位が可変の時はその
可変時間に応じて適応的に変化させるようにしてもよ
い。このように、バッファの下限値特性の傾きを、生成
単位の圧縮データの再生時間に応じて変化させるように
した場合には、制御単位に最も適切なバッファ制御を行
うことができる。

【００３１】この下限値以下になるような目標符号量が
配分された場合には、目標符号量制限器２４で目標符号
量が制限される。一方、目標符号量が減少されても、一
般にその分だけ後に符号化されるピクチャに、バッファ
管理器２３で何％かがフィードバックされ、全体で見た
場合は目標の符号化レートにすることは容易である。

【００３２】次に、さらに他の実施の形態（第３の実施
の形態）について説明する。図２は第３の実施の形態を
適用したバッファ制御装置のブロック図である。同図
中、図１と同一構成部分には同一符号を付し、その説明
を省略する。図２のバッファ制御装置は、可変長符号化
器２１、バッファ値リセット器２２、バッファ管理器２
３、目標符号量制限器２４及び無効ビット発生器２５か
ら構成されている。

【００３３】この実施の形態は固定転送レートに関する
実施の形態であり、目標符号量制限器２４は所定のピク
チャ単位内での最後のピクチャのＶＢＶにおけるバッフ
ァ占有値がバッファ値Ｖ１（＝Ｖ２）以上になるよう
に、目標符号量を予め少なめに設定し、目標のバッファ
値Ｖ１（＝Ｖ２）との差分を無効ビット量情報として、
無効ビット発生器２５に供給する。無効ビット発生器２
５は、入力された無効ビット量だけ所定のピクチャ単位
内の最後のピクチャの後に無効ビットを挿入する。な
お、無効ビットは、例えばオール０のデータである。

【００３４】この実施の形態におけるビデオデータのＶ
ＢＶのバッファ占有値の時間的推移の一例を図３（Ｃ）
に示す。図３（Ｃ）に示すように、所定のピクチャ単位
内での最後のピクチャのＶＢＶにおけるバッファ占有値
Ｖ３が、バッファ値Ｖ１（＝Ｖ２）以上になるように目
標符号量が設定されている。また、上記のバッファ占有
値Ｖ３と目標のバッファ値Ｖ１（＝Ｖ２）との差分値
（Ｖ３−Ｖ１）が無効ビット量ＳＢとして無効ビット発
生器２５に入力され、ここで所定のピクチャ単位内の最
後のピクチャの後に挿入されることにより、当該最後の
ピクチャのＶＢＶにおけるバッファ占有値は目標のバッ
ファ値Ｖ１（＝Ｖ２）とされることとなる。

【００３５】この実施の形態では、固定転送レートにお
いて、ビデオデータのＶＢＶの所定のピクチャ単位内の
最後のピクチャのバッファ占有値を目標のバッファ値Ｖ
１（Ｖ２）に誤差なく制御することができるため、オー
バーフローが生じないように異なるビデオデータとの接
続ができる。

【００３６】なお、本発明は上記の実施の形態に限定さ
れるものではなく、結合する（接続する）可変長符号化
データはビデオデータ以外の種類のデータでもよく、要
は可変長符号化データであって、バッファを復号器（再
生器）に持っていて再生されるものであれば、どのよう
な種類のデータでも本発明を適用できる。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
画像圧縮データにおける生成単位で複数の画像情報の可
変長符号化データを編集接続した場合、若しくは数本の
画像圧縮ストリームの前記生成単位で読み出し先を変更
したりした場合に発生していた、オーバーフローやアン
ダーフローをなくすことができるので、従来に比べて編
集や読み出し先の変更の自由度を高めることができる。
また、本発明によれば、目標バッファ値（Ｖ１やＶ２）
を変更することで、どのようなバッファ値で終了してい
る画像圧縮データにおいても、所定の生成単位で、追
加、挿入などの編集を画像圧縮データのまま可能とす
る。

【図面の簡単な説明】

【図１】第１及び第２の実施の形態を適用したバッファ
制御装置を示すブロック図である。

【図２】第３の実施の形態を適用したバッファ制御装置
を示すブロック図である。

【図３】第１、第３の実施の形態の動作説明用のＶＢＶ
のバッファ占有値の時間的推移図である。

【図４】第２の実施の形態の動作説明用のＶＢＶのバッ
ファ占有値の時間的推移図である。

【図５】従来の一例のブロック図である。

【図６】ＭＰＥＧのＶＢＶのバッファ占有値の時間的推
移説明図である。

【図７】固定転送レートのＶＢＶのバッファ占有値の一
例の時間的推移図である。

【図８】可変転送レートのＶＢＶのバッファ占有値の一
例の時間的推移図である。

【図９】従来方法により編集、読み出し変更した場合の
ＶＢＶのバッファ占有値の時間的推移図である。

【符号の説明】

２１ 可変長符号化器 ２２ バッファ値リセット器（リセット手段） ２３ バッファ管理器 ２４ 目標符号量制限器 ２５ 無効ビット発生器（挿入手段） Ｖ１ 第１のバッファ値 Ｖ２ 第２のバッファ値 Ｖ３ 第３のバッファ値 ＳＢ 無効ビット量

フロントページの続き (56)参考文献 特開2002−176645（ＪＰ，Ａ) 特開 平２−194734（ＪＰ，Ａ) 特開 平７−184196（ＪＰ，Ａ) 特開 平８−84333（ＪＰ，Ａ) 特開 平８−149408（ＪＰ，Ａ) 特開 平８−237599（ＪＰ，Ａ) 特開 平８−331560（ＪＰ，Ａ) 特開 平９−74557（ＪＰ，Ａ) 特開 平９−93136（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 H03M 7/36 H03M 7/40

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】所定枚数の画像単位を画像圧縮データ生成
   時の一つの生成単位とする可変長符号化を行う可変長符
   号化手段によって、入力画像信号から画像圧縮データを
   生成する際に、その画像圧縮データ復号時に前記画像圧
   縮データを蓄積する復号器バッファであり、蓄積する前
   記画像圧縮データの占有値における下限値と上限値とを
   有する復号器バッファを想定すると共に、前記バッファ
   の占有値が前記下限値よりも下がらないように、前記画
   像圧縮データの生成単位毎に発生すべき符号量を制御す
   る目標符号量を設定して前記可変長符号化手段での発生
   符号量を制御し、前記バッファの占有値の推移を前記画
   像圧縮データの生成単位で監視する画像信号符号化用バ
   ッファ管理装置において、 一生成単位の画像圧縮データの生成終了時における前記
   バッファの占有値が、前記下限値と前記上限値との間に
   設定した第１のバッファ値となるように、前記一生成単
   位における前記目標符号量を設定する目標符号量設定手
   段と、 前記一生成単位の画像圧縮データに続く次の一生成単位
   の画像圧縮データの生成開始時における前記バッファの
   占有値を、前記第１のバッファ値と等しいか小なる第２
   のバッファ値に設定するバッファ値設定手段と、 を設けたことを特徴とする画像信号符号化用バッファ管
   理装置。