JP3425130B2 - 符号化装置及び符号化方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ（Moving
Picture Experts Group）などのアルゴリズムによって
動画像圧縮符号化を行う符号化装置に関する。

【０００２】

【従来の技術】動画像の圧縮符号化方式としてＭＰＥＧ
が知られている。ＭＰＥＧ方式では、符号化器出力に接
続される仮想復号化器モデル（ＶＢＶ：Video Bufferin
g Verifier）が規定されている。このモデルには受信バ
ッファ（ＶＢＶバッファ）が含まれており、符号化デー
タの符号量に対する制限が、ＶＢＶバッファの占有量に
対する拘束条件によって規定されている。この拘束条件
は、ＶＢＶバッファにオーバーフロー及びアンダーフロ
ーを発生させてはいけないというものである。

【０００３】ＶＢＶバッファは次の理想条件の下で動作
すると仮定している。 （１）符号化器とＶＢＶとは完全に同期して動作する。 （２）各ピクチャの復号は瞬時に行われ、各ピクチャに
対する符号化データはＶＢＶバッファより瞬時に抜き取
られる。

【０００４】ＶＢＶバッファの占有量は、符号化器から
復号化器への伝送路が伝送するデータ量の累積値から、
復号化器で復号化されるべき符号化データ、すなわち、
符号化器が出力する符号化データのデータ量の累積値を
減じたものを示しているということができる。

【０００５】ＶＢＶバッファのオーバーフローとは、符
号化データをＶＢＶバッファから抜き取る前に、ＶＢＶ
バッファの占有量がＶＢＶバッファの容量に達すること
をいう。ＶＢＶバッファのアンダーフローとは、１ピク
チャのデータ量が多いために、符号化データをＶＢＶバ
ッファから抜き取るときに、ＶＢＶバッファの占有量が
不足していることをいう。

【０００６】アンダーフローが生じる場合、符号化器が
出力する符号化データのデータ量の累積値が、伝送され
るデータ量の累積値よりも大きくなるため、発生した符
号化データの全てを伝送することはできず、復号化器の
受信データから復号化に必要なデータが欠落してしま
う。したがって、アンダーフローが発生しそうな場合に
は、符号化対象画像に対する発生符号量を少なくするよ
うに符号化器を制御し、アンダーフローの発生を防ぐ必
要がある。

【０００７】符号化対象の画像は、マクロブロックと呼
ばれる１６×１６画素の小領域に分けられる。従来の符
号化装置では、ＶＢＶバッファにアンダーフローが発生
しそうな場合には、符号化中の画像内でマクロブロック
毎に量子化ステップを変更することによって、発生符号
量を制御することが行われている。

【０００８】

【発明が解決しようとする課題】しかし、ＭＰＥＧ-１
方式でよく扱われるような画像サイズが小さい（画素数
が少ない）画像に対して符号化を行う場合は、１画像中
のマクロブロック数が少ないため、このような発生符号
量の制御は難しい。マクロブロック数は、例えば、画像
サイズ７２０×５７６画素の画像では１６２０個である
のに対し、画像サイズ３５２×２８８画素の画像では３
９６個である。このため、１画像あたりの発生符号量が
多くなって、ＶＢＶバッファにアンダーフローを発生さ
せてしまうことが多い。

【０００９】本発明は、符号化により発生する符号化デ
ータを欠落させることなく伝送することができるよう
に、符号化処理の能力に余裕がある場合には必要に応じ
て画像の再符号化を行う符号化装置を提供することを課
題とする。

【００１０】

【課題を解決するための手段】前記課題を解決するた
め、請求項１の発明が講じた手段は、符号化装置とし
て、動画像に対して圧縮符号化を行い、符号化対象画像
に対して発生した符号化データの発生符号量を算出する
符号化部と、前記符号化対象画像を記憶する原画像デー
タ記憶部と、前記符号化データを記憶する符号化データ
記憶部と、符号化対象画像毎に前記発生符号量に対する
しきい値を求め、前記発生符号量が前記しきい値を越え
るか否かを判定する発生符号量比較部とを備え、前記符
号化部は、前記符号化対象画像の画素数が、前記符号化
部によって処理可能な画像の最大の画素数の２分の１以
下であると判定する場合であって、かつ、前記発生符号
量比較部により前記発生符号量が前記しきい値を越える
と判定されたときには、前記発生符号量を減らすように
符号化パラメータの変更をして、当該符号化対象画像に
対して再符号化を行うものである。

【００１１】また、請求項２の発明は、符号化装置とし
て、動画像に対して圧縮符号化を行い、符号化対象画像
に対して発生した符号化データの発生符号量を算出する
符号化部と、前記符号化対象画像を記憶する原画像デー
タ記憶部と、前記符号化データを記憶する符号化データ
記憶部と、符号化対象画像毎に前記発生符号量に対する
しきい値を求め、前記発生符号量が前記しきい値を越え
るか否かを判定する発生符号量比較部と、前記符号化部
による符号化対象画像に対する符号化の回数をカウント
する符号化回数カウンタとを備え、前記符号化部は、前
記符号化対象画像の画素数が、前記符号化部によって処
理可能な画像の最大の画素数のＮ（Ｎは３以上の整数）
分の１以下であって、前記符号化回数カウンタがカウン
トした前記符号化対象画像に対する符号化の回数がＮ回
未満であると判定する場合であり、かつ、前記発生符号
量比較部により前記発生符号量が前記しきい値を越える
と判定されたときには、前記発生符号量を減らすように
符号化パラメータの変更をして、当該符号化対象画像に
対して再符号化を行うものである。

【００１２】また、請求項３の発明では、請求項２に記
載の符号化装置において、前記符号化パラメータの変更
は、当該符号化対象画像に対するＮ−１回目までの符号
化の際には量子化ステップを次第に大きくするものであ
り、当該符号化対象画像に対するＮ回目の符号化の際に
は量子化ステップを許容される範囲内で最大にするもの
である。

【００１３】また、請求項４の発明は、符号化方法とし
て、動画像に対して圧縮符号化を行うステップと、符号
化対象画像に対して発生した符号化データの発生符号量
を算出するステップと、符号化対象画像毎に前記発生符
号量に対するしきい値を求めるステップと、前記発生符
号量が前記しきい値を越えるか否かを判定するステップ
とを備え、前記符号化対象画像の画素数が、圧縮符号化
処理可能な画像の最大の画素数の２分の１以下である場
合であって、かつ、前記発生符号量が前記しきい値を越
えると判定されたときには、前記圧縮符号化を行うステ
ップでは、前記発生符号量を減らすように符号化パラメ
ータの変更をして、当該符号化対象画像に対して再符号
化を行うことを特徴とする。

【００１４】請求項１又は４の発明によると、画像の画
素数が少ない場合に、再符号化を行って画像の符号化に
よる発生符号量を減少させ、発生符号量がしきい値を越
えないようにすることができる。

【００１５】また、請求項５の発明は、符号化方法とし
て、動画像に対して圧縮符号化を行うステップと、符号
化対象画像に対して発生した符号化データの発生符号量
を算出するステップと、符号化対象画像毎に前記発生符
号量に対するしきい値を求めるステップと、前記発生符
号量が前記しきい値を越えるか否かを判定するステップ
と、符号化対象画像に対する符号化の回数をカウントす
るステップとを備え、前記符号化対象画像の画素数が、
圧縮符号化処理可能な画像の最大の画素数のＮ（Ｎは３
以上の整数）分の１以下であって、前記符号化対象画像
に対する符号化の回数がＮ回未満である場合であり、か
つ、前記発生符号量が前記しきい値を越えると判定され
たときには、前記圧縮符号化を行うステップでは、前記
発生符号量を減らすように符号化パラメータの変更をし
て、当該符号化対象画像に対して再符号化を行うことを
特徴とする。

【００１６】請求項２又は５の発明によると、画像の符
号化による発生符号量を減少させ、発生符号量がしきい
値を越えないようにすることができる。特に、符号化パ
ラメータの変更を少しずつ行うことができるので、発生
符号量の減少に伴う画質の劣化を小さく抑えることがで
きる。

【００１７】また、請求項６の発明では、請求項５に記
載の符号化方法において、前記符号化パラメータの変更
は、当該符号化対象画像に対するＮ−１回目までの符号
化の際には量子化ステップを次第に大きくするものであ
り、当該符号化対象画像に対するＮ回目の符号化の際に
は量子化ステップを許容される範囲内で最大にするもの
である。

【００１８】請求項３又は６の発明によると、画質の劣
化をできるだけ小さく抑えるととも に、発生符号量がし
きい値を越えないようにすることが確実にできる。

【００１９】

【発明の実施の形態】以下、本発明の一実施形態に係る
符号化装置について、図面を参照しながら説明する。以
下では、例として、フレーム構造の画像（フレームピク
チャ）を符号化する場合について説明する。

【００２０】図１は本発明の実施形態に係る符号化装置
の構成を示すブロック図である。図１の符号化装置は、
符号化部１１と、原画像データ記憶部１２と、符号化デ
ータ記憶部１３と、発生符号量比較部１４とを備えてい
る。

【００２１】符号化部１１は、外部から符号化対象画像
を１ピクチャずつ入力し、それをそのまま原画像データ
記憶部１２に出力する。原画像データ記憶部１２は、入
力された画像データを記憶する。また、符号化部１１
は、原画像データ記憶部１２から画像データを読み出し
て、ＭＰＥＧ等の方式により動画像圧縮符号化を行い、
得られた符号化データを符号化データ記憶部１３に出力
するとともに、発生符号量を算出して発生符号量比較部
１４に出力する。符号化部１１は、画像に対して８×８
画素のブロック毎にＤＣＴ（discrete cosine transfor
m）を行い、得られたＤＣＴ係数を可変長符号化するこ
とにより、動画像圧縮符号化を行う。

【００２２】符号化データ記憶部１３は、入力された符
号化データを記憶し、必要に応じて符号化部１１に出力
する。発生符号量比較部１４は、発生符号量のしきい値
をピクチャ毎に求め、発生符号量のデータとこのしきい
値との比較を行い、発生符号量がしきい値を越えた場合
には、符号化部１１に対して符号化パラメータの変更要
求を出力する。しきい値は、ＶＢＶバッファにアンダー
フローを発生させない符号量であって、通常はこのよう
な符号量の最大値である。

【００２３】符号化部１１は、符号化パラメータの変更
要求を受け取った場合には、発生符号量を減らすように
符号化パラメータを変更し、既に符号化を行った符号化
対象画像を原画像データ記憶部１２から再び読み出し、
この画像に対して再符号化を行って、符号化データを符
号化データ記憶部１３に出力する。符号化データ記憶部
１３は、入力された符号化データを記憶する。符号化部
１１は、符号化データ記憶部１３から符号化データを読
み出し、符号化データとして外部に出力する。

【００２４】図１の符号化部１１は、画像サイズ７２０
×５７６画素の画像をＭＰＥＧ-２方式でリアルタイム
で符号化する能力を持っている。この符号化部１１は、
画像サイズが７２０×５７６画素より小さい画像を符号
化することもできる。また、ＭＰＥＧ-１方式によって
符号化を行うこともできる。以下では例として、図１の
符号化装置が画像サイズ３５２×２８８画素の画像をＭ
ＰＥＧ-１方式で符号化する場合について説明する。こ
の例では、符号化対象の画像の画素数が、符号化部１１
が処理可能な画像の最大の画素数の２分の１以下となっ
ている。

【００２５】図２は図１の符号化装置の動作を説明する
タイミングチャートである。図２において、ＴＡは画像
の処理を開始する時刻、ＴＢは画像サイズ３５２×２８
８画素の画像の１回目の符号化が終了する時刻、ＴＣは
この画像に対する再符号化の開始時刻、ＴＤは再符号化
の終了時刻、ＴＥはリアルタイム符号化実現のための１
ピクチャあたりの許容処理時間が終了する時刻である。
ＴＢ〜ＴＣの期間は、発生符号量としきい値との比較、
及び符号化パラメータの変更に要する期間である。図１
の符号化装置は、ＴＡ〜ＴＥの期間内に、画像サイズ７
２０×５７６画素の画像１ピクチャの符号化を終えるこ
とができる。ＴＡ〜ＴＥの期間は、符号化部１１に入力
される動画像のフレーム間隔（例えば１／３０秒）に等
しい。

【００２６】一般に、符号化器において、処理可能な最
大の画素数を有する画像（以下では、この画像のサイズ
を最大画像サイズと称する）に対して符号化を行う場合
と比較すると、サイズが小さく画素数が少ない画像に対
して符号化を行う場合は、符号化に要する処理時間は短
い。例えば、画像サイズ３５２×２８８画素の画像を符
号化する場合には、画素数に基づいて単純計算すると、
画像サイズ７２０×５７６画素の画像を同一の符号化方
式で符号化する場合の１／４以下の時間で符号化をする
ことが可能である。また、ＭＰＥＧ-２方式よりも少な
い演算量で符号化できる符号化方式を用いる場合には、
更に短い時間で符号化を行うことができる。

【００２７】したがって、図１の符号化部１１で画像サ
イズ３５２×２８８画素の画像をＭＰＥＧ-１方式で符
号化する場合は、リアルタイムで符号化をしなければな
らない条件下であっても、処理時間に余裕がある。すな
わち、図２のようにＴＡ〜ＴＢの期間で符号化を１回行
うことができ、ＴＢ〜ＴＥの期間は余裕時間となるた
め、この期間において同一の画像に対する再符号化を行
うことが可能である。

【００２８】図３は図１の符号化装置が画像１ピクチャ
を符号化するときの処理の流れを示すフローチャートで
ある。図１の符号化装置の動作について、図１〜３を参
照しながら説明する。符号化部１１は、画像データとと
もに入力される符号化に関するパラメータから、入力さ
れる画像の画素数が３５２×２８８であることを知り、
この画素数が最大画像サイズの画素数の２分の１以下で
あることから、再符号化が可能であると既に判定してい
るものとする。

【００２９】図３のステップＳ１において、発生符号量
比較部１４は、ＶＢＶバッファの占有量、ＶＢＶバッフ
ァへの符号化データ入力レート及び次のピクチャの復号
開始までの時間から、ＶＢＶバッファにアンダーフロー
を起こさせない１ピクチャの符号量の最大値をピクチャ
毎に計算し、発生符号量のしきい値として保持する。

【００３０】ステップＳ２では、外部から符号化対象と
する画像１ピクチャのデータが符号化部１１に入力さ
れ、符号化部１１は、画像データをそのまま原画像デー
タ記憶部１２に出力する。原画像データ記憶部１２は入
力された画像データを記憶する。

【００３１】ステップＳ３では、符号化部１１は、図２
のＴＡ〜ＴＢの期間において、原画像データ記憶部１２
から符号化対象画像及び予測符号化に必要な画像のデー
タを読み出して、符号化対象画像に対する１回目の符号
化を行い、生成した符号化データを符号化データ記憶部
１３に出力する。符号化データ記憶部１３は、入力され
た符号化データを記憶する。

【００３２】ステップＳ４では、符号化部１１は、発生
符号量を算出して発生符号量比較部１４に出力する。

【００３３】ステップＳ５では、発生符号量比較部１４
は、入力された発生符号量とステップＳ１で求めたしき
い値とを比較する。発生符号量比較部１４は、発生符号
量がしきい値を超過していないと判定する場合は、ステ
ップＳ６に処理を進める。発生符号量がしきい値を超過
していると判定する場合、すなわち、ＶＢＶバッファが
アンダーフローを起こすと判定する場合は、ステップＳ
７に処理を進める。

【００３４】ステップＳ６では、符号化部１１は、符号
化データ記憶部１３から符号化データを読み出して確定
し、図２の時刻ＴＥにおいて外部に出力する。これで１
ピクチャの符号化が終了する。

【００３５】ステップＳ７では、発生符号量比較部１４
は、図２のＴＢ〜ＴＣの期間において、符号化部１１に
対して発生符号量を減らすように符号化パラメータの変
更要求を出力する。符号化部１１は、要求に従って符号
化パラメータを変更する。

【００３６】ステップＳ８では、符号化部１１は、１回
目の符号化対象画像と同一の画像に対して再符号化を行
う（図２のＴＣ〜ＴＤの期間）。符号化部１１は、再符
号化によって生成した符号化データを符号化データ記憶
部１３に出力し、符号化データ記憶部１３は、そのデー
タを１回目の符号化によって生成された符号化データに
上書きする形で記憶する。その後、ステップＳ６に進
み、１ピクチャの符号化を終了する。

【００３７】図３のステップＳ１における発生符号量の
しきい値の計算方法について説明する。図４は符号化デ
ータによるＶＢＶバッファの占有量の時間的変化を表す
グラフである。図４において、縦軸はＶＢＶバッファ占
有量、横軸は時間、ＢはＶＢＶバッファの容量を表す。

【００３８】いま符号化しようとしている符号化対象画
像（以下では、現ピクチャと称する）の直前に符号化さ
れた前ピクチャの発生符号量をＣ（ｎ）、前ピクチャの
復号化直前のＶＢＶバッファの占有量がＢｐ（ｎ）であ
るとすると、前ピクチャの復号化が時刻ｔ（ｎ）におい
て瞬時に行われ、前ピクチャに対する符号化データが瞬
時に抜き取られた後のＶＢＶバッファの占有量は、 Ｂ（ｎ）＝Ｂｐ（ｎ）−Ｃ（ｎ） で求められる。画像を復号化する間隔をＴ[s]とし、Ｖ
ＢＶバッファへのデータ入力レートを一定値Ｒ[bit/s]
とすると、現ピクチャの復号化時刻ｔ（ｎ＋１）におけ
る復号化直前のＶＢＶバッファの占有量は、 Ｂｐ（ｎ＋１）＝Ｂ（ｎ）＋ＲＴ である。ここで、Ｔ＝ｔ（ｎ＋１）−ｔ（ｎ）である。

【００３９】現ピクチャの発生符号量Ｃ（ｎ＋１）が、
ＶＢＶバッファの占有量Ｂｐ（ｎ＋１）よりも大きい場
合、時刻ｔ（ｎ＋１）において復号化する現ピクチャの
符号化データを用意しきれず、ＶＢＶバッファにアンダ
ーフローを引き起こすことになる。したがって、ＶＢＶ
バッファの占有量Ｂｐ（ｎ＋１）が現ピクチャに対する
発生符号量のしきい値として設定される。

【００４０】図３のステップＳ７における符号化パラメ
ータの変更は、例えば、符号化パラメータの１つである
量子化ステップを大きくするような変更である。本実施
形態では、確実に発生符号量を減らしてＶＢＶバッファ
のアンダーフローを防ぐため、量子化ステップを許容さ
れる範囲内で最大の値にする。この再符号化のための量
子化ステップは、１回目の符号化時よりも大きな値であ
れば、他の値であってもよい。

【００４１】量子化ステップを大きくすると、画像のＤ
ＣＴ係数のうち、値が零であるものの数が増加する。符
号化部１１は、ＤＣＴ係数を可変長符号化するため、発
生符号量を減少させることができる。

【００４２】図５は、図１の符号化装置の構成の他の例
を示すブロック図である。図５の符号化装置は、符号化
部２１と、原画像データ記憶部１２と、符号化データ記
憶部１３と、発生符号量比較部１４と、発生符号量計算
部１５とを備えている。

【００４３】原画像データ記憶部１２、符号化データ記
憶部１３、及び発生符号量比較部１４は、図１を参照し
て説明したものと同一のものである。符号化部２１は、
発生符号量の算出を行わない点以外は、図１の符号化部
１１と同じである。発生符号量計算部１５は、符号化部
２１が出力する符号化データを入力とし、符号化データ
のデータ量、すなわち、発生符号量を算出して、発生符
号量比較部１４に出力する。したがって、図５の符号化
装置においても、図１の符号化装置と同様の動作を行う
ことができる。

【００４４】なお、発生符号量のしきい値を、発生符号
量比較部１４ではなく、発生符号量計算部１５が求める
ようにしてもよい。

【００４５】以上のように本実施形態によれば、処理可
能な最大画像サイズよりも小さい画像が入力され、処理
時間に余裕がある場合に、ＶＢＶバッファにアンダーフ
ローを発生させることなくリアルタイムで符号化可能な
符号化装置を提供することができる。

【００４６】（変形例） 以上では、再符号化を１回のみ行う場合について説明し
たが、再符号化を複数回行う変形例について説明する。

【００４７】図６は本発明の実施形態の変形例に係る符
号化装置の構成を示すブロック図である。図６の符号化
装置は、符号化部３１と、原画像データ記憶部１２と、
符号化データ記憶部１３と、発生符号量比較部１４と、
符号化回数カウンタ１６とを備えている。原画像データ
記憶部１２と、符号化データ記憶部１３と、発生符号量
比較部１４とは図１で説明したものと同じなので、同一
の番号を付し、その説明を省略する。

【００４８】図６の符号化部３１は、画素数Ｍの画像を
ＭＰＥＧ-２方式でリアルタイムで符号化する能力を持
っているものとし、図６の符号化装置が画素数Ｍ／Ｎの
画像をＭＰＥＧ-１方式で符号化する場合について説明
する。この場合、同一の画像に対してＮ回の符号化をリ
アルタイムで行うことができる。ここで、Ｍ，Ｎは３以
上の整数である。

【００４９】符号化回数カウンタ１６は、符号化部３１
が符号化を終える度に生成する符号化終了信号を受け取
り、同一の符号化対象画像に対して行った符号化の回数
をカウントし、符号化部３１に通知している。

【００５０】符号化部３１は、符号化の回数がＮ回に達
しておらず、発生符号量比較部１４から符号化パラメー
タの変更要求を受け取ったときは、符号化パラメータを
変更して再符号化を行う。符号化パラメータの変更方法
は、図１の符号化部１１とは異なっている。符号化部３
１は、２回目からＮ−１回目の符号化の際には少しずつ
発生符号量を減らすように、また、Ｎ回目の符号化の際
にはできる限り発生符号量を減らすように、符号化パラ
メータを変更する。

【００５１】図７は図６の符号化装置が画素数Ｍ／Ｎの
画像の再符号化を複数回行うときの動作を説明するタイ
ミングチャートである。

【００５２】図７において、Ｔａは画像の処理を開始す
る時刻、Ｔｂは１回目の符号化が終了する時刻、Ｔｃは
２回目の符号化の開始時刻、Ｔｄは２回目の符号化の終
了時刻、Ｔｅは３回目の符号化の開始時刻、ＴｆはＮ回
目の符号化の開始時刻、ＴｇはＮ回目の符号化の終了時
刻、Ｔｈはリアルタイム符号化実現のための１ピクチャ
あたりの許容処理時間が終了する時刻である。Ｔｂ〜Ｔ
ｃ，Ｔｄ〜Ｔｅの期間は、発生符号量としきい値との比
較、及び符号化パラメータの変更に要する時間である。
図６の符号化装置は、Ｔａ〜Ｔｈの期間内に、画素数Ｍ
の画像１ピクチャの符号化を終えることができる。

【００５３】図８は図６の符号化装置が再符号化を複数
回行って１ピクチャを符号化するときの処理の流れを示
すフローチャートである。ステップＳ１〜Ｓ６は、図３
で説明したものと同一であるので、その説明を省略す
る。符号化部３１は、画像データとともに入力される符
号化に関するパラメータから、入力される画像の画素数
がＭ／Ｎであることを知り、この画素数が最大画像サイ
ズの画素数のＮ分の１であることから、符号化がＮ回可
能であると既に判定しているものとする。

【００５４】ステップＳ４で発生符号量の算出をした
後、ステップＳ９では、符号化回数カウンタ１６は、カ
ウント数を１だけ増加させ、この符号化対象画像に対す
る符号化回数を符号化部３１に通知する。

【００５５】ステップＳ１０では、符号化部３１は、符
号化回数から、この画像に対する符号化をＮ回行ったか
否かを判定する。符号化を既にＮ回行った場合には、ス
テップＳ６に進み、符号化部３１は、符号化データを外
部に出力してこの画像に対する符号化を終了する。まだ
符号化をＮ回行っていない場合は、ステップＳ５に進
む。

【００５６】ステップＳ５では、発生符号量比較部１４
は、ステップＳ４で求めた発生符号量としきい値との比
較を行う。発生符号量がしきい値を越えていない場合
は、ステップＳ６に進み、符号化対象画像１ピクチャの
符号化を終了する。発生符号量がしきい値を越えている
場合は、ステップＳ１１に進む。

【００５７】ステップＳ１１では、発生符号量比較部１
４は、図７のＴｂ〜Ｔｃ等の期間において、符号化部３
１に対して発生符号量を抑制するように符号化パラメー
タの変更要求を出力する。符号化部３１は、要求に従っ
て符号化パラメータを変更する。その後、ステップＳ３
に進み、再符号化を行う。

【００５８】ステップＳ１１における符号化パラメータ
の変更は、例えば、量子化ステップを大きくするような
変更である。再符号化を複数回行うことができるため、
同一の画像に対して符号化可能な回数Ｎを考慮して、再
符号化の度に量子化ステップを少しずつ段階的に大きく
する。最終の符号化の機会であるＮ回目の符号化の際に
は、確実に発生符号量を減らしてＶＢＶバッファのアン
ダーフローを防ぐため、量子化ステップを許容される範
囲内で最大の値にする。このＮ回目の符号化のための量
子化ステップは、Ｎ−１回目までの符号化時よりも大き
な値であれば、他の値であってもよい。

【００５９】以上のように、本変形例によると、同一の
画像に対する符号化回数がＮ回に達する前であっても、
ステップＳ５において発生符号量比較部１４によって発
生符号量がしきい値を越えていないと判定された場合、
すなわち、ＶＢＶバッファにアンダーフローが発生しな
いと判定された場合、それ以降の再符号化は行わない。
したがって、量子化ステップを必要以上に大きくするこ
とがなく、画質の劣化を抑えることができる。

【００６０】以上の実施形態においては、入力される画
像の画素数と最大画像サイズの画素数との関係から、再
符号化する時間の余裕があると判定した場合に、再符号
化を行ったが、画素数に基づかずに判定してもよい。す
なわち、符号化に要した時間と、次に符号化すべき画像
の符号化を開始するまでの時間とから、再符号化する時
間の余裕があるか否か、すなわち、再符号化が可能であ
るか否かを例えば符号化部が符号化を終了する毎に判定
するようにしてもよい。

【００６１】このように、画素数に関わらず、再符号化
する時間の余裕があるか否かを判定し、再符号化を行う
場合の例を説明する。以下では、処理可能な最大画像サ
イズの画像をＭＰＥＧ-２方式で符号化する場合につい
て、図１の符号化装置を用いて説明する。

【００６２】まず、Ｉ（intra coded）ピクチャを再符
号化する例について説明する。ＭＰＥＧ方式では、Ｉ，
Ｐ（predictive coded），Ｂ（bidirectionally predic
tivecoded）の３種類のピクチャタイプがある。Ｉピク
チャの符号化に際しては、動き検出、動き補償という非
常に多くの演算量を必要とする処理を行う必要がない。
このため、Ｐピクチャ、Ｂピクチャの符号化に比べる
と、Ｉピクチャの符号化に必要な処理時間は短い。した
がって、最大画像サイズのＩピクチャを再符号化するこ
とが、最大画像サイズよりも小さい画像の場合と同様に
可能である。

【００６３】符号化部１１は、符号化に要した時間と、
次に符号化すべき画像の符号化を開始するまでの時間と
から、再符号化する時間の余裕があり、再符号化可能で
あると判定した場合には、再符号化を行う。符号化部１
１は、符号化が終了する毎にこのような判定を行い、再
符号化を繰り返すこともできる。

【００６４】Ｉピクチャは、イントラ符号化されるため
発生符号量が多い場合が多い。発生符号量比較部１４が
求めるしきい値を発生符号量が越える場合も多いため、
再符号化を行うことによる効果も大きい。

【００６５】次に、符号化を開始する場合における再符
号化の例について説明する。ＭＰＥＧ方式では、符号化
の順が画像の入力順とは異なるため、入力画像を並べ替
える必要がある。そこで、この並べ替えに要する時間を
利用して、再符号化を行う。

【００６６】図９は符号化を開始する場合における再符
号化の例についての説明図である。図９では、１つの長
方形が１画像を表している。符号化部１１には、図９
（ａ）のように、画像Ｉ０，Ｂ１，Ｂ２，Ｐ３，Ｂ４，
…という順で画像が入力される。ここで、Ｉ，Ｂ，Ｐは
それぞれの画像のピクチャタイプを表している。

【００６７】図９（ｂ）は、原画像データ記憶部１２の
記憶内容を表している。原画像データ記憶部１２は画像
並べ替え用のメモリを有している。ここでは例として、
原画像データ記憶部１２は４フレーム分のメモリを備え
ているとする。記憶すべきデータがなく、フレームメモ
リが空いている状態がＥで表されている。

【００６８】Ｂピクチャは、後方の参照画像の符号化後
に符号化されるので、図９（ａ）の順で入力された画像
が符号化される順は、図９（ｃ）のように、Ｉ０，Ｐ
３，Ｂ１，Ｂ２，…となる。このような場合、最初に符
号化すべき画像Ｉ０は、通常は、画像Ｐ３が符号化され
る直前の期間ＴＳｃにおいて１回だけ符号化される。

【００６９】ところが、画像Ｉ０は既に期間ＴＳｃの３
フレーム前に原画像データ記憶部１２に入力されている
ため、期間ＴＳｃの２フレーム前の期間ＴＳａにおいて
画像Ｉ０に対する符号化を開始することができる。次に
符号化すべき画像Ｐ３の符号化は、期間ＴＳｃの後に開
始すればよい。したがって、符号化部１１は、期間ＴＳ
ａ及びＴＳｂの終了時に、再符号化する時間の余裕があ
ると判定する。この場合、図９（ｄ）のように期間ＴＳ
ｂ，ＴＳｃにおいて、符号化部１１は画像Ｉ０に対する
再符号化を２回行う。

【００７０】一般に、量子化ステップは、過去の画像に
おける符号化の際の履歴に基づいて決定される。しか
し、符号化開始時にはこのような履歴を利用することが
できないので、量子化ステップを適切な値に設定するこ
とができない。そこで、期間ＴＳａにおける画像Ｉ０に
対する最初の符号化の際には、量子化ステップを、例え
ば、設定可能な最小の値である１に設定する。

【００７１】このときの発生符号量がＶＢＶバッファに
アンダーフローを生じさせない場合には、得られた符号
化データを出力する。発生符号量が多く、ＶＢＶバッフ
ァにアンダーフローを生じさせる場合には、量子化ステ
ップを大きくして再符号化し、発生符号量を少なくする
ことができる。

【００７２】符号化の開始時には、過去の符号化に関す
る情報を利用できないので適切な画質を得ることが難し
い。しかし、この例によれば、符号化の開始時に最初に
符号化される画像を再符号化することが、最大画像サイ
ズの画像に対しても可能である。したがって、ＶＢＶバ
ッファにアンダーフローを生じさせることなく、最初に
符号化される画像の画質を限られた発生符号量の範囲内
で向上させることができる。

【００７３】次に、符号化を停止する場合における再符
号化の例について説明する。

【００７４】図１０は符号化を停止する場合における再
符号化の例についての説明図である。図１０は、図９に
おける画像Ｐ６が入力される時以降について示してい
る。ここでは、図１０（ａ）のように、入力画像Ｐ９ま
でを符号化対象にして符号化を停止し、その後３フレー
ム間は画像の入力を停止した後に、入力画像Ｂ１０以降
の画像を符号化対象にして符号化を再開する場合につい
て説明する。

【００７５】図１０（ｂ）は、図９（ｂ）と同様に原画
像データ記憶部１２の記憶内容を表している。図１０
（ａ）の順で入力された画像が符号化される順は、図１
０（ｃ）のように、…，Ｐ９，Ｂ７，Ｂ８となる。この
ような場合、最後に符号化すべき画像Ｂ８は、通常は、
期間ＴＥａにおいて１回だけ符号化される。

【００７６】ところが、次に符号化すべき、符号化再開
後の画像Ｉ１２の符号化は、期間ＴＥｄの後に開始すれ
ばよい。したがって、符号化部１１は、期間ＴＥａ，Ｔ
Ｅｂ，及びＴＥｃの終了時に、再符号化する時間の余裕
があると判定する。この場合、図１０（ｄ）のように期
間ＴＥｂ，ＴＥｃ，及びＴＥｄにおいて、符号化部１１
は画像Ｂ８に対する再符号化を３回行う。

【００７７】この場合においても、期間ＴＥａにおける
画像Ｂ８に対する最初の符号化の際には、量子化ステッ
プを、例えば、設定可能な最小の値である１に設定す
る。このときの発生符号量がＶＢＶバッファにアンダー
フローを生じさせない場合には、得られた符号化データ
を出力する。発生符号量が多く、ＶＢＶバッファにアン
ダーフローを生じさせる場合には、量子化ステップを大
きくして再符号化し、発生符号量を少なくすることがで
きる。

【００７８】符号化の停止時には、最後に符号化する画
像はリアルタイムで符号化する必要がないため、この例
のように、符号化の停止時に最後に符号化される画像を
再符号化することが、最大画像サイズの画像に対しても
可能である。したがって、ＶＢＶバッファにアンダーフ
ローを生じさせることなく、最後に符号化される画像の
画質を限られた発生符号量の範囲内で向上させることが
できる。

【００７９】なお、以上の実施形態では、フレーム構造
の画像を符号化する場合について説明したが、フィール
ド構造の画像を符号化する場合についても同様である。

【００８０】また、以上の実施形態においては、ＭＰＥ
Ｇ-２方式で圧縮符号化を行うことが可能な符号化部を
用いて、ＭＰＥＧ-１又はＭＰＥＧ-２方式で画像の符号
化を行う場合について説明したが、他の動画像符号化方
式で符号化を行うことが可能な符号化部を用いて、その
動画像符号化方式で符号化を行ってもよい。

【００８１】また、量子化ステップは、以上の実施形態
で説明したものには限られず、画像の再符号化の際に用
いる量子化ステップが、その画像のその再符号化以前に
用いられたものよりも大きければよい。

【００８２】

【発明の効果】以上のように本発明によれば、符号化装
置において処理可能な最大の画像よりも小さい画像のよ
うに、符号化の際に必要な演算量が符号化装置において
リアルタイム処理可能な最大の演算量よりも少ない画像
に対して動画像符号化を行う場合等に、ＶＢＶバッファ
にアンダーフローを発生させることがない。したがっ
て、発生する符号化データを欠落させることなく伝送す
ることができるので、復号化器が復号化する際にフレー
ムを欠落させることがないように、リアルタイムで符号
化可能な符号化装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施形態に係る符号化装置の構成を示
すブロック図である。

【図２】図１の符号化装置の動作を説明するタイミング
チャートである。

【図３】図１の符号化装置が画像１ピクチャを符号化す
るときの処理の流れを示すフローチャートである。

【図４】符号化データによるＶＢＶバッファの占有量の
時間的変化を表すグラフである。

【図５】図１の符号化装置の構成の他の例を示すブロッ
ク図である。

【図６】本発明の実施形態の変形例に係る符号化装置の
構成を示すブロック図である。

【図７】図６の符号化装置が画素数Ｍ／Ｎの画像の再符
号化を複数回行うときの動作を説明するタイミングチャ
ートである。

【図８】図６の符号化装置が再符号化を複数回行って画
像１ピクチャを符号化するときの処理の流れを示すフロ
ーチャートである。

【図９】符号化を開始する場合における再符号化の例に
ついての説明図である。

【図１０】符号化を停止する場合における再符号化の例
についての説明図である。

【符号の説明】

１１，２１，３１ 符号化部 １２ 原画像データ記憶部 １３ 符号化データ記憶部 １４ 発生符号量比較部 １５ 発生符号量計算部 １６ 符号化回数カウンタ Ｃ（ｎ＋１） 符号化対象画像の発生符号量 Ｂｐ（ｎ＋１） 発生符号量に対するしきい値

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−64143（ＪＰ，Ａ) 特開 平６−54309（ＪＰ，Ａ) 安田浩、渡辺裕，ディジタル画像圧縮 の基礎，日経ＢＰ出版センター，1996年 １月20日，ｐ．196−200 (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/24 - 7/68

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 動画像に対して圧縮符号化を行い、符号
   化対象画像に対して発生した符号化データの発生符号量
   を算出する符号化部と、 前記符号化対象画像を記憶する原画像データ記憶部と、 前記符号化データを記憶する符号化データ記憶部と、 符号化対象画像毎に前記発生符号量に対するしきい値を
   求め、前記発生符号量が前記しきい値を越えるか否かを
   判定する発生符号量比較部とを備え、前記符号化部は、 前記符号化対象画像の画素数が、前記符号化部によって
   処理可能な画像の最大の画素数の２分の１以下 であると
   判定する場合であって、かつ、前記発生符号量比較部に
   より前記発生符号量が前記しきい値を越えると判定され
   たときには、 前記発生符号量を減らすように符号化パラメータの変更
   をして、当該符号化対象画像に対して再符号化を行うも
   のである符号化装置。
2. 【請求項２】 動画像に対して圧縮符号化を行い、符号
   化対象画像に対して発生した符号化データの発生符号量
   を算出する符号化部と、 前記符号化対象画像を記憶する原画像データ記憶部と、 前記符号化データを記憶する符号化データ記憶部と、 符号化対象画像毎に前記発生符号量に対するしきい値を
   求め、前記発生符号量が前記しきい値を越えるか否かを
   判定する発生符号量比較部と、 前記符号化部による符号化対象画像に対する符号化の回
   数をカウントする符号化回数カウンタとを備え、 前記符号化部は、 前記符号化対象画像の画素数が、前記符号化部によって
   処理可能な画像の最大の画素数のＮ（Ｎは３以上の整
   数）分の１以下であって、前記符号化回数カウン タがカ
   ウントした前記符号化対象画像に対する符号化の回数が
   Ｎ回未満であると判定する場合であり、かつ、前記発生
   符号量比較部により前記発生符号量が前記しきい値を越
   えると判定されたときには、 前記発生符号量を減らすように符号化パラメータの変更
   をして、当該符号化対象画像に対して再符号化を行うも
   のである符号化装置。
3. 【請求項３】 請求項２に記載の符号化装置において、 前記符号化パラメータの変更は、 当該符号化対象画像に対するＮ−１回目までの符号化の
   際には量子化ステップを次第に大きくするものであり、 当該符号化対象画像に対するＮ回目の符号化の際には量
   子化ステップを許容される範囲内で最大にするものであ
   ることを特徴とする符号化装置。
4. 【請求項４】 動画像に対して圧縮符号化を行うステッ
   プと、 符号化対象画像に対して発生した符号化データの発生符
   号量を算出するステップと、 符号化対象画像毎に前記発生符号量に対するしきい値を
   求めるステップと、 前記発生符号量が前記しきい値を越えるか否かを判定す
   るステップとを備え、前記符号化対象画像の画素数が、圧縮符号化処理可能な
   画像の最大の画素数の２分の１以下である 場合であっ
   て、かつ、前記発生符号量が前記しきい値を越えると判
   定されたときには、 前記圧縮符号化を行うステップでは、 前記発生符号量を減らすように符号化パラメータの変更
   をして、当該符号化対象画像に対して再符号化を行う符
   号化方法。
5. 【請求項５】 動画像に対して圧縮符号化を行うステッ
   プと、 符号化対象画像に対して発生した符号化データの発生符
   号量を算出するステップと、 符号化対象画像毎に前記発生符号量に対するしきい値を
   求めるステップと、 前記発生符号量が前記しきい値を越えるか否かを判定す
   るステップと、 符号化対象画像に対する符号化の回数をカウントするス
   テップとを備え、 前記符号化対象画像の画素数が、圧縮符号化処理可能な
   画像の最大の画素数のＮ（Ｎは３以上の整数）分の１以
   下であって、前記符号化対象画像に対する符号化の回数
   がＮ回未満である場合であり、かつ、前記発生符号量が
   前記しきい値を越えると判定されたときには、 前記圧縮符号化を行うステップでは、 前記発生符号量を減らすように符号化パラメータの変更
   をして、当該符号化対象画像に対して再符号化を行う符
   号化方法。
6. 【請求項６】 請求項５に記載の符号化方法において、 前記符号化パラメータの変更は、 当該符号化対象画像に対するＮ−１回目までの符号化の
   際には量子化ステップを次第に大きくするものであり、 当該符号化対象画像に対するＮ回目の符号化の際には量
   子化ステップを許容される範囲内で最大にするものであ
   ることを特徴とする符号化方法。