JP4257655B2

JP4257655B2 - 動画像符号化装置

Info

Publication number: JP4257655B2
Application number: JP2004321315A
Authority: JP
Inventors: 朋行進藤
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2004-11-04
Filing date: 2004-11-04
Publication date: 2009-04-22
Anticipated expiration: 2024-11-04
Also published as: US20060093032A1; US7903732B2; JP2006135557A

Description

本発明は、前の画像の画面複雑度から次に符号化する画像の画面複雑度を推定して量子化スケールを決定する動画像符号化装置に関する。

ＴＶ信号などの動画像を高能率に符号化する技術の国際標準として既にＭＰＥＧ（ Moving Picture Experts Group ）２が規定されている。ＭＰＥＧ２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロックに分割し、各マクロブロック単位で、時間的に前又は後に所定の数フレーム離れた参照画像と被符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から被符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号又は符号化画像そのものに対して、直交変換の一種であるＤＣＴ（離散コサイン変換）を用いて情報量を圧縮する「変換符号化」技術の２つの画像符号化の要素技術をベースに規定されている。

従来のＭＰＥＧ２の動画像符号化装置の一構成例を図４に示す。また、符号化ピクチャ構造の一例を図５に示し、動き補償予測では、図５に示した符号化ピクチャ構造のように、Ｉ（フレーム内符号化）ピクチャ、Ｐ（順方向予測符号化）ピクチャ、Ｂ（双方向予測符号化）ピクチャと呼ばれる、予測方法の異なる３種類のピクチャの組合せによって構成される。

図４に示されるように、Ｉピクチャに符号化する場合には符号化対象の画像そのもの（原画像）に対し、また、Ｐ、Ｂピクチャに符号化する場合には動き補償予測器７９による動き補償予測の誤差信号である減算器７１の出力に対して、ＤＣＴがＤＣＴ器７２で施される。このＤＣＴ器７２で得られたＤＣＴ係数に対して、符号量制御部９０の出力により制御される量子化器７３によって量子化がなされた後に、動きベクトルなどのその他の付帯情報と共に可変長符号化器７５で可変長符号化され、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。この際、バッファ７６の充足度に応じて符号量制御部９０で量子化器７３の量子化スケールが制御される。

一方、量子化器７３の出力係数は、逆量子化器７７、ＩＤＣＴ器７８に供給されて、局部復号された後に、加算器８０を介してブロックごとにフレームメモリ８１に貯えられる。ＭＰＥＧ２は可変長符号化であるため、単位時間当たりの発生符号量（ビットレート）は一定ではない。そこで量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。

ＭＰＥＧ２ Test Model（テストモデル）５では、ＧＯＰ( Group Of Pictures )単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。この固定ビットレート制御方法は、一定の転送レートが要求される用途に適した方法である。Test Model ５における、図４の符号量制御部９０の動作に相当する、固定ビットレート制御方法の概略は次の通りである。目標ビットレートを BitRate、１秒当たりのフレーム数を PictureRate、１つの符号化単位である１ＧＯＰ（通常はＩピクチャの間隔）のフレーム数をＮとすると、１ＧＯＰに割り当てられる符号量Ｒは次式（１）で与えられる。
Ｒ＝（ BitRate ／ PictureRate ）＊Ｎ（１）

式（１）で得られた符号量Ｒを１ＧＯＰ内の各画像に配分することになるが、ここで各ピクチャタイプの符号化直後の画像について、１フレームの発生符号量と平均量子化スケールの積を画面複雑度（Complexity）Ｘi（Ｉピクチャ)、Ｘp（Ｐピクチャ）、Ｘb（Ｂピクチャ）として求め、これから符号化する画像を含むＧＯＰ内の画像が一様に画面複雑度に等しいと仮定して、これから符号化する画像の目標割当符号量を決定する。現在のＧＯＰで符号化の終了していないＰピクチャ、Ｂピクチャのフレーム数をそれぞれＮp、Ｎbとし、Ｉピクチャに対するＰピクチャ、Ｂピクチャの量子化スケールの設定比率をそれぞれＫp、Ｋbとする。このとき、Ｉ、Ｐ、Ｂの各ピクチャタイプの目標割当符号量Ｔi、Ｔp、Ｔbは次式（２）、（３）、（４）で与えられる。なお、ＭＡＸ［Ａ、Ｂ］はＡとＢのいずれか大きい方を選択する動作を示す。

Ｉピクチャ：Ｔi＝ＭＡＸ［Ａ、Ｂ］
Ａ＝Ｒ／｛１＋Ｎp＊Ｘp／（Ｘi＊Ｋp）＋Ｎb＊Ｘb／（Ｘi＊Ｋb）｝
Ｂ＝BitRate／（８＊PictureRate）（２）
Ｐピクチャ：Ｔp＝ＭＡＸ［Ｃ、Ｄ］
Ｃ＝Ｒ／｛Ｎp＋Ｎb＊Ｋp＊Ｘb／（Ｘp＊Ｋb）｝
Ｄ＝BitRate／（８＊PictureRate）（３）
Ｂピクチャ：Ｔb＝ＭＡＸ［Ｅ、Ｆ］
Ｅ＝Ｒ／｛Ｎb＋Ｎp＊Ｋb＊Ｘp／（Ｘb＊Ｋp）｝
Ｆ＝BitRate／（８＊PictureRate）（４）

なお、符号量Ｒの値は、１フレームの符号化が終了するごとに、そのフレームの発生符号量を減算し、ＧＯＰの先頭（Ｉピクチャ）において、式（１）の値を加算する。次に、上式（２）、（３）、（４）で決定された目標割当符号量と、バッファ７６で検出される各マクロブロックの発生符号量を基に、各マクロブロックの量子化スケールを決定する。

一方、ＤＶＤ−Video のように可変転送レートが可能な用途に適した方法として、可変ビットレート制御方法がある。下記の特許文献１には、可変ビットレート制御による符号化装置が開示されている。この符号化装置では、最初に入力動画像に対して固定量子化スケールによって仮符号化を行い、単位時間ごとに発生符号量がカウントされる。次に入力動画像全体の発生符号量が所要値になるように、仮符号化時の発生符号量に基づいて各部分の目標転送レートを設定する。そしてこの目標転送レートに合致するように制御を行いながら、入力動画像に対して２回目の符号化、言い換えると実符号化が行われる。

しかし、上記従来例では、出力ビットストリームを得るためには少なくとも２回の符号化を行わなければならず、リアルタイム性を要求されるような用途ではこの符号化装置のような２パス方式の可変ビットレート制御は使用できない。

これに対し、動画像をほぼリアルタイムで符号化するための可変ビットレート制御方法、すなわち１パス方式の可変ビットレート制御方法も存在する。下記の特許文献２には、１パス方式の可変ビットレート制御方法による符号化装置が開示されている。この従来例における動画像符号化装置の一構成例を図６に示す。なお、図４と同一構成部材に対しては同一符号を付してその説明は省略する。この従来例の符号化装置では、バッファ７６に記憶した符号量を発生符号量検出器８３に供給し、量子化器７３からの量子化スケールを平均量子化スケール検出器８２に供給し、この平均量子化スケール検出器８２による画面内の量子化スケールの平均値と、発生符号量検出器８３による発生符号量との積を、「画面複雑度」として画面複雑度検出器８４で求め、過去の画面複雑度の平均値に対する現在の画面複雑度の割合を基に、画面の目標発生符号量又は目標量子化スケールを決定することにより、可変ビットレート制御を符号量制御器７４で実現している。

上記従来例においてはこれから符号化する画像の画面複雑度が、直前に符号化した同じピクチャタイプの画面複雑度と同程度であると仮定して符号化制御が行われている。しかしながら、入力動画像にシーンチェンジのような大きな変化が生じた場合、変化点の前後で画像の性質が変わるため画面複雑度自体が変化するばかりでなく、予測符号化を行うＰ及びＢピクチャでは、変化の生じた前と後の画像の間では予測がほとんど当たらないため、変化直後の画像ではほとんどのマクロブロックが画面内符号化を行うＩ（イントラ）ピクチャになる場合が多い。そのような画像では変化前の画像に比べ、実際の画面複雑度が極端に高くなるのにもかかわらず、上記従来例では、変化前の画像の画面複雑度を基準にして符号量割当が行われるため、割当符号量が不足して量子化スケールが上昇し、結果として変化点の直後で画質劣化が生じてしまうという問題があった。

一方、変化直後の画像から次に予測を行う画像では、画像が小刻みに変化する場合を除いては予測が比較的当たりやすくなり、実際の画面複雑度は変化直後の画像よりも低くなるにもかかわらず、上記従来例では変化直後の高い画面複雑度を基準にして符号量割当が行われるため、割当符号量が過剰となって量子化スケールが不必要に下降し、符号量に無駄が生じてしまうという問題があった。

そこで、以上の問題を解決して、入力動画像にシーンチェンジのような大きな変化が発生した場合でも、より適切な符号量割当を行う従来例として、下記の特許文献３には、過去の画像のＩ、Ｐ、Ｂピクチャごとの実測画面複雑度を算出してこの実測画面複雑度などから現在の画像のＩ、Ｐ、Ｂピクチャごとの推定画面複雑度を算出し、この現在の画像のＩ、Ｐ、Ｂピクチャごとの推定画面複雑度などから次に符号化する画像のＩ、Ｐ、Ｂピクチャごとの量子化スケールを決定する方法が提案されている。また、現在の画像のＩ、Ｐ、Ｂピクチャごとの推定画面複雑度を算出する際には、現在の画像の符号化画像特性と、それと同じピクチャタイプの直前において検出された符号化画像特性との比を因数とする所定の関数を、前述の直前の画像における実測画面複雑度に乗算することにより求める。また、特許文献３では、現在の画像がシーンチェンジ画像と判定された場合には、前述の所定の関数を変更し、現在の画像がシーンチェンジ画像の次の画像と判定された場合には「現在の画像と同じピクチャタイプの直前の画像」を「現在の画像と同じピクチャタイプのシーンチェンジ画像の前の画像」に変更する。
特開平６−１４１２９８号公報（要約書）特開平１０−１６４５７７号公報（図６）特開平１０−１６４５７７号公報（請求項１、２、３、段落００３８、００３９、００４０）

しかしながら、上記の特許文献３では、シーンチェンジ画像と判定された場合にも、同じピクチャタイプの実測画面複雑度を用いて現在の画像の推定画面複雑度を算出するので、特に双方向予測であるＢピクチャに符号化する場合に、正確な推定画面複雑度を算出することができず、このため、発生符号量が増加するという問題点がある。

本発明は上記従来例の問題点に鑑み、シーンチェンジ画像と判定された場合、特に双方向予測であるＢピクチャに符号化する場合に正確な推定画面複雑度を算出して発生符号量の増加を抑制することができる動画像符号化装置を提供することを目的とする。

本発明の動画像符号化装置は上記目的を達成するために、
入力動画像及び入力動画像の動き補償予測誤差を直交変換し、直交変換された係数を量子化スケールに基づいて量子化して可変長符号化するとともに、発生符号量を前記量子化スケールにより制御する動画像符号化手段と、
前記入力動画像についてマクロブロック単位で検出されたＩ、Ｐ、Ｂピクチャごとのアクティビティがフレーム単位で加算されて得られる画像特性を検出する画像特性検出手段と、
前記画像特性検出手段により検出されたこれから符号化する現在の画像のＩ、Ｐ、ＢピクチャごとのアクティビティＡＣＴi、ＡＣＴp、ＡＣＴbと、直前に符号化した同じピクチャタイプの画像のアクティビティＡＣＴi-p、ＡＣＴp-p、ＡＣＴb-pの比率（ＡＣＴi／ＡＣＴi-p）、（ＡＣＴp／ＡＣＴp-p）、（ＡＣＴb／ＡＣＴb-p）を計算し、その結果得られたＩ、Ｐ、Ｂピクチャごとの比率（現在のアクティビティ／直前のアクティビティ）が一定範囲を超えたとき、シーンチェンジであると判定するシーンチェンジ検出手段と、
前記量子化スケールの１フレームの平均量子化スケールを検出する平均量子化スケール検出手段と、
前記符号化により発生した１フレームの符号量を検出する発生符号量検出手段と、
前記平均量子化スケール検出手段により検出された各フレームの平均量子化スケールと、前記発生符号量検出手段により検出された各フレームの符号量とが乗算されて得られるＭＰＥＧ２Test Model 5におけるComplexityに相当する各フレームのＩ、Ｐ、Ｂピクチャごとの実測画面複雑度Ｘi-p、Ｘp-p、Ｘb-pを求め、前記シーンチェンジ検出手段によりシーンチェンジであると判定されたとき、これから符号化する画像であるシーンチェンジ画像については、Ｐピクチャの推定画面複雑度Ｘpを算出する際にＰピクチャとは異なるＩピクチャの前記実測画面複雑度Ｘi-pを用い、Ｂピクチャの推定画面複雑度Ｘbを算出する際にＢピクチャとは異なるＰピクチャの前記実測画面複雑度Ｘp-pを用いることにより、過去に算出された前記実測画面複雑度により、入力画像の推定画面複雑度を算出し、前記シーンチェンジ画像の次の同じタイプのＰ又はＢピクチャについては、Ｐ、Ｂピクチャの実測画面複雑度Ｘp-p、Ｘb-pの代わりに、前記シーンチェンジ画像の時点で保持されたＰ、Ｂピクチャの実測画面複雑度Ｘp-pold、Ｘb-poldと、その実測画面複雑度Ｘp-pold、Ｘb-poldの対象となったＰ、Ｂピクチャの前記画像特性としてのアクティビティＡＣＴp-pold、ＡＣＴb-poldと、これから符号化する現在の画像のＰ、ＢピクチャのアクティビティＡＣＴp、ＡＣＴbから次の２つの式
Ｘp＝Ｘp-pold＊（ＡＣＴp／ＡＣＴp-pold）
Ｘb＝Ｘb-pold＊（ＡＣＴb／ＡＣＴb-pold）
によってＰ、Ｂピクチャの画面複雑度Ｘp、Ｘbを推定することにより、画面複雑度の適正化を図るよう構成された画面複雑度算出手段と、
前記画面複雑度算出手段により算出された推定画面複雑度により次に符号化する画像の前記量子化スケールを決定する手段とを備え、
前記画面複雑度算出手段は、前記過去に算出された実測画面複雑度として、前記シーンチェンジ検出手段によりシーンチェンジと判定されない画像を符号化する場合には過去に算出された同じピクチャタイプの実測画面複雑度を用いるよう構成された。

また、前記画面複雑度算出手段は、インターレース画像のフレームアクティビティとフィールドアクティビティとの比が一定値より大きいときは、符号化する画像が動いていると判断し、それ以外のときは静止していると判断し、静止していると判断された場合には過去に算出された同じピクチャタイプの実測画面複雑度を用い、動いていると判断された場合にはＰピクチャではＩピクチャの画面複雑度を用い、ＢピクチャではＰピクチャの実測画面複雑度を用いて前記推定画面複雑度を算出することを特徴とする。

本発明によれば、イントラ・マクロブロックが増大すると予想されるＰピクチャでは、もともとイントラ・マクロブロックで構成されるＩピクチャの実測画面複雑度を利用し、双方向予測の減少が予想されるＢピクチャではもともと双方向予測のないＰピクチャの実測画面複雑度を利用することにより発生符号量の増加を抑制することができる。

＜第１の実施の形態＞
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る動画像符号化装置の第１の実施の形態を示すブロック図である。
図１において、入力画像（原画像）は、減算器１１、ＤＣＴ器１２、量子化器１３、符号量制御器１４、可変長符号化器１５により動画像符号化され、バッファ１６を経由して出力される。また、動き補償予測を行うために、量子化器１３の出力が逆量子化器１７、ＩＤＣＴ器１８によりデコードされ、加算器２０、フレームメモリ２１、動き補償予測器１９を経由して減算器１１に印加される。本発明の符号量制御は、平均量子化スケール検出器２２、発生符号量検出器２３、画面複雑度算出器２４、画面複雑度メモリ２４Ｍ、画像特性検出器２５、及びシーンチェンジ検出器２８によって量子化器１３の量子化スケールを制御することにより行われる。

図１は固定ビットレート符号化に適用した実施の形態を示す。なお、以下の説明において、添え字ｉはＩピクチャ、ｐはＰピクチャ、ｂはＢピクチャと対応している。入力する動画像は画像ブロック分割器（図示せず）によって、あらかじめマクロブロック単位で分割されているものとする。分割された動画像は、Ｉピクチャに符号化する際には動き補償予測が行われず、原動画像ブロックそのものが減算器１１を介してＤＣＴ器１２に送られ、ＤＣＴされた係数が量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。その量子化された信号は、可変長符号化器１５で符号に変換されて、次のバッフア１６で時間調整された後に符号が出力される。一方、量子化器１３の出力係数は逆量子化器１７、ＩＤＣＴ器１８で局部復号されて、動き補償予測器１９の出力が加算器２０で加算されることなく、ブロックごとにフレームメモリ２１に貯えられる。

動画像をＰ及びＢピクチャに符号化する際には、分割された動画像とフレームメモリ２１に貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、減算器１１で予測画像ブロックと原画像ブロックとの間の画素間差分が取られ、差分値である誤差画像ブロックがＤＣＴ器１２に供給される。この後はＩピクチャと同様に、ＤＣＴ器１２で差分値がＤＣＴされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に、可変長符号化器１５で符号に変換されて、次のバッファ１６で時間調整された後に符号が出力される。一方、量子化器１３の出力係数は、逆量子化器１７とＩＤＣＴ器１８とで局部復号された後に予測画像ブロックが加算器２０によって画素ごとに加算され、ブロックごとにフレームメモリ２１に貯えられる。

また、各ピクチャについて、量子化器１３からマクロブロックごとの量子化スケールが平均量子化スケール検出器２２に送られ、そこで１フレーム分の量子化スケールが加算され、１フレームの平均量子化スケールが算出される。一方、バッファ１６において発生符号量が監視され、その値が発生符号量検出器２３に供給される。この発生符号量検出器２３において、発生符号量がフレーム単位で加算され、１フレームの発生符号量が検出される。

フレームごとに検出された平均量子化スケール、及び発生符号量は各々画面複雑度算出器２４にフレームごとに供給される。画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に所定の操作を施して、ＭＰＥＧ２ Test Model ５における Complexity に相当する各フレームのＩ、Ｐ、Ｂピクチャごとの実測画面複雑度Ｘi-p、Ｘp-p、Ｘb-pが求められる。

一方、画像特性検出器２５では、入力時に原画像を分割した動画像が供給され、動画像の各フレームについてマクロブロック単位で画像特性を示すパラメータであるアクティビティＡＣＴが検出されてフレーム単位で加算されて、その結果が１フレームごとに画面複雑度算出器２４及びシーンチェンジ検出器２８に供給される。ここで、画像特性検出器２５で画像特性を検出する動作は、実際の符号化動作に先行して行われている。画像特性を示すパラメータとしては輝度値の分散、画素間差分値などが考えられるが、画像特性を示すものであれば、当然その他のパラメータでもよい。

シーンチェンジ検出器２８では、これから符号化する現在の画像のＩ、Ｐ、ＢピクチャごとのアクティビティＡＣＴi、ＡＣＴp、ＡＣＴbと、直前に符号化した同じピクチャタイプの画像のアクティビティＡＣＴi-p、ＡＣＴp-p、ＡＣＴb-pの比率（ＡＣＴi／ＡＣＴi-p）、（ＡＣＴp／ＡＣＴp-p）、（ＡＣＴb／ＡＣＴb-p）が計算される。そして、この計算されたＩ、Ｐ、Ｂピクチャごとの比率（現在のアクティビティ／直前のアクティビティ）が一定範囲を超えたとき、例えば、比率＜Ａmin又は比率＞Ａmax（０＜Ａmin＜１、Ａmax＞１）の場合、これら２つの画像の間でシーンチェンジが起こったとシーンチェンジ検出器２８は判定し、このフレームの位置情報を画面複雑度算出器２４に送る。シーンチェンジが起こったと判定されたとき、これから符号化する現在の画像を以後、シーンチェンジ画像と呼ぶ。

シーンチェンジが発生したというフレームの位置情報が画面複雑度算出器２４に送られると、画面複雑度算出器２４では、Ｐ及びＢピクチャについて、シーンチェンジ画像における発生符号量の増加を抑制するための画面複雑度の推定が行われる。ここで、先に求めた実測画面複雑度Ｘi-p、Ｘp-p、Ｘb-pは、シーンチェンジが発生しない場合にはその次の同じピクチャタイプの画面複雑度Ｘi、Ｘp、Ｘbの推定に使用するため、画面複雑度メモリ２４Ｍに貯えられる。
そして、本発明では、シーンチェンジが発生した場合、Ｐピクチャの推定画面複雑度Ｘpを算出する際にＰピクチャとは異なるＩピクチャの実測画面複雑度Ｘi-pを用い、Ｂピクチャの推定画面複雑度Ｘbを算出する際にＢピクチャとは異なるＰピクチャの実測画面複雑度Ｘp-pを用いる。シーンチェンジによって、Ｐピクチャではイントラ・マクロブロックが増大するが、もともとイントラ・マクロブロックで構成されるＩピクチャの実測画面複雑度Ｘi-pを利用し、Ｂピクチャでは双方向予測が減少するが、もともと双方向予測のないＰピクチャの実測画面複雑度Ｘp-pを利用することにより発生符号量の増加を抑制することができる。

また、シーンチェンジ画像の次の同じピクチャタイプのＰ又はＢピクチャについては、シーンチェンジ画像により増加した発生符号量から計算されるＰ、Ｂピクチャの画面複雑度Ｘp-p、Ｘb-pを基準としてそれぞれＰ、Ｂピクチャの推定画面複雑度Ｘp、Ｘbを計算すると、推定画面複雑度Ｘp、Ｘbが必要以上に大きな値となってしまう。そこで、Ｐ、Ｂピクチャの実測画面複雑度Ｘp-p、Ｘb-pの代わりに、シーンチェンジ画像の時点で画面複雑度メモリ２４Ｍに貯えられたＰ、Ｂピクチャの実測画面複雑度Ｘp-pold、Ｘb-poldと、その実測画面複雑度Ｘp-pold、Ｘb-poldの対象となったＰ、ＢピクチャのアクティビティＡＣＴp-pold、ＡＣＴb-poldと、これから符号化する現在の画像のＰ、ＢピクチャのアクティビティＡＣＴp、ＡＣＴbから次式（５）（６）によってＰ、Ｂピクチャの画面複雑度Ｘp、Ｘbを推定することにより、画面複雑度の適正化が図られる。
Ｘp＝Ｘp-pold＊（ＡＣＴp／ＡＣＴp-pold）（５）
Ｘb＝Ｘb-pold＊（ＡＣＴb／ＡＣＴb-pold）（６）
なお、画面複雑度メモリ２４Ｍには、シーンチェンジ画像における実測画面複雑度Ｘp-pold、Ｘb-poldの他に、各ピクチャタイプにおける直前数フレームの画像のＰ、ＢピクチャのアクティビティＡＣＴp-pold、ＡＣＴb-poldが貯えられる。

第１の実施の形態においては、Ｐ、Ｂピクチャのシーンチェンジ画像ではそれぞれ過去に算出されたＩ、Ｐピクチャの実測画面複雑度Ｘi-p、Ｘp-pを用いて推定画面複雑度Ｘp、Ｘbを算出し、シーンチェンジ画像の次の同じピクチャタイプのＰ又はＢピクチャについては式（５）（６）によって推定画面複雑度Ｘp、Ｘbを算出し、それ以外の通常のＰ、Ｂピクチャ及びＩピクチャについては、実測画面複雑度をＭＰＥＧ２ Test Model ５の式（２）〜（４）のＸi、Ｘp、Ｘbに代入して、これから符号化する画像の目標割当符号量Ｔi、Ｔp、Ｔbを決定することにより、シーンチェンジに対応した符号量割当を行うことができる。そして、この目標割当符号量Ｔi、Ｔp、Ｔbと、バッファ１６で検出される各マクロブロックの発生符号量を基に、ＭＰＥＧ２ Test Model ５の方法を用いて各マクロブロックの量子化スケールを決定する。

なお、画像特性検出器２５からは符号量制御器１４へも各マクロブロックのアクティビティＡＣＴi、ＡＣＴp、ＡＣＴbが送られ、ＭＰＥＧ２ Test Model ５におけるアクティビティに基づいて各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像（ＤＣＴ後の分割された原動画像又は動き補償予測の誤差画像ブロック）がこの量子化スケールで量子化器１３で量子化され、可変長符号化器１５で可変長符号化されて、次のバッファ１６で時間調整された後に符号が出力される。量子化器１３のマクロブロックごとの量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。

＜第２の実施の形態＞
第１の実施の形態では、符号化時にシーンチェンジ検出をしているが、図２に示す第２の実施の形態のように、シーンチェンジ検出を符号化前にしていてもよい。第２の実施の形態に用いる符号化回路部分は第１の実施の形態と同様である。符号化の順番が入力順ではなく、いったんフレームメモリ（ＦＭ）１０に蓄えられてから、所定の符号化順に可変長符号化器１５に入力、符号化される。

一方、画像特性検出器２５には、入力された順番でアクティビティＡＣＴi、ＡＣＴp、ＡＣＴbが計算され、フレーム単位で加算される。その結果がシーンチェンジ検出器２８に供給される一方、符号量計算で利用するためにメモリ（図示しない）に保存される。シーンチェンジ検出器２８では、現在の画像のアクティビティＡＣＴと、直前に入力された画像のアクティビティＡＣＴ-pの比率（ＡＣＴ／ＡＣＴ-p）が計算される。そして、この計算された比率（現在のアクティビティ／直前のアクティビティ）が一定範囲を超えたとき、例えば比率＜Ａmin又は比率＞Ａmax（０＜Ａmin＜１、Ａmax＞１）の場合、シーンチェンジ検出器２８はこれら２つの画像の間でシーンチェンジが起こったと判定し、このフレームの位置情報を画面複雑度算出器２４に送る。

画面複雑度算出器２４では、上記の判定情報をいったん画面複雑度メモリ２４Ｍに保存し、Ｉ、Ｐピクチャに符号化する時に参照する。このときシーンチェンジと判定された画像が存在すれば、符号化する現在の画像をシーンチェンジと判定する。図３に入力画像と符号化画像の関係を示し、ここではピクチャＢ４に符号化する画像の手前でシーンチェンジがある。シーンチェンジ検出器２８ではピクチャＢ４に符号化する画像が入力されたときにシーンチェンジであると判定され、画面複雑度算出器２４に送られる。この情報はＩ又はＰピクチャに符号化するときに参照され、ここではピクチャＰ５に符号化するときに参照され、シーンチェンジが検出されているのでピクチャＰ５がシーンチェンジ画像となる。

その後、画面複雑度算出器２４では、シーンチェンジ画像における発生符号量の増加を抑制するためのＰピクチャの画面複雑度Ｘpの推定が行われる。シーンチェンジ画像におけるＰピクチャの推定画面複雑度Ｘpは、Ｉピクチャの実測画面複雑度Ｘi-pを用いる。また、シーンチェンジ画像の次の１つあるいは複数のＢピクチャの推定画面複雑度Ｘbに関しては、シーンチェンジ画像符号化直前のＰピクチャの画面複雑度Ｘp-poldを使用する。シーンチェンジでは双方向予測が減少するが、もともと双方向予測のないＰピクチャの画面複雑度Ｘp-pを利用することにより発生符号量の増加を抑制することができる。

また、第２の実施の形態では、シーンチェンジ画像のピクチャタイプは変更されていないが、イントラ・マクロブロックが増大することから、シーンチェンジ画像がＰピクチャの時はＩピクチャにピクチャタイプを変更して符号化することも可能である。

＜第３の実施の形態＞
第３の実施の形態はインターレース画像の符号化装置であり、第２の実施の形態のシーンチェンジ検出器２８内に動き検出回路（図示省略）を追加したものである。シーンチェンジ検出器２８内の動き検出回路以外の動作は第２の実施の形態とほぼ同様である。インターレース画像では１フレームが２フィールドで構成されているため、画像特性検出器２５でアクティビティＡＣＴを計算する際にマクロブロックを１６×１６画素として処理するフレームアクティビティＦＲＭＡＣＴと、１６×８×２画素として処理するフィールドアクティビティＦＬＤＡＣＴとを計算し、１フレーム分の結果がシーンチェンジ検出器２８内の動き検出器に送られる。

動き検出器ではフレームアクティビティＦＲＭＡＣＴとフィールドアクティビティＦＬＤＡＣＴの比＝ＦＲＭＡＣＴ／ＦＬＤＡＣＴを計算し、ある一定値Ａより大きいときは対象としている画像が動いている状態であると判断し、それ以外のときには静止している状態と判断し、その状態情報を画面複雑度算出器２４に送る。
動いている状態：ＦＲＭＡＣＴ／ＦＬＤＡＣＴ＞Ａ
静止している状態：ＦＲＭＡＣＴ／ＦＬＤＡＣＴ≦Ａ

画面複雑度算出器２４では、Ｐ、Ｂピクチャの各推定画面複雑度Ｘp、Ｘbを算出する際、参照画像と現在符号化しようとしている画像の動きの状態が同一であれば、従来例（特許文献３）と同様に同じピクチャタイプの実測画面複雑度Ｘp-p、Ｘb-pを使用し、異なるときは、第１の実施の形態と同様に、異なるピクチャタイプであるＩ、Ｐのピクチャの各実測画面複雑度Ｘi-p、Ｘp-pを使用する。このように、イントラ・マクロブロックが増大すると予想されるＰピクチャでは、もともとイントラ・マクロブロックで構成されるＩピクチャの画面複雑度Ｘi-pを利用し、双方向予測の減少が予想されるＢピクチャではもともと双方向予測のないＰピクチャの画面複雑度Ｘp-pを利用することにより発生符号量の増加を抑制することができる。

本発明に係る動画像符号化装置の第１の実施の形態を示すブロック図である。第２の実施の形態の動画像符号化装置を示すブロック図である。第２の実施の形態の入力画像と符号化画像の関係を示す説明図である。従来の動画像符号化装置を示すブロック図である。符号化ピクチャ構造の一例を示す説明図である。従来の他の動画像符号化装置を示すブロック図である。

符号の説明

１１減算器
１２ＤＣＴ器
１３量子化器
１４符号量制御器
１５可変長符号化器
１６バッファ
１７逆量子化器
１８ＩＤＣＴ器
１９動き補償予測器
２０加算器
２１フレームメモリ
２２平均量子化スケール検出器
２３発生符号量検出器
２４画面複雑度算出器
２４Ｍ画面複雑度メモリ
２５画像特性検出器
２８シーンチェンジ検出器

Claims

入力動画像及び入力動画像の動き補償予測誤差を直交変換し、直交変換された係数を量子化スケールに基づいて量子化して可変長符号化するとともに、発生符号量を前記量子化スケールにより制御する動画像符号化手段と、
前記入力動画像についてマクロブロック単位で検出されたＩ、Ｐ、Ｂピクチャごとのアクティビティがフレーム単位で加算されて得られる画像特性を検出する画像特性検出手段と、
前記画像特性検出手段により検出されたこれから符号化する現在の画像のＩ、Ｐ、ＢピクチャごとのアクティビティＡＣＴi、ＡＣＴp、ＡＣＴbと、直前に符号化した同じピクチャタイプの画像のアクティビティＡＣＴi-p、ＡＣＴp-p、ＡＣＴb-pの比率（ＡＣＴi／ＡＣＴi-p）、（ＡＣＴp／ＡＣＴp-p）、（ＡＣＴb／ＡＣＴb-p）を計算し、その結果得られたＩ、Ｐ、Ｂピクチャごとの比率（現在のアクティビティ／直前のアクティビティ）が一定範囲を超えたとき、シーンチェンジであると判定するシーンチェンジ検出手段と、
前記量子化スケールの１フレームの平均量子化スケールを検出する平均量子化スケール検出手段と、
前記符号化により発生した１フレームの符号量を検出する発生符号量検出手段と、
前記平均量子化スケール検出手段により検出された各フレームの平均量子化スケールと、前記発生符号量検出手段により検出された各フレームの符号量とが乗算されて得られるＭＰＥＧ２Test Model 5におけるComplexityに相当する各フレームのＩ、Ｐ、Ｂピクチャごとの実測画面複雑度Ｘi-p、Ｘp-p、Ｘb-pを求め、前記シーンチェンジ検出手段によりシーンチェンジであると判定されたとき、これから符号化する画像であるシーンチェンジ画像については、Ｐピクチャの推定画面複雑度Ｘpを算出する際にＰピクチャとは異なるＩピクチャの前記実測画面複雑度Ｘi-pを用い、Ｂピクチャの推定画面複雑度Ｘbを算出する際にＢピクチャとは異なるＰピクチャの前記実測画面複雑度Ｘp-pを用いることにより、過去に算出された前記実測画面複雑度により、入力画像の推定画面複雑度を算出し、前記シーンチェンジ画像の次の同じタイプのＰ又はＢピクチャについては、Ｐ、Ｂピクチャの実測画面複雑度Ｘp-p、Ｘb-pの代わりに、前記シーンチェンジ画像の時点で保持されたＰ、Ｂピクチャの実測画面複雑度Ｘp-pold、Ｘb-poldと、その実測画面複雑度Ｘp-pold、Ｘb-poldの対象となったＰ、Ｂピクチャの前記画像特性としてのアクティビティＡＣＴp-pold、ＡＣＴb-poldと、これから符号化する現在の画像のＰ、ＢピクチャのアクティビティＡＣＴp、ＡＣＴbから次の２つの式
Ｘp＝Ｘp-pold＊（ＡＣＴp／ＡＣＴp-pold）
Ｘb＝Ｘb-pold＊（ＡＣＴb／ＡＣＴb-pold）
によってＰ、Ｂピクチャの画面複雑度Ｘp、Ｘbを推定することにより、画面複雑度の適正化を図るよう構成された画面複雑度算出手段と、
前記画面複雑度算出手段により算出された推定画面複雑度により次に符号化する画像の前記量子化スケールを決定する手段とを備え、
前記画面複雑度算出手段は、前記過去に算出された実測画面複雑度として、前記シーンチェンジ検出手段によりシーンチェンジと判定されない画像を符号化する場合には過去に算出された同じピクチャタイプの実測画面複雑度を用いるよう構成された動画像符号化装置。
前記画面複雑度算出手段は、インターレース画像のフレームアクティビティとフィールドアクティビティとの比が一定値より大きいときは、符号化する画像が動いていると判断し、それ以外のときは静止していると判断し、静止していると判断された場合には過去に算出された同じピクチャタイプの実測画面複雑度を用い、動いていると判断された場合にはＰピクチャではＩピクチャの画面複雑度を用い、ＢピクチャではＰピクチャの実測画面複雑度を用いて前記推定画面複雑度を算出することを特徴とする請求項１に記載の動画像符号化装置。