JP4293112B2 - 画像符号化装置と方法 - Google Patents

Description

本発明は画像処理技術に関するものであり、特に、連続する画像にシーンチェンジがあった場合にバッファにアンダーフローまたはオーバーフローなどの破綻を起こさせず、さらに好適には符号化画像の画質の劣化なく処理可能にした画像処理装置とその方法に関する。

通常、画像符号化装置において、固定符号化レート（ＣＢＲ：Constant Bit Rate）または可変符号化レート（ＶＢＲ：Variable Bit Rate）で画像信号を符号化してビットストリームとして出力する。
ＣＢＲで符号化されたビットストリームは、一定のビットレートを有し、目標ビットレートを大きく逸脱することはない。これに対して、ＶＢＲで符号されたビットストリームは、符号化対象となる画像信号の特徴などに応じて変化するからビットレートが一定ではない。ただし、この場合においても、規格によって定められた最大ビットレートを越えない範囲内において画像信号に対して圧縮符号化処理が行われる。

ディジタル化した動画像信号を符号化する場合、符号化ビットレート制御が行われる。符号化ビットレート制御とは、符号化によって発生する符号系列をある一定の時間幅でみたときに所望のビットレートになるよう制御することである。

これまで、動画像を高能率で圧縮符号化するための規格が複数提案されている。そのなか、ＭＰＥＧ２規格が動画像符号化の標準規格として現在通信、放送および記録媒体への蓄積など様々な応用分野で注目を集め、実用化されつつある。その一つの応用例であるＤＶＤ（Digital Versatile Disc）は、ＭＰＥＧ２規格に準じて動画像を圧縮符号化したデータを保存する記録媒体として、大容量、低コストかつ扱いが簡単なため、今後ますますの普及が期待されている。

ＭＰＥＧ２規格では、ビットレートを制御する符号化制御について規定されていない。このため、符号化情報量は規格によって定められた範囲内にあればよい。

特許文献１は、実時間処理が要求されるアプリケーションにおいて可変符号化レートでの動画像の圧縮符号化処理を実現できる画像符号化装置及びその処理方法を開示している。特許文献１に開示されている技術は、要約すれば、量子化（Ｑ）スケールを制御することにより行なうＶＢＲレート制御技術である。

また特許文献１に開示された技術は、画像全体の平均ビットレートが一定の基準になるように、ＧＯＰ単位、たとえば、１５ピクチャ以上の単位で符号化レート制御を行う。ＧＯＰ毎の目標ビット量を予め設定し、各ＧＯＰの発生ビット量が目標ビット量からのずれに応じて、Ｑスケールを制御することにより、ＱスケールがＧＯＰ単位に緩やかに変化し、かつ画像全体のビットレートが目標ビットレートから大きく逸脱しない範囲内に保持される。

しかしながら、連続するピクチャにおいて、画像内容が大きく変化すると、前のピクチャと今回のピクチャとの変化分を抽出するのではなく、たとえば、大きく変化したピクチャ（フレーム）全体を符号化する。
そのため、連続するピクチャについて、画像内容が大きく変化したこと、すなわち、シーンチェンジ（ＳＣ）を検出する。

シーンチェンジを検出した後の処理の方法を例示する。
シーンチェンジが起きると前後のフレームの画像（ピクチャ）間の相関が低くなり圧縮効率が稼げなくなるため、目標ビット量を固定した同一発生ビット量のレート制御、すなわち、固定ビットレート（ＣＢＲ）方式によるレート制御では、符号化画像に画質劣化が生じる。
そこで、シーンチェンジでの符号化画像の画質劣化を抑える処理として、一般的に、可変ビットレート（ＶＢＲ）方式に基づき、符号化によって発生するビットの目標値、すなわち、目標ビット量を増加させることにより発生ビット量を増加することを許容して、符号化処理して、符号化画像の画質劣化を防いでいる。
ＷＯ００／６５８４２（ＰＣＴ／ＪＰ００／０２５９２）

しかし、たとえば、アニメーション映画の戦闘シーンなどのように動きが早いピクチャが連続する場合とか、フラッシュが多いシーンが連続する場合とか、撮像装置のカメラの切替えが多いときなど、シーンチェンジが連続して発生した場合、上述した目標ビット量を変換させる方法でシーンチェンジのたびに発生ビット量を増加し続けると、目標とする発生ビット量からの逸脱が大きくなり、可変ビットレート（ＶＢＲ）方式によるレート制御といえども、発生ビット量を抑える制限が必要になってくる。

たとえば、シーンチェンジが発生したとき、上述した目標ビット量からのずれ修正以外にも、発生ビット量が多すぎることにより生じる画像符号化装置内のＶＢＶバッファ（図１を参照して後述する）のアンダーフロー等の画像符号化装置におけるシステム破綻回避処理としても、発生ビット量を抑える必要が生じてくる。

発生ビット量を抑える方法としては、画像符号化装置内の画像圧縮符号化部におけるＤＣＴ係数を強制的にカットして０に置き換えることや、符号化対象の画像のうちシンタックス（文脈）的に必要な最小限のストリームに置き換えることにより、連続するピクチャのうち、あるピクチャをスキップさせてしまうことが考えられる。

しかし、これらの処理により生じる符号化画像の画質劣化は大きく、シーンチェンジに応じて発生ビット量を増やして改善したシーンチェンジでの画質のメリットに比べ、デメリットの方が大きいと言う問題がある。

本発明は、連続する画像にシーンチェンジがあった場合にバッファにアンダーフローまたはオーバーフローなどの破綻を起こさせない、画像符号化装置とその方法を提供することを目的とする。
本発明はさらに、バッファにアンダーフローまたはオーバーフローなどの破綻を起こさせず、符号化画像の画質の劣化なく処理可能にした画像処理装置とその方法を提供することを目的とする。

本発明の第１の観点によれば、連続する画像信号を圧縮符号化する画像圧縮符号化手段と、連続する画像信号についてシーンチェンジを検出し、さらにシーンチェンジが連続していることを検出する、シーンチェンジ検出・連続シーンチェンジ判定手段と、上記シーンチェンジ検出・連続シーンチェンジ判定手段において、シーンチェンジが連続していると判定したとき、上記画像圧縮符号化手段においてシーンチェンジに対して通常のレート制御で発生するビット量以上に発生ビット量を増加させて符号化処理する、上記増加させる発生ビット量を所定の増減ビットレートで徐々に減少させ、その後、シーンチェンジがなくなれば次にシーンチェンジが発生したときに上記画像圧縮符号化手段における増加させる発生ビット量を上記所定の増減ビットレートで徐々に回復させる目標ビット量増加量演算手段とを有し、上記画像圧縮符号化手段の符号化状態を記憶するバッファの破綻を防止する、画像符号化装置が提供される。
好適には、上記バッファの占有量を監視し、上記画像圧縮符号化手段におけるシーンチェンジに起因する発生ビット量が増加しすぎることにより生じるバッファの破綻が予測される場合には、上記画像圧縮符号化手段における発生ビット量が増加するシーンチェンジ対策処理を停止させる、シーンチェンジ処理オン・オフ判定手段をさらに有する。

本発明の第２の観点によれば、（ａ）連続する画像信号についてシーンチェンジを検出し、（ｂ）シーンチェンジが連続したとき、シーンチェンジに対して通常のレート制御で発生するビット量以上に発生ビット量を増加させる、可変ビットレート方式のビットレート制御を行う画像圧縮符号化手段に対して、上記増加させる発生ビット量を所定の増減ビットレートで徐々に減少させ、（ｃ）その後、シーンチェンジがなくなれば次にシーンチェンジが発生したときに上記画像圧縮符号化手段における増加させる発生ビット量を上記所定の増減ビットレートで徐々に回復させ、上記画像圧縮符号化手段の符号化状態を記憶するバッファの破綻を防止する、画像符号化方法が提供される。
好適には、上記バッファの占有量を監視し、上記画像圧縮符号化手段におけるシーンチェンジに起因する発生ビット量が増加しすぎることにより生じるバッファの破綻が予測される場合には、上記画像圧縮符号化手段における発生ビット量が増加するシーンチェンジ対策処理を停止させる。

本発明によれば、シーンチェンジが連続して発生する画像が入力された場合には、発生ビット量を徐々に減少させるようにして、発生ビット量が増加しすぎることによるバッファ破綻あるいはバッファ破綻回避処理を未然に防止することができる。

また本発明によれば、シーンチェンジに対する処理により破綻が起きうるバッファの状態を監視し、破綻の危険性が高まれば発生ビット量が増加するシーンチェンジ処理をオフにして、バッファ破綻またはバッファ破綻処理を確実に回避することができる。

このように、本発明によれば、バッファが破綻することによる画像符号化装置のシステム的な問題、あるいは、バッファが破綻しないまでも、破綻を回避する処理に起因する符号化画質の劣化を防止することができる。

画像符号化装置
図１は、本発明の画像符号化装置の実施の形態の画像符号化装置１の構成図である。
画像符号化装置１は、制御処理部１０と、画像圧縮符号化部２０と、ＳＣ検出部３０と、連続シーンチェンジ（ＳＣ）判定部４０と、目標ビット量増加量演算部５０と、仮想バッファ確認用バッファ（ＶＢＶ：Virtual Buffer Verifier)６０と、シーンチェンジ（ＳＣ）処理オン・オフ判定部７０と、可変ビットレート（ＶＢＲ：Variable Bit Rate ）バッファ８０とを有する。
画像符号化装置１における画像入力部分としては、たとえば、ビデオカメラなどの撮像装置、または、他の記録媒体から画像信号を再生する画像再生装置などであり、何らかの手段で画像信号を生成し、かつ、アナログ形式の画像信号をディジタル信号に変換する機能を有するものであればよい。
以下、画像符号化装置１の各部の構成と処理内容について述べる。

制御処理部
制御処理部１０は本発明の制御処理手段を構成しており、入力画像信号Ｓ１を入力し、入力画像信号Ｓ１の特徴などに応じて画像圧縮符号化部２０に符号化パラメータＰ１０および制御信号Ｓ１０を出力する。
なお、符号化パラメータＰ１０は、目標符号化レート、最大符号化レート、可変ビットレート指示信号、量子化スケールＱＳＣなどを含む。

画像圧縮符号化部（エンコーダ）
画像圧縮符号化部（エンコーダ）２０は、本発明の符号化手段に該当しており、制御処理部１０からの符号化パラメータＰ１０および制御信号Ｓ１０に応じて、ディジタル入力画像信号Ｓ１を所定のアルゴリズム、たとえば、ＭＰＥＧ２規格に基づくアルゴリズムに基づいて圧縮符号化して、ビットストリームＳ２０を出力する。
ビットストリームＳ２０は、たとえば、記録再生装置に出力する。ビットストリームＳ２０は記録再生装置により記録媒体、たとえば、ＤＶＤに記録される。

シーンチェンジ（ＳＣ）検出部
ＳＣ検出部３０は、入力画像信号Ｓ１について連続するピクチャを比較してシーンチェンジを検出する。

連続シーンチェンジ（ＳＣ）判定部
連続ＳＣ判定部４０は、ＳＣ検出部３０がシーンチェンジを検出したとき、シーンチェンジが連続しているか否かを判定する。

目標ビット量増加量演算部
目標ビット量増加量演算部５０は、連続ＳＣ判定部４０においてシーンチェンジが連続している判定したとき、所定の増減ビットレートｂｒで目標ビット量ＴＢを変化させて、画像圧縮符号化部２０に指示する。

ＶＢＶバッファ
ＶＢＶバッファ６０は、画像圧縮符号化部２０における入力画像信号Ｓ１のエンコード（符号化）の際に、符号化した画像をデコードする（復号する）時のデコーダバッファの状態を仮想的に求め、デコーダバッファが破綻しないように、画像圧縮符号化部２０における各フレームの発生ビット量を制御するためのバッファである。

ＶＢＲバッファ
ＶＢＲバッファ８０は、可変ビットレート（ＶＢＲ）に基づく符号化レート制御を行うため、１ＧＯＰ（Group Of Picture) の目標ビット量ＴＢに対する、実際に発生したビット量の差を積算した値を記憶するためのバッファである。

シーンチェンジ（ＳＣ）処理オン・オフ判定部
ＳＣ処理オン・オフ判定部７０は、ＶＢＶバッファ６０の占有量、および、ＶＢＲバッファ８０の占有量を監視して、これらバッファに破綻が起きないように、画像圧縮符号化部２０におけるシーンチェンジに基づく発生ビット量の処理をオンまたはオフさせる。

画像圧縮符号化部
図２は画像圧縮符号化部２０の一構成を示す図である。
画像圧縮符号化部２０は、加算器２０１、離散コイサン変換処理部（ＤＣＴ（Discrete Cosine Transform ）処理部）２０２、量子化部２０３、可変長符号化部（ＶＬＣ）２０４、逆量子化部２０５、逆ＤＣＴ部２０６、加算器２０７、フレームメモリ２０８、動き検出部２０９、動き補償部２１０、切り換え回路２１１および符号化制御部２１２を有する。

画像圧縮符号化部２０に入力されたディジタル画像信号Ｓ１は、加算器２０１において切り換え回路２１１から入力される以前の再生画像信号との差分が求められ、その差分がＤＣＴ部２０２に出力される。
イントラピクチャ（Ｉピクチャ）モードの時には、切り換え回路２１１からは有意な画像が入力されないので（図２では、このモードにおける切り換え回路２１１からの出力を０としている）、加算器２０１に入力された画像データがそのままＤＣＴ部２０２に出力される。
動き補償予測モードの時には、切り換え回路２１１からはその前の再生画像に基づいた画像データが入力されるので、その差分を加算器２０１で求め、その誤差をＤＣＴ部２０２に入力する。

ＤＣＴ部２０２は、加算器２０１から入力された画像信号に対して、離散コサイン変換を行い、画像データの空間的冗長性を削減する。ＤＣＴによって得られた変換係数は、量子化部２０３に入力される。
量子化部２０３は、符号化制御部２１２を介して入力される制御処理部１０からの量子化スケールＱＳＣに従って、ＤＣＴ部２０２により得られた変換係数の量子化を行い、可変長符号化部２０４および逆量子化部２０５に出力する。このように、量子化部２０３の量子化スケールは制御処理部１０から量子化スケールＱＳＣを入力した符号化制御部２１２により制御される。

可変長符号化部２０４は、量子化部２０３において量子化された変換係数を可変長符号化し、符号化ビット列、すなわち、ビットストリームＳ２０を生成し、順次出力する。

符号化制御部２１２は、量子化部２０３の量子化レート（Ｑスケール）、フレームメモリ２０８への画像データの記録および切り換え回路２１１の切り換えなどを制御する。なお、符号化制御部２１２は、本発明のシーンチェンジに関する処理を行うが、その詳細は後述する。
符号化制御部２１２は、たとえば、制御回路１０から入力される目標ビットレートＢＲ_ｏｂｊ、最大ビットレートＢＲ_ｍａｘ、ＶＢＲ指示信号ＶＢＤおよび量子化スケールＱＳ
Ｃに応じて、量子化部２０３に所定の量子化スケールを設定し、量子化部２０３における量子化レートを制御する。

量子化部２０３で量子化された変換係数は逆量子化部２０５に入力される。量子化された変換係数は、逆量子化部２０５において逆量子化され、さらに、逆ＤＣＴ部２０６において逆離散コサイン変換（逆ＤＣＴ）が行われる。
動き補償予測を行うモードの時には、加算器２０７で、逆ＤＣＴが行われた画像信号と前記動き補償予測により得られた画像信号を加算して元の画像信号に戻し、フレームメモリ２０８に記録する。
イントラ（Ｉ）ピクチャモードの時には、逆ＤＣＴ部２０６で逆ＤＣＴされた画像信号がそのままフレームメモリ２０８に記録される。
動き補償予測を行う場合には、フレームメモリ２０８に記録されている画像信号が用いられる。すなわち、フレームメモリ２０８に記録されている画像信号に基づいて、次の画像ソース信号より動き検出部２０９において動き検出を行い、動きベクトルを検出する。さらに、その動きベクトルに基づいて、動き補償部２１０において動き補償予測を行う。この動き補償予測により得られた画像信号を切り換え回路２１１を介して加算器２０１に出力し、入力された画像ソース信号の差分を求める。

このように、画像圧縮符号化部２０によって、入力されたディジタル画像データＳ１が符号化され、ビットストリームＳ２０が生成される。
好適には、マクロブロック（ＭＢ）毎に量子化スケールが設定されると、画像圧縮符号化部２０は、これをベースに、たとえば、ＭＰＥＧ２のＴＭ（テストモデル）５における符号化レート制御のステップ３に基づいた視覚効果を狙った量子化スケールの変更を行い、これを量子化に用いる。そしてＭＢ毎に発生されるビットストリームを出力する。

以上のように、画像圧縮符号化部２０は、制御処理部１０から符号化パラメータＰ１０として出力される、目標ビットレートＢＲ_ｏｂｊ、最大ビットレートＢＲ_ｍａｘ、ＶＢＲ
指示信号ＶＢＤ、および、量子化スケールＱＳＣに応じて、入力ディジタル画像信号Ｓ１を、たとえば、ＭＰＥＧ２規格に基づいて、圧縮符号化し、ビットストリームＳ２０を出力する。さらに、画像圧縮符号化部２０は、圧縮符号化で生成したビット量を示す発生ビット量ＢＱＴおよび画像符号化種類を示すＰＣＴ信号を生成する。
このように、画像圧縮符号化部２０は、入力画像信号Ｓ１の特徴、画像の変化にあわせて最適な符号化レートを求め、その符号化レート（量子化スケールＱＳＣ）に基づいて、画像の複雑さ、連続する画像の変化に則して、画像全体の画質の均一化と圧縮効率の向上を図る。
画像圧縮符号化部２０により画像データが圧縮符号化された結果、ビットストリームＳ２０のデータ量が圧縮符号化前の入力画像信号Ｓ１に比べてはるかに低減される。このため、画像圧縮符号化部２０により圧縮符号化したビットストリームＳ２０を情報伝送、蓄積することによって、伝送路の伝送容量又は画像記録媒体の記憶容量を大幅に低減できる。

画像圧縮符号化部２０の符号化制御部２１２は、量子化スケールによる符号化レート制御がうまくいかず、ＶＢＶバッファ６０がアンダーフローしそうになるとき、ＤＣＴ係数を強制的にカットするなどしてこれを防止するなど、通常のＭＰＥＧ２の画像符号化装置としての一般的な機能も有する。
この詳細は後述する。

シーンチェンジ（ＳＣ）検出部
シーンチェンジ（ＳＣ）検出部３０は、フレームごと連続して入力されるディジタル画像信号（ピクチャ）Ｓ１について、時間的に隣り合う（フレームが連続する）２枚のピクチャを比較し、２枚のピクチャに相関がなければその２枚のピクチャの間でシーンチェンジ（ＳＣ）が発生したと検出し、ＳＣを示すＳＣ検出結果を出力する。ＳＣ検出結果は、画像圧縮符号化部２０および連続シーンチェンジ（ＳＣ）判定部４０に入力される。
ＳＣ検出部３０における、上記比較および相関の有無の判定方法としては、たとえば、２枚のピクチャのヒストグラムを求め、両者のヒストグラムの差を求め、ヒストグラムの差がしきい値を越えたか否かにより、ＳＣが発生したか否かを判定する。

連続シーンチェンジ（ＳＣ）判定部
連続シーンチェンジ（ＳＣ）判定部４０は、シーンチェンジ（ＳＣ）検出部３０からＳＣ検出結果が入力されるたびに、シーンチェンジが連続しているか否かを判定する。
連続ＳＣ判定部４０において、連続シーンチェンジと判定する基準は、第１判定基準として、フレーム単位でシーンチェンジが連続している場合（イントラ・ピクチャのシーンチェンジ）の場合、および、第２判定基準として、フレームごとのシーンチェンジを検出する第１判定基準に限らず、たとえば、図３に図解したように、シーンチェンジがあったフレーム（ピクチャ）の次のＰピクチャに対してシーンチェンジ処理を行なう場合も対象とする。

図３はシーンチェンジの検出状態を示す図である。
図３において、ＢはＢピクチャ、すなわち、双方向予測ピクチャを示し、ＩはＩピクチャ、すなわち、イントラピクチャを示し、ＰはＰピクチャ、すなわち、前方向予測ピクチャを示す。このようなピクチャが複数集合したものが、１ＧＯＰを構成する。

連続ＳＣ判定部４０は、第２判定基準のシーンチェンジ判定に関して、Ｐピクチャに対して連続してシーンチェンジ処理が行なわれる場合、連続シーンチェンジと判定する。
連続ＳＣ判定部４０における連続シーンチェンジの判定結果は、第１判定基準による場合も第２判定基準による場合も、目標ビット量増加量演算部５０に入力される。

なお、連続シーンチェンジ（ＳＣ）判定部４０は、アップ・ダウンカウンタを有しており、シーンチェンジ（ＳＣ）検出部３０からＳＣ検出結果が入力されると、アップ・ダウンカウンタの値を１増加させ、次のフレームでＳＣ検出結果が入力されないと、アップ・ダウンカウンタの値を１つ減じる。
このように、連続ＳＣ判定部４０はシーンチェンジが連続する数を把握している。

画像圧縮符号化部の符号化制御部
画像圧縮符号化部２０の符号化制御部２１２は、シーンチェンジ検出部３０からシーンチェンジが検出されたことを示すＳＣ結果情報が入力されると、たとえば、画像圧縮符号化部２０内で、次のＰピクチャをエンコードする時に、シーンチェンジ処理として以下の処理を行なう。ただし、次フレームのＰピクチャをエンコードする前にＩ（イントラ）ピクチャをエンコードする場合は、シーンチェンジ処理は行なわないとする。

（１）マクロブロック（ＭＢ）タイプをすべてイントラ（Ｉ）マクロブロックにする。
（２）発生ビット量を増加させる。

発生ビット量の増加方法としては、本実施の形態の可変ビットレート（ＶＢＲ）では最大（MAX）と最小（MIN）のビットレートを固定ビットレート（ＣＢＲ）で制限を加えているが、最大と最小のビットレートを制限するＣＢＲの、そのフレームに対する目標ビット量ＴＢを増加させる。
増加させて設定する量は、たとえば、Ｉピクチャをエンコードする際に設定する目標ビット量ＴＢと同じ値とすることで、Ｉピクチャ程度のビット量が発生するようにする。
ただし、シーンチェンジが連続する場合は、図４を参照して述べるように、増加量を徐々に減少させるようにする。

目標ビット量増加量演算部
連続シーンチェンジ判定部４０において、シーンチェンジが連続しているかどうかを判定したとき、その判定結果に基づき、目標ビット量増加量演算部５０において、目標ビット量ＴＢとして、１００％からの所定の増減ビットレートｂｒ、たとえば、ｂｒ＝３％ずつの減少、あるいは、３％ずつの回復の演算を行なう。

図４はシーンチェンジの発生状況と目標ビット量との関係を示すグラフである。
図４に示すように、目標ビット量増加量演算部５０は、たとえば、画像圧縮符号化部２０においてＩピクチャをエンコードする際に設定する目標ビット量ＴＢを１００％とし、シーンチェンジが検出されない場合にＰピクチャに設定する目標ビット量ＴＢを０％とする。
目標ビット量増加量演算部５０は、シーンチェンジ（ＳＣ）検出部３０においてシーンチェンジが検出された場合の目標ビット量ＴＢの設定値は１００％とするが、連続シーンチェンジ（ＳＣ）判定部４０で判定した結果シーンチェンジが連続する場合は設定する目標ビット量ＴＢを所定の比率の増減ビットレートｂｒ、たとえば、ｂｒ＝３％ずつ減少させる。
シーンチェンジ検出部３０においてシーンチェンジが検出されなくなった場合は、目標ビット量増加量演算部５０は、次にシーンチェンジが検出された場合に設定する目標ビット量ＴＢは上記所定の増減ビットレートｂｒ、たとえば、ｂｒ＝３％で回復（増加）させるが、このときはシーンチェンジが検出されていないので、実際に設定する目標ビット量ＴＢは０％となる。また回復させる目標ビット量ＴＢは上限を１００％とする。

連続シーンチェンジ判定部４０における判定の結果、シーンチェンジの連続が続き、設定する目標ビット量ＴＢが０％を下回る時は、目標ビット量増加量演算部５０は、目標ビット量ＴＢの下限を０％に制限する。

画像圧縮符号化部２０の符号化制御部２１２において、シーンチェンジ検出部３０からシーンチェンジを検出したことを示すＳＣ結果信号が入力されると、目標ビット量増加量演算部５０から出力される増減ビットレートｂｒ（％）の値に相当する目標ビット量ＴＢを設定する。
逆に、シーンチェンジ検出部３０からシーンチェンジが検出されたことを示すＳＣ結果信号が入力されないと、画像圧縮符号化部２０の符号化制御部２１２において、目標ビット量ＴＢとして０％に相当する値を設定する。

このように、連続シーンチェンジに対する対策を行なうことにより、シーンチェンジ処理として目標ビット量ＴＢを強制的に増加させる処理が連続し発生ビット量が増加しすぎることによる、ＶＢＶバッファ６０のアンダーフロー、ＶＢＲバッファ８０のオーバーフローなどのバッファ破綻を未然に防ぐことが可能となる。

バッファ破綻処理
しかし、以上の処理だけでは確実に上述したＶＢＶバッファ６０と、ＶＢＲバッファ８０のバッファ破綻を回避できるとは限らないので、本実施の形態の画像符号化装置１においては、実際に破綻を起こす可能性があるバッファの占有量（記憶量）により、シーンチェンジ処理のオン・オフの切り替えを行なう。

破綻を起こす可能性があるバッファの一つとして、図１に示すＶＢＶバッファ６０がある。
ＶＢＶバッファ６０は、上述したように、画像圧縮符号化部２０における入力画像信号Ｓ１のエンコードの際にデコード時のデコーダバッファの状態を仮想的に求め、デコーダバッファが破綻しないように、画像圧縮符号化部２０に対して各フレームの発生ビット量を制御するバッファである。

可変ビットレート（ＶＢＲ）制御ではＶＢＶバッファ６０のオーバーフローは問題にならないが、画像圧縮符号化部２０の符号化制御部２１２において、アンダーフローに対しては絶対起きないように制御が行なわれる。
すなわち、ＶＢＶバッファ６０のアンダーフローが起きそうになると、符号化制御部２１２は、画像圧縮符号化部２０の量子化部２０３における量子化（Ｑ）スケールを極端に大きな値へ置き換える処理や、あるいはマクロブロックをスキップマクロブロックにするなどして、発生ビット量を抑える制御を行う。
符号化制御部２１２において、このような破綻回避処理が行なわれると、即座に符号化画像の画質劣化につながるので、ＶＢＶバッファ６０のアンダーフローが起きることはないにしても、そのためのＶＢＶバッファ６０のアンダーフロー回避処理が働くことは望ましくない。

シーンチェンジ処理オン・オフ判定部
そこで、本実施の形態の画像符号化装置１においては、シーンチェンジ（ＳＣ）処理オン・オフ判定部７０において、図５に示すように、ＶＢＶバッファ６０の占有量（記憶量）に閾値を設け、ＶＢＶバッファ６０の占有量がこの閾値以下になれば発生ビット量を強制的に増加させるシーンチェンジ処理は行なわないように管理する。
図５はＳＣ処理オン・オフ判定部７０が図１に図解したＶＢＶバッファ６０の占有量を管理する状態を示すグラフである。

このオン・オフを切り替えるＳＣ処理オン・オフ判定部７０におけるシーンチェンジ処理としては、直接的な発生ビット量の増加処理以外にも、発生ビット量増加につながるマクロブロックを全てイントラ（Ｉ）マクロブロックにする処理を加えても良い。

ＳＣ処理オン・オフ判定部７０におけるシーンチェンジ処理のオン・オフを決定するＶＢＶバッファ６０の占有量の閾値は、固定値でも良いが、図６に示すように、ビットレート応じて変化させても良い。
図６は、画像符号化装置１に図解したシーンチェンジ処理オン・オフ判定部７０が判定する、ビットレート（横軸）とＶＢＶバッファ６０の占有量（縦軸）との関係を示すグラフである。

すなわち、ビットレートが高くなるに従い１フレームの発生ビット量は増えるため、ＶＢＶバッファ６０のアンダーフローが起き易くなる。ＳＣ処理オン・オフ判定部７０は、画像圧縮符号化部２０の符号化制御部２１２のバッファ制御処理を継続させ、符号化制御部２１２は、ビットレートが高いほどＶＢＶバッファ６０の占有量の閾値を高く設定するようにする。

シーンチェンジ処理により破綻する可能性があるバッファとしては、ＶＢＶバッファ６０以外にも本実施の形態では図１に示すＶＢＲバッファ８０がある。
図７は図１に図解した画像符号化装置１におけるＶＢＲバッファ８０の占有（記憶）状態を示すグラフである。

ＶＢＲバッファ８０は、可変ビットレート（ＶＢＲ）制御において、１ＧＯＰの目標ビット量ＴＢに対する、実際に発生したビット量の差を積算したものである。
ＶＢＲバッファ８０の占有量（記憶量）が増加しているということは過剰にビットが発生している状態であり、画像圧縮符号化部２０における以降のエンコードにおいて発生ビット量を抑える必要がある。
逆に、ＶＢＲバッファ８０の占有量（記憶量）が減少しているということは過少にビットが発生している状態であり、画像圧縮符号化部２０における以降のエンコードにおいて発生ビット量を増加させる必要がある。

このようなＶＢＲバッファ８０のための発生ビット量の制御を行なうため、画像圧縮符号化部２０の符号化制御部２１２において、ＶＢＲバッファ８０の占有量を「リアクタ値」と呼ぶ係数で割った値を量子化（Ｑ）スケールコードとしてエンコードに用い、かつ、この操作をある長い期間、たとえば、１ＧＯＰ毎に行なうことで、本実施の形態では可変ビットレート（ＶＢＲ）制御を行なっている。

ＶＢＲバッファ８０の記憶量が増加を続け、リアクタ値で割った値が、３１を超えるような場合、ＭＰＥＧ２規格ではＱスケールコードの上限が３１であるため、発生ビット量を十分抑えられなくなる。
このような状態に陥ると、すなわち発生ビット量の誤差が過剰になると、たとえば、画像圧縮符号化部２０のビットストリームＳ２０を、たとえば、ある決められた記録容量の記録媒体、たとえば、ＤＶＤに記録できる時間が、目標としていたものに比べはるかに短くなるなどの不都合が生じる。
このような問題に対する対策として、たとえば、ＶＢＲバッファ８０の占有量がＱスケールコードに換算して３１を超えるような場合、画像圧縮符号化部（エンコーダ）２０の符号化制御部２１２は、１フレームの、たとえば、Ｂピクチャのビットストリームを、符号化画像の画質は無視して、ＭＰＥＧ２規格を満たすために必要な最小限のビットストリームに置き換える（スキップフレーム）などを行い、ＶＢＲバッファ８０がそれ以上増加しないようにする。

このような処理を行なうと、ＶＢＲバッファ８０についても、ＶＢＶバッファ６０の場合と同様に符号化画像の画質劣化につながるため、ＶＢＲバッファ８０の占有量がＱスケールコード換算で３１に近い値まで増加しないような制御を行なうべきである。

シーンチェンジ（ＳＣ）処理オン・オフ判定部
その制御の一つとして、シーンチェンジ（ＳＣ）処理オン・オフ判定部７０において、ＶＢＲバッファ８０の占有量の値に応じて、発生ビット量の増加につながるシーンチェンジ処理のオン・オフの切り替えを行なう。

図８（Ａ）、（Ｂ）は、図１に図解した画像符号化装置におけるＶＢＲバッファの制御方法を示すグラフである。
たとえば、図８（Ａ）に示すように、ある可変の設定閾値をＶＢＲバッファ８０の占有量が超えると、ＳＣ処理オン・オフ判定部７０は、シーンチェンジ処理の一つである、画像圧縮符号化部２０の符号化制御部２１２における、発生ビット量を強制的に増加させる処理をオフにして、その処理を終了させる。
これとは別の固定の閾値をＶＢＲバッファ８０の占有量が超えると、シーンチェンジ処理のもう一つである、画像圧縮符号化部２０の符号化制御部２１２における、マクロブロックを強制的に全てイントラ（Ｉ）マクロブロックに置き換える処理をオフにする。

ただし、各閾値の固定、可変の組み合わせは例示であり、これに限るものではなく、また２つの処理両方に対してオンとオフの制御を行なわなければならないわけではなく、どちらか一方でも構わない。

また、図８（Ｂ）に示すように、発生ビット量の増加オン・オフの切替えの閾値が高く設定された場合は、ＳＣ処理オン・オフ判定部７０は画像圧縮符号化部２０の符号化制御部２１２を介して、イントラ（Ｉ）マクロブロック化の閾値もこれに合わせ、固定値の閾値は無視して設定された閾値によりオン・オフを制御するようにしてもよい。

これらの処理により、画像圧縮符号化部２０における符号化制御部２１２の制御のもとでの、シーンチェンジ処理がオフになると、画像圧縮符号化部２０における符号化画像について、シーンチェンジ時の画質改善が行なわれなくなるが、シーンチェンジ処理がオフになる場合はＱスケールコードが高い状態であり、符号化した画像の画質がある程度劣化している状態であるので、シーンチェンジによる画質劣化があっても実質的に大きな問題とはならない。

シーンチェンジ時の画質劣化を改善する処理の副作用として、新たな画質劣化が発生する可能性があるが、本実施の形態の画像符号化装置１によれば、これを未然に防ぐことが可能となり、シーンチェンジ処理を有効に活用することが可能となる。

以上述べたように、本実施の形態は、可変ビットレート（ＶＢＲ）によるレート制御として、入力画像にシーンチェンジ（ＳＣ）があったとき、マクロブロック（ＭＢ）タイプや目標ビット量ＴＢを操作して、発生ビット量を特別に増加させる処理を行う、画像符号化装置、好適には、動画像符号化装置における処理として、シーンチェンジを検出し、シーンチェンジが連続して発生する画像が入力された場合には、発生ビット量を徐々に減少させるようにして、発生ビット量が増加しすぎることによるバッファ破綻あるいはバッファ破綻回避処理を未然に防ぐことができる。

さらに本実施の形態は、シーンチェンジに対する処理により破綻が起きうるバッファの状態を監視し、破綻の危険性が高まれば発生ビット量が増加するシーンチェンジ処理をオフにして、バッファ破綻またはバッファ破綻処理を確実に回避する。

本実施の形態は、以上の処理により、ＶＢＶバッファ６０または、ＶＢＲバッファ８０などのバッファがオーバーフローするとか、アンダーフローするなどのバッファが破綻することによる画像符号化装置のシステム的な問題、あるいは、バッファが破綻しないまでも、破綻を回避する処理に起因する符号化画質の劣化を防止することができる。

本発明の画像符号化装置の実施に際して、図１に図解した構成および上述して各構成要素における処理の分担は、例示である。
たとえば、シーンチェンジ（ＳＣ）検出部３０は連続シーンチェンジ（ＳＣ）判定部４０とを一体構成することもできる。
また、シーンチェンジ（ＳＣ）検出部３０と、連続シーンチェンジ（ＳＣ）判定部４０と、目標ビット量増加量演算部５０と、画像圧縮符号化部２０内の符号化制御部２１２と、シーンチェンジ（ＳＣ）処理オン・オフ判定部７０とを１つのコンピュータなどで実現することもできる。このように、上述した機能分担または処理分担は例示に過ぎず、画像符号化装置１全体として上述した処理が遂行されればよい。

画像圧縮符号化部２０における符号化方式として、ＭＰＥＧ２を例示したが、本発明の画像符号化装置はＭＰＥＧ２規格に限定されず、他のＭＰＥＧ規格、たとえば、ＭＰＥＧ４規格、あるいは、さらに他の符号化方式を適用することもできる。

図１は本発明の実施の形態の画像符号化装置の構成図である。 図２は図１に図解した画像圧縮符号化部（エンコーダ）の構成を示す図である。 図３はシーンチェンジの検出状態を示す図である。 図４はシーンチェンジの発生状況と目標ビット量との関係を示すグラフである。 図５は図１に図解したＶＢＶバッファの占有量を管理する状態を示すグラフである。 図６は、画像符号化装置に図解したシーンチェンジ処理オン・オフ判定部が判定する、ビットレート（横軸）とＶＢＶバッファの占有量（縦軸）との関係を示すグラフである。 図７は図１に図解した画像符号化装置におけるＶＢＲバッファの占有状態を示すグラフである。 図８（Ａ）、（Ｂ）は、図１に図解した画像符号化装置におけるＶＢＲバッファの制御方法を示すグラフである。

符号の説明

１…画像符号化装置
１０…制御処理部
２０…画像圧縮符号化部（エンコーダ）
２１２…符号化制御部
３０…シーンチェンジ（ＳＣ）検出部
４０…連続シーンチェンジ（ＳＣ）判定部
５０…目標ビット量増加量演算部
６０…ＶＢＶバッファ
７０…シーンチェンジ（ＳＣ）処理オン・オフ判定部
８０…ＶＢＲバッファ

Claims (12)

1. 連続する画像信号を圧縮符号化する画像圧縮符号化手段と、
   連続する画像信号についてシーンチェンジを検出し、さらにシーンチェンジが連続していることを検出する、シーンチェンジ検出・連続シーンチェンジ判定手段と、
   上記シーンチェンジ検出・連続シーンチェンジ判定手段において、シーンチェンジが連続していると判定したとき、上記画像圧縮符号化手段においてシーンチェンジに対して通常のレート制御で発生するビット量以上に発生ビット量を増加させて符号化処理する、上記増加させる発生ビット量を所定の増減ビットレートで徐々に減少させ、その後、シーンチェンジがなくなれば次にシーンチェンジが発生したときに上記画像圧縮符号化手段における増加させる発生ビット量を上記所定の増減ビットレートで徐々に回復させる目標ビット量増加量演算手段と
   を有し、
   上記画像圧縮符号化手段の符号化状態を記憶するバッファの破綻を防止する、
   画像符号化装置。
2. 上記目標ビット量増加量演算手段における上記所定の増減ビットレートは、上記画像圧縮符号化手段の符号化状態を示すデータを記憶するバッファの占有量に応じて規定する、
   請求項１に記載の画像符号化装置。
3. 上記バッファの占有量を監視し、上記画像圧縮符号化手段におけるシーンチェンジに起因する発生ビット量が増加しすぎることにより生じるバッファの破綻が予測される場合には、上記画像圧縮符号化手段における発生ビット量が増加するシーンチェンジ対策処理を停止させる、シーンチェンジ処理オン・オフ判定手段をさらに有する、
   請求項１または２に記載の画像符号化装置。
4. 上記バッファは、仮想バッファ確認用のＶＢＶバッファである、
   請求項１〜３のいずれかに記載の画像符号化装置。
5. 上記バッファは、可変ビットレート制御用ＶＢＲバッファである、
   請求項１〜４のいずれかに記載の画像符号化装置。
6. 上記画像圧縮符号化手段は、ＭＰＥＧ規格に基づく符号化処理を行う、
   請求項１〜５のいずれかに記載の画像符号化装置。
7. 連続する画像信号についてシーンチェンジを検出し、
   シーンチェンジが連続したとき、シーンチェンジに対して通常のレート制御で発生するビット量以上に発生ビット量を増加させる、可変ビットレート方式のビットレート制御を行う画像圧縮符号化手段に対して、上記増加させる発生ビット量を所定の増減ビットレートで徐々に減少させ、
   その後、シーンチェンジがなくなれば次にシーンチェンジが発生したときに上記画像圧縮符号化手段における増加させる発生ビット量を上記所定の増減ビットレートで徐々に回復させ、
   上記画像圧縮符号化手段の符号化状態を記憶するバッファの破綻を防止する、
   画像符号化方法。
8. 上記所定の増減ビットレートは、上記画像圧縮符号化手段の符号化状態を示すデータを記憶するバッファの占有量に応じて規定する、
   請求項７に記載の画像符号化方法。
9. 上記バッファの占有量を監視し、上記画像圧縮符号化手段におけるシーンチェンジに起因する発生ビット量が増加しすぎることにより生じるバッファの破綻が予測される場合には、上記画像圧縮符号化手段における発生ビット量が増加するシーンチェンジ対策処理を停止させる、
   請求項７に記載の画像符号化方法。
10. 上記バッファは、仮想バッファ確認用のＶＢＶバッファである、
    請求項７〜９のいずれかに記載の画像符号化方法。
11. 上記バッファは、可変ビットレート制御用ＶＢＲバッファである、
    請求項７〜１０のいずれかに記載の画像符号化方法。
12. 上記画像圧縮符号化手段は、ＭＰＥＧ規格に基づく符号化処理を行う、
    請求項７〜１１のいずれかに記載の画像符号化方法。
    

Images