JP5295089B2 - 画像符号化装置 - Google Patents

Description

本発明は、動画像データを圧縮符号化する画像符号化装置に関し、特に画像が有する特徴に応じて量子化を適応制御する画像符号化装置に関する。

動画像を圧縮する代表的な符号化方式として、ＭＰＥＧ−２、ＭＰＥＧ−４、及びＨ．２６４／ＭＰＥＧ−４ ＡＶＣ等が挙げられる。これらの圧縮符号化方式では、画像を特定の大きさのブロック（例えば１６×１６画素）である符号化ブロックに分割し、この符号化ブロック単位で符号化を行う。具体的には、符号化ブロック単位で動きベクトル検出、周波数変換、量子化処理及び可変長符号化処理等を行う。

量子化処理では、量子化の度合いを示す量子化ステップサイズを符号化ブロックごとに異なる値に設定できる。通常、予め定められたビットレートに収まるように符号化ブロックごとに量子化ステップサイズを制御する。

また、画像の特徴に応じて量子化ステップサイズを制御することにより、視覚的に良好な画像が得られることが知られている。例えば、通常の量子化ステップサイズに対して、劣化が目立つ部分に対しては量子化ステップサイズをより小さくして劣化を抑える。他方、劣化が目立たない部分に対しては量子化ステップサイズをより大きくして符号量を抑える。

劣化が目立つ箇所の一つに、動いている物体と背景との境界部分が挙げられる。例えば、画像内に動いている人物等の動物体が写っている場合、動物体と背景の境界部分にはモスキートノイズが発生し、符号化劣化が目立ちやすくなる。このモスキートノイズを軽減する方法として、特許文献１には、物体の境界部分を検出し、検出した部分の量子化ステップサイズを小さく制御することが記載されている。この従来技術では、符号化ブロックごとに、分散値、画像内の同一位置で時間的に過去の画像との画素差分値又は色情報等の特徴を用い、特徴の異なる部分を境界として検出する。

特開２００５−３２３３１２号公報

従来例では、画像の同一位置の画素差分情報を用いているので、例えばカメラがパンやチルトをしている場合など画像全体が動いている場合には、動いている物体と背景のどちらも、画素差分値が大きくなってしまう。この場合、どちらも動いている物体と認識され、これらを区別することができなかった。すなわち、従来例では、背景自体が動いている場合に、背景とは違う動きをしている動物体との境界を検出することができず、量子化ステップサイズの制御による画質改善効果を得られなかった。

本発明は、このような問題を解決し、背景自体が動いているような場合にも画質を改善出来る画像符号化装置を提示することを目的とする。

本発明に係る画像符号化装置は、所定の画素数から成る符号化ブロックを単位として画像データを圧縮符号化する符号化手段であって、前記符号化ブロックごとに量子化ステップサイズを設定して量子化可能な量子化手段を含む符号化手段と、前記量子化手段により量子化された画像データを逆量子化して復号化し、参照画像データを生成する局所復号化手段と、前記符号化ブロックを構成する複数のサブブロックごとに、前記参照画像データを参照して動きベクトルを検出する動きベクトル検出手段と、前記サブブロックごとの画像データと、前記動きベクトル検出手段が検出した動きベクトル位置における前記参照画像データとの画素差分情報に基づいて、前記符号化ブロックに含まれる動物体と背景部分との境界を検出する動物体境界検出手段と、前記量子化手段において設定される量子化ステップサイズを制御する量子化制御手段であって、前記動物体境界検出手段の検出結果に応じて、符号化対象の前記符号化ブロックに前記境界が検出された場合に設定される量子化ステップサイズを、前記境界が検出されない場合に設定される量子化ステップサイズより小さくする量子化制御手段とを有することを特徴とする。

本発明によれば、量子化を行うブロック単位で画像内の動物体と背景の境界を精度良く判定できる。境界位置として判定されたブロックの量子化ステップサイズを通常の量子化ステップサイズよりも小さくすることにより、動物体と背景の境界部分の劣化を抑え、視覚的に良好な画像を得ることができる。

本発明の符号化装置の実施例１を示すブロック図である。 動いている物体と背景の境界検出の例である。 適応量子化制御のフローチャートである。 動いている物体と背景の境界検出の例である。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明に係る画像符号化装置の一実施例の概略構成ブロック図を示す。本実施例では、圧縮符号化方式としてＨ．２６４を採用しているが、勿論、他の圧縮符号化方式であってもよい。

不図示のカメラによって撮像された入力画像、すなわち符号化しようとする画像データが、フレーム単位で順次、フレームバッファ１０に格納される。動き予測部１２は、フレームバッファ１０に格納されている画像データと参照フレームバッファ３２に格納されている参照画像データとの間でブロックマッチングをとり、動きベクトルを検出する。動き予測部１２は、Ｈ．２６４等の規格で定められたブロックサイズでの動きベクトル検出の他に、動物体境界検出用に、符号化ブロックを分割して得られる複数のサブブロックでも動きベクトルを検出する。ただし、量子化ステップサイズを設定できるブロックを分割したブロックサイズが規格で定められたブロックサイズに適合する場合、規格で定められたブロックサイズの動きベクトル検出の結果をそのまま使用できる。ここでは、例として、量子化ステップサイズを可変に設定できる所定の画素数から成る符号化ブロックの単位を、Ｈ．２６４符号化規格のマクロブロックサイズである１６×１６画素とする。さらに、それを８×８画素の４つのサブブロックに分割して、動きベクトル検出を行う。これは、Ｈ．２６４符号化規格に適合したブロックサイズである。実際には、ブロックサイズ及びその分割数は、任意に設定してよい。

動き予測部１２は、マクロブロックを４つに分割した８×８画素のサブブロックごとに動きベクトルを検出する。その際、動き予測部１２は、画素差分情報として動きベクトル位置の画素差分絶対値和を算出し、動物体境界検出部１４に出力する。また、動き予測部１２は、８×８画素ブロックごとの画像データと参照画像データとの差分画像データを直交変換部１８に出力する。

直交変換部１８は、動き予測部１２からの差分画像データを離散コサイン変換し、得られた変換係数データを量子化部２０に出力する。

動物体境界検出部１４は、動き予測部１２からの４つのサブブロックの画素差分絶対値和の値を用いて、動物体と背景との境界部分を検出する。図２は、動物体と背景との境界検出例を示す。図２において、画像全体は右に動いているものとする。画像全体（背景）が右に動く状態とは、例えばカメラがパンしている状態である。一方、ラグビー選手４０が、動物体として、背景とは異なる動きをしており、ランダムに動いているものとする。一般的な動きベクトル検出では、ランダムな動きをする物は動きベクトル位置の画素差分絶対値和が大きくなり、一定の動きをしている物は動きベクトル位置の画素差分絶対値和が小さくなる。

ラグビー選手４０と背景との境界部分の例として、肩の部分のマクロブロック４２を用いて説明する。マクロブロック４２を４つのサブブロック４４，４６，４８，５０に分割する。ラグビー選手４０の肩を含むサブブロック４４，４８，５０では、動きがランダムなので、動きベクトル位置の画素差分絶対値和が大きくなる。背景部分であるサブブロック４６は、右に一定に動いているので、動きベクトル位置の画素差分絶対値和が小さくなる。すなわち、ランダムに動いている物体と、一定の動きをしている背景との境界部分は、動きベクトル位置の画素差分絶対値和の大きい領域と画素差分絶対値和の小さい領域の両方を含むことになる。

動物体境界検出部１４は、この性質を利用し、次の条件を用いて動物体の境界を検出する。マクロブロック（符号化ブロック）を４つに分割した各サブブロックの動きベクトル位置の画素差分絶対値和を、それぞれｄ０，ｄ１，ｄ２，ｄ３とする。ｄ０〜ｄ３のうち閾値αより大きいものがａ個以上あり、かつ閾値βより小さいものがｂ個以上あるときに、当該符号化ブロックを、動物体と背景との境界部分として検出する。なお、閾値α，β及び検出個数条件ａ、ｂは、それぞれ任意に設定できる。動物体境界検出部１４は、マクロブロック単位で動物体と背景の境界部分かどうかを検出し、検出結果を量子化制御部１６に出力する。

量子化制御部１６は、動物体境界検出部１４による動物体境界検出結果に従い、当該マクロブロックに対して次のように適応的な量子化制御を行う。動物体境界ではない場合、量子化制御部１６は、エントロピー符号化部２２からの発生符号量情報に従い、目標符号量になるように量子化ステップサイズを決定し、量子化部２０に出力する。他方、動物体境界である場合、量子化制御部１６は、通常の量子化ステップサイズよりも小さい量子化ステップサイズを量子化部２０に出力する。このような量子化ステップサイズの制御により、動物体境界部分に発生するモスキートノイズを抑えることができ、画質の劣化を防ぐことができる。

量子化部２０は、直交変換部１８からの変換係数データを、量子化制御部１６からの量子化ステップサイズに従い量子化する。量子化された変換係数データは、符号化ストリーム作成のためにエントロピー符号化部２２に供給され、ローカルデコード画像作成のために逆量子化部２４に供給される。

エントロピー符号化部２２は、量子化部２０からの量子化変換係数に対してジグザグスキャン又はオルタネートスキャン等を行い、可変長符号化する。エントロピー符号化部２２は更に、動きベクトル、量子化ステップサイズ及びマクロブロック分割情報などの符号化方式情報を、可変長符号化による符号データに付加して、符号化ストリームを生成する。エントロピー符号化部２２はまた、マクロブロックごとの発生符号量を算出し、量子化制御部１６に出力する。

逆量子化部２４は、量子化部２０からの量子化変換係数データを逆量子化する。逆直交変換部２６は、逆量子化部２４の逆量子化で得られた変換係数データを逆離散コサイン変換して、差分画像データを生成する。生成された差分画像データは、動き補償部２８に供給される。

動き補償部２８は、動きベクトル位置の参照画像データを参照フレームバッファ３２から読み出し、逆直交変換部２６からの差分画像データに加算して、画像データを復元する。復元された画像データは、デブロッキングフィルタ部３０に出力される。デブロッキングフィルタ部３０は、動き補償部２８からの復元画像データをデブロッキングフィルタ処理する。デブロッキングフィルタ後の画像データが、ローカルデコード画像として参照フレームバッファ３２に格納される。

このような動作により、符号化ストリームとローカルデコード画像データが作成される。なお、直交変換部１８及び量子化部２０が符号化手段を構成し、逆量子化部２４及び逆直交変換部２６が局所復号化手段を構成する。

図３は、本実施例の動物体境界検出を用いた適応的量子化制御のフローチャートを示す。まず、符号化対象のマクロブロックを４つのサブブロックに分割し、サブブロックごとに動きベクトルを検出する（Ｓ１）。４つのサブブロックについて動きベクトル位置の画素差分絶対値和ｄ０，ｄ１，ｄ２，ｄ３を算出する（Ｓ２）。４つのサブブロックのうち、閾値αより大きい画素差分絶対値和を有するサブブロック数ｉと、閾値βより小さい画素差分絶対値和を有するサブブロック数ｊを算出する（Ｓ３）。ｉがａ個以上で、ｊがｂ個以上という条件を満たすかどうかを判定する（Ｓ４）。この条件を満たさない場合（Ｓ４）、動物体と背景の境界部分ではないと判定し、通常の量子化ステップサイズを用いる（Ｓ５）。この条件を満たす場合（Ｓ４）、動物体と背景の境界部分であると判定し、通常よりも小さい量子化ステップサイズを用いる（Ｓ６）。

より一般的には、符号化ブロック内に、ある閾値よりも小さい画素差分絶対値和のサブブロックと、別の閾値よりも大きい画素差分絶対値和のサブブロックの両方が存在するときに、その符号化ブロックを境界部分と判定する。

このように、動物体と背景の境界部分において、量子化ステップサイズを通常よりも小さくすることにより、境界部分での劣化を抑えることができ、モスキートノイズを抑えた良好な画像を得ることができる。

上記各ブロック１２〜３０の一部又は全部は、ハードウエアで実現しても、ソフトウエアで実現してもよい。

動物体境界検出部１４による別の動画像境界検出例を説明する。本実施例では、境界判定に、画素差分絶対値和情報に加え、周辺に位置するブロックの画素差分絶対値和情報も参照する。

図４は、動物体境界検出の別の例の模式図を示す。図４において、画像全体（背景）は右に動いているものとする。ラグビー選手６０が、動物体として、背景とは異なる動きをしており、ランダムに動いているものとする。ラグビー選手６０と背景との境界部分の例として、肩の部分のマクロブロック６２を用いて説明する。

実施例１と異なるのは、ラグビー選手６０の肩の部分のマクロブロック６２は、背景との境界部分ではあるが、背景である領域をほとんど含まないことである。仮に実施例１の方法をそのままマクロブロック６２に適用した場合、その４つのサブブロックは全てラグビー選手６０の肩の部分を含むので、画素差分絶対値和が大きくなる。従って、こういうケースでは境界部分を検出できない。

本実施例では、符号化対象のマクロブロック６２を４つのサブブロックに分割し、各サブブロックで動きベクトルを検出し、動きベクトル位置の画素差分絶対値和を算出する。更に、マクロブロック６２の周辺に位置する８つの８×８ブロック６４〜７８においても、各ブロックで動きベクトルを検出し、動きベクトル位置の画素差分絶対値和を算出する。

図４に示す例では、マクロブロック６２を分割した４つのサブブロック、および周辺ブロック７０，７２，７４，７６，７８はラグビー選手６０の肩の部分を含むので、動きベクトル位置の画素差分絶対値和は大きくなる。他方、周辺ブロック６４，６６，６８は背景部分であり、右方向に一定の動きをしているので、動きベクトル位置の画素差分絶対値和は小さくなる。

このように、符号化対象となるマクロブロックが動物体と背景の境界部分であり、かつ背景部分をほとんど含まない場合、当該マクロブロックの周辺ブロックを考慮に入れることが有効である。

本実施例では、次の条件を用いて動物体境界を検出する。すなわち、符号化対象のマクロブロックを構成する４つのサブブロックと、その周辺に位置する８つの８×８ブロックの計１２ブロックについて、動きベクトル位置の画素差分絶対値和を計算する。ここでは、各計算値をｄ０〜ｄ１１とする。ｄ０〜ｄ１１のうち閾値αより大きいものがａ個以上あり、かつ閾値βより小さいものがｂ個以上あるときに、当該マクロブロックを動物体と背景との境界部分と判定する。なお、閾値α，β及び検出個数条件ａ，ｂは任意に設定できる。

図４に示す例では、符号化対象のマクロブロックの周辺に位置する周辺ブロックとして上方向、左方向及び右方向の８×８ブロック６４〜７８を採用したが、下方向のブロックを採用しても良い。また、８×８ブロックではなく、１６×１６ブロック等、違うサイズのブロックを採用しても良い。

このようにして、動物体と背景との境界部分をより適切に検出出来る。その結果、境界部分での画質劣化をより抑えることができる。

１４ 動物体境界検出部
１６ 量子化制御部
１８ 直交変換部
２０ 量子化部
２２ エントロピー符号化部

Claims (5)

1. 所定の画素数から成る符号化ブロックを単位として画像データを圧縮符号化する符号化手段であって、前記符号化ブロックごとに量子化ステップサイズを設定して量子化可能な量子化手段を含む符号化手段と、
   前記量子化手段により量子化された画像データを逆量子化して復号化し、参照画像データを生成する局所復号化手段と、
   前記符号化ブロックを構成する複数のサブブロックごとに、前記参照画像データを参照して動きベクトルを検出する動きベクトル検出手段と、
   前記サブブロックごとの画像データと、前記動きベクトル検出手段が検出した動きベクトル位置における前記参照画像データとの画素差分情報に基づいて、前記符号化ブロックに含まれる動物体と背景部分との境界を検出する動物体境界検出手段と、
   前記量子化手段において設定される量子化ステップサイズを制御する量子化制御手段であって、前記動物体境界検出手段の検出結果に応じて、符号化対象の前記符号化ブロックに前記境界が検出された場合に設定される量子化ステップサイズを、前記境界が検出されない場合に設定される量子化ステップサイズより小さくする量子化制御手段
   とを有することを特徴とする画像符号化装置。
2. 前記動きベクトル検出手段が、前記画素差分情報として前記サブブロックごとの画像データと前記動きベクトル位置における前記参照画像データとの画素差分絶対値和を算出し、
   前記動物体境界検出手段は、前記サブブロックごとの前記画素差分絶対値和のうち、ある閾値よりも小さい画素差分絶対値和と、別の閾値よりも大きい画素差分絶対値和の両方が存在するときに、前記符号化ブロックに前記境界があると判定する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記動きベクトル検出手段が、前記符号化ブロックのサブブロックごと、および前記符号化ブロックの周辺に位置する周辺ブロックごとに前記動きベクトルを検出し、前記画素差分情報として前記サブブロック又は周辺ブロックの画像データと、各々対応する前記動きベクトル位置における前記参照画像データとの画素差分絶対値和を算出し、
   前記動物体境界検出手段が、前記サブブロックごとの画素差分絶対値和、および前記周辺ブロックごとの画素差分絶対値和のうち、ある閾値よりも小さい画素差分絶対値和と、別の閾値よりも大きい画素差分絶対値和の両方が存在するときに、前記符号化ブロックに前記境界があると判定する
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記動きベクトル検出手段が、前記画素差分情報として前記サブブロックごとの画像データと前記動きベクトル位置における前記参照画像データとの画素差分絶対値和を算出し、
   前記動物体境界検出手段は、前記サブブロックごとの前記画素差分絶対値和のうち、ある閾値よりも小さい画素差分絶対値和を示すサブブロックの数がａ個以上であり、且つ、別の閾値よりも大きい画素差分絶対値和を示すサブブロックの数がｂ個以上であるときに、前記符号化ブロックに前記境界があると判定する
   ことを特徴とする請求項１に記載の画像符号化装置。
5. 前記動きベクトル検出手段が、前記符号化ブロックのサブブロックごと、および前記符号化ブロックの周辺に位置する周辺ブロックごとに前記動きベクトルを検出し、前記画素差分情報として前記サブブロック又は周辺ブロックの画像データと、各々対応する前記動きベクトル位置における前記参照画像データとの画素差分絶対値和を算出し、
   前記動物体境界検出手段が、前記サブブロックごとの画素差分絶対値和、および前記周辺ブロックごとの画素差分絶対値和のうち、ある閾値よりも小さい画素差分絶対値和を示すサブブロックの数がａ個以上であり、且つ、別の閾値よりも大きい画素差分絶対値和を示すサブブロックの数がｂ個以上であるときに、前記符号化ブロックに前記境界があると判定する
   ことを特徴とする請求項１に記載の画像符号化装置。

Images