JP4748603B2 - 動画像符号化装置 - Google Patents

Description

本発明は動画像符号化装置に関し、特に画面内のマクロブロック（以下，MBと記す）単位で符号化モードの決定を行う動画像符号化装置において、符号化映像の主観品質を向上させることのできる動画像符号化装置に関する。

MB単位で符号化モードの決定を行う動画像符号化装置の一例として、図７に示されているような、予測＋DCTを行う動画像符号化方式の中で高い符号化効率が得られるＨ．２６４符号化のリファレンス符号化器が知られている。このＨ．２６４符号化方式では、画面を１６ライン×１６画素の領域(マクロブロック、以下MB)に分割し、MBごとに符号化を行う。また、該符号化方式の予測(イントラ予測、インター予測)は、MBを複数のブロックに分割し、小ブロック単位で予測を行う。該符号化方式の規格書では、複数のMBの分割方法が規定されており、同分割方法がモードに相当する。

Ｈ．２６４ High Profile(高精細映像に特化したモードが規定されている)に存在するモードに関して具体的には、イントラ予測について、イントラ１６×１６、イントラ８×８、イントラ４×４の３種類が存在し、インター予測について、インター１６×１６、インター１６×８、インター８×１６、インター８×８、インター４×８、インター８×４、インター４×４の７種類が存在する。

該リファレンス符号化器は周知であるので詳細な説明は省略するが、該リファレンス符号化器では、イントラ（画面内）予測部５１およびインター（動き）予測部５２にて、それぞれ前記モード毎にイントラ符号化（画面内符号化）およびインター符号化（画面間符号化）を試み、コスト値算出部５３にて、それぞれのモードの符号化コスト値を算出し、モード判定部５４では該符号化コスト値が小さい方の符号化モードを選択する。

ここで、前記コスト値は、例えば下記の非特許文献１の８０頁右欄〜８１頁左欄に記載されている（７）式と（８）式から求めることができる。すなわち、符号化対象のMBに対して、候補となる各符号化モードについて、符号化により発生する誤差D（二乗誤差または絶対値誤差）および符号量Rに対して、目標とする割り当て符号量をRcとするとき、 R＜Rcを条件として（subject to R＜Rc）Dが最小となる符号化モードを符号化効率が最大の符号化モードとする。このことは、下記の式（１）に示す最小化問題として定式化することができる。

min｛D}，subject to R＜Rc ・・・（１）
さらに、式（１）にラグランジュ乗数λを導入することで、下記の式（２）に示すコスト関数を定義する。

J＝D＋λ×R ・・・（２）
ここで、Jは符号化コスト値を表し、式（２）は、各符号化モードにおけるD，Rに対して、より小さいJが得られる符号化モードを選択することで、高い符号化効率が得られることを表している。

前記モード判定部５４からの指示によりスイッチ部６１で選択された符号化モードのイントラ符号化画像またはインター符号化画像は、加算部５５で減算処理され、ＤＣＴ／量子化部５６でＤＣＴおよび量子化の処理をされ、さらにエントロピー符号化部５７でエントロピー符号化されて、符号化データとして出力される。

一方、前記ＤＣＴ／量子化部５６でＤＣＴおよび量子化の処理を受けた画像データは、ローカルデコード部５８で局部復号化され、加算器５９でイントラ予測部５１からのイントラ符号化画像またはインター予測部５２からのインター符号化画像と加算されて、メモリ６０に一旦蓄積される。

上記の動画像符号化装置では、それぞれのモードごとに符号化歪み、発生符号量および主観画質が異なり、MBごとにモードを適切に選択することにより高い符号化効率および高い主観品質が得られる一方で、不適切なモード選択制御は符号化効率および主観品質の低下を招く。

次に、下記の特許文献１には、 MB単位の符号化でインター符号化およびイントラ符号化のいずれかを選択する動画像符号化装置において、視覚的に目立つノイズの低減を目的とし、処理MBにおける平坦度および該MBにインター符号化を行った際の量子化誤差に基づいて該MBにおける視覚的なノイズの大きさを評価し、この評価値の閾値判定に基づきインター符号化とイントラ符号化を切り替える方式が示されている。

さらに、下記の特許文献２には、MB単位の符号化で複数のイントラ予測モード、複数のインター予測モードから符号化効率を示すコスト値の比較によりモードを選択する動画像符号化装置において、平坦度を示すアクティビティが低い領域に対する符号化において適切なモード選択により主観画質劣化を抑制することを目的とし、アクティビティに基づいてコスト値を補正し、該コスト値の比較によりモードを選択する方式が示されている。
Gary J. Sullivan, Thomas Wiegand, " Rate-Distortion Optimization for Video Compression", IEEE Signal Processing Magazine, pp.74-90, Nov. 1998. 特開２００６−１３５４６１号公報 特開２００６−９４０８１号公報

前記非特許文献１に示される技術は客観画質に関して高い符号化効率を得る方式であるが、主観画質を考慮していないため、モードを選択した結果が主観画質にとって不十分であるケースがある。特に、テクスチャの再現性に関して著しく不適切な場合が見られる。テクスチャの再現性が求められる例として、平坦領域の輪郭におけるエッジ成分が挙げられる。特に低レート符号化の条件下では、符号化歪に対して符号量の影響が大きく、テクスチャの再現性よりも符号量が小さいモードが優先的に選択される。結果として、当該領域におけるテクスチャの再現性が低下し、主観画質の低下を招くという課題がある。

前記特許文献１に示される方式は処理MBにおける主観画質劣化のみの考慮であるため、隣接MBを含む近傍領域における主観画質の劣化は防げない。また、インター符号化とイントラ符号化の切り替えのみを考慮しているが、各符号化におけるMBの分割ブロックサイズにより視覚的なノイズの大きさが異なるため、テクスチャ再現性の低下を抑制するためには同分割ブロックサイズまで考慮した符号化モード選択手法が求められる。

前記特許文献２に示される方式は処理MBにおけるアクティビティのみの考慮であるため、隣接MBを含む近傍領域における主観画質の劣化は防げない。また、評価尺度としてコスト値が用いられるが、該コスト値には符号化効率すなわち符号量が考慮されることになるため、テクスチャ再現性が強く求められる領域に対して、特に符号量の影響が大きい低レート符号化の条件下において、テクスチャ再現性が十分に得られない可能性が懸念される。

本発明は、前記した従来技術の課題を解消するためになされたものであり、その目的は、MB単位での符号化モード選択の際に、対象領域がテクスチャの再現性を求められる領域であるか否かを判断し、テクスチャの再現性が求められる領域であると判断された場合に、テクスチャの再現性が最も高い符号化モードを選択できるようにした動画像符号化装置を提供することにある。

前記した目的を達成するために、本発明は、マクロブロック単位で符号化モードの決定を行う動画像符号化装置において、処理マクロブロック付近における映像データの平坦さの特徴量を求める映像データの平坦さ抽出手段（１２Ｂ）と、入力映像データから、前記処理マクロブロックがもつ動き情報の特徴量を求める動き情報抽出手段（１２Ａ）と、前記処理マクロブロックにおいて、エッジ成分の再現性を重視する符号化モードを選択するのに必要な評価値を各符号化モード毎に求める評価値演算手段（１１）と、前記処理マクロブロックにおいて、エッジ成分の再現性を重視する符号化モードを選択する符号化モード選択手段（１３）とを具備し、前記符号化モード選択手段（１３）は、前記平坦さの特徴量が予め定められた第１の閾値Ｔ_ｅ以下で、かつ前記動き情報の特徴量が予め定められた第２の閾値Ｔ_ｍｖ以上の場合に、前記評価値演算手段（１１）によって求められた評価値が最小の符号化モードを選択するようにした点に特徴がある。

本発明によれば、テクスチャの再現性が求められる領域における原画像への忠実性が保持され、従来技術に比べて、主観画質の向上が可能になる。

以下に、図面を参照して本発明を詳細に説明する。図１は、本発明を図７の符号化器に適用した場合のブロック図を示し、図２は図１中の「本発明の制御方式１」の一実施形態の構成を示すブロック図である。なお、図１において、図７と同一または同等物には同じ符号が付されている。また、以下では最良の実施形態として、本発明をＨ．２６４符号化のリファレンス符号化器に用いた場合について説明するが、本発明はこれに限定されず、周知のＪＭエンコーダやＪＳＶＭエンコーダ等にも用いることができる。

図１、２において、本発明の制御方式１は、入力映像データがもつ動きの大きさと処理MB近傍領域の平坦さの特徴量に応じて、テクスチャの再現性を考慮したモード選択をする処理をする。

本発明の制御方式１は、モード判定評価値算出部１１、モード判定制御部１２、テクスチャ重視モード判定部１３、切り替え部１４、モード選択部１５から構成されている。また、該制御方式１は、入力映像データａ、処理MB近傍の符号化済みMBの符号化データおよび局所復号映像ｂ、インター予測部５２からの予測値ｃ、イントラ予測部５１からの予測値ｄ、外部から提供される制御パラメータｅ、および符号化データｆが入力し、MB単位のモード選択に関してテクスチャ再現性を考慮した処理の適用可否の判断および該処理に基づくモード判定を行う制御データｇが出力する。前記制御パラメータｅには、動き特性抽出範囲、平坦さ検出範囲、および動き、平坦さを判定するための閾値Ｔ_ｍｖ、Ｔ_ｅ等が含まれている。なお、テクスチャ重視モードとは、映像の絵柄、模様等のエッジや輪郭の再現性を良好にするモードのことを意味する。

図２は、前記本発明の制御方式１の構成をより詳細に示すブロック図であり、図１と同一の符号は同一または同等物を示す。図示されているように、前記モード判定制御部１２は、動きの大きさを抽出する動き情報抽出部１２Aと平坦さ抽出部１２Bと論理積（AND)回路１６から構成されており、該AND回路１６は前記動き情報抽出部１２Aおよび平坦さ抽出部１２Bからの出力に応じてモード選択の切替を行うための２値データｇを出力する。

ここで、前記イントラ予測部５１、インター予測部５２、モード判定評価値算出部１１，動き情報抽出部１２A、平坦さ抽出部１２Bの機能を説明する。
(i)イントラ予測部５１、インター予測部５２の機能

イントラ予測部５１、インター予測部５２は、図３に示されているように、入力映像ａ、局所符号映像ｂを入力とし、イントラ予測について、イントラ１６×１６、イントラ８×８、イントラ４×４の３種類の予測値、インター予測について、インター１６×１６、インター１６×８、インター８×１６、インター８×８、インター４×８、インター８×４、インター４×４の７種類の予測値を出力する。残差信号算出のための予測値は加算部５５に送られ、評価値算出のための予測値ｄ、ｃはモード判定評価値算出部１１に送られる。
(ii)モード判定評価値算出部１１の機能

モード判定評価値算出部１１では、図４に示されているように、前記入力映像ａ、局所復号映像ｂ、インター予測値ｃ、およびイントラ予測値ｄが入力し、これらに基づいて、イントラ１６×１６評価値、８×８評価値、４×４評価値、インター１６×１６評価値、１６×８評価値、８×１６評価値、８×８評価値、８×４評価値、４×８評価値、および４×４評価値が算出され、それぞれが出力される。

(1)従来のモード選択に必要な評価値
前記(2)式のJ＝D＋λ×Rで求めた符号化コスト値Jを評価値とする。

(2)テクスチャ重視モード選択に必要な評価値
テクスチャ重視モード選択に必要な評価値は、次の方法１〜４のいずれかにより求めることができる。

方法１（符号化歪みの統計的な大きさをを用いる方法）：処理MBにおいて、符号化に起因する符号化歪み、すなわち原画像に対する局所復号画像の差分二乗和(SSD)もしくは差分絶対値和(SAD)を評価値とする。ここで、処理MBに該当する領域における原画像の画素値をp(x、 y)、局所復号画像の画素値をr(x、 y)とする。ただし、x、yはMB内の座標を表す。評価値SSD、SADは式(3)、式(4)により求まる（図５(a)参照）。

方法２（予測誤差信号の統計的な大きさを用いる方法）：処理MBにおいて、原画像に対する候補となるモードの予測値の差分について、二乗平均(MSE)を評価値とする。ここで、処理MBに該当する領域における原画像の画素値をp(x、 y)、モードの予測値をq(x、 y)とする。ただし、x、yはMB内の座標を表す。評価値MSEは式(5)により求まる（図５(b)参照）。

方法３（MBに含まれる高域周波数成分の割合についての統計的な大きさを用いる方法）：処理MBにおいて、原画像および局所復号画像にそれぞれ直交変換を施し、対応する同変換係数同士の差分を求め、同差分の絶対値について変換係数毎に所定の加重係数を乗じ、その和を評価値とする。ここで、原画像に対する直交変換係数を u(x、y)、局所復号画像に対する直交変換係数を v(x、y)とする。ただし、x、yは直交変換係数の座標を表す。また、座標x、yに対する重み付け係数を w(x、y)とする。評価値Vは式(6)により求まる（図５(c)参照）。

方法４：処理MBを、画素座標(２次元)に画素値(１次元)を加えた３次元空間とし、原画像および局所復号画像について、画素値で形成される曲面に関する近似関数を導出し、各画素における傾きについて両者の差分を求め、同差分の二乗和を評価値とする。ここで、原画像に対する近似関数について各画素における傾きの大きさをd(x、y)、局所復号画像に対する近似関数について各画素における傾きの大きさを e(x、y)とする。ただし、x、yはMB内の座標を表す。評価値Vは式(7)により求まる（図５(d)参照）。

(iii) 動き情報抽出部１２Aの機能

動き情報抽出部で１２Aは、以下の何れかの方法に従って、制御パラメータｅによって指示された近傍領域における動きベクトルを求める。

方法１：処理MBを含む任意の大きさの領域について、前後のフレームとのマッチング(動き補償)を行い、当該領域の動きベクトルとする。

方法２：処理MBに近接する符号化済みMBに含まれる動きベクトル情報の平均値を、処理MB近傍の領域における動ベクトルとする。
(iv)平坦さ抽出部１２Bの機能

平坦さ抽出部１２Bでは、以下の何れかの方法に従って近傍領域における平坦さの評価値を求める。

方法１：処理MBに近接する任意の大きさの領域に対して、原画像の画素値の分散値を求め、分散値を評価値とする。

方法２：処理MBに近接する任意の大きさの領域に対して、原画像の画素値の平均値を求め、各画素値に対する平均値からの差分の絶対値和を評価値とする。

方法３：処理MBに近接する任意の大きさの領域に属するMBについて、直交変換係数のうち低周波交流成分の絶対値の最大値を評価値とする。

方法４：処理MBに近接する領域に属するMBについて、直交変換係数のうち高周波交流成分の絶対値の最小値を評価値とする。
(v)従来のモード選択部５４の機能

前記モード判定評価値算出部１１から各モードの符号化コスト値Jを選択し、最も小さい符号化コスト値に対応するモードを選択する。
(vi)テクスチャ重視モード選択部１３の機能

前記モード判定評価値算出部１１から各モードの評価値を選択し、最も小さい評価値に対応するモードを選択する。
(vii)切り替え部１４、モード選択部１５の機能

切り替え部１４およびモード選択部１５は、AND回路１６の出力が１である場合はテクスチャ再現性を重視するテクスチャ重視モード選択部１３を選択し、０である場合は従来のモード選択部５４を選択する。すなわち、処理マクロブロックが平坦かつ動きを含む領域に属する場合にテクスチャ重視モード選択部１３を選択し、それ以外の場合に従来のモード選択部５４を選択する。

次に、本実施形態の動作を、図６のフローチャートを参照して説明する。

ステップＳ１では、前記動き情報抽出部１２Aで得られた処理MBの動きが閾値Ｔ_ｍｖ以上であるか否かが判断される。この判断が肯定であればステップＳ２に進み、否定であればステップＳ１０に進む。ステップＳ２では、前記平坦さ抽出部１２Bで得られた該処理MB近傍領域における平坦さが閾値Ｔ_ｅ以下であるか否かが判断される。この判断が肯定の場合にはステップＳ３に進み、否定の場合にはステップＳ１０に進む。

つまり、ステップＳ１とＳ２が共に肯定であれば、図２における、前記動き情報抽出部１２Ａおよび平坦さ抽出部１２Ｂからの出力は共に１であり、AND回路１６からは１が出力されて、切り替え部１４、モード選択部１５は、前記テクスチャ重視モード選択部１３を選択する。一方、ステップＳ１とＳ２のうちのいずれか一方が否定であれば、AND回路１６からは０が出力されて、切り替え部１４、モード選択部１５は、従来のモード選択部５４を選択する。

次に、ステップＳ３以下の本発明方法のモード選択、つまり前記テクスチャ重視モード選択部１３の動作を説明する。ステップＳ３では、評価値の最小値Ｖ_ｍｉｎが論理上の最大値、例えばＶ_ｍｉｎ＝１０^１０と置かれる。ステップＳ４では、モードＸの評価値Ｖをモード判定評価値算出部１１から取得する。ステップＳ５では、Ｖ_ｘ≦Ｖ_ｍｉｎが成立するか否かの判断がなされる。この判断が肯定の場合にはステップＳ６に進んで評価値Ｖ_ｍｉｎ＝Ｖ_ｘと置かれる。一方、否定の場合には、ステップＳ６をスキップしてステップＳ７に進む。ステップＳ７では、未評価のモード、つまり図４のイントラ１６×１６評価〜インター４×４評価の中に未評価のモードが残っているどうかの判断が行われる。残っている場合にはステップＳ８に進んで、次のモードＸが選択される。次いで、ステップＳ４に戻って、次のモードＸの評価値が取得される。以下、前記と同様の動作がなされ、ステップＳ７の判断が否定になると、ステップＳ９に進む。ステップＳ９では、Ｖ_ｍｉｎに該当するモードＸ_ｍｉｎが選択され、前記テクスチャ重視モード選択部１３から出力される。

次に、ステップＳ１０以下の従来方法のモード選択、つまり前記従来のモード選択部５４の動作を説明する。ステップＳ１０では、符号化コスト値の最小値Ｊ_ｍｉｎが論理上の最大値、例えばＪ_ｍｉｎ＝１０^１０と置かれる。ステップＳ１１ではモードＸのコスト値Ｊを取得する。ステップＳ１２では、Ｊ_ｘ≦Ｊ_ｍｉｎが成立するか否かの判断がなされる。この判断が肯定の場合にはステップＳ１３に進んで評価値Ｊ_ｍｉｎ＝Ｊ_ｘと置かれる。一方、否定の場合には、ステップＳ１３をスキップしてステップＳ１４に進む。ステップＳ１４では、ステップＳ７と同様に、未評価のモードが残っているどうかの判断が行われる。残っている場合にはステップＳ１５に進んで、次のモードＸが選択される。次いで、ステップＳ１１に戻って、次のモードＸの評価値が取得される。以下、前記と同様の動作がなされ、ステップＳ１４の判断が否定になると、ステップＳ１６に進む。ステップＳ１６では、Ｊ_ｍｉｎに該当するモードＸ_ｍｉｎが選択され、前記従来のモード選択部５４から出力される。

以上のようにして、テクスチャ重視モード選択部１３または従来のモード選択部５４から出力されたモード選択信号ｈはスイッチ部６１の動作を制御する。スイッチ部６１は該モード選択信号ｈにより指示されたモードを、図３に示される１０個のモードから選択して出力する。

本発明者は、下記の実施条件で、画像データの性能評価を行った。
(a)実施条件
(1)動きの検出

動きの検出方法として、符号化処理を行っている処理フレームにおける画面全体の動き（グローバル動き）を検出し、その動きの大きさについて閾値判定を行う。グローバル動きの検出については、直前フレームと処理フレームの間でマッチングを行い、差分二乗和の平均が最も小さい動きベクトルをグローバル動きベクトルとした。
(2)平坦さの検出

平坦さの検出方法として、モード選択処理を行う処理MBに対して近傍の符号化済みMBにおける画素値の分散を求め、分散値について閾値判定を行った。

上記の(1)および(2)を同時に満たすとき、当該MBのモード判定において、前記式(3)により求まる値が最小であるモードを選択した。一方、(1)および(2)がどちらか一方でも満たされない時、従来方法でモードを選択した。
(b)結果

符号化実験は、JM10.1をベースに本発明を実装し、計算機シミュレーションを行った。評価用映像としてITE HDTVテストシーケンスより“Yaching”を用い、符号化レートは８Mbps、１０Mbps、１３Mbpsに設定した。該符号化実験による符号化結果に対して主観評価実験を行った結果、従来方法に対して主観画質が改善することを確認した。なお、主観評価実験は、ITU-R BT.500-11に準拠した一重刺激法で行った。

本発明の制御方式が適用されたリファレンスエンコーダの構成を示すブロック図である。 本発明の制御方式の一実施形態の構成を示すブロック図である。 イントラ予測部およびインター予測部の機能を示す説明図である。 モード判定評価値算出部の機能を示す説明図である。 モード判定評価値算出部の機能の説明図である。 テクスチャ重視モード選択部および従来のモード選択部機能を示すフローチャートである。 従来のリファレンスエンコーダの構成を示すブロック図である。

符号の説明

１・・・本発明の制御方式、１１・・・モード判定評価値算出部、１２・・・モード判定制御部、１２A・・・動き情報抽出部、１２B・・・平坦さ抽出部、１３・・・テクスチャ重視モード選択部、５１・・・イントラ予測部、５２・・・インター予測部。

Claims (8)

1. マクロブロック単位で符号化モードの決定を行う動画像符号化装置において、
   処理マクロブロック付近における映像データの平坦さの特徴量を求める映像データの平坦さ抽出手段（１２Ｂ）と、
   入力映像データから、前記処理マクロブロックがもつ動き情報の特徴量を求める動き情報抽出手段（１２Ａ）と、
   前記処理マクロブロックにおいて、エッジ成分の再現性を重視する符号化モードを選択するのに必要な評価値を各符号化モード毎に求める評価値演算手段（１１）と、
   前記処理マクロブロックにおいて、エッジ成分の再現性を重視する符号化モードを選択する符号化モード選択手段（１３）とを具備し、
   前記符号化モード選択手段（１３）は、前記平坦さの特徴量が予め定められた第１の閾値Ｔ_ｅ以下で、かつ前記動き情報の特徴量が予め定められた第２の閾値Ｔ_ｍｖ以上の場合に、前記評価値演算手段（１１）によって求められた評価値が最小の符号化モードを選択することを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記平坦さ抽出手段は、平坦さを判定するための特徴量として、処理マクロブロックの近傍領域における画素値の分布に関する特徴量、または該近傍領域における画素値に対して高域周波数成分の占める割合に関する特徴量を用いることを特徴とする動画像符号化装置。
3. 請求項２に記載の動画像符号化装置において、
   前記処理マクロブロックの近傍領域における画素値の分布に関する特徴量として、該処理マクロブロックの近傍領域における画素値の分散値、または該近傍領域における画素値の平均値と該近傍領域に属する画素の画素値との差分絶対値和が用いられることを特徴とする動画像符号化装置。
4. 請求項２に記載の動画像符号化装置において、
   前記近傍領域における画素値に対して高域周波数成分の占める割合に関する特徴量として、直交変換係数に含まれる低周波交流成分の絶対値の最大値、または該直交変換係数の高周波交流成分の絶対値の最小値が用いられることを特徴とする動画像符号化装置。
5. 請求項１に記載の動画像符号化装置において、
   前記動きを判定するための特徴量として、処理マクロブロックを含む任意の領域に対する動き補償により得られる動きベクトルの大きさ、または処理マクロブロックに近接する任意の符号化済み領域に対して、該領域に属するマクロブロックに含まれるベクトルの大きさが用いられることを特徴とする動画像符号化装置。
6. 請求項１に記載の動画像符号化装置において、
   前記評価値演算手段は、前記評価値として、前記処理マクロブロックにおいて、符号化歪みを表す、原画像に対する局所復号画像の誤差信号の統計的な大きさ、または予測誤差信号の統計的な大きさを求めることを特徴とする動画像符号化装置。
7. 請求項１に記載の動画像符号化装置において、
   前記評価値演算手段は、前記評価値として、前記処理マクロブロックに含まれる高域周波数成分の割合について、原画像、局所復号画像それぞれにおける計算値の差分に関する統計的な大きさを求めることを特徴とする動画像符号化装置。
8. 請求項１に記載の動画像符号化装置において、
   前記評価値演算手段は、前記評価値として、前記処理マクロブロックを２次元画素座標に画素値を加えた３次元空間とし、画素値に関する３次元空間における近似関数を導出し、該関数に基づき各画素において算出される傾きについて、原画像、局所復号画像それぞれにおける計算値の差分に関する統計的な大きさを求めることを特徴とする動画像符号化装置。

Images