JP4510701B2 - 動画像符号化装置 - Google Patents

Description

本発明は動画像符号化装置に関し、特に動き予測に用いられるマクロブロックのサイズの上限を最適に決定して、符号化効率の向上を図るようにした動画像符号化装置に関する。

従来、動画像符号化における動き予測部の符号化効率を改善させるための方式として、動き予測に用いられるマクロブロックサイズ（以下、ＭＢサイズと記す）を複数のＭＢサイズの中から任意に選択できるようにする方式が提案されている。例えば、標準符号化方式の１つであるＨ．２６４（下記の非特許文献１参照）では、ＭＢサイズを１６画素×１６ライン、１６画素×８ライン、８画素×１６ライン、８画素×８ライン、８画素×４ライン、４画素×８ライン、４画素×４ラインの７種類の中から適応的に選択可能になっている。
ITU-T Rec.H.264|ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification (2002-8-10)

しかしながら、上記の従来方式では、ＭＢサイズの上限が固定値であったため、高精細動画像などの同一動き量とみなされる領域が大きい映像素材においては、最大のＭＢサイズを１６画素×１６ラインより大きくして符号化効率を改善することができるにかかわらず、該改善を行うことができず、符号化効率の低減を招いてしまうという課題があった。

本発明は、前記した課題に鑑みてなされたものであり、その目的は、ＭＢサイズの上限を撤廃して、最大のＭＢサイズを適応的に決定できるようにすることにより、符号化効率の改善を図ることのできる動画像符号化装置を提供することにある。

前記した目的を達成するために、本発明は、複数のマクロブロックサイズの中から選択された任意のマクロブロックサイズを用いて、動き予測を行って動画像を符号化する動画像符号化装置において、前記複数のマクロブロックサイズの上限を、符号化する当該ピクチャの直前のピクチャまたは当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能とした点に特徴がある。

本発明によれば、動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて最適に選択できるので、動き予測部における符号化効率の向上を期待することができる。

以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の動画像符号化装置１の概略説明図である。

図示されているように、動画像符号化装置１は、本発明による最大ＭＢサイズ決定手段２と符号化手段３とから構成されている。

図２は、本発明の第１の実施形態の前記最大ＭＢサイズ決定手段２の機能を示すフローチャートである。まず、本実施形態では、符号化対象のピクチャ（以下、当該ピクチャ）の直前のピクチャにおいて用いられたＭＢサイズを以下の３つのカテゴリに分類した上で、各カテゴリの使用頻度の割合を算出する。ただし、直前ピクチャにおけるＭＢサイズの上限をＮ_Ｐ画素×Ｎ_Ｐラインとする。なお、この３つのカテゴリは一例であり、本発明はこれに限定されない。
カテゴリ１：Ｎ_Ｐ×Ｎ_Ｐ
カテゴリ２：Ｎ_Ｐ×Ｎ_Ｐ／２、Ｎ_Ｐ／２×Ｎ_Ｐ、Ｎ_Ｐ／２×Ｎ_Ｐ／２
カテゴリ３：Ｎ_Ｐ／２×Ｎ_Ｐ／４、Ｎ_Ｐ／４×Ｎ_Ｐ／２、Ｎ_Ｐ／４×Ｎ_Ｐ／４

この使用頻度の割合、例えばカテゴリ１の使用頻度の割合は、下記の式で求めることができる。
（カテゴリ１のＭＢ数）／｛（カテゴリ１のＭＢ数）＋（カテゴリ２のＭＢ 数）＋（カテゴリ３のＭＢ数）｝

そこで、図２のステップＳ１では、直前ピクチャにおける各カテゴリのＭＢサイズの使用頻度割合を取得する。

ステップＳ２では、カテゴリ１の使用頻度の割合Ｒ_１がある閾値Ｔｈ_１より大きくかつカテゴリ３の使用頻度の割合Ｒ_３がある閾値Ｔｈ_３より小さいかどうかの判断をする。この判断が肯定の場合にはカテゴリ１の使用頻度が大きいので、ステップＳ４に進んでＮ_Ｐ←２×Ｎ_Ｐとする。これにより、当該ピクチャのカテゴリ１〜３のＭＢサイズの１辺は２倍に拡大する。つまり、直前ピクチャの動き量が小さければ、ＭＢサイズの上限は適応的に拡大される。なお、本実施形態では、説明を分かりやすくするために、Ｎ_Ｐ←２×Ｎ_Ｐとしたが、Ｎ_Ｐ←ｍ×Ｎ_Ｐ（ｍは１以上の正数）としてもよい。以下でも同様である。

一方、ステップＳ２の判断が否定の時には、ステップＳ３に進んで、Ｒ_１＜Ｔｈ_１およびＲ_３＞Ｔｈ_３が成立するか否かの判断がなされる。この判断が肯定の場合にはカテゴリ１の使用頻度が小さくカテゴリ３の使用頻度が大きいので、ステップＳ６に進んで、Ｎ_Ｐ←Ｎ_Ｐ／２と置かれる。これにより、当該ピクチャのカテゴリ１〜３のＭＢサイズの１辺は１／２倍に縮小される。つまり、直前ピクチャの動き量が大きければ、ＭＢサイズの上限は適応的に縮小される。なお、本実施形態では、Ｎ_Ｐ←Ｎ_Ｐ／２としたが、Ｎ_Ｐ←Ｎ_Ｐ／ｍ（ｍは１以上の正数）としてもよい。以下でも同様である。

さらに、ステップＳ３の判断が否定の時には、ステップＳ５に進んでＮ_Ｐ←Ｎ_Ｐとされ、当該ピクチャのＭＢサイズの上限は直前ピクチャのそれと同じに維持される。

以上のように、この実施形態によれば、直前ピクチャのＭＢサイズの使用頻度をもとに当該ピクチャのＭＢサイズの上限を決定することができる。

次に、本発明の第２の実施形態の最大ＭＢサイズ決定手段２の機能を、図３のフローチャートおよび図４を参照して説明する。ここに、図４の符号１０は当該ピクチャを示す。

ステップＳ１１では、当該ピクチャ１０におけるあるＭＢ（ｘ，ｙ）を４分割したＮ_Ｐ／２×Ｎ_Ｐ／２サイズの分割マクロブロックｍ（２ｘ，２ｙ）、ｍ（２ｘ＋１，２ｙ）、ｍ（２ｘ，２ｙ＋１）、およびｍ（２ｘ＋１，２ｙ＋１）における各動ベクトルｄ（２ｘ，２ｙ）、ｄ（２ｘ＋１，２ｙ）、ｄ（２ｘ，２ｙ＋１）、およびｄ（２ｘ＋１，２ｙ＋１）を算出する。

ステップＳ１２ではＮ_Ｐ×Ｎ_ＰサイズのＭＢ（ｘ，ｙ）における動ベクトルｄ’（ｘ，ｙ）を算出する。ただし、前記（ｘ，ｙ）は、マクロブロック単位での座標を表し、前記分割マクロブロックｍ（２ｘ，２ｙ）、ｍ（２ｘ＋１，２ｙ）、ｍ（２ｘ，２ｙ＋１）、およびｍ（２ｘ＋１，２ｙ＋１）は、前記ＭＢ（ｘ，ｙ）に包含されることとする。

ステップＳ１３では、下記の（１）式により、各マクロブロックＭＢ（ｘ，ｙ）における動ベクトル差分の絶対値平均ｄ_ａｖｇまたは分散を算出する。

ここに、ＸおよびＹは、ピクチャ１の水平方向および垂直方向の画素数を示す。

ステップＳ１４では、前記動ベクトル差分の絶対値平均ｄ_ａｖｇがある閾値Ｔｈ_Ｈより小さいかどうかの判断を行う。この判断が肯定の場合にはステップＳ１５に進み、Ｎ_Ｐ←２×Ｎ_Ｐと置かれる。すなわち、動ベクトルの分散が小さいということは、動き量が小さいことを意味するので、ＭＢサイズを拡大する。その後、再度前記ステップＳ１１〜Ｓ１４の処理を行う。

この処理の結果、ステップＳ１４の判断が否定になると、ステップＳ１６に進んで前記動ベクトル差分の絶対値平均ｄ_ａｖｇがある閾値Ｔｈ_Ｌより大きいかどうかの判断を行う。ここに、Ｔｈ_Ｈ＜Ｔｈ_Ｌである。ステップＳ１６の判断が肯定の場合にはステップＳ１７に進んで、Ｎ_Ｐ←Ｎ_Ｐ／２と置かれる。すなわち、動ベクトルの分散が大きいということは、動き量が大きいことを意味するので、ＭＢサイズを縮小する。そして、ステップＳ１１に戻って再度前記の処理が繰り返される。

前記動ベクトル差分の絶対値平均ｄ_ａｖｇが閾値Ｔｈ_Ｈ以上、Ｔｈ_Ｌ未満になるまで前記の処理を繰り返し、ステップＳ１６の判断が否定になると、ステップＳ１８に進み、その時のＮ_Ｐ×Ｎ_Ｐを当該ピクチャにおけるＭＢサイズの上限と定める。ステップＳ１９では、全てのマクロブロックＭＢの処理が終了したか否かの判断がなされ、この判断が否定の場合にはステップＳ１１に戻って次のマクロブロックＭＢに対する処理が行われる。そして、該ステップＳ１９の判断が肯定になると、前記した一連の処理は終了する。

以上のように、この実施形態によれば、当該ピクチャの特徴量ｄ_ａｖｇを用いて、ＭＢサイズの上限を決定することができる。

次に、本発明の第３の実施形態の最大ＭＢサイズ決定手段２の機能を説明する。この実施形態は、前記第１実施形態の処理と第２実施形態の処理を併用したものである。図５は該第３の実施形態を示すフローチャートである。このフローチャートのステップ番号は、図２及び図３の同番号のものと同一または同等であるので説明を省略する。

この第３の実施形態の特徴は、第１実施形態で求めたＭＢサイズを用いて第２実施形態の処理を行い、当該マクロブロックＭＢの上限のサイズを決定するようにした点である。

次に、本発明を利用した符号化処理の一連の流れを、図６のフローチャートにより説明する。

ステップＳ２１では、ピクチャ番号を表す置き数ｎをｎ＝１とする。ステップＳ２２では、ピクチャｎが入力される。ステップＳ２３では、前記した本発明の処理により、当該ピクチャの最大ＭＢサイズが決定される。この処理は、符号化の前処理として行われる。ステップＳ２４では、ＭＢタイプの選択とＭＢサイズが決定される。ステップＳ２５では、動き予測およびフレーム内予測が行われる。ステップＳ２６では、当該ピクチャと動き予測画像との差分が算出される。次いで、該差分がＤＣＴ変換される。ステップＳ２７では、サイド情報およびＤＣＴ係数が符号化される。ステップＳ２８では、全部のＭＢの符号化が終わったか否かの判定がなされ、まだ終わっていない場合には、ステップＳ２４に戻って次のＭＢに対する処理が行われる。以上のようにして、当該ピクチャの全部のＭＢの符号化が完了すると、ステップＳ２８の判定が肯定になる。

ステップＳ２９では、全ピクチャの符号化が完了したか否かの判断がなされ、この判断が否定の時にはステップＳ３０に進んで、ｎに１が加算され次のピクチャがステップＳ２２で入力する。以降の処理は、前記と同様に行われ、ステップＳ２９の判断が肯定になると、符号化処理は終了する。

なお、上記の説明では、ピクチャ単位でのＭＢサイズの上限の決定について述べたが、前記の説明における「ピクチャ」を１ないし複数のマクロブロックから構成される「Basic Unit」と置き換えることによって、本発明をマクロブロック単位でのＭＢサイズの上限決定にも適用することができる。

以上のように、本発明によれば、符号化するピクチャのＭＢサイズの上限をピクチャまたはマクロブロック毎に最適に決定することができるようになり、動き予測部における符号化効率の向上を期待することができるようになる。

本発明を含む動画像符号化装置の概略構成を示すブロック図である。 本発明の第１の実施形態の機能を説明するフローチャートである。 本発明の第２の実施形態の機能を説明するフローチャートである。 第２の実施形態の一部の処理の説明図である。 本発明の第３の実施形態の機能を説明するフローチャートである。 本発明を利用した符号化処理を示すフローチャートである。

符号の説明

１・・・動画像符号化装置、２・・・最大ＭＢサイズ決定手段、３・・・符号化手段、１０・・・当該ピクチャ。

Claims (5)

1. 複数のマクロブロックサイズの中から選択された任意のマクロブロックサイズを用いて、動き予測を行って動画像を符号化する動画像符号化装置において、
   前記複数のマクロブロックサイズの上限を、符号化する当該ピクチャの直前のピクチャまたは当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、
   動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能としたことを特徴とする動画像符号化装置。
2. 請求項１に記載の動画像符号化装置において、
   前記特徴量は、符号化する当該ピクチャの直前のピクチャの前記上限のマクロブロックサイズの使用頻度の割合であり、前記手段は該使用頻度の割合を基に、当該ピクチャのマクロブロックサイズの上限を決定することを特徴とする動画像符号化装置。
3. 請求項２に記載の動画像符号化装置において、
   マクロブロックサイズを大、中、小のカテゴリに分類し、大のカテゴリの使用割合がある第１の閾値より大きく、小のカテゴリの使用割合がある第２の閾値より小さい場合には、当該ピクチャのマクロブロックサイズの上限が増大するようにし、一方前記大のカテゴリの使用割合が前記第１の閾値より小さく、小のカテゴリの使用割合が前記第２の閾値より大きい場合には、当該ピクチャのマクロブロックサイズの上限が低減するようにすることを特徴とする動画像符号化装置。
4. 請求項１に記載の動画像符号化装置において、
   前記特徴量は、当該ピクチャのマクロブロックの動ベクトルの分散値であり、該分散値は、当該ピクチャのマクロブロックの動ベクトルと該マクロブロックを分割した分割マクロブロックの動ベクトルを探索し、該分割マクロブロックの動ベクトルのマクロブロック内の平均からマクロブロックの動ベクトルを減算した絶対値に基づいて求められ、該分散値が第１の閾値以下であれば当該ピクチャのマクロブロックサイズの上限が増大するようにし、一方該分散値が第２の閾値以上であれば当該ピクチャのマクロブロックサイズの上限が低減するようにすることを特徴とする動画像符号化装置。
5. 複数のマクロブロックサイズの中から選択された任意のマクロブロックサイズを用いて、動き予測を行って動画像を符号化する動画像符号化装置において、
   前記複数のマクロブロックサイズの上限を、符号化する当該ピクチャの直前のピクチャおよび当該ピクチャのマクロブロックの特徴量を基に最適に決定する手段を具備し、
   動き予測を行う際のマクロブロックサイズの上限をピクチャまたはマクロブロック単位にて任意に選択可能としたことを特徴とする動画像符号化装置。

Images