JP6341202B2 - 動画像符号化装置、動画像符号化方法、およびプログラム - Google Patents

Description

本発明は、動画像処理技術、より具体的には、動画像の符号化技術に関する。

ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）規格により代表される動き補償とＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を組み合わせる画像圧縮方式では、伝送路に送出されるビットスストリームが所望のレートになるように、符号量制御が行われている。

図４は、ＭＥＰＧのレイヤ構造を示す。ＭＰＥＧでは、シーケンス層、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）層、ピクチャ層、スライス層、マクロブロック（ＭＢ）層からなる階層構造が規定されている。スライス層や、マクロブロック層に含まれるデータ（Ｑスケール）で量子化ステップを変化させることにより、所定期間で発生する符号量を調整することができる。なお、Ｑスケールの値が大きいほど、量子化ステップが大きくなるようにされている。以下の説明において、量子化ステップをＱで表記する。

図５は、発生符号量と量子化ステップとの関係を示す。図示の例では、量子化ステップがＱ１〜Ｑ３１の３１個の値をとる。図示のように、発生符号量は、量子化ステップとほぼ反比例の関係を有する。そのため、量子化ステップが大きいほど、量子化が粗くなり、発生符号量が少なくなる。逆に、量子化ステップが小さいほど、量子化が細かくなり、発生符号量が多くなる。

符号量制御では、所定の等長化単位（所定数のピクチャ群）毎に、発生符号量の総和（総符号量）が所定の符号量になるように制御が行われる。

符号量制御の方式としては、例えば、ＭＰＥＧ−２ ＴＥＳＴ ＭＯＤＥＬ ５（以下「ＴＭ５」という）における制御方式が知られている。

ここで、ＴＭ５における符号量制御を説明する。
該手法は、まず、注目ピクチャ群（現在の符号化対象となる、１等長化単位のピクチャ群）の目標符号量を該注目ピクチャ群内の各ピクチャに割り当てる。以下において、１等長化単位のピクチャ群の目標符号量を「Ｓｇ」で表記し、１ピクチャの目標符号量を「Ｓｐ」で表記する。

図６に示すように、参照画像として使用されるＩピクチャ及びＰピクチャは、多くの目標符号量Ｓｐが割り当てられ、参照画像として使用されないＢピクチャは、ＩピクチャやＰピクチャよりも少ない目標符号量Ｓｐが割り当てられるようになっている。

その後、注目ピクチャの符号化、符号化されたピクチャの発生符号量に応じた注目ピクチャ群内の残りのピクチャに対する目標符号量Ｓｐの再割当てを繰り返すことにより、該注目ピクチャ群内のピクチャの符号化をしていく。

注目ピクチャの量子化ステップＱは推定複雑度Ｘｅｓｔを用いて、式（１）に従って算出される。
複雑度は、符号化対象の符号化の困難さを示す指標である。該手法は、それまでに符号化した、注目ピクチャと同一のピクチャタイプのピクチャの発生符号量と平均量子化ステップとの積を、注目ピクチャの複雑度Ｘｅｓｔとして推定する。
Q=Xest/ Sp(1)

１ピクチャの符号化は、マクロブロック毎に行われる。具体的には、注目ピクチャの１つ目のマクロブロックについては、式（１）により算出した量子化ステップＱを適用する。２つ目以降の各マクロブロックについては、既に符号化したマクロブロックの発生符号量の総和と目標符号量Ｓｐとの差分に基づいて、該注目ピクチャの総符号量が目標符号量Ｓｐに近付くように、量子化ステップＱを調整して該マクロブロックに適用する。

なお、図５に示すように、量子化ステップが離散的な値であるため、式（１）に従って算出した量子化ステップＱは、Ｑ１〜Ｑ３１のいずれかの値に完全に一致するとは限らない。例えば、式（１）に従って算出した量子化ステップＱがＱ５とＱ６の間にある場合には、該ピクチャの総符号量が目標符号量Ｓｐを超えないことを保障するためには、量子化ステップＱの値としては、大きいほうのＱ６が採用される。この点について、以下においても同様であり、説明を繰り返さない。

注目ピクチャの符号化が完了すると、該手法は、発生符号量に基づいて、注目ピクチャ群の総符号量が目標符号量Ｓｇにほぼ一致するように、該ピクチャ群内のまだ符号化されていない各ピクチャに対して、目標符号量の再割当てをし、それらの目標符号量Ｓｐを修正する。

そして、次の注目ピクチャに対して、複雑度Ｘｅｓｔを推定すると共に、推定した複雑度Ｘｅｓｔと修正された該注目ピクチャの目標符号量Ｓｐとを用いて、式（１）により量子化ステップＱを算出して、該ピクチャを符号化する。

このように、該符号量制御手法は、過去の量子化ステップと総符号量の関係を用いて、現在の平均レートに対してフィードバックする。その結果、短い期間で見た場合に単位時間の平均符号量（平均レート）が増減するものの、長いスパンで見た場合には単位時間の平均符号量が目標符号量になっている。

なお、編集等を前提としたＶＴＲ（Ｖｉｄｅｏｔａｐｅ Ｒｅｃｏｒｄｅｒ）のようなアプリケーションでは、例えばフレーム毎での編集といった操作があるため、編集単位でその総符号量が一定量を絶対に越えないような制御が必要である。このようなアプリケーションの場合、その発生符号量が上記一定量を超えないことを保障するために、各ピクチャに対して目標符号量を設定する際に、マージンをとる（小さくする）必要がある。

上述した符号量制御手法では、１ピクチャ内のマクロブロック間で比較すると、前段のマクロブロックの予測符号量よりも実際の発生符号量が多い場合には、該ピクチャの予測符号量（目標符号量Ｓｐに該当する）を達成するために、後段のマクロブロックは、割り当てられた符号量が減少し、画質が劣化してしまう。また、マクロブロック間で量子化ステップが変動するため、粗く量子化された領域が目立ち主観画質が劣化する。

また、１等長化単位のピクチャ群内のピクチャ間で比較すると、前段のピクチャの予測符号量よりも実際の発生符号量が多い場合には、後段のピクチャは、割り当てられた符号量が減少し、画質が劣化してしまう。後段のピクチャの割り当てられた符号量が減少する理由は、該ピクチャ群の目標符号量Ｓｇを達成する必要があるためである。また、ピクチャ間で量子化ステップが変動するため、粗く量子化されたピクチャが目立ち主観画質が劣化する。

後述する「適応量子化」によりマクロブロックに対して求められた量子化ステップと区別するために、上記の手法によりマクロブロックに対して求められる量子化ステップを「基準量子化ステップ」という。すなわち、基準量子化ステップは、注目ピクチャの１つ目のマクロブロックについては、式（１）により算出された量子化ステップＱであり、２つ目以降の各マクロブロックについては、既に符号化したマクロブロックの発生符号量に基づいて量子化ステップＱを調整したものである。

ＴＭ５では、人間の視覚特性に合わせて上述した基準量子化ステップに重み付けを行って該マクロブロックの量子化に適用することで画質を改善する「適応量子化」の手法が用いられている。該手法は、劣化の目立ちやすい部分（例えば平坦部）ではより細かく量子化し、劣化の目立ちにくい部分（例えば絵柄の複雑な部分）では粗く量子化するように、視覚特性を示すパラメータとしてアクティビティを用いて基準量子化ステップに重み付けを行うことで、同程度の符号量で主観画質を向上することができる。この量子化ステップの変更は視覚特性に応じてなされているため、前述のような量子化ステップの変動による主観画質の劣化を回避できる。

適応量子化で視覚特性を示すパラメータとして用いられるアクティビティは、例えば、ＴＭ５で採用されているブロックの輝度値の分散を特徴量として用いることにより算出されることが知られている。ＴＭ５では、具体的には、下記のように、アクティビティを用いて各マクロブロックの量子化ステップを決定する。

まず、式（２）に従って、１６×１６画素で構成されるマクロブロック（ＭＢｊ）のアクティビティａｃｔ＿ｊを、マクロブロック内の４つの８×８画素のサブブロックの輝度値の分散ｖｂｌｋ＿ｎ（１＜＝ｎ＜＝４）の最小値から求める。
act_j=1+min(vblk_1,vblk_2,vblk_3,vblk_4) (2)

次に、式（３）に従って、同一のピクチャ内の全てのマクロブロックのａｃｔ＿ｊの平均値ａｖｇ＿ａｃｔを用いてマクロブロックＭＢｊの正規化アクティビティＮａｃｔ＿ｊを求める。
Nact_j=(2×act_j+avg_act)/(act_j+2×avg_act) (3)

そして、式（４）に従って、適応量子化に基づいたマクロブロックＭＢｊの量子化ステップＱａｃｔ＿ｊを算出する。式（４）において、Ｑｂａｓｅは、上述した基準量子化ステップであり、Ｎａｃｔ＿ｊは、式（３）により算出された該マクロブロックＭＢｊの正規化アクティビティである。
Qact _j=Qbase×Nact_j(4)

なお、視覚特性に応じた高い主観画質を達成するためには、各マクロブロックの量子化ステップＱａｃｔ間にアクテビティに応じた差があること、アクティビティが同一ならば同一の量子化ステップが使用されること、の双方を満たすことが望ましいとされている。

なお、上記手法では、輝度値の分散に基づいてアクティビティを算出しているが、例えば、特許文献４に開示されたように、輝度成分と色差成分に基づいてアクティビティを算出することも知られている。

ところが、適応量子化を用いると、マクロブロックに適用される量子化ステップがＱｂａｓｅからＱａｃｔへと変更してしまうため、適応量子化を用いない場合より、発生符号量と予測符号量との乖離量が大きくなる。そのため、発生符号量が予測符号量よりも多い場合には、後続の領域（マクロブロックまたはピクチャ）に割り当てられる符号量が少なくなり、後続の領域の画質が劣化する。反対に発生符号量が予測符号量よりも少ない場合には、当該領域の画質は余剰符号量の分損われることになる。

特許文献１には、この問題を回避するための技術が開示されている。該技術は、注目マクロブロックの量子化ステップを決定する際に、仮想バッファに蓄積された発生符号量と予測符号量との差に応じて注目マクロブロックのアクティビティに重みを付ける。具体的には、発生符号量と予測符号量との差が大きいほど、注目マクロブロックのアクティビティの重みを小さくする（請求項６、第２の実施の形態等）。そして、式（４）に対して、重み付けられたアクティビティをＮａｃｔ＿ｊの代りに用いて該マクロブロックの量子化ステップを決定する。

該技術は、発生符号量と予測符号量との差に応じて注目マクロブロックのアクティビティに重みを付けることで総符号量を目標符号量に近付けることができる。しかしながら、アクティビティの重みを変更すると、アクティビティが同一であるマクロブロックでも異なる量子化ステップで符号化されてしまうため、適応量子化の効果が小さくなり、画質が低下するという問題がある。

特許文献２には、アクティビティが同一である領域を同一の量子化ステップで符号化するための技術が開示されている。該技術は、１ピクチャの符号化中において、式（４）における基準量子化ステップＱｂａｓｅを変化させず、各マクロブロックについて同一の値を用いる。こうすることにより、１つのピクチャにおいて、アクティビティＮａｃｔ＿ｊが同一である各マクロブロックは、量子化ステップＱａｃｔ＿ｊが同一となる。

この技術では、発生符号量が目標符号量と一致しなくなるため、特許文献２には、目標符号量について、２０％のマージンをみて決定することが望ましいと記載されている。

特許文献３には、推定した複雑度に基づいて符号量制御を制御する際に、複雑度の推定精度を高める技術が開示されている。ＴＭ５の手法は、過去のピクチャの発生符号量と平均量子化ステップとの積を注目ピクチャの複雑度Ｘｅｓｔとして推定して、注目ピクチャの発生符号量を予測している。そのため、過去のピクチャとの絵柄が大きく変化している場合や、シーンの切替えが生じた場合など、注目ピクチャと過去のピクチャとの間の相関が低い場合には、注目ピクチャの発生符号量の予測が大きく外れてしまい、符号量の配分が不正確になり、符号化効率が低下するという問題が生じる。

特許文献３に開示された手法は、例えば、段落「００２７」〜段落「００３２」に記載されたように、シーンチェンジ後初めて符号化するＩピクチャについては、その分散値から複雑度Ｘｅｓｔを推定し、シーンチェンジ後初めて符号化するＰピクチャ及びＢピクチャについては、該ピクチャとその参照ピクチャとの間の動きベクトル探索結果の予測誤差値から複雑度Ｘｅｓｔを推定する。これらのピクチャの複雑度Ｘｅｓｔの推定に際して、下記の式（５）が用いられる。
Xest=a×F²+b×F+c (5)

式（５）において、ａ、ｂ、ｃは、ピクチャタイプ毎に夫々定められた固定値である。また、特徴量Ｆは、Ｉピクチャの場合においては、該ピクチャの分散値であり、ＰピクチャまたはＢピクチャの場合においては、該ピクチャとその参照ピクチャとの間の動きベクトル探索結果の予測誤差値である。

なお、上記に該当しない各ピクチャについては、ＴＭ５の手法と同様に、前に符号化し同タイプのピクチャの発生符号量と平均量子化ステップから複雑度を推定する。

また、特許文献３には、さらに、式（５）に従って推定した複雑度と、符号化結果から得られた複雑度（符号化したピクチャの発生符号量と平均量子化ステップとの積）との関係をピクチャタイプ毎に過去数ピクチャ分蓄積し、蓄積したデータから、ピクチャタイプ毎に、式（５）における各係数を修正することも開示されている。この処理により、複雑度の推定精度をより向上させている。

特開２００７−２３５９２８号公報 特開平１０−２２４７８６号公報 特開２００２−２４７５８４号公報 特開２００９−１３５９０２号公報

動画像を高画質に符号化するために、アクティビティが同一である部分の量子化ステップをなるべく同一にし、かつ、アクティビティの差に応じて量子化ステップを変化させる必要がある。

特許文献１に開示された技術では、発生符号量を目標符号量に近付けることはできる。しかし、該技術では、アクティビティそのものに重付けをするため、実際のアクティビティが同一であるマクロブロックでも量子化ステップが異なると共に、実際のアクティビティの差が量子化ステップの差にも反映されず、画質が低下するという問題がある。

また、特許文献２に開示された技術は、ピクチャの発生符号量を目標符号量Ｓｐに一致させるために、目標符号量Ｓｐについて２０％のマージンをとる必要がある。しかし、２０％の符号量の余剰は視認できる大きな画質劣化をもたらすことが一般的に知られており、この技術では、高画質化の達成が難しい。特に編集を前提としたアプリケーションなど、１フレームなどの狭い領域の発生符号量が一定量を超えることが許可されない場合には、安全のために目標符号量Ｓｐのマージンをより大きくとる必要がある。そのため、画質は大きく劣化する。

特許文献３に開示された技術は、注目ピクチャの複雑度の推定精度を高めることができるものの、上述した問題を解決することができない。

本発明は、上記事情に鑑みてなされたものであり、符号化により得られたビットストリームのビットレートが所定の目標レートになるように符号量制御を行う際に、動画像を高画質に符号化する技術を提供する。

本発明の１つの態様は、出力するビットスストリームが目標レートになるように符号量制御を行う動画像符号化装置である。該動画像符号化装置は、注目ピクチャを直交変換して直交変換係数を得る直交変換部と、前記注目ピクチャのマクロブロック毎に、前記直交変換係数を量子化する量子化部と、前記マクロブロックの量子化ステップを算出して前記量子化部に供する量子化ステップ算出部とを備える。

量子化ステップ算出部は、注目ピクチャにおける注目マクロブロックに対して、該注目ピクチャに対して設定された目標符号量に該注目ピクチャの発生符号量を一致させるための変数である基準量子化ステップを求めると共に、算出した前記基準量子化ステップを、前記注目マクロブロックのアクティビティで重み付けることにより、該マクロブロックの量子化に適用される量子化ステップを決定して前記量子化部に供する。

該量子化ステップ算出部は、複雑度推定部と、複雑度補正部と、基準量子化ステップ算出部とを有する。

前記複雑度推定部は、注目ピクチャの各マクロブロックに対して、符号化の困難さを示す複雑度を推定する。

複雑度補正部は、注目ピクチャの各マクロブロックについて、アクティビティが大きいほど補正複雑度が小さくなるように、該マクロブロックのアクティビティで、前記複雑度推定部により推定された前記複雑度を補正して該マクロブロックの前記補正複雑度を求める。

基準量子化ステップ算出部は、注目ピクチャの各マクロブロックの前記補正複雑度の総和を前記目標符号量で除算することにより前記基準量子化ステップを算出する。

なお、上記態様の動画像符号化装置をシステムや方法に置き換えて表現したもの、コンピュータを該装置として実行せしめるプログラム、該プログラムを記録した記録媒体なども、本発明の態様としては有効である。

本発明にかかる技術によれば、動画像を符号化して得たビットストリームのビットレートが所定の目標レートになるように符号量制御を行う際に、高画質の符号化を実現することができる。

本発明の第１の実施の形態にかかる動画像符号化装置を示す図である。 図１に示す動画像符号化装置における量子化ステップ算出部を示す図である。 図２に示す量子化ステップ算出部による処理を示すフローチャートである。 ＭＰＥＧのレイヤ構造を示す図である。 量子ステップと発生符号量の関係を示す図である。 ピクチャの目標符号量の割当てを示す図である。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェアとソフトウェア（プログラム）の組合せによっていろいろな形で実現できることは当業者には理解されるところであり、ハードウェアとソフトウェアのいずれかに限定されるものではない。例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にソフトウェアを実行させることにより、本発明の処理を実現することも可能である。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態にかかる動画像符号化装置１００を示す。動画像符号化装置１００は、動画像ＭＰを例えばＭＰＥＧ方式で可変レートで符号化してビットストリームＢＳを得て出力するものであり、演算器１０２、直交変換部１０４、量子化部１０６、符号化部１０８、バッファ１１０、逆量子化部１１２、逆直交変換部１１４、演算器１１６、フレーム内予測部１１８、フレーム間予測部１２０、スイッチ１２２、量子化ステップ算出部２００を備える。

動画像ＭＰのデータは、演算器１０２により入力される。演算器１０２は、入力された動画像ＭＰのマクロブロック毎に、そのデータと、スイッチ１２２を介してフレーム内予測部１１８またはフレーム間予測部１２０から入力された該マクロブロックの予測画像のデータとの差分を算出して、直交変換部１０４に出力する。

直交変換部１０４は、演算器１０２の出力に対してＤＣＴ処理を施し、その結果で得られるＤＣＴ係数を量子化部１０６に出力する。

量子化部１０６は、注目マクロブロックのＤＣＴに対して、量子化ステップ算出部２００からの量子化ステップ（「適応量子化ステップ」という）Ｑｍｂで量子化して符号化部１０８に出力する。以下、量子化部１０６の出力を「量子化値」ともいう。

符号化部１０８は、量子化部１０６からの量子化値を例えばハフマン符号などの可変長符号に変換してバッファ１１０に出力する。

バッファ１１０は、符号化部１０８からのデータを一時蓄積したのち、ビットストリームＢＳとして出力する。なお、符号化部１０８におけるデータの蓄積量は、発生符号量Ｓｒとして、量子化ステップ算出部２００に出力される。

量子化部１０６が得た量子化値は、符号化部１０８以外に、逆量子化部１１２にも出力される。逆量子化部１１２は、量子化部１０６からの量子化値を、量子化部１０６が使用した適応量子化ステップＱｍｂで逆量子化することにより、ＤＣＴ係数を得て逆直交変換部１１４に出力する。

逆直交変換部１１４は、逆量子化部１１２からのＤＣＴ係数に対して逆ＤＣＴ処理を施し、予測残差を得て演算器１１６に出力する。

演算器１１６には、逆直交変換部１１４からの予測残差と、演算器１０２に供された予測画像と同一のデータとが入力される。演算器１１６は、それらを加算する局所復号によりローカルデコード画像を得て、フレーム内予測部１１８とフレーム間予測部１２０に出力する。

なお、ローカルデコード画像は、ビットストリームＢＳを受信した側において得られる復号画像と同一のものである。

フレーム内予測部１１８は、注目ピクチャ内で隣接ブロックの画素から予測画像を得てスイッチ１２２に出力する。フレーム間予測部１２０は、注目ピクチャの参照ピクチャを用いて、動きベクトルの検出や動き補償などを行い、参照画像を得てスイッチ１２２に出力する。

スイッチ１２２は、注目ピクチャのタイプ（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）に応じて設定された符号化モードに基づいて、フレーム内予測部１１８とフレーム間予測部１２０の出力を選択的に演算器１０２に出力する。

量子化ステップ算出部２００を除き、動画像符号化装置１００の各機能ブロックは、この種の動画像符号化装置の相対応する機能ブロックと同様のものであり、これらのブロックについて、これ以上の詳細な説明を省略する。

量子化ステップ算出部２００は、注目マクロブロックに対して、その量子化に適用される量子化ステップである適応量子化ステップＱｍｂを算出して量子化部１０６に供する。

図２は、量子化ステップ算出部２００を示す。量子化ステップ算出部２００は、複雑度推定部２０２、アクティビティ算出部２０４、複雑度補正部２０６、基準量子化ステップ算出部２０８、量子化ステップ適応化部２１０を備える。

複雑度推定部２０２は、注目ピクチャの各マクロブロックに対して、符号化の困難さを示す複雑度Ｘｍｂを推定して複雑度補正部２０６に出力する。

複雑度推定部２０２は、具体的には、例えば、ＭＰＥＧ−２のＴＭ５に記載されたように、最後に符号化した、注目ピクチャと同一のタイプのピクチャの発生符号量と平均量子化ステップとの積を注目ピクチャの複雑度Ｘｅｓｔとして推定する。複雑度推定部２０２は、推定した複雑度Ｘｅｓｔを、１ピクチャ当たりのマクロブロックの総数ｎで除算することにより、注目ピクチャの各マクロブロックの複雑度Ｘｍｂを得る。

アクティビティ算出部２０４は、注目ピクチャの各マクロブロックのアクティビティを夫々算出すると共に正規化することにより正規化アクティビティＡＣＴｍｂを得て、複雑度補正部２０６と量子化ステップ適応化部２１０に正規化アクティビティＡＣＴｍｂを出力する。

アクティビティ算出部２０４によるアクティビティの算出は、ＴＭ５に記載された、マクロブロックの各サブブロックの輝度値の分散を用いる（式（２））手法や、特許文献４に記載された、輝度成分と色差成分を用いる手法など、従来知られている方法を用いればよい。

なお、正規化については、注目ピクチャ内の全てのマクロブロックのアクティビティの平均値を用いて、式（３）に示すように行えばよい。

複雑度補正部２０６は、注目ピクチャの各マクロブロックについて、アクティビティ算出部２０４が得た正規化アクティビティＡＣＴｍｂで、複雑度推定部２０２が得た複雑度Ｘｍｂを補正して補正複雑度ＴＸｍｂを得る。複雑度補正部２０６は、得た基準量子化ステップ算出部２０８に出力する。

複雑度補正部２０６は、正規化アクティビティＡＣＴｍｂが大きいほど補正複雑度ＴＸｍｂが小さくなるように、複雑度Ｘｍｂを補正する。例えば、複雑度補正部２０６は、下記の式（６）を用いて、複雑度Ｘｍｂを補正する。式（６）におけるｊは、マクロブロックの番号である。
TXmb(j)=Xmb(j)／ACTmb(j) (6)

基準量子化ステップ算出部２０８は、式（７）に従って、複雑度補正部２０６により得られた注目ピクチャの各マクロブロックの補正複雑度ＴＸｍｂの総和を、注目ピクチャの補正複雑度ＴＸｐとして求める。また、基準量子化ステップ算出部２０８は、式（８）に従って、注目ピクチャの発生符号量の総和を目標符号量Ｓｐに一致させるための変数である基準量子化ステップＱｂａｓｅを算出する。

TXp=TXmb(1)＋TXmb(2)+・・・+TXmb(n) (7)
但し，ｎ：１ピクチャ内のマクロブロックの総数

Qbase=TXp／Sp (8)

式（８）を上述した式（１）に比較すると分かるように、本実施の形態において、基準量子化ステップＱｂａｓｅを算出する際に、注目ピクチャの同一タイプの符号化済みピクチャの推定された複雑度Ｘｅｓｔの代りに補正複雑度ＴＸｐが用いられるようになっている。

基準量子化ステップ算出部２０８は、注目ピクチャの全てのマクロブロックについて、式（８）で算出した基準量子化ステップＱｂａｓｅを量子化ステップ適応化部２１０に出力する。または、基準量子化ステップ算出部２０８は、基準量子化ステップＱｂａｓｅを量子化ステップ適応化部２１０に次のように出力してもよい。基準量子化ステップ算出部２０８は、注目ピクチャの１つ目のマクロブロックについては、式（８）で算出した基準量子化ステップＱｂａｓｅを出力する。基準量子化ステップ算出部２０８は、２つ目以降の各マクロブロックについては、該注目ピクチャの既に符号化済みのマクロブロックの発生符号量Ｓｒに基づき、該注目ピクチャの発生符号量の総和が目標符号量Ｓｐに近付くように、式（８）で算出した基準量子化ステップＱｂａｓｅを調整して量子化ステップ適応化部２１０に出力する。

量子化ステップ適応化部２１０は、視覚特性に適応するように、式（９）に従って、注目マクロブロックについて、基準量子化ステップ算出部２０８からの基準量子化ステップＱｂａｓｅを、アクティビティ算出部２０４からの正規化アクティビティＡＣＴｍｂで重み付ける。この重み付けは、ＴＭ５の「適応量子化」の手法に従ったものである。これにより、量子化ステップ適応化部２１０は、注目マクロブロックの量子化に適用される量子化ステップ（適応量子化ステップＱｍｂ）を得る。なお、式（９）において、基準量子化ステップＱｂａｓｅ（ｊ）は、注目マクロブロックとなるｊ番目のマクロブロックの基準量子化ステップである。基準量子化ステップＱｂａｓｅ（ｊ）は、式（８）で算出した値、または、符号化済みのマクロブロックの発生符号量Ｓｒに基づいて、式（８）で算出した値を調整して得たものである。
Qmb(j)=Qbase(j)×ACTmb(j) (9)

図３のフローチャートを参照して、量子化ステップ算出部２００による注目ピクチャの各マクロブロックの適応量子化ステップＱｍｂの算出処理の流れを説明する。

量子化ステップ算出部２００は、まず、注目ピクチャの全てのマクロブロック（ＭＢ）について、複雑度推定部２０２により複雑度Ｘｍｂを推定すると共に、アクティビティ算出部２０４により正規化アクティビティＡＣＴｍｂを算出する（Ｓ１００、Ｓ１０２）。

次に、全てのマクロブロックについて、複雑度補正部２０６により、アクティビティ算出部２０４からの正規化アクティビティＡＣＴｍｂで複雑度推定部２０２からの複雑度Ｘｍｂを補正して、補正複雑度ＴＸｍｂを得る（Ｓ１０４）。

そして、基準量子化ステップ算出部２０８により、１つ目の注目マクロブロックに対して、複雑度補正部２０６からの各マクロブロックの補正複雑度ＴＸｍｂの総和である補正複雑度ＴＸｐと、該注目ピクチャに対して設定された目標符号量Ｓｐとを用いて、式（８）に従って、基準量子化ステップＱｂａｓｅを算出する（Ｓ１０６）。

次いで、量子化ステップ適応化部２１０により、１つ目の注目マクロブロックに対して、正規化アクティビティＡＣＴｍｂで基準量子化ステップＱｂａｓｅを重み付けることにより適応量子化ステップＱｍｂを算出して量子化部１０６に出力する（Ｓ１０８）。

量子化ステップ算出部２００は、最後の注目マクロブロックの適応量子化ステップＱｍｂが算出される（Ｓ１１０：Ｙｅｓ）まで、ステップＳ１１２、Ｓ１０６、Ｓ１０８の処理を繰り返す（Ｓ１１０：Ｎｏ、Ｓ１１２、Ｓ１０６、Ｓ１０８）ことにより、注目ピクチャの全てのマクロブロックの適応量子化ステップＱｍｂを夫々算出する。

なお、注目ピクチャ内の全てのマクロブロックに対して同一の基準量子化ステップＱｂａｓｅを用いる場合には、ステップＳ１０６では、基準量子化ステップ算出部２０８は、全てのマクロブロックについて、１つ目のマクロブロックに対して算出した基準量子化ステップＱｂａｓｅを出力する。または、基準量子化ステップ算出部２０８は、注目ピクチャの１つ目のマクロブロックに対して、式（８）に従って基準量子化ステップＱｂａｓｅを算出し、量子化ステップ適応化部２１０に出力した後は、他のマクロブロックについては基準量子化ステップＱｂａｓｅの出力をしなくともよい。このとき、量子化ステップ適応化部２１０は、該注目ピクチャの全てのマクロブロックについて、１つ目のマクロブロックのときに基準量子化ステップ算出部２０８から出力された基準量子化ステップＱｂａｓｅを用いて上述の処理を行う。

また、同一のピクチャ内の既に符号化されたマクロブロックの発生符号量Ｓｒをフィードバックして残りのマクロブロックの基準量子化ステップＱｂａｓｅを調整する場合には、基準量子化ステップ算出部２０８は、マクロブロック毎に、その基準量子化ステップＱｂａｓｅの算出（または調整）を行う。

本実施の形態の動画像符号化装置１００は、各マクロブロックに対して推定した複雑度Ｘｍｂを、その正規化アクティビティＡＣＴｍｂで補正して、補正複雑度ＴＸｍｂを得る。動画像符号化装置１００は、注目ピクチャの各マクロブロックに対して、該注目ピクチャに対して設定された目標符号量に該注目ピクチャの発生符号量を一致させるための変数である基準量子化ステップＱｂａｓｅを求める際に、補正複雑度ＴＸｍｂの総和を注目ピクチャの複雑度として推定して用いる。こうすることにより、後に量子化ステップ適応化部２１０による基準量子化ステップＱｂａｓｅの適応量子化による発生符号量の変化を、基準量子化ステップＱｂａｓｅを決定する段階に含有させることができる。このため、発生符号量を目標符号量に近付けることができ、ひいては、発生符号量と目標符号量の乖離に起因する画質の劣化を軽減することができる。

特に、フレーム単位でビット量の上限が定められているＡＶＣ−Ｉｎｔｒａなど、マクロブロック単位などの狭い領域範囲で厳密な符号量の制御が必要な規格においても、本実施の形態の動画像符号化装置１００によれば、発生符号量の推定精度の向上により、目標符号量のマージンを小さくとることができ、高画質の符号化を実現することができる。

＜第２の実施の形態＞
上述した第１の実施の形態の動画像符号化装置１００において、量子化ステップ算出部２００の複雑度推定部２０２は、ＴＭ５の手法により、注目ピクチャと同一のタイプの符号化済みピクチャの発生符号量と平均量子化ステップとの積を注目ピクチャの複雑度Ｘｅｓｔとして推定する。そして、複雑度推定部２０２は、推定した複雑度Ｘｅｓｔをマクロブロックの総数ｎで除算することにより各マクロブロックの複雑度Ｘｍｂを算出している。

複雑度推定部２０２における注目ピクチャの複雑度の推定は、例えば、特許文献３に開示された手法を用いるようにしてもよい。具体的には、シーンチェンジ後初めて符号化するＩピクチャについては、その分散値から複雑度Ｘｅｓｔを推定し、シーンチェンジ後初めて符号化するＰピクチャ及びＢピクチャについては、該ピクチャとその参照ピクチャとの間の動きベクトル探索結果の予測誤差値から複雑度Ｘｅｓｔを推定する。これらの推定に際しては、式（５）が用いられる。上記に該当しない各ピクチャについては、ＴＭ５の手法と同様に、前に符号化し同タイプのピクチャの発生符号量と平均量子化ステップから複雑度を推定する。

なお、式（５）は、１例として２次多項式であるが、１次多項式や、３次以上の多項式であってもよい。

さらに、式（５）の各係数について、全ての注目ピクチャに対して、予め定められた固定値を用いるようにしてもよいし、重回帰分析などにより動的に調整するようにしてもよい。具体的には、複雑度推定部２０２は、式（５）に従って推定した複雑度と、符号化結果から得られた複雑度（符号化したピクチャの発生符号量と平均量子化ステップとの積）との関係をピクチャタイプ毎に過去数ピクチャ分蓄積し、蓄積したデータから、ピクチャタイプ毎に、式（５）における各係数を修正する。

こうすることにより、複雑度推定部２０２における注目ピクチャの複雑度の推定精度を高めることができるため、注目ピクチャの各マクロブロックの複雑度複雑度Ｘｍｂの推定精度も向上する。結果としては、基準量子化ステップ算出部２０８により算出された基準量子化ステップＱｂａｓｅ乃至量子化ステップ適応化部２１０により算出された適応量子化ステップＱｍｂが、より注目ピクチャの実際の複雑度に適応したものとなるため、発生符号量をより目標符号量に近づけ、画質を一層高めることができる。

＜第３の実施の形態＞
上述した第１と第２の実施の形態において、注目ピクチャの複雑度を推定して、推定した複雑度をマクロブロックの総数で除算することにより、各マクロブロックに対して同一の複雑度Ｘｍｂを算出しているが、マクロブロック毎に複雑度Ｘｍｂを算出するようにしてもよい。

その際、複雑度Ｘｍｂの算出は、例えば下記の式（１０）を用いることができる。
Xmb=a×（Fmb）²+b×Fmb+c(10)

式（１０）は、式（５）に対して、注目ピクチャ全体の特徴量Ｆを、当該マクロブロックの特徴量Ｆｍｂに変更したものである。特徴量Ｆと特徴量Ｆｍｂは、同一の種類のものである。

勿論、式（１０）における各係数についても、予め定められた固定値を用いるようにしてもよいし、重回帰分析などにより動的に調整するようにしてもよい。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨（スコープ）から逸脱しない限り、上述した各実施の形態に対してさまざまな変更、増減、組合せを行ってもよい。これらの変更、増減、組合せが行われた変形例も本発明の範囲にあることは、当業者に理解されるところである。

この出願は、２０１３年６月１３日に出願された日本出願特願２０１３−１２４６５８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、動画像の符号化に適用することができる。

１００ 動画像符号化装置
１０２ 演算器
１０４ 直交変換部
１０６ 量子化部
１０８ 符号化部
１１０ バッファ
１１２ 逆量子化部
１１４ 逆直交変換部
１１６ 演算器
１１８ フレーム内予測部
１２０ フレーム間予測部
１２２ スイッチ
２００ 量子化ステップ算出部
２０２ 複雑度推定部
２０４ アクティビティ算出部
２０６ 複雑度補正部
２０８ 基準量子化ステップ算出部
２１０ 量子化ステップ適応化部
ＡＣＴｍｂ 正規化アクティビティ
ＢＳ ビットストリーム
ＭＰ 動画像
Ｑｂａｓｅ 基準量子化ステップ
Ｑｍｂ 適応量子化ステップ
Ｓｇ 目標符号量
Ｓｐ 目標符号量
Ｓr 発生符号量
ＴＸｍｂ 補正複雑度
ＴＸｐ 補正複雑度
Ｘｅｓｔ 複雑度
Ｘｍｂ 複雑度

Claims (3)

1. 注目ピクチャを直交変換して直交変換係数を得る直交変換手段と、
   前記注目ピクチャのマクロブロック毎に、前記直交変換係数を量子化する量子化手段と、
   前記注目ピクチャにおける注目マクロブロックに対して、該注目ピクチャに対して設定された目標符号量に該注目ピクチャの発生符号量を一致させるための変数である基準量子化ステップを求めると共に、算出した前記基準量子化ステップを、前記注目マクロブロックのアクティビティで重み付けることにより、該注目マクロブロックの量子化に適用される量子化ステップを決定して前記量子化手段に供する量子化ステップ算出手段とを備え、
   前記量子化ステップ算出手段は、
   前記注目ピクチャの各マクロブロックに対して、符号化の困難さを示す複雑度を推定する複雑度推定手段と、
   各前記マクロブロックについて、アクティビティが大きいほど補正複雑度が小さくなるように、前記アクティビティで前記複雑度を補正して該マクロブロックの前記補正複雑度を求める複雑度補正手段と、
   各前記マクロブロックの前記補正複雑度の総和を前記目標符号量で除算することにより前記基準量子化ステップを算出する基準量子化ステップ算出手段とを有する、
   動画像符号化装置。
2. 出力するビットスストリームが目標レートになるように符号量制御を行う動画像符号化方法において、
   注目ピクチャを直交変換して直交変換係数を得て、
   前記注目ピクチャのマクロブロック毎に、前記直交変換係数を量子化し、
   前記注目ピクチャにおける注目マクロブロックに対して、該注目ピクチャに対して設定された目標符号量に該注目ピクチャの発生符号量を一致させるための変数である基準量子化ステップを求めると共に、算出した前記基準量子化ステップを、前記注目マクロブロックのアクティビティで重み付けることにより、該注目マクロブロックの量子化に適用される量子化ステップを決定して前記直交変換係数を量子化することに供し、
   前記量子化ステップの決定においては、
   前記注目ピクチャの各マクロブロックに対して、符号化の困難さを示す複雑度を推定すること、
   各前記マクロブロックについて、アクティビティが大きいほど補正複雑度が小さくなるように、前記アクティビティで前記複雑度を補正して該マクロブロックの前記補正複雑度を求めること、及び
   各前記マクロブロックの前記補正複雑度の総和を前記目標符号量で除算することにより前記基準量子化ステップを算出することを備える、
   動画像符号化方法。
3. 出力するビットスストリームが目標レートになるように符号量制御を行う動画像符号化に際して、
   注目ピクチャを直交変換して直交変換係数を得て、
   前記注目ピクチャのマクロブロック毎に、前記直交変換係数を量子化し、
   前記注目ピクチャにおける注目マクロブロックに対して、該注目ピクチャに対して設定された目標符号量に該注目ピクチャの発生符号量を一致させるための変数である基準量子化ステップを求めると共に、算出した前記基準量子化ステップを、前記注目マクロブロックのアクティビティで重み付けることにより、該注目マクロブロックの量子化に適用される量子化ステップを決定して前記直交変換係数を量子化することに供することをコンピュータに実行せしめ、
   前記量子化ステップの決定においては、
   前記注目ピクチャの各マクロブロックに対して、符号化の困難さを示す複雑度を推定すること、
   各前記マクロブロックについて、アクティビティが大きいほど補正複雑度が小さくなるように、前記アクティビティで前記複雑度を補正して該マクロブロックの前記補正複雑度を求めること、及び
   各前記マクロブロックの前記補正複雑度の総和を前記目標符号量で除算することにより前記基準量子化ステップを算出することを前記コンピュータに実行せしめる、
   プログラム。

Images