JP5913929B2 - 動画像符号化装置及びその制御方法、コンピュータプログラム - Google Patents

Description

本発明は、動画像符号化装置及びその制御方法、コンピュータプログラムに関する。

画像を高能率符号化するための技術として、ＪＰＥＧ方式の圧縮技術や動き予測・動き補償技術を用いたＭＰＥＧ１、２といった符号化方式が確立されている。各メーカーは、これらの符号化方式を利用して画像を記録媒体に記録可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し製品化している。

ところで、ディジタル化された動画像は膨大なデータ量となる。膨大なデータ量を圧縮するためには、ブロック単位に符号化を行う際に粗く量子化を行い、圧縮率を高くする必要がある。しかし、粗く量子化することにより発生する量子化誤差により、ブロック境界に画素値レベルの差が発生する。映像視聴時にこの画素値レベルの差（以下、ブロックノイズと称す）が知覚されるので、画質劣化の要因となっていた。符号化方式のＨ．２６４では、このようなブロックノイズを低減するために、デブロッキングフィルタと呼ばれるノイズリダクションフィルタが規格化された。Ｈ．２６４は、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）によって規格化され、正式にはＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ１０という。

このデブロッキングフィルタ処理は、復号化された画像に対して施される。符号化時にも動き補償のために局所復号化を行う場合には、この局所復号化画像に対し、デブロックキングフィルタ処理を行うことができる。このデブロッキングフィルタのフィルタ強度は、Ｈ．２６４で規格化されている方式に従い、例えば量子化パラメータ等に応じて画素単位に変化する。また、画素単位よりも大きい領域（スライス）単位に変更する仕組みも規格化されている。この仕組みに従い、符号化時にデブロッキングフィルタのフィルタ強度を制御することが可能となっている。デブロッキングフィルタ処理された局所復号化画像は、符号化順で次フレームの動き補償を行う際に参照する画像となるため、ブロックノイズを低減させることにより、符号化効率を向上させることが可能となる。

このような符号化時のフィルタ処理におけるフィルタ強度の制御技術として、特許文献１のような技術が開示されている。特許文献１は、符号化前の原画像と符号化時に動き補償により生成された予測画像とのＰＳＮＲに応じて、原画像に対する帯域制限フィルタの強度を変更する技術を開示している。

特開２００８−１１３２４号公報

上記のようにＨ．２６４規格では、デブロッキングフィルタ処理とそのフィルタ強度を制御する方式が規格化されている。しかし、ブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を施さなければ、画像の絵柄がボケてしまったり、また、逆にブロックノイズを十分に低減できなかったりする。

また、デブロッキングフィルタ処理後の画像を参照して動き補償を行う際に、ブロックノイズが十分に低減できていないと、動き補償後の予測画像に本来符号化前の画像には存在しないブロックノイズが残存し、それにより、符号化効率が低下してしまう。

そこで本発明は、発生したブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を実施可能にすることを目的とする。

上記課題を解決するための本発明は動画像符号化装置であって、
予測符号化処理のための予測画像を生成する予測画像生成手段と、
原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
を備え、
前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出手段と、
前記画質劣化度に応じたフィルタ強度を算出するフィルタ強度算出手段と、
前記算出されたフィルタ強度を補正するフィルタ強度補正手段と、
前記局所復号化画像に対し、前記フィルタ強度補正手段から得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理手段と、
を更に備え、
前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
前記フィルタ強度補正手段は、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正を行う。

本発明によれば、発生したブロックノイズの度合いに応じたフィルタ強度でデブロッキングフィルタ処理を行うことができる。これにより復号化画像の画質を向上することができる。また、十分にブロックノイズを低減できるので、デブロッキングフィルタ処理後の画像を参照した動き補償では動き予測精度が向上し、符号化効率を向上させることができる。

発明の動画像符号化装置の構成例を示す図 画質劣化度フィルタ強度の算出方法を説明する図 絵柄情報の算出方法を説明する図 ブロックノイズの目立ち易さ判定を説明する図 画質劣化度フィルタ強度の判定方法を説明する図 画質劣化度フィルタ強度の補正方法を説明する図 本発明におけるフィルタ強度を算出する動作のフローを示す図

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

［実施形態１］
図１は、本発明の一実施形態による動画像符号化装置の構成例を示すブロック図である。本実施形態における動画像符号化装置は、局所復号化画像の原画像に対する画質劣化度に応じて算出したフィルタ強度を符号化情報及び局所復号化画像の絵柄情報に応じて補正する。そして、補正後のフィルタ強度に基づきデブロッキングフィルタ処理を行う動画像符号化装置である。以下、本発明の構成例について図１を参照して説明する。
本実施形態における動画像符号化装置は、フレーム並替部１０１、減算器１０２、直交変換部１０３、量子化部１０４、算術符号化部１０５、逆量子化部１０６、逆直交変換部１０７、加算器１０８、フレームメモリ１０９及び１１３、イントラ予測部１１０、スイッチ１１１及び１１６、デブロッキングフィルタ１１２、インター予測部１１４、動き検出部１１５、画質劣化度算出部１１７、フィルタ強度算出部１１８、絵柄情報算出部１１９、符号化情報算出部１２０、フィルタ強度判定部１２１、フィルタ強度補正部１２２を有し構成される。本実施形態における動画像符号化装置は、入力された原画像を所定数の画素から成るブロックに分割し、ブロック単位に予測符号化処理を行って符号化ストリームを出力する。

図１の動画像符号化装置において、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

続いて、本実施形態に対応する予測符号化処理について説明する。まず、フレーム並替部１０１は、表示順で入力された原画像を符号化順に並び替える。減算器１０２は、入力画像データから、スイッチ１１６を介して提供される予測画像データを減算し、画像残差データを直交変換部１０３に出力する。なお、予測画像データの生成については後述する。

直交変換部１０３は、減算器１０２が出力した画像残差データを直交変換処理して変換係数を出力する。量子化部１０４は、直交変換部１０３が出力した変換係数を所定の量子化パラメータを用いて量子化する。直交変換部１０３及び量子化部１０４をまとめて変換部と称す。算術符号化部１０５は、直交変換、量子化を経た変換部による変換結果である量子化済の変換係数を算術符号化して符号化ストリームとして出力する。この量子化部１０４で量子化された変換係数は、前述した予測画像データの生成にも使われる。

逆量子化部１０６は、量子化部１０４で量子化された変換係数を逆量子化する。逆直交変換部１０７は、逆量子化部１０６における逆量子化で得られた変換係数を逆直交変換し、復号画像残差データとして出力する。加算器１０８は、逆直交変換部１０７より出力された復号画像残差データと、予測画像データとを加算して、局所復号化画像データとして出力する。局所復号化画像データの出力先は、フレームメモリ１０９、スイッチ１１１、絵柄情報算出部１１９、画質劣化度算出部１１７である。逆量子化部１０６、逆直交変換部１０７及び加算器１０８をまとめて局所復号化部と称す。

フレームメモリ１０９は、加算器１０８から出力された局所復号化画像データを記憶する。スイッチ１１１は、加算器１０８から出力された局所復号化画像データに対してデブロッキングフィルタ処理を施すか否かを切り替える。局所復号化画像データに対してデブロッキングフィルタ処理を施す場合、デブロッキングフィルタ１１２が後述の方法にて算出されたフィルタ強度に基づきデブロッキングフィルタ処理を行う。フレームメモリ１１３は、デブロッキングフィルタ処理された局所復号化画像データを記録する。デブロッキングフィルタ処理を施さない場合、デブロッキングフィルタ１１２を介さずにフレームメモリ１１３に直接記録する。局所復号化画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ１０９または１１３に保存される。

イントラ予測部１１０は、フレームメモリ１０９に記録された局所復号化画像データを用いてフレーム内予測処理を行い、予測画像生成を行う。また、インター予測部１１４は、フレームメモリ１１３に記録されたデブロッキングフィルタ処理後の局所復号化画像を用いて動き検出部１１５により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像生成を行う。動き検出部１１５は、フレームメモリ１１３に記録された局所復号画像を参照して入力画像データにおける動きベクトルを検出する。検出した動きベクトル情報を算術符号化部１０５及びインター予測部１１４にそれぞれ出力する。

尚、フレームメモリ１１３が記録するデブロッキングフィルタ処理後の局所復号化画像にブロックノイズが残存していると、原画像には存在しない情報が予測画像データに存在するため、減算器１０２からの出力データ量が多くなる。つまり、デブロッキングフィルタ１１２により十分ブロックノイズを低減することにより、減算器１０２からの出力データ量を減らし、符号化効率を向上させることが可能となる。

スイッチ１１６は、予測画像データとしてイントラ予測部１１０で生成された予測画像データ又はインター予測部１１４で生成された予測画像データのどちらを用いるか、すなわちイントラ予測又はインター予測のどちらを用いるか選択するための選択部である。例えば、Ｉピクチャであれば、イントラ予測部１１０からの出力を選択し、Ｐピクチャであればイントラ予測部１１０またはインター予測部１１４の出力のうち、予測精度の高い方を選択する。選択された予測画像データは減算器１０２、加算器１０８に出力される。

画質劣化度算出部１１７は、原画像とその原画像を符号化し、局所復号化を行った局所復号化画像間の画質劣化度を算出する。画質劣化度とは、例えば、原画像と局所復号化画像の差分やＰＳＮＲ（Peak Signal-to-Noise Ratio）が挙げられる。尚、画質劣化度を算出するための原画像と局所復号化画像の画像は、動画像符号化装置内部で位相を合わせ、同一フレームのものとする。

フィルタ強度算出部１１８は、画質劣化度算出部１１７により算出された画質劣化度に応じて画質劣化度フィルタ強度を算出する。絵柄情報算出部１１９は、デブロッキングフィルタ処理前の局所復号化画像の絵柄情報を算出する。符号化情報算出部１２０は、符号化時の符号化パラメータを収集し、符号化情報として出力する。

フィルタ強度判定部１２１は、絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。フィルタ強度補正部１２２は、フィルタ強度判定部１２１の判定結果と絵柄情報に応じて、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ１１２に出力する。

以上が本実施形態における動画像符号化装置に関する説明である。尚、本実施形態ではデブロッキングフィルタ処理前の局所復号化画像を用いてフィルタ強度を算出する構成について説明するが、フィルタ強度の算出はデブロッキングフィルタ処理後の局所復号化画像を用いても良い。デブロッキングフィルタ処理後の局所復号化画像を用いてフィルタ強度を算出する場合、フィルタ処理後画像に対する画質劣化度及び絵柄情報に応じて、フィルタ強度を算出する構成となる。

次に、画質劣化度算出部１１７、フィルタ強度算出部１１８、絵柄情報算出部１１９、符号化情報算出部１２０、フィルタ強度判定部１２１、フィルタ強度補正部１２２について詳しく説明する。

［画質劣化度算出部１１７とフィルタ強度算出部１１８］
まず、画質劣化度算出部１１７及びフィルタ強度算出部１１８について、図２を参照して詳細に説明する。尚、本実施形態では、画質劣化度算出部１１７が画質劣化度として原画像と局所復号化画像のＰＳＮＲを算出する例について説明する。

フィルタ強度算出部１１８は、原画像と局所復号化画像間の画素値の差が、どの程度存在するかという情報を客観的に表すＰＳＮＲに応じて画質劣化度フィルタ強度を算出している。画質劣化度算出部１１７におけるＰＳＮＲの算出は、例えば、画面全体に対して２画像間のＰＳＮＲを算出する。ＰＳＮＲの値の意味としては、原画像と局所復号化画像の画素値の差が大きければＰＳＮＲの値は小さくなり、逆に、原画像と局所復号化画像の画素値の差が小さければＰＳＮＲの値は大きくなる。このようなＰＳＮＲを算出することにより、原画像と局所復号化画像の差、つまり、予測符号化処理による画質劣化度を算出することができる。

このＰＳＮＲは、局所復号化画像と原画像とを用いて、以下の式１により算出される。

ここで、ＮおよびＭは画像の縦と横の画素数を表す。また、ｐ(i,j)は現行の画像データにおける位置(i,j)の画素値を表し、ｐ'(i,j)は局所復号化画像における位置(i,j)の画素値を表す。Ｔは、画像の階調数-１（８ビット／ピクセル画像ではＴ＝２５５）を表す。

フィルタ強度算出部１１８は、画質劣化度算出部１１７が算出したＰＳＮＲに応じて、図２のように画質劣化度フィルタ強度を算出する。ＰＳＮＲの値が小さい場合は、画質劣化によるノイズ発生の可能性が高いため、フィルタ強度を強めに制御する。逆に、ＰＳＮＲの値が大きい場合は、画質劣化によるノイズ発生の可能性が低いため、フィルタ強度を弱めに制御する。尚、フィルタ強度は、値が大きいほど強いフィルタ強度を表すものとし、−６〜＋６まで１刻み精度で１３段階の設定が可能なものとする。ただし、フィルタ強度の段数はここで示すものに限定されず、より多くてもよいし、少なくてもよい。

以上のように、ＰＳＮＲという客観的画質評価値に応じて算出した画質劣化度フィルタ強度は、ＰＳＮＲという指標の特性上、時間的に安定しており動画画質の連続性を保つためには望ましい。しかし、必ずしもブロックノイズによる画質劣化を正しく表現できている画質評価値ではない。そのため、後述の方法によりこの画質劣化度フィルタ強度を補正する。

［絵柄情報算出部１１９］
次に、絵柄情報算出部１１９について、図３及び図４を参照して詳細に説明する。図３は、絵柄情報算出部１１９の構成例を示した図である。以下、絵柄情報算出部１１９の動作について説明する。

境界差分算出部３０１は、局所復号化画像におけるブロック境界の隣接画素間の差分絶対値の平均値を「境界差分値」として算出する。周辺差分算出部３０２は、局所復号化画像におけるブロック境界周辺の隣接画素間の差分絶対値の平均値を「周辺差分値」として算出する。算出された各差分値は、ブロックノイズ目立ち易さ判定部３０３に出力される。

次に、ブロック境界及びブロック境界周辺について図４を参照して説明する。図４は、ブロックＰとブロックＱの局所復号化画像を画素単位に示した図であり、図４において、例えば、ｐ００やｑ００といった四角形が１画素を示す。画像符号化装置では原画像を複数ブロックに分割して符号化（直交変換）するため、復号化した局所復号化画像には複数のブロック境界が生じる。図４の例においては、４画素×４画素をブロックとした場合の垂直ブロック境界の例が示されている。垂直ブロック境界は、例えば図４に示すｐ００とｑ００の境界に存在する。なお、図４の場合、ブロックＱが処理対象のブロックであって、ブロックＰは処理済みのブロックである。ブロックノイズは、このようなブロック境界を挟む画素（ブロック境界画素）間の画素レベルの差により知覚される。境界差分算出部３０１は、まず、図４におけるブロック境界を挟み隣接する水平画素（ブロック境界画素）間の差分絶対値を算出する。つまり、｜ｐ００−ｑ００｜、｜ｐ０１−ｑ０１｜、｜ｐ０２−ｑ０２｜、｜ｐ０３−ｑ０３｜を算出する。そして、境界差分算出部３０１は、このように算出した４つの隣接画素間の差分絶対値の平均値を境界差分値として出力する。

一方の周辺差分算出部３０２は、ブロック境界画素以外の画素について隣接画素間の差分値を算出する。図４の場合、ブロック境界から水平方向に１画素離れた画素について、隣接する水平画素間（ブロック境界周辺画疎）の差分絶対値を算出する。つまり｜ｐ２０−ｐ１０｜、｜ｐ２１−ｐ１１｜、｜ｐ２２−ｐ１２｜、｜ｐ２３−ｐ１３｜、｜ｑ２０−ｑ１０｜、｜ｑ２１−ｑ１１｜、｜ｑ２２−ｑ１２｜、｜ｑ２３−ｑ１３｜を算出する。

もちろん、周辺差分値を算出する画素はこれに限ったものではない。前述の画素よりも広範囲で隣接画素間の差分絶対値を算出してもよいし、差分絶対値を算出する画素は、隣接していなくても良い。例えば、ある画素から２画素離れた位置の画素との差分絶対値を算出してもよい。そして、周辺差分算出部３０２は、このように算出した８つの差分絶対値の平均値を周辺差分値として出力する。

以上は、垂直方向のブロック境界について水平方向の隣接画素間で差分絶対値の平均値を算出する場合を説明したが、水平方向のブロック境界について垂直方向の隣接画素間で差分絶対値の平均値についても、同様にして算出できる。例えば、図４のブロックＱの局所復号化画像の場合にはブロックＱの上側に位置する局所復号化画像のブロックとの間で算出できる。

次に、図３におけるブロックノイズ目立ち易さ判定部３０３について説明する。ブロックノイズは一般にブロック境界を挟む画素における画素値レベルの差に応じて発生する。つまり、境界差分値が大きい場合は、ブロックノイズが発生している可能性が高い。ただし、人間の視覚特性として、境界差分値が同値だと仮定しても、ブロック境界周辺の絵柄が複雑な場合よりも平坦な場合の方がブロックノイズは目立ち易いといった特性がある。この点につき、平坦な絵柄は周辺差分値が小さいために境界差分値の大きさが相対的に強調され、ブロック境界におけるブロックノイズが目立ち易くなる。その一方、複雑な絵柄は周辺差分値も大きいので境界差分値がその中に埋もれてしまい、結果としてブロック境界におけるブロックノイズが目立ちにくくなる。

ブロックノイズ目立ち易さ判定部３０３は、このような特徴を応用し、境界差分算出部３０１から出力される境界差分値の大きさと周辺差分算出部３０２から出力される周辺差分値の大きさとを比較し、比率や差を算出する。この比率や差に基づけば、ブロックノイズの目立ち易さを判定することができる。例えば、境界差分値が周辺差分値に比べ大きい場合、ブロックノイズが目立ち易いと判定できる。この場合、境界差分値と周辺差分値との比率は１．０以上、差は０．０以上の正の値とする。逆に、境界差分値が周辺差分値に比べ小さい場合は、ブロックノイズが目立ち難いと判定できる。この場合、境界差分値と周辺差分値の比率は１．０未満、差は０．０未満の負の値とする。

絵柄情報算出部１１９は、ブロック境界単位に算出した境界差分値をフィルタ強度判定部１２１へ出力する。また、ブロックノイズ目立ち易さ判定結果として、境界差分値と周辺差分値の比率又は差の値をフィルタ強度補正部１２２へ出力する。

［符号化情報算出部１２０］
次に、符号化情報算出部１２０について詳細に説明する。符号化情報算出部１２０は、符号化効率やブロックノイズの発生に関係する符号化時の符号化パラメータを動画像符号化装置の制御部等より収集し、符号化情報として出力する。符号化情報として出力する情報としては、例えば、下記の５項目が挙げられる。

（１）符号量平均：符号量が少ないほどブロックノイズが発生し易い。所定範囲内の符号量を平均化し、符号化情報として出力する。
（２）量子化ステップ平均：量子化ステップが粗いほど量子化誤差が発生しブロックノイズが発生し易い。所定範囲内の量子化ステップを平均化し、符号化情報として出力する。
（３）イントラ予測モード割合：一般的にイントラ予測の方が、インター予測に比べ符号化効率が低いためブロックノイズが発生し易い。そこで、所定範囲内での予測符号化処理において採用された予測モードのうちイントラ予測モードがしめる割合を算出し、符号化情報として出力する。
（４）動きベクトルランダム度：動きベクトルの大きさや向きがブロック毎にバラバラであれば、動き予測精度が低い可能性が高いため、符号化効率が低下しブロックノイズが発生し易い。所定範囲内での動きベクトルの大きさ及び方向の標準偏差を算出し、符号化情報として出力する。
（５）直交変換サイズ大割合：直交変換を行う際のブロックサイズには、４×４画素サイズ、８×８画素サイズがあるが、ブロックサイズが大きいとブロックノイズが発生するサイズも大きくなりブロックノイズが目立ち易くなる。そこで大きい直交変換サイズが選択されている割合を算出し、符号化情報として出力する。

前述の画質劣化度、絵柄情報及び符号化情報は、所定範囲内で平均化しても良い。所定範囲とは、例えば、ブロック、スライス、フレームを単位とする領域として考えることができる。具体的に１フレーム内の所定領域（例えば、ブロックやスライスを単位とする領域）や１フレーム全体領域が挙げられる。また、動画ではフレーム毎にフィルタ強度が極端に大きく変更するのは画質の連続性を損なう恐れがあるため望ましくない。そのため、複数フレームを所定範囲としても良い。さらに、ピクチャタイプによって、ブロックノイズの発生具合が異なるためピクチャタイプ毎のフレームを単位として所定範囲を設定しても良い。Ｈ．２６４規格においては、スライス単位でフィルタ強度を変更することが可能なよう規格化されているため、スライス単位を所定範囲とすることにより、フィルタ強度の変更単位と整合が取れ制御し易いと考えられる。

［フィルタ強度判定部１２１］
次に、フィルタ強度判定部１２１について、図５を参照して詳細に説明する。フィルタ強度判定部１２１は、絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。

まず、フィルタ強度判定部１２１は、絵柄情報と符号化情報に基づき、適切と推定される推定フィルタ強度を算出する。この算出方法について、図５を参照して説明する。図５の例では、符号化情報及び絵柄情報は所定範囲内（例えば、スライス）で平均化された値として説明を行う。なお、絵柄情報については、処理対象の局所復号化画像の値を用いてもよい。

図５は、符号化情報及び絵柄情報の合計６評価項目から導出されるブロックノイズの発生可能性に基づき得点付けを行い、その合計得点から推定フィルタ強度を算出する方式を表す図である。得点は、例えば、−６〜＋６で構成され、ブロックノイズの発生可能性が高い項目については、正の値、ブロックノイズの発生可能性が低い項目については、負の値で得点化する。この場合、各項目について想定される最小値と最大値との間を１３段階に分割し、それぞれの段階に得点を割り当てる。

まず、符号化情報における符号量平均値については、割り当てる得点毎に、想定される最大最小値の間で符号量平均値の閾値を設定し、閾値処理により得点を算出する。この閾値は、符号化する対象画像の解像度やフレームレート、ビット深度等に基づき決定される。図５の例では、所定の閾値処理により符号量平均値３０００は得点−１となっている。つまり、符号量平均値３０００は、符号量がやや多いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。

次に、符号化情報における量子化ステップ平均値については、割り当てる得点毎に、想定される最大最小値の間で量子化ステップ平均値の閾値を設定し、閾値処理により得点を算出する。図５の例では、所定の閾値処理により量子化ステップ平均値４８は得点＋５となっている。つまり、量子化ステップ平均値４８は、量子化ステップが非常に粗いと判定され、ブロックノイズの発生可能性が高いプラス得点となっている。

次に、符号化情報におけるイントラ予測モード割合については、割り当てる得点毎に、想定される最大最小値の間でイントラ予測モード割合の閾値を設定し、閾値処理により得点を算出する。図５の例では、所定の閾値処理によりイントラ予測モード割合１０％は得点−２となっている。つまり、イントラ予測モード割合１０％は、イントラ予測モード割合が低いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。

次に、符号化情報における動きベクトルランダム度については、割り当てる得点毎に想定される最大最小値の間で動きベクトルランダム度の閾値を設定し、閾値処理により得点を算出する。図５の例では、所定の閾値処理により動きベクトルランダム度１０は得点−５となっている。つまり、動きベクトルランダム度−５は、動きベクトルランダム度が低いと判定され、ブロックノイズの発生可能性が低いマイナス得点となっている。

次に、符号化情報における直交変換サイズ大割合については、割り当てる得点毎に想定される最大最小値の間で直交変換サイズ大割合の閾値を設定し、閾値処理により得点を算出する。図５の例では、所定の閾値処理により直交変換サイズ大割合８０％は得点＋２となっている。つまり、直交変換サイズ大割合８０％は、直交変換サイズ大割合が高いと判定され、ブロックノイズが目立ち易いプラス得点となっている。

次に、絵柄情報における境界差分値については、割り当てる得点毎に想定される最大最小値の間で境界差分値の閾値を設定し、閾値処理により得点を算出する。図５の例では、所定の閾値処理により境界差分値の値７７は得点＋６となっている。つまり、境界差分値の７７は大きい値と判定され、ブロックノイズの発生可能性が高いプラス得点となっている。

以上のように算出した各評価項目の合計得点が推定フィルタ強度となる。つまり、図５の例では、推定フィルタ強度は＋５である。フィルタ強度判定部１２１は、この推定フィルタ強度をフィルタ強度補正部１２２に出力する。

［フィルタ強度補正部１２２］
次に、フィルタ強度補正部１２２について、図６を参照して詳細に説明する。フィルタ強度補正部１２２は、フィルタ強度判定部１２１において生成された推定フィルタ強度と絵柄情報（ブロックノイズ目立ち易さ）に応じて、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ１１２に出力する。尚、本実施形態では、ブロックノイズ目立ち易さ判定結果として、境界差分値と周辺差分値の差を用いた例について説明する。

まず、画質劣化度フィルタ強度の補正量は、例えば、下記の式に基づき行う。

（推定フィルタ強度−画質劣化度フィルタ強度）×ＡＢＳ（ブロックノイズ目立ち易さ×Ｋ）・・・（式２）
このように算出した画質劣化度フィルタ強度の補正量を画質劣化度フィルタ強度に加算することにより補正を行う。なお、推定フィルタ強度と画質劣化度フィルタ強度とが一致する場合には、算出されたフィルタ強度は適切であるとして補正は行われない。Ｋは、正の定数であり、ブロックノイズ目立ち易さ（境界差分値と周辺差分値の差）の大きさを調整する役割を担う。例えば、定数Ｋは０．０１とする。ＡＢＳ（Ｐ）は、Ｐを絶対値化を意味する関数を示す。

以下、図６に示す４つの場合を具体的に説明する。

（１）図６の番号１のケース
このケースは、例えば、推定フィルタ強度が＋５、画質劣化度フィルタ強度が＋３、ブロックノイズ目立ち易さが５０のように、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズを低減できない可能性が高いので、画質劣化度フィルタ強度を増加させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式２に基づき＋１と算出され、フィルタ強度補正部１２２が算出する補正後のフィルタ強度は＋４となる。これは、補正前に比べフィルタ強度が＋１増加されたことになる。

（２）図６の番号２のケース
このケースは、例えば、推定フィルタ強度が＋３、画質劣化度フィルタ強度が＋５、ブロックノイズ目立ち易さが５０の場合は、ブロックノイズが目立ち易く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式２に基づき−１と算出され、フィルタ強度補正部１２２が算出する補正後のフィルタ強度は＋４となる。これは、補正前に比べフィルタ強度が−１減少されたことになる。

（３）図６の番号３のケース
このケースは、例えば、推定フィルタ強度が＋５、画質劣化度フィルタ強度が＋３、ブロックノイズ目立ち易さが−５０の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも弱くなる。この場合、ブロックノイズが目立ち難いためフィルタ強度を強く補正する必要がない。仮に、フィルタ強度を強く補正してしまうと、雑な絵柄もボカしてしまう可能性がある。また、フィルタ強度を弱くしてしまうと、目立ち難かったブロックノイズが目立ち易くなってしまう可能性がある。そのため本ケースでは、画質劣化度フィルタ強度は補正しない。つまり、フィルタ強度補正部１２２は、入力した画質劣化度フィルタ強度を補正せず＋３というフィルタ強度を出力する。

（４）図６の番号４のケース
このケースは、例えば、推定フィルタ強度が＋３、画質劣化度フィルタ強度が＋５、ブロックノイズ目立ち易さが−５０の場合は、ブロックノイズが目立ち難く、且つ、画質劣化度フィルタ強度が推定フィルタ強度よりも強くなる。この場合、補正前の画質劣化度フィルタ強度では、目立ち易いブロックノイズのみならず、複雑な絵柄もボカしてしまう可能性が高いので、画質劣化度フィルタ強度を減少させる補正を行う。本ケースでは、画質劣化度フィルタ強度の補正量は前述の式２に基づき−１と算出され、フィルタ強度補正部１２２が算出する補正後のフィルタ強度は＋４となる。これは、補正前に比べフィルタ強度が−１減少されたことになる。

以上のように、フィルタ強度補正部１２２は、画質劣化度フィルタ強度を補正し、補正後のフィルタ強度をデブロッキングフィルタ１１２に出力する。

尚、式２の定数Ｋは前述の説明では、ブロックノイズの目立ち易さに関わらず固定値を設定する例について説明をしたが、ブロックノイズの目立ち易さに応じて変更しても良い。例えば、ブロックノイズが目立ち易い場合と目立ち難い場合とで定数Ｋの値を変更することにより、ブロックノイズが目立ち易い場合と目立ち難い場合とで、画質劣化度フィルタ強度の補正量を調整できる。

尚、フィルタ強度を弱く補正する代りに、スイッチ１１１により局所復号化画像に対し、デブロッキングフィルタ処理を施さないよう制御しても良い。例えば、推定フィルタ強度が−２０となった場合、デブロッキングフィルタ１１２でフィルタ処理を行う際の最小フィルタ強度−６を大きく下回る。そこで、例えばフィルタ強度補正部がスイッチ１１１に対して切り替え信号を供給し、デブロッキングフィルタ１１２をバイパスしてもより。この場合、局所復号化画像に対しデブロッキングフィルタ処理は施されない。デブロッキングフィルタ１１２をバイパスする条件としては、推定フィルタ強度が所定値（例えば、−１０）より小さくなった場合とすることができる。

次に、以上で説明した各ブロックにおける処理を本実施形態に対応するデブロッキングフィルタ処理のフィルタ強度を算出する一連の処理として、図７を参照して説明する。

まずＳ７０１において、画質劣化度算出部１１７が、原画像と局所復号化画像に応じて画質劣化度を算出する。次にＳ７０２において、フィルタ強度算出部１１８が、画質劣化度に応じて画質劣化度フィルタ強度を算出する。次にＳ７０３において、絵柄情報算出部１１９が絵柄情報を算出する。次にＳ７０４において、符号化情報算出部１２０が符号化情報を算出する。次にＳ７０５において、フィルタ強度判定部１２１が絵柄情報と符号化情報に応じて、画質劣化度フィルタ強度が局所復号化画像に対して適切か否かを判定する。画質劣化度フィルタ強度が適切でないと判定された場合（Ｓ７０５で「ＮＯ」）、Ｓ７０６に移行する。Ｓ７０６ではフィルタ強度補正部１２２が、フィルタ強度判定部１２１の判定結果と絵柄情報（ブロックノイズ目立ち易さ）に応じて画質劣化度フィルタ強度を補正する。また、補正後のフィルタ強度をデブロッキングフィルタ１１２に出力する。画質劣化度フィルタ強度が適切であると判定された場合（Ｓ７０５で「ＹＥＳ」）、Ｓ７０７に移行する。Ｓ７０７ではフィルタ強度補正部１２２が、画質劣化度フィルタ強度を補正せずにデブロッキングフィルタ１１２に出力する。Ｓ７０８において、デブロッキングフィルタ１１２が、フィルタ強度補正部１２２より出力されたフィルタ強度に基づきデブロッキングフィルタ処理を行う。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 予測符号化処理のための予測画像を生成する予測画像生成手段と、
   原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
   前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
   前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
   を備える動画像符号化装置であって、
   前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出手段と、
   前記画質劣化度に応じたフィルタ強度を算出するフィルタ強度算出手段と、
   前記算出されたフィルタ強度を補正するフィルタ強度補正手段と、
   前記局所復号化画像に対し、前記フィルタ強度補正手段から得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理手段と、
   を更に備え、
   前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
   前記フィルタ強度補正手段は、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正を行うことを特徴とする動画像符号化装置。
2. 前記フィルタ強度補正手段は、前記局所復号化画像における前記境界画素以外の画素について算出された隣接画素間の差分値と、前記境界画素の隣接画素間の差分値とに基づいて算出された、前記局所復号化画像におけるブロックノイズの目立ち易さを表す値に更に基づいて前記補正を行うことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち易いことを示す場合に、前記算出されたフィルタ強度の値を補正することを特徴とする請求項２に記載の動画像符号化装置。
4. 前記フィルタ強度補正手段は更に、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも大きい場合に、前記算出されたフィルタ強度の値を増加させることにより前記補正を行うことを特徴とする請求項３に記載の動画像符号化装置。
5. 前記フィルタ強度補正手段は更に、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも小さい場合に、前記算出されたフィルタ強度の値を減少させることにより前記補正を行うことを特徴とする請求項３又は４に記載の動画像符号化装置。
6. 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち難いことを示し、かつ、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも小さい場合に、前記算出されたフィルタ強度の値を減少させることにより前記補正を行うことを特徴とする請求項２乃至５のいずれか１項に記載の画像符号化装置。
7. 前記フィルタ強度補正手段は、前記ブロックノイズの目立ち易さを表す値が当該ブロックノイズが目立ち難いことを示し、かつ、前記推定したフィルタ強度が前記算出されたフィルタ強度よりも大きい場合、及び、前記推定したフィルタ強度と前記算出されたフィルタ強度とが一致する場合に、前記算出されたフィルタ強度の値の補正を行わないことを特徴とする請求項２乃至６のいずれか１項に記載の動画像符号化装置。
8. 前記フィルタ処理手段は、前記推定したフィルタ強度が閾値を下回る場合に前記局所復号化画像に対する前記デブロッキングフィルタ処理を行わないことを特徴とする請求項１乃至７のいずれか１項に記載の動画像符号化装置。
9. 前記境界画素の隣接画素間の差分値及び前記符号化情報は、前記動画像符号化装置が前記予測符号化処理を行うフレーム、スライス及びブロックのいずれかを単位とした各値の平均値であることを特徴とする請求項１乃至８のいずれか１項に記載の動画像符号化装置。
10. 前記境界画素の隣接画素間の差分値及び前記符号化情報は、前記動画像符号化装置が前記予測符号化処理を行うフレームのうち、同一のピクチャタイプのフレームを単位とした各値の平均値であることを特徴とする請求項１乃至８のいずれか１項に記載の動画像符号化装置。
11. 前記符号化情報には、符号量、量子化ステップ、採用された予測モードにおけるイントラ予測モードの割合、動きベクトルのランダム度、前記直交変換を行うブロックサイズに関する情報が含まれることを特徴とする請求項１乃至１０のいずれか１項に記載の動画像符号化装置。
12. 予測符号化処理のための予測画像を生成する予測画像生成手段と、
    原画像を所定数の画素から成るブロックに分割し、前記予測画像との差分についてブロック単位に直交変換及び量子化を行う変換手段と、
    前記変換手段における変換結果を、符号化して符号化ストリームを生成する符号化手段と、
    前記変換手段における前記変換結果に対して逆量子化及び逆直交変換を行って局所復号化画像を出力する局所復号化手段と
    を備える動画像符号化装置の制御方法であって、
    前記動画像符号化装置の画質劣化度算出手段が、前記原画像と前記局所復号化画像とから画質劣化度を算出する画質劣化度算出工程と、
    前記動画像符号化装置のフィルタ強度算出手段が、前記画質劣化度に応じてフィルタ強度を算出するフィルタ強度算出工程と、
    前記動画像符号化装置のフィルタ強度補正手段が、前記算出されたフィルタ強度を補正するフィルタ強度補正工程と、
    前記動画像符号化装置のフィルタ処理手段が、前記局所復号化画像に対し、前記フィルタ強度補正工程で得られたフィルタ強度を用いてデブロッキングフィルタ処理を行うフィルタ処理工程と、
    を備え、
    前記予測画像生成手段は、前記デブロッキングフィルタ処理後の局所復号化画像を用いて、前記予測画像を生成し、
    前記フィルタ強度補正工程では、前記局所復号化画像と、隣接する他の局所復号化画像との境界画素の隣接画素間の差分値、及び、前記動画像符号化装置における前記予測符号化処理の結果から得られる符号化情報に基づき推定したフィルタ強度と、前記算出された前記フィルタ強度との比較に基づき、前記補正が行われることを特徴とする動画像符号化装置の制御方法。
13. コンピュータを請求項１乃至１１のいずれか１項に記載の動画像符号化装置の各手段として機能させることを特徴とするプログラム。

Images