JP7357481B2 - デブロッキングフィルタ制御装置及びプログラム - Google Patents

Description

本発明は、動画像を符号化または復号する際に用いるデブロッキングフィルタの強度を制御するデブロッキングフィルタ制御装置及びプログラムに関する。

従来、解像度の高い４Ｋまたは８Ｋの動画像を対象とした動画圧縮方式の標準規格として、H.265/HEVC（High Efficiency Video Coding）が知られている（例えば非特許文献１を参照）。

このH.265/HEVCの標準規格は、符号化されたフレームを用いて動きを予測し、予測残差の信号を直交変換して符号化する動き補償及び直交変換の技術を基本としている。

H.265/HEVCの標準規格に従った動画像符号化装置は、デブロッキングフィルタ及び画素適応オフセットのフィルタからなるインループフィルタを備えている。このインループフィルタに備えたデブロッキングフィルタを用いることにより、ブロック歪を目立ち難くし、主観画質を向上させることができる。

大久保榮、鈴木輝彦、高村誠之、中條健、「インプレス標準教科書シリーズ H.265/HEVC教科書」、インプレスジャパン

前述のデブロッキングフィルタにおいては、ブロック境界強度Ｂ_sの値の決定結果と、ＰＵ（Prediction Unit）（またはＴＵ（Transform Unit））境界付近の画素値を閾値βで判定した結果を用いることで、デブロッキングフィルタ処理の適用または非適用の判定、及びその強弱の判定が行われる。

しかしながら、例えば水面のような符号化が困難な動画像が入力された場合、デブロッキングフィルタは、符号化及び復号により発生する強いブロック歪を抑制することができない場合があり、主観画質が大きく損なわれるという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、例えば水面のような符号化が困難な動画像について、ブロック歪みを目立ち難くし、主観画質を向上させることが可能なデブロッキングフィルタ制御装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１のデブロッキングフィルタ制御装置は、動画像の信号にフィルタ処理を施すデブロッキングフィルタのフィルタ強度を制御するデブロッキングフィルタ制御装置において、前記動画像のＧＯＰ（Group Of Picture）におけるＩピクチャからの符号化順の番号を示す符号化順番号、ＱＰ（Quantization Parameter）オフセット値、及び局部復号Ｉピクチャの空間高周波パワーの各要素のうちの二つの要素に基づいて、制御オフセット値を決定する制御オフセット処理部と、前記制御オフセット処理部により決定された前記制御オフセット値を所定の閾値に加算して新たな閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記新たな閾値に基づいて、前記新たな閾値が大きいほど前記フィルタ強度が強くなり、前記新たな閾値が小さいほど前記フィルタ強度が弱くなるように、前記フィルタ強度を決定するフィルタ強度処理部と、を備え、前記制御オフセット処理部が、前記二つの要素のそれぞれが大きいほど前記制御オフセット値が大きくなり、前記二つの要素のそれぞれが小さいほど前記制御オフセット値が小さくなるように、前記制御オフセット値を決定する、ことを特徴とする。

また、請求項２のデブロッキングフィルタ制御装置は、動画像の信号にフィルタ処理を施すデブロッキングフィルタのフィルタ強度を制御するデブロッキングフィルタ制御装置において、前記動画像のＧＯＰ（Group Of Picture）におけるＩピクチャからの符号化順の番号を示す符号化順番号、ＱＰ（Quantization Parameter）オフセット値、及び局部復号Ｉピクチャの空間高周波パワーの各要素に基づいて、制御オフセット値を決定する制御オフセット処理部と、前記制御オフセット処理部により決定された前記制御オフセット値を所定の閾値に加算して新たな閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記新たな閾値に基づいて、前記新たな閾値が大きいほど前記フィルタ強度が強くなり、前記新たな閾値が小さいほど前記フィルタ強度が弱くなるように、前記フィルタ強度を決定するフィルタ強度処理部と、を備え、前記制御オフセット処理部が、前記符号化順番号、前記ＱＰオフセット値及び前記空間高周波パワーの各要素のそれぞれが大きいほど前記制御オフセット値が大きくなり、前記符号化順番号、前記ＱＰオフセット値及び前記空間高周波パワーの各要素のそれぞれが小さいほど前記制御オフセット値が小さくなるように、前記制御オフセット値を決定する、ことを特徴とする。

また、請求項３のデブロッキングフィルタ制御装置は、請求項２に記載のデブロッキングフィルタ制御装置において、前記制御オフセット処理部が、前記符号化順番号に基づいて、前記符号化順番号が大きいほど第一制御オフセット候補値が大きくなり、前記符号化順番号が小さいほど前記第一制御オフセット候補値が小さくなるように、前記第一制御オフセット候補値を決定する第一制御オフセット候補決定部と、前記ＱＰオフセット値に基づいて、前記ＱＰオフセット値が大きいほど第二制御オフセット候補値が大きくなり、前記ＱＰオフセット値が小さいほど前記第二制御オフセット候補値が小さくなるように、前記第二制御オフセット候補値を決定する第二制御オフセット候補決定部と、前記空間高周波パワーに基づいて、前記空間高周波パワーが大きいほど第三制御オフセット候補値が大きくなり、前記空間高周波パワーが小さいほど前記第三制御オフセット候補値が小さくなるように、前記第三制御オフセット候補値を決定する第三制御オフセット候補決定部と、前記第一制御オフセット候補決定部により決定された前記第一制御オフセット候補値、前記第二制御オフセット候補決定部により決定された前記第二制御オフセット候補値、及び前記第三制御オフセット候補決定部により決定された前記第三制御オフセット候補値に基づいて、前記制御オフセット値を決定する制御オフセット決定部と、を備えたことを特徴とする。

また、請求項４のデブロッキングフィルタ制御装置は、請求項１から３までのいずれか一項に記載のデブロッキングフィルタ制御装置において、前記フィルタ強度処理部が、前記デブロッキングフィルタの適用有無を定めるための所定の第一閾値に対し、前記制御オフセット処理部により決定された前記制御オフセット値を加算して第二閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記第二閾値に基づいて、前記第二閾値が大きいほど、前記デブロッキングフィルタを適用することを示す適用有無情報を生成し、前記第二閾値が小さいほど、前記デブロッキングフィルタを適用しないことを示す前記適用有無情報を生成するフィルタリング適用処理部と、前記フィルタ強度の強弱を定めるための所定の第三閾値に対し、前記制御オフセット処理部により決定された前記制御オフセット値を加算して第四閾値を求め、当該第四閾値を所定数で除算して第五閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記第五閾値に基づいて、前記第五閾値が大きいほど、前記フィルタ強度が強いことを示すフィルタモードを生成し、前記第五閾値が小さいほど、前記フィルタ強度が弱いことを示す前記フィルタモードを生成するフィルタリング適用処理部と、を備えたことを特徴とする。

また、請求項５のプログラムは、コンピュータを、請求項１から４までのいずれか一項に記載のデブロッキングフィルタ制御装置として機能させることを特徴とする。

以上のように、本発明によれば、例えば水面のような符号化が困難な動画像について、ブロック歪みを目立ち難くし、主観画質を向上させることが可能となる。

本発明の実施形態によるデブロッキングフィルタ強度制御部を用いる動画像符号化装置の構成例を示すブロック図である。 インループフィルタの構成例を示すブロック図である。 デブロッキングフィルタ強度制御部の構成例を示すブロック図である。 制御オフセット処理部の構成例を示すブロック図である。 フィルタリング適用処理部の構成例を示すブロック図である。 フィルタモード処理部の構成例を示すブロック図である。 制御オフセット候補値γ_n，δ_nを決定する制御オフセット候補決定部が用いる参照ピクチャセット情報及びＱＰオフセット値の例を説明する図である。 制御オフセット候補値εを決定する制御オフセット候補決定部の処理例を説明する図である。 パラメータＱ_AV1を閾値βに変換するパラメータ変換部の処理例を説明する図である。 フィルタリング適用判定部の処理に用いるブロックＰ，Ｑの画素値の位置を説明する図である。 パラメータＱ_AV2を閾値ｔ_cに変換するパラメータ変換部の処理例を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明は、動画像の信号にフィルタ処理を施すデブロッキングフィルタに対し、フィルタ強度を制御するデブロッキングフィルタ制御装置において、ＧＯＰ（Group Of Picture）内のＩピクチャからの符号化順番号、ＱＰ（Quantization Parameter）オフセット値及び局部復号Ｉピクチャの空間高周波パワーの各データのうち、１つ以上のデータに基づいて、フィルタ強度を決定することを特徴とする。

これにより、例えば水面のような符号化が困難な動画像について、符号化順番号、ＱＰオフセット値及び空間高周波パワーのうちの１つ以上のデータを反映した制御オフセット値（閾値のオフセット値）が決定され、制御オフセット値が反映された閾値に基づきフィルタリング適用有無情報及びフィルタモードが判定され、フィルタ強度が決定される。

このようにして決定されたフィルタ強度をデブロッキングフィルタに適用することで、ブロック歪みを目立ち難くし、主観画質を向上させることが可能となる。

〔動画像符号化装置〕
まず、本発明の実施形態によるデブロッキングフィルタ強度制御部（デブロッキングフィルタ制御装置）を用いる動画像符号化装置について説明する。図１は、本発明の実施形態によるデブロッキングフィルタ強度制御部を用いる動画像符号化装置の構成例を示すブロック図である。

この動画像符号化装置１は、入力動画像に対し、フレーム毎に符号化処理を行い、符号化信号を生成して出力する装置である。動画像符号化装置１は、減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、画面間予測部１１７、スイッチ１１８、エントロピー符号化部１２０及びインループフィルタ１０を備えている。尚、図１には、本発明に関連する構成部のみを示しており、関連しない構成部は省略してある。

減算部１１０は、入力動画像のフレーム（Ｉフレーム、Ｐフレーム及びＢフレーム）を入力すると共に、スイッチ１１８から当該フレームの予測画像を入力する。そして、減算部１１０は、入力動画像のフレームから予測画像を減算し、減算結果の残差画像を生成し、残差画像を直交変換部１１１に出力する。

直交変換部１１１は、減算部１１０から残差画像を入力し、残差画像に対し直交変換を行い、変換係数列を生成する。そして、直交変換部１１１は、変換係数列を量子化部１１２に出力する。

量子化部１１２は、直交変換部１１１から変換係数列を入力し、変換係数列に対し量子化を行い、量子化インデックス列を生成する。そして、量子化部１１２は、量子化インデックス列を逆量子化部１１３及びエントロピー符号化部１２０に出力する。

逆量子化部１１３は、量子化部１１２から量子化インデックス列を入力し、量子化部１１２の逆の処理を行うことで、量子化インデックス列を逆量子化し、変換係数列を生成する。そして、逆量子化部１１３は、変換係数列を逆直交変換部１１４に出力する。

逆直交変換部１１４は、逆量子化部１１３から変換係数列を入力し、直交変換部１１１の逆の処理を行うことで、変換係数列を逆直交変換し、復号残差画像を生成する。そして、逆直交変換部１１４は、復号残差画像を加算部１１５に出力する。

加算部１１５は、逆直交変換部１１４から復号残差画像を入力すると共に、スイッチ１１８から予測画像を入力し、予測画像に復号残差画像を加算する。そして、加算部１１５は、加算後の画像を局部復号画像として、局部復号画像のうちの局部復号Ｉピクチャを画面内予測部１１６に出力する。また、加算部１１５は、局部復号画像である局部復号Ｉ，Ｐ，Ｂピクチャをインループフィルタ１０に出力する。

ここで、局部復号Ｉピクチャは、入力動画像のＩフレームに対し、直交変換部１１１の処理、量子化部１１２の処理、逆量子化部１１３の処理及び逆直交変換部１１４の処理が行われることにより得られた復号画像である。

画面内予測部１１６は、加算部１１５から局部復号Ｉピクチャを入力し、所定領域毎に、局部復号Ｉピクチャに画面内予測処理を施し、画面内予測結果を生成し、所定領域毎の画面内予測結果をスイッチ１１８に出力する。

インループフィルタ１０は、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力し、局部復号Ｉ，Ｐ，Ｂピクチャに対し、デブロッキングフィルタによるフィルタ処理及び画素適用オフセットによるフィルタ処理を行う。そして、インループフィルタ１０は、フィルタ処理後の局部復号Ｉ，Ｐ，Ｂピクチャを画面間予測部１１７に出力する。インループフィルタ１０の詳細については後述する。

本発明の実施形態では、インループフィルタ１０は、デブロッキングフィルタによるフィルタ処理を行う際に、当該フィルタを適用するか否かを示す輝度フィルタリング適用有無情報を生成すると共に、当該フィルタのフィルタ強度（強弱）を示すフィルタモードを生成する。

具体的には、インループフィルタ１０は、動画像のＧＯＰにおけるＩピクチャからの符号化順の番号を示す符号化順番号ｎ、ＱＰオフセット値ＱＰ_n、及び局部復号Ｉピクチャの空間高周波パワーＰ_Iに基づいて、輝度フィルタリング適用有無情報及びフィルタモードを生成する。そして、インループフィルタ１０は、輝度フィルタリング適用有無情報及びフィルタモードに基づいて、デブロッキングフィルタによるフィルタ処理を行う。

ここで、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nの値が大きいほど、画像の符号化劣化が大きく、空間高周波パワーＰ_Iの値が大きいほど、ぼやけの程度が低くブロック歪みが生じ易いとして、フィルタを適用する「有」を示す輝度適用有無情報、及び強フィルタリングを適用するフィルタモードが生成され易くなる。この場合、強フィルタリングのデブロッキングフィルタ処理が行われる。また、符号化順番号ｎ等の値がさほど大きくなく、かつ小さくもない場合、弱フィルタリングのデブロッキングフィルタ処理が行われる。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nの値が小さいほど、画像の符号化劣化が小さく、空間高周波パワーＰ_Iの値が小さいほど、ぼやけの程度が高くブロック歪みが生じ難いとして、フィルタを適用しない「無」を示す輝度適用有無情報、及び弱フィルタリングを適用するフィルタモードが生成され易くなる。この場合、デブロッキングフィルタ処理は行われない。

これにより、例えば水面のような符号化が困難な動画像について、ブロック歪みを目立ち難くし、主観画質を向上させることが可能となる。

画面間予測部１１７は、インループフィルタ１０からフィルタ処理後の局部復号Ｉ，Ｐ，Ｂピクチャを入力する。そして、画面間予測部１１７は、所定領域毎に、現在の局部復号Ｐ，Ｂピクチャである基準ピクチャ及び過去の局部復号Ｉ，Ｐ，Ｂピクチャである参照ピクチャを用いて画面間予測を行い、予測画像を求める。画面間予測部１１７は、所定領域毎の予測画像を、所定領域毎の画面間予測結果としてスイッチ１１８に出力する。

スイッチ１１８は、画面内予測部１１６から所定領域毎の画面内予測結果を入力すると共に、画面間予測部１１７から所定領域毎の画面間予測結果を入力し、いずれか一方を選択し、予測画像として減算部１１０及び加算部１１５に出力する。

エントロピー符号化部１２０は、量子化部１１２から量子化インデックス列を入力すると共に、画面間予測部１１７等からパラメータを入力する。そして、エントロピー符号化部１２０は、量子化インデックス列及びパラメータに対しエントロピー符号化を行い、符号化信号を生成する。エントロピー符号化部１２０は、符号化信号を動画像復号装置へ出力する。

〔インループフィルタ１０〕
次に、図１に示したインループフィルタ１０について詳細に説明する。図２は、インループフィルタ１０の構成例を示すブロック図である。このインループフィルタ１０は、デブロッキングフィルタ強度制御部（デブロッキングフィルタ制御装置）１１及びデブロッキングフィルタ１２を備えている。尚、図２には、本発明に関連する構成部のみを示しており、関連しない構成部（画素適用オフセットによるフィルタ処理を行う構成部）は省略してある。

インループフィルタ１０は、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力し、デブロッキングフィルタによるフィルタ処理等を行い、フィルタ処理後の局部復号Ｉ，Ｐ，Ｂピクチャを画面間予測部１１７に出力する。

デブロッキングフィルタ強度制御部１１は、ＧＯＰ内の最初の局部復号Ｉピクチャからの符号化順番号ｎ、ＱＰオフセット値ＱＰ_n、及び局部復号Ｉピクチャの空間高周波パワーＰ_Iに基づいて、輝度フィルタリング適用有無情報及びフィルタモード（強／弱）を生成する。そして、デブロッキングフィルタ強度制御部１１は、輝度フィルタリング適用有無情報及びフィルタモードをデブロッキングフィルタ１２に出力する。デブロッキングフィルタ強度制御部１１の処理の詳細については後述する。

デブロッキングフィルタ１２は、デブロッキングフィルタ強度制御部１１から輝度フィルタリング適用有無情報及びフィルタモードを入力する。そして、デブロッキングフィルタ１２は、輝度フィルタリング適用有無情報が「有」を示し、かつフィルタモードが「強」を示している場合、局部復号Ｉ，Ｐ，Ｂピクチャに対し、強フィルタリングのデブロッキングフィルタ処理を行う。

また、デブロッキングフィルタ１２は、輝度フィルタリング適用有無情報が「有」を示し、かつフィルタモードが「弱」を示している場合、局部復号Ｉ，Ｐ，Ｂピクチャに対し、弱フィルタリングのフィルタ処理を行う。一方、デブロッキングフィルタ１２は、輝度フィルタリング適用有無情報が「無」を示している場合、デブロッキングフィルタ処理を行わない。

〔デブロッキングフィルタ強度制御部１１〕
次に、図２に示したデブロッキングフィルタ強度制御部１１について詳細に説明する。図３は、デブロッキングフィルタ強度制御部１１の構成例を示すブロック図である。このデブロッキングフィルタ強度制御部１１は、制御オフセット処理部２０、ブロック境界強度処理部２１及びフィルタ強度処理部２４を備えている。フィルタ強度処理部２４は、フィルタリング適用処理部２２及びフィルタモード処理部２３を備えている。

制御オフセット処理部２０は、参照ピクチャセット情報、ＱＰオフセット値ＱＰ_n及び局部復号Ｉピクチャを入力する。そして、制御オフセット処理部２０は、参照ピクチャセット情報、ＱＰオフセット値ＱＰ_n及び局部復号Ｉピクチャに基づいて、制御オフセット候補値γ_n，δ_n，εをそれぞれ決定する。

制御オフセット処理部２０は、制御オフセット候補値γ_n，δ_n，εに基づいて制御オフセット値φ_nを決定し、制御オフセット値φ_nをフィルタ強度処理部２４のフィルタリング適用処理部２２及びフィルタモード処理部２３に出力する。制御オフセット値φ_nは、後述する閾値βのオフセット値である。制御オフセット処理部２０の詳細については後述する。

ブロック境界強度処理部２１は、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャ等を入力し、以下に示す（ａ）～（ｅ）のとおり、ブロックＰ，Ｑの境界条件に応じて、ピクチャにおけるブロックＰ，Ｑの境界強度値であるブロック境界強度Ｂ_sを決定する。そして、ブロック境界強度処理部２１は、ブロック境界強度Ｂ_sをフィルタモード処理部２３に出力する。

（ａ）ブロックＰ，Ｑの境界条件：少なくとも一方のブロックが画面内予測ブロックである。ブロック境界強度Ｂ_s＝２。
（ｂ）ブロックＰ，Ｑの境界条件：少なくとも一方のブロックに非零の直交変換係数が存在し、ＴＵ境界である。ブロック境界強度Ｂ_s＝１。
（ｃ）ブロックＰ，Ｑの境界条件：境界を挟む２つのブロックの動きベクトルの差の絶対値が１画素以下である。ブロック境界強度Ｂ_s＝１。
（ｄ）ブロックＰ，Ｑの境界条件：境界を挟む２つのブロックの動き補償の参照画素が異なるか、動きベクトルの数が異なる。ブロック境界強度Ｂ_s＝１。
（ｅ）ブロックＰ，Ｑの境界条件：前記（ａ）～（ｄ）以外。ブロック境界強度Ｂ_s＝０。

尚、ブロック境界強度処理部２１の処理は既知である。詳細については、前述の非特許文献１を参照されたい。

フィルタ強度処理部２４のフィルタリング適用処理部２２は、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力すると共に、制御オフセット処理部２０から制御オフセット値φ_nを入力する。また、フィルタリング適用処理部２２は、ブロックＰ，Ｑの量子化パラメータの平均値（量子化パラメータ平均値）Ｑaverage、及びエンコーダで設定するオフセット値slice_beta_offset_div2を入力する。量子化パラメータ平均値Ｑaverageは、ビットストリーム内のブロックＰ，Ｑの量子化パラメータ値から計算される。また、オフセット値slice_beta_offset_div2は、入力動画像のビットストリーム中のスライス・セグメント・ヘッダに含まれるデータであり、ビットストリーム中のスライス・セグメント・ヘッダから抽出される。

フィルタリング適用処理部２２は、量子化パラメータ平均値Ｑaverageにオフセット値slice_beta_offset_div2を加算する等してパラメータＱ_AV1を求め、パラメータＱ_AV1を閾値βに変換する。

フィルタリング適用処理部２２は、局部復号Ｉ，Ｐ，ＢピクチャのブロックＰ，Ｑの画素値、制御オフセット値φ_n及び閾値βに基づいて、輝度フィルタリング適用有無情報を生成し、輝度フィルタリング適用有無情報をデブロッキングフィルタ１２に出力する。また、フィルタリング適用処理部２２は、閾値βをフィルタモード処理部２３に出力する。フィルタリング適用処理部２２の詳細については後述する。

フィルタ強度処理部２４のフィルタモード処理部２３は、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力すると共に、制御オフセット処理部２０から制御オフセット値φ_nを入力する。また、フィルタモード処理部２３は、ブロック境界強度処理部２１からブロック境界強度Ｂ_sを入力すると共に、フィルタリング適用処理部２２から閾値βを入力する。さらに、フィルタモード処理部２３は、量子化パラメータ平均値Ｑaverage及びオフセット値slice_tc_offset_div2を入力する。オフセット値slice_tc_offset_div2は、入力動画像のビットストリーム中のスライス・セグメント・ヘッダに含まれるデータであり、ビットストリーム中のスライス・セグメント・ヘッダから抽出される。

フィルタモード処理部２３は、量子化パラメータ平均値Ｑaverage、オフセット値slice_tc_offset_div2及びブロック境界強度Ｂ_sに基づいて、パラメータＱ_AV2を求め、パラメータＱ_AV2を閾値ｔ_cに変換する。

フィルタモード処理部２３は、局部復号Ｉ，Ｐ，ＢピクチャのブロックＰ，Ｑの画素値、制御オフセット値φ_n及び閾値β，ｔ_cに基づいて、フィルタモードを生成し、フィルタモードをデブロッキングフィルタ１２に出力する。フィルタモード処理部２３の詳細については後述する。

〔制御オフセット処理部２０〕
次に、図３に示した制御オフセット処理部２０について詳細に説明する。図４は、制御オフセット処理部２０の構成例を示すブロック図である。この制御オフセット処理部２０は、制御オフセット候補決定部３０，３１，３２及び制御オフセット決定部３３を備えている。

（符号化順の制御オフセット候補値γ_n）
制御オフセット候補決定部３０は、参照ピクチャセット情報を入力し、参照ピクチャセット情報から符号化順番号ｎを抽出する。符号化順番号ｎは、ＧＯＰにおけるＩピクチャを基準（最初）とした被符号化ピクチャの符号化の順番を示す。そして、制御オフセット候補決定部３０は、符号化順番号ｎに応じて、符号化順の制御オフセット候補値γ_nを決定する。制御オフセット候補決定部３０は、符号化順の制御オフセット候補値γ_nを制御オフセット決定部３３に出力する。

具体的には、制御オフセット候補決定部３０は、参照ピクチャセット情報から抽出した符号化順番号ｎ、及びイントラピクチャ周期であるＩピクチャの周期（符号化順番号ｎの最大値）ｎ_maxに基づいて、以下の式にて、符号化順の制御オフセット候補値γ_nを決定する。
［数１］
γ_n＝ｎ／ｎ_max ・・・（１）

つまり、制御オフセット候補決定部３０は、符号化順番号ｎの値が大きいほど（符号化順番号ｎの被符号化ピクチャがｎ＝０のＩピクチャから離れていればいるほど）、画像の符号化劣化が大きいと判断し、符号化順の制御オフセット候補値γ_nを大きい値に決定する。一方、制御オフセット候補決定部３０は、符号化順番号ｎの値が小さいほど（符号化順番号ｎの被符号化ピクチャがｎ＝０のＩピクチャに近ければ近いほど）、画像の符号化劣化が小さいと判断し、符号化順の制御オフセット候補値γ_nを小さい値に決定する。

図７は、制御オフセット候補値γ_n，δ_nを決定する制御オフセット候補決定部３０，３１が用いる参照ピクチャセット情報及びＱＰオフセット値ＱＰ_nの例を説明する図である。

参照ピクチャセット情報には、入力順番号、符号化順番号ｎ、フレームの種類（Ｉ，Ｐ，Ｂ）及び参照関係の情報が含まれる。

入力順番号は、ＧＯＰにおけるＩピクチャを基準とした被符号化ピクチャの入力順の番号を示し、符号化順番号ｎは、Ｉピクチャを基準とした被符号化ピクチャの符号化順の番号を示す。符号化順番号ｎが大きいほど、Ｉフレームから離れており、符号化順番号ｎが小さいほど、Ｉフレームに近いことを示している。

ＱＰオフセット値ＱＰ_nは、ピクチャの画質を表す値であり、ピクチャ毎に設定される。ＱＰオフセット値ＱＰ_nが大きいほど、画質が悪く、ＱＰオフセット値ＱＰ_nが小さいほど、画質が良いことを示す。このように、参照ピクチャセット情報及びＱＰオフセット値ＱＰ_nは、ＧＯＰを構成するピクチャ毎に予め設定される。

例えば、参照ピクチャセット情報において、入力順番号＝０及び符号化順番号ｎ＝０のピクチャはＩピクチャである。このＩピクチャは、入力順番号＝１，２，４，８，１６（符号化順番号ｎ＝５，４，３，２，１）のＢピクチャに参照されることを示している。このＩピクチャのＱＰオフセット値ＱＰ_nは、ＱＰ₀＝０である。

また、例えば、入力順番号＝４及び符号化順番号ｎ＝３のピクチャはＢピクチャである。このＢピクチャは、入力順番号＝０（符号化順番号ｎ＝０）のＩピクチャ、及び入力順番号＝８（符号化順番号ｎ＝２）のＢピクチャを参照し、入力順番号＝２，３，５，６（符号化順番号ｎ＝４，６，８，７）のＢピクチャに参照されることを示している。このＢピクチャのＱＰオフセット値ＱＰ_nは、ＱＰ₃＝４である。

（ＱＰオフセットの制御オフセット候補値δ_n）
図４に戻って、制御オフセット候補決定部３１は、ＱＰオフセット値ＱＰ_nを入力し、ＱＰオフセット値ＱＰ_nに応じて、ＱＰオフセットの制御オフセット候補値δ_nを決定する。制御オフセット候補決定部３１は、ＱＰオフセットの制御オフセット候補値δ_nを制御オフセット決定部３３に出力する。ＱＰオフセット値ＱＰ_nは、図７に示したとおり、符号化順番号ｎの被符号化ピクチャのＱＰオフセット値である。

具体的には、制御オフセット候補決定部３１は、ＱＰオフセット値ＱＰ_n、及びＧＯＰ内におけるＱＰオフセット値ＱＰ_nの最大値（ＱＰオフセット最大値）ＱＰ_maxに基づいて、以下の式にて、ＱＰオフセットの制御オフセット候補値δ_nを決定する。
［数２］
δ_n＝ＱＰ_n／ＱＰ_max ・・・（２）

つまり、制御オフセット候補決定部３１は、ＱＰオフセット値ＱＰ_nが大きいほど（画質が悪いほど）、画像の符号化劣化が大きいと判断し、ＱＰオフセットの制御オフセット候補値δ_nを大きい値に決定する。一方、制御オフセット候補決定部３１は、ＱＰオフセット値ＱＰ_nが小さいほど（画質が良いほど）、画像の符号化劣化が小さいと判断し、ＱＰオフセットの制御オフセット候補値δ_nを小さい値に決定する。

（空間高周波パワーの制御オフセット候補値ε）
制御オフセット候補決定部３２は、局部復号Ｉピクチャを入力し、局部復号Ｉピクチャの空間高周波パワーＰ_Iを算出し、空間高周波パワーの制御オフセット候補値εを決定する。制御オフセット候補決定部３２は、空間高周波パワーの制御オフセット候補値εを制御オフセット決定部３３に出力する。

図８は、制御オフセット候補値δ_nを決定する制御オフセット候補決定部３２の処理例を説明する図である。制御オフセット候補決定部３２は、局部復号Ｉピクチャを入力し（ステップＳ８０１）、局部復号Ｉピクチャを１階ウェーブレット分解する（ステップＳ８０２）。

制御オフセット候補決定部３２は、１階ウェーブレット分解後の画像について、水平、垂直及び対角の高周波帯域における全ての位相位置の要素値（画素値）を用いて、ＲＭＳ（Root Mean Square：二乗平均平方根）値を算出する（ステップＳ８０３）。

制御オフセット候補決定部３２は、局部復号Ｉピクチャの高周波帯域のＲＭＳ値を正規化し、局部復号Ｉピクチャの空間高周波パワーＰ_Iを求める（ステップＳ８０４）。

制御オフセット候補決定部３２は、局部復号Ｉピクチャの空間高周波パワーＰ_Iに基づいて、以下の式にて、空間高周波パワーの制御オフセット候補値εを決定する（ステップＳ８０５）。
［数３］
ε＝Ｐ_I ・・・（３）

つまり、制御オフセット候補決定部３２は、局部復号Ｉピクチャの空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断し、空間高周波パワーの制御オフセット候補値εを大きい値に決定する。一方、制御オフセット候補決定部３２は、局部復号Ｉピクチャの空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断し、空間高周波パワーの制御オフセット候補値εを小さい値に決定する。

（制御オフセット値φ_n）
図４に戻って、制御オフセット決定部３３は、制御オフセット候補決定部３０から符号化順の制御オフセット候補値γ_nを入力し、制御オフセット候補決定部３１からＱＰオフセットの制御オフセット候補値δ_nを入力し、制御オフセット候補決定部３２から空間高周波パワーの制御オフセット候補値εを入力する。

制御オフセット決定部３３は、符号化順の制御オフセット候補値γ_n、ＱＰオフセットの制御オフセット候補値δ_n及び空間高周波パワーの制御オフセット候補値εに基づいて、制御オフセット値φ_nを決定し、制御オフセット値φ_nをフィルタリング適用処理部２２及びフィルタモード処理部２３に出力する。

具体的には、制御オフセット決定部３３は、以下の式にて、制御オフセット値φ_nを決定する。
［数４］
φ_n＝ａγ_n＋ｂδ_n＋ｃε ・・・（４）
ａ，ｂ，ｃは重み定数である。

前記式（４）は、符号化順の制御オフセット候補値γ_nに重み定数ａを乗算し、ＱＰオフセットの制御オフセット候補値δ_nに重み定数ｂを乗算し、空間高周波パワーの制御オフセット候補値εに重み定数ｃを乗算し、それぞれの乗算結果を加算することで制御オフセット値φ_nを求める式である。

つまり、制御オフセット決定部３３は、制御オフセット候補値γ_n，δ_nのそれぞれの値が大きいほど、画像の符号化劣化が大きいと判断し、制御オフセット候補値εの値が大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断し、重み定数ａ，ｂ，ｃに応じて、制御オフセット値φ_nを大きい値に決定する。

一方、制御オフセット決定部３３は、制御オフセット候補値γ_n，δ_nのそれぞれの値が小さいほど、画像の符号化劣化が小さいと判断し、制御オフセット候補値εの値が小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断し、重み定数ａ，ｂ，ｃに応じて、制御オフセット値φ_nを小さい値に決定する。

〔フィルタリング適用処理部２２〕
次に、図３に示したフィルタリング適用処理部２２について詳細に説明する。図５は、フィルタリング適用処理部２２の構成例を示すブロック図である。このフィルタリング適用処理部２２は、パラメータ算出部４０、パラメータ変換部４１及びフィルタリング適用判定部４２を備えている。

（パラメータＱ_AV1）
パラメータ算出部４０は、量子化パラメータ平均値Ｑaverageを入力すると共に、オフセット値slice_beta_offset_div2を入力し、量子化パラメータ平均値Ｑaverage及びオフセット値slice_beta_offset_div2に基づいて、パラメータＱ_AV1を算出する。そして、パラメータ算出部４０は、パラメータＱ_AV1をパラメータ変換部４１に出力する。

具体的には、パラメータ算出部４０は、以下の式のとおり、量子化パラメータ平均値Ｑaverageにオフセット値slice_beta_offset_div2を加算し、加算結果を２¹＝２倍することで、パラメータＱ_AV1を算出する。
［数５］
Ｑ_AV1＝Ｑaverage＋slice_beta_offset_div2＜＜１ ・・・（５）
ここで、「＜＜１」は、１ビット算術左シフト演算（２倍演算）を示す。

つまり、パラメータ算出部４０は、量子化パラメータ平均値Ｑaverage及びオフセット値slice_beta_offset_div2のそれぞれの値が大きいほど、パラメータＱ_AV1が大きい値となるように、パラメータＱ_AV1の算出を行う。一方、パラメータ算出部４０は、量子化パラメータ平均値Ｑaverage及びオフセット値slice_beta_offset_div2のそれぞれの値が小さいほど、パラメータＱ_AV1が小さい値となるように、パラメータＱ_AV1の算出を行う。

尚、パラメータ算出部４０の処理は既知である。詳細については、前述の非特許文献１を参照されたい。

（閾値β）
パラメータ変換部４１は、パラメータ算出部４０からパラメータＱ_AV1を入力し、予め設定された変換規則に従い、パラメータＱ_AV1を閾値βに変換する。そして、パラメータ変換部４１は、閾値βをフィルタリング適用判定部４２に出力すると共に、フィルタモード処理部２３に出力する。

図９は、パラメータＱ_AV1を閾値βに変換するパラメータ変換部４１の処理例を説明する図である。図９に示すグラフの横軸はパラメータＱ_AV1を示し、縦軸は閾値βを示す。また、丸点を繋げた実線がパラメータＱ_AV1から閾値βへの変換特性を示している。

パラメータ変換部４１は、図９に示す変換特性のデータが格納されたテーブルを備えており、当該テーブルから、入力したパラメータＱ_AV1に対応する閾値βを読み出すことで、パラメータＱ_AV1を閾値βに変換する。

尚、パラメータ変換部４１は、図９に示す変換特性を表した変換式を用いて、入力したパラメータＱ_AV1に対応する閾値βを算出することで、パラメータＱ_AV1を閾値βに変換するようにしてもよい。

また、図９に示した変換特性は、ユーザにより任意に設定することができる。例えば、パラメータＱ_AV1に対する閾値βを大きい値に設定することにより、図９の矢印Ａのとおり、変換特性の実線を上方向（閾値βが大きくなる方向）へ移動させることができ、デブロッキングフィルタ１２の処理を効き易くすることができる。

一方、パラメータＱ_AV1に対する閾値βを小さい値に設定することにより、図９の矢印Ｂのとおり、変換特性の実線を下方向（閾値βが小さくなる方向）へ移動させることができ、デブロッキングフィルタ１２の処理を効き難くすることができる。

尚、パラメータ変換部４１の処理は既知である。詳細については、前述の非特許文献１を参照されたい。

（輝度フィルタリング適用有無情報）
図５に戻って、フィルタリング適用判定部４２は、パラメータ変換部４１から閾値βを入力すると共に、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力し、さらに制御オフセット処理部２０から制御オフセット値φ_nを入力する。

フィルタリング適用判定部４２は、閾値β、制御オフセット値φ_n、及び局部復号Ｉ，Ｐ，ＢピクチャのＰ，Ｑブロックにおける所定位置の画素値を所定演算して得られた演算結果に基づいて、デブロッキングフィルタ１２を適用するか否かを示す輝度フィルタリング適用有無情報を生成する。そして、フィルタリング適用判定部４２は、輝度フィルタリング適用有無情報をデブロッキングフィルタ１２に出力する。

具体的には、フィルタリング適用判定部４２は、以下の式のとおり、閾値βに制御オフセット値φ_nを加算し、加算結果の閾値（β＋φ_n）を求める。また、フィルタリング適用判定部４２は、局部復号Ｉ，Ｐ，ＢピクチャのＰ，Ｑブロックにおける所定位置の画素値に基づいて、Ｐ，Ｑブロックのブロック境界の両側（上下または左右）の画素列のアクティビティである画像の変化の度合いを求める。
［数６］
｜p2₀－2×p1₀＋p0₀｜＋｜p2₃－2×p1₃＋p0₃｜＋
｜q2₀－2×q1₀＋q0₀｜＋｜q2₃－2×q1₃＋q0₃｜＜（β＋φ_n） ・・・（６）

前記式（６）において、左辺は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いを示し、右辺は、閾値（β＋φ_n）を示す。

図１０は、フィルタリング適用判定部４２の処理に用いるブロックＰ，Ｑの画素値の位置を説明する図である。Ｐ，Ｑブロックの画素単位は８×８である。前記式（６）の左辺は、ブロック境界の画素のうち、図１０に示す破線部の画素におけるp2₀，p1₀，p0₀，p2₃，p1₃，p0₃，q2₀，q1₀，q0₀，q2₃，q1₃，q0₃の画素を用いて算出される。

図５に戻って、フィルタリング適用判定部４２は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（β＋φ_n）よりも小さいと判定した場合、すなわち前記式（６）を満たすと判定した場合、「有」を示す輝度フィルタリング適用有無情報を生成する。

これにより、デブロッキングフィルタ１２において、デブロッキング処理が行われる。ブロック境界における画像変化の度合いが小さい場合にデブロッキング処理が行われるのは、このような場合は画像のブロック歪みが生じ易いからである。

一方、フィルタリング適用判定部４２は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（β＋φ_n）以上であると判定した場合、すなわち前記式（６）を満たさないと判定した場合、「無」を示す輝度フィルタリング適用有無情報を生成する。

これにより、デブロッキングフィルタ１２において、デブロッキング処理は行われない。ブロック境界における画像変化の度合いが大きい場合にデブロッキング処理が行われないのは、このような場合は画像のブロック歪みが生じ難いからである。

尚、前述の非特許文献１の標準規格では、ブロック境界強度Ｂ_sが０の場合、デブロッキングフィルタ１２によるデブロッキング処理は行われない。また、ブロック境界強度Ｂ_sが１以上の場合に、前記式（６）の左辺の値が閾値βよりも小さいとき、デブロッキング処理が行われ、前記式（６）の左辺の値が閾値β以上であるとき、デブロッキング処理は行われない。

本発明の実施形態では、前記式（６）に示したとおり、閾値βの代わりに閾値（β＋φ_n）を用いるようにした。これにより、デブロッキングフィルタ１２の適用の有無は、閾値βに加え、制御オフセット値φ_nも含めて判定される。

前述のとおり、制御オフセット値φ_nは、符号化順の制御オフセット候補値γ_n、ＱＰオフセットの制御オフセット候補値δ_n及び空間高周波パワーの制御オフセット候補値εに基づいて決定される。

符号化順番号ｎ、ＱＰオフセット値ＱＰ_n及び空間高周波パワーＰ_Iのそれぞれが大きいほど、制御オフセット値φ_nが大きくなり、閾値（β＋φ_n）も大きくなる。一方、符号化順番号ｎ、ＱＰオフセット値ＱＰ_n及び空間高周波パワーＰ_Iのそれぞれが小さいほど、制御オフセット値φ_nが小さくなり、閾値（β＋φ_n）も小さくなる。

したがって、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが大きいほど、画像の符号化劣化が大きいと判断され、空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断され、閾値（β＋φ_n）も大きくなり、結果として、デブロッキングフィルタ１２が適用され易くなる。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが小さいほど、画像の符号化劣化が小さいと判断され、空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断され、閾値（β＋φ_n）も小さくなり、結果として、デブロッキングフィルタ１２が適用され難くなる。

〔フィルタモード処理部２３〕
次に、図３に示したフィルタモード処理部２３について詳細に説明する。図６は、フィルタモード処理部２３の構成例を示すブロック図である。このフィルタモード処理部２３は、パラメータ算出部５０、パラメータ変換部５１及びフィルタモード判定部５２を備えている。

（パラメータＱ_AV2）
パラメータ算出部５０は、ブロック境界強度処理部２１からブロック境界強度Ｂ_sを入力すると共に、量子化パラメータ平均値Ｑaverageを入力し、さらに、オフセット値slice_tc_offset_div2を入力する。そして、パラメータ算出部５０は、ブロック境界強度Ｂ_s、量子化パラメータ平均値Ｑaverage及びオフセット値slice_tc_offset_div2に基づいて、パラメータＱ_AV2を算出する。パラメータ算出部５０は、パラメータＱ_AV2をパラメータ変換部５１に出力する。

具体的には、パラメータ算出部５０は、以下の式のとおり、ブロック境界強度Ｂ_sから１を減算して２倍する。そして、パラメータ算出部５０は、量子化パラメータ平均値Ｑaverageに、２倍した減算結果及びオフセット値slice_tc_offset_div2を加算し、加算結果を２¹＝２倍することで、パラメータＱ_AV2を算出する。
［数７］
Ｑ_AV2＝Ｑaverage＋２×（Ｂ_s－１）＋slice_tc_offset_div2＜＜１
・・・（７）

つまり、パラメータ算出部５０は、量子化パラメータ平均値Ｑaverage、ブロック境界強度Ｂ_s及びオフセット値slice_tc_offset_div2のそれぞれの値が大きいほど、パラメータＱ_AV2が大きい値となるように、パラメータＱ_AV2の算出を行う。一方、パラメータ算出部５０は、量子化パラメータ平均値Ｑaverage、ブロック境界強度Ｂ_s及びオフセット値slice_tc_offset_div2のそれぞれの値が小さいほど、パラメータＱ_AV2が小さい値となるように、パラメータＱ_AV2の算出を行う。

尚、パラメータ算出部５０の処理は既知である。詳細については、前述の非特許文献１を参照されたい。

（閾値ｔ_c）
パラメータ変換部５１は、パラメータ算出部５０からパラメータＱ_AV2を入力し、予め設定された変換規則に従い、パラメータＱ_AV2を閾値ｔ_cに変換する。そして、パラメータ変換部５１は、閾値ｔ_cをフィルタモード判定部５２に出力する。

図１１は、パラメータＱ_AV2を閾値ｔ_cに変換するパラメータ変換部５１の処理例を説明する図である。図１１に示すグラフの横軸はパラメータＱ_AV2を示し、縦軸は閾値ｔ_cを示す。また、丸点を繋げた実線がパラメータＱ_AV2から閾値ｔ_cへの変換特性を示している。

パラメータ変換部５１は、図１１に示す変換特性のデータが格納されたテーブルを備えており、当該テーブルから、入力したパラメータＱ_AV2に対応する閾値ｔ_cを読み出すことで、パラメータＱ_AV2を閾値ｔ_cに変換する。

尚、パラメータ変換部５１は、図１１に示す変換特性を表した変換式を用いて、入力したパラメータＱ_AV2に対応する閾値ｔ_cを算出することで、パラメータＱ_AV2を閾値ｔ_cに変換するようにしてもよい。

また、図１１に示した変換特性は、ユーザにより任意に設定することができる。例えば、パラメータＱ_AV2に対する閾値ｔ_cを大きい値に設定することにより、図１１の矢印Ａのとおり、変換特性の実線を上方向（閾値ｔ_cが大きくなる方向）へ移動させることができる。これにより、デブロッキングフィルタ１２のフィルタモードは、「強」に設定され易くなる。つまり、デブロッキングフィルタ１２のフィルタリング強度を強くすることができる。

一方、パラメータＱ_AV2に対する閾値ｔ_cを小さい値に設定することにより、図１１の矢印Ｂのとおり、変換特性の実線を下方向（閾値ｔ_cが小さくなる方向）へ移動させることができる。これにより、デブロッキングフィルタ１２のフィルタモードは、「弱」に設定され易くなる。つまり、デブロッキングフィルタ１２のフィルタリング強度を弱くすることができる。

尚、パラメータ変換部５１の処理は既知である。詳細については、前述の非特許文献１を参照されたい。

（フィルタモード）
図６に戻って、フィルタモード判定部５２は、パラメータ変換部５１から閾値ｔ_cを入力すると共に、加算部１１５から局部復号Ｉ，Ｐ，Ｂピクチャを入力し、さらに、フィルタリング適用処理部２２から閾値βを入力する。また、フィルタモード判定部５２は、制御オフセット処理部２０から制御オフセット値φ_nを入力する。

フィルタモード判定部５２は、閾値ｔ_c，β、制御オフセット値φ_n、及び局部復号Ｉ，Ｐ，ＢピクチャのＰ，Ｑブロックにおける所定位置の画素値を所定演算して得られた演算結果に基づいて、デブロッキングフィルタ１２によるデブロッキングフィルタ処理の強弱を示すフィルタモード（強／弱）を生成する。そして、フィルタモード判定部５２は、フィルタモードをデブロッキングフィルタ１２に出力する。

具体的には、フィルタモード判定部５２は、以下の式のとおり、閾値βに制御オフセット値φ_nを加算し、加算結果を２²＝４で除算して閾値（（β＋φ_n）＞＞２）を求める（式（８）の（ａ）（ｂ）の右辺）。また、フィルタモード判定部５２は、閾値βに制御オフセット値φ_nを加算した加算結果を２³＝８で除算し、閾値（（β＋φ_n）＞＞３）を求める（式（８）の（ｃ）（ｄ）の右辺）。さらに、フィルタモード判定部５２は、閾値ｔ_cを５倍して１を加算し、加算結果を２¹＝２で除算して閾値（（５×ｔ_c＋１）＞＞１）を求める（式（８）の（ｅ）（ｆ）の右辺）。
［数８］
（ａ）２×（｜p2₀－2×p1₀＋p0₀｜＋｜q2₀－2×q1₀＋q0₀｜）＜（（β＋φ_n）＞＞２）
（ｂ）２×（｜p2₃－2×p1₃＋p0₃｜＋｜q2₃－2×q1₃＋q0₃｜）＜（（β＋φ_n）＞＞２）
（ｃ）｜p3₀－p0₀｜＋｜q0₀－q3₀｜＜（（β＋φ_n）＞＞３）
（ｄ）｜p3₃－p0₃｜＋｜q0₃－q3₃｜＜（（β＋φ_n）＞＞３）
（ｅ）｜p0₀－q0₀｜＜（（５×ｔ_c＋１）＞＞１）
（ｆ）｜p0₃－q0₃｜＜（（５×ｔ_c＋１）＞＞１） ・・・（８）

フィルタモード判定部５２は、局部復号Ｉ，Ｐ，ＢピクチャのＰ，Ｑブロックにおける所定位置の画素値に基づいて、Ｐ，Ｑブロックのブロック境界の両側（上下または左右）の画素列のアクティビティである画像の変化の度合いを求める（前記式（８）の（ａ）（ｂ）の左辺）。また、フィルタモード判定部５２は、ブロック境界の平坦度合いを求め（前記式（８）の（ｃ）（ｄ）の左辺）、ブロック境界に隣接する２つの画素値の差を求める（前記式（８）の（ｅ）（ｆ）の左辺）。

ブロックＰ，Ｑの画素値の位置は、図１０に示したとおりである。前記式（８）の左辺は、ブロック境界の画素のうち、図１０に示す破線部の画素を用いて算出される。

フィルタモード判定部５２は、前記式（８）の（ａ）（ｂ）において、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（（β＋φ_n）＞＞２）よりも小さく、（ｃ）（ｄ）において、ブロック境界の平坦度合いが閾値（（β＋φ_n）＞＞３）よりも小さく、（ｅ）（ｆ）において、ブロック境界に隣接する２つの画素値の差が閾値（（５×ｔ_c＋１）＞＞１）よりも小さい場合、すなわち前記式（８）の（ａ）～（ｆ）の全てを満たすと判定した場合、「強」を示すフィルタモードを生成する。

これにより、フィルタリング適用処理部２２により「有」を示す輝度フィルタリング適用有無情報が生成された場合、デブロッキングフィルタ１２において、強フィルタリングのデブロッキング処理が行われる。ブロック境界における画像変化の度合い及び平坦度合い、並びにブロック境界の隣接画素値の差が小さい場合に、強フィルタリングのデブロッキング処理が行われるのは、このような場合は画像のブロック歪みが生じ易いからである。

一方、フィルタモード判定部５２は、前記式（８）の（ａ）（ｂ）において、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（（β＋φ_n）＞＞２）以上である場合、（ｃ）（ｄ）において、ブロック境界の平坦度合いが閾値（（β＋φ_n）＞＞３）以上である場合、（ｅ）（ｆ）において、ブロック境界に隣接する２つの画素値の差が閾値（（５×ｔ_c＋１）＞＞１）以上である場合、すなわち前記式（８）の（ａ）～（ｆ）のいずれかを満たさないと判定した場合、「弱」を示すフィルタモードを生成する。

これにより、フィルタリング適用処理部２２により「有」を示す輝度フィルタリング適用有無情報が生成された場合、デブロッキングフィルタ１２において、弱フィルタリングのデブロッキング処理が行われる。ブロック境界における画像変化の度合い及び平坦度合い、並びにブロック境界の隣接画素値の差が大きい場合に、弱フィルタリングのデブロッキング処理が行われるのは、このような場合は画像のブロック歪みが生じ難いからである。

尚、前述の非特許文献１の標準規格では、前記式（８）の（ａ）（ｂ）における左辺の値が閾値（β＞＞２）よりも小さく、（ｃ）（ｄ）における左辺の値が閾値（β＞＞３）よりも小さく、（ｅ）（ｆ）における左辺の値が同じ閾値（（５×ｔ_c＋１）＞＞１）よりも小さい場合（全ての条件を満たす場合）に、フィルタリング適用処理部２２により「有」を示す輝度フィルタリング適用有無情報が生成されると、強フィルタリングのデブロッキング処理が行われる。

また、前述の全ての条件のうちのいずれかを満たさない場合に、例えば前記式（８）の（ａ）または（ｂ）における左辺の値が閾値（β＞＞２）以上である場合、（ｃ）または（ｄ）において、左辺の値が閾値（β＞＞３）以上である場合、（ｅ）または（ｆ）において、左辺の値が同じ閾値（（５×ｔ_c＋１）＞＞１）以上である場合に、フィルタリング適用処理部２２により「有」を示す輝度フィルタリング適用有無情報が生成されると、弱フィルタリングのデブロッキング処理が行われる。

本発明の実施形態では、前記式（８）の（ａ）（ｂ）に示したとおり、閾値（β＞＞２）の代わりに閾値（（β＋φ_n）＞＞２）を用い、また、（ｃ）（ｄ）に示したとおり、閾値（β＞＞３）の代わりに閾値（（β＋φ_n）＞＞３）を用いるようにした。これにより、デブロッキングフィルタ１２の強弱は、閾値βに加え、制御オフセット値φ_nも含めて判定される。

前述のとおり、制御オフセット値φ_nは、符号化順の制御オフセット候補値γ_n、ＱＰオフセットの制御オフセット候補値δ_n及び空間高周波パワーの制御オフセット候補値εに基づいて決定される。

符号化順番号ｎ、ＱＰオフセット値ＱＰ_n及び空間高周波パワーＰ_Iのそれぞれが大きいほど、制御オフセット値φ_nが大きくなり、閾値（（β＋φ_n）＞＞２），（（β＋φ_n）＞＞３）も大きくなる。一方、符号化順番号ｎ、ＱＰオフセット値ＱＰ_n及び空間高周波パワーＰ_Iのそれぞれが小さいほど、制御オフセット値φ_nが小さくなり、閾値（（β＋φ_n）＞＞２），（（β＋φ_n）＞＞３）も小さくなる。

したがって、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが大きいほど、画像の符号化劣化が大きいと判断され、空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断され、閾値（（β＋φ_n）＞＞２），（（β＋φ_n）＞＞３）も大きくなり、結果として、強フィルタリングのデブロッキングフィルタ１２が適用され易くなる。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが小さいほど、画像の符号化劣化が小さいと判断され、空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断され、閾値（（β＋φ_n）＞＞２），（（β＋φ_n）＞＞３）も小さくなり、結果として、弱フィルタリングのデブロッキングフィルタ１２が適用され易くなる。

以上のように、本発明の実施形態のデブロッキングフィルタ強度制御部１１によれば、制御オフセット処理部２０は、参照ピクチャセット情報に含まれる符号化順番号ｎに基づいて、符号化順の制御オフセット候補値γ_nを決定し、ＱＰオフセット値ＱＰ_nに基づいて、ＱＰオフセットの制御オフセット候補値δ_nを決定し、局部復号Ｉピクチャの空間高周波パワーＰ_Iに基づいて、空間高周波パワーの制御オフセット候補値εを決定する。そして、制御オフセット処理部２０は、制御オフセット候補値γ_n，δ_n，εに基づいて制御オフセット値φ_nを決定する。

これにより、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが大きいほど、画像の符号化劣化が大きいと判断され、空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断され、制御オフセット値φ_nは大きい値に決定される。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが小さいほど、画像の符号化劣化が小さいと判断され、空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断され、制御オフセット値φ_nは小さい値に決定される。

ブロック境界強度処理部２１は、局部復号Ｉ，Ｐ，Ｂピクチャ等を用いて、前述のブロックＰ，Ｑの境界条件に応じたブロック境界強度Ｂ_sを決定する。

フィルタリング適用処理部２２は、量子化パラメータ平均値Ｑaverageにオフセット値slice_beta_offset_div2を加算する等してパラメータＱ_AV1を求め、パラメータＱ_AV1を閾値βに変換する。

フィルタリング適用処理部２２は、閾値βに制御オフセット値φ_nを加算して新たな閾値（β＋φ_n）を求め、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（β＋φ_n）よりも小さい場合、すなわち前記式（６）を満たす場合、「有」を示す輝度フィルタリング適用有無情報を生成する。

一方、フィルタリング適用処理部２２は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（β＋φ_n）以上である場合、すなわち前記式（６）を満たさない場合、「無」を示す輝度フィルタリング適用有無情報を生成する。

これにより、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが大きいほど、画像の符号化劣化が大きいと判断され、空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断され、閾値（β＋φ_n）も大きくなり、デブロッキングフィルタ１２が適用され易くなる。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが小さいほど、画像の符号化劣化が小さいと判断され、空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断され、閾値（β＋φ_n）も小さくなり、デブロッキングフィルタ１２が適用され難くなる。

フィルタモード処理部２３は、量子化パラメータ平均値Ｑaverage、オフセット値slice_tc_offset_div2及びブロック境界強度Ｂ_sに基づいて、パラメータＱ_AV2を求め、パラメータＱ_AV2を閾値ｔ_cに変換する。

フィルタモード処理部２３は、閾値βに制御オフセット値φ_nを加算する等して、新たな閾値（（β＋φ_n）＞＞２），（（β＋φ_n）＞＞３）を求める。そして、フィルタモード処理部２３は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（（β＋φ_n）＞＞２）よりも小さい等、前記式（８）の（ａ）～（ｆ）の全てを満たす場合、「強」を示すフィルタモードを生成する。

一方、フィルタモード処理部２３は、Ｐ，Ｑブロックのブロック境界における画像変化の度合いが閾値（（β＋φ_n）＞＞２）以上である等、前記式（８）の（ａ）～（ｆ）のいずれかを満たさない場合、「弱」を示すフィルタモードを生成する。

これにより、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが大きいほど、画像の符号化劣化が大きいと判断され、空間高周波パワーＰ_Iが大きいほど、ぼやけの程度が低くブロック歪みが生じ易いと判断され、閾値（（β＋φ_n）＞＞２）等も大きくなり、強フィルタリングのデブロッキングフィルタ１２が適用され易くなる。

一方、符号化順番号ｎ及びＱＰオフセット値ＱＰ_nのそれぞれが小さいほど、画像の符号化劣化が小さいと判断され、空間高周波パワーＰ_Iが小さいほど、ぼやけの程度が高くブロック歪みが生じ難いと判断され、閾値（（β＋φ_n）＞＞２）等も小さくなり、弱フィルタリングのデブロッキングフィルタ１２が適用され易くなる。

このように、例えば水面のような符号化が困難な動画像について、符号化順番号ｎ、ＱＰオフセット値ＱＰ_n及び空間高周波パワーＰ_Iを反映した制御オフセット値φ_nが決定され、制御オフセット値φ_nが反映されたフィルタリング適用有無情報及びフィルタモードが判定される。

このようにして判定されたフィルタリング適用有無情報及びフィルタモードをデブロッキングフィルタ１２に適用することで、ブロック歪みを目立ち難くし、主観画質を向上させることが可能となる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば前記実施形態では、デブロッキングフィルタ強度制御部１１の制御オフセット処理部２０は、制御オフセット候補決定部３０，３１，３２及び制御オフセット決定部３３を備えるようにした。これに対し、制御オフセット処理部２０は、制御オフセット候補決定部３０，３１，３２のうちのいずれか一つの決定部または二つの組み合わせの決定部、及び制御オフセット決定部３３を備えるようにしてもよい。

例えば、制御オフセット処理部２０は、制御オフセット候補決定部３０及び制御オフセット決定部３３を備える。この場合、制御オフセット決定部３３は、制御オフセット候補決定部３０から符号化順の制御オフセット候補値γ_nを入力し、符号化順の制御オフセット候補値γ_nに重み定数ａを乗算し、制御オフセット値φ_nを決定する。

また、例えば制御オフセット処理部２０は、制御オフセット候補決定部３０，３１及び制御オフセット決定部３３を備える。この場合、制御オフセット決定部３３は、制御オフセット候補決定部３０から符号化順の制御オフセット候補値γ_nを入力すると共に、制御オフセット候補決定部３１からＱＰオフセットの制御オフセット候補値δ_nを入力する。そして、制御オフセット決定部３３は、符号化順の制御オフセット候補値γ_nに重み定数ａを乗算し、ＱＰオフセットの制御オフセット候補値δ_nに重み定数ｂを乗算し、それぞれの乗算結果を加算して制御オフセット値φ_nを決定する。

これにより、制御オフセット処理部２０が制御オフセット候補決定部３０、制御オフセット候補決定部３１または制御オフセット候補決定部３０，３１を備え、制御オフセット候補決定部３２を備えていない場合、空間高周波パワーの制御オフセット候補値εを決定する必要がないから、処理負荷を低減することができる。これは、負荷の高い空間高周波パワーＰ_Iを算出する処理が不要になるからである。

また、前記実施形態では、デブロッキングフィルタ強度制御部１１を動画像符号化装置１に適用する例を示したが、デブロッキングフィルタ強度制御部１１は、動画像復号装置にも適用がある。

動画像復号装置は、動画像符号化装置１により出力された動画像の符号化信号を入力し、符号化信号に対しエントロピー復号、逆量子化及び逆直交変換を行って復号残差画像を生成する。そして、動画像復号装置は、当該復号残差画像に予測画像を加算して加算後画像を生成し、加算後画像に対し、図２に示したインループフィルタ１０のフィルタ処理を施して復号ピクチャを生成することで、元の前記動画像を復元する。動画像復号装置は、復号ピクチャを用いて画面間予測を行い、予測画像を生成する。

尚、本発明の実施形態による動画像符号化装置１及びデブロッキングフィルタ強度制御部１１のハードウェア構成としては、通常のコンピュータを使用することができる。動画像符号化装置１及びデブロッキングフィルタ強度制御部１１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

動画像符号化装置１に備えた減算部１１０、直交変換部１１１、量子化部１１２、逆量子化部１１３、逆直交変換部１１４、加算部１１５、画面内予測部１１６、画面間予測部１１７、スイッチ１１８、エントロピー符号化部１２０及びインループフィルタ１０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

また、デブロッキングフィルタ強度制御部１１に備えた制御オフセット処理部２０、ブロック境界強度処理部２１、フィルタリング適用処理部２２及びフィルタモード処理部２３の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 動画像符号化装置
１０ インループフィルタ
１１ デブロッキングフィルタ強度制御部（デブロッキングフィルタ制御装置）
１２ デブロッキングフィルタ
２０ 制御オフセット処理部
２１ ブロック境界強度処理部
２２ フィルタリング適用処理部
２３ フィルタモード処理部
３０，３１，３２ 制御オフセット候補決定部
３３ 制御オフセット決定部
４０，５０ パラメータ算出部
４１，５１ パラメータ変換部
４２ フィルタリング適用判定部
５２ フィルタモード判定部
１１０ 減算部
１１１ 直交変換部
１１２ 量子化部
１１３ 逆量子化部
１１４ 逆直交変換部
１１５ 加算部
１１６ 画面内予測部
１１７ 画面間予測部
１１８ スイッチ
１２０ エントロピー符号化部
φ_n 制御オフセット値
γ_n，δ_n，ε 制御オフセット候補値
Ｂ_s ブロック境界強度
Ｑ_average 量子化パラメータ平均値
slice_beta_offset_div2，slice_tc_offset_div2 オフセット値
β，ｔ_c 閾値
Ｑ_AV1，Ｑ_AV2 パラメータ
ｎ 符号化順番号
Ｐ_I 空間高周波パワー
Ｐ，Ｑ ブロック
ｎ_max イントラピクチャ周期（Ｉピクチャの周期）
ＱＰ_n ｎ番目のピクチャのＱＰ値
ＱＰ_max ＱＰオフセット最大値
ａ，ｂ，ｃ 定数

Claims (5)

1. 動画像の信号にフィルタ処理を施すデブロッキングフィルタのフィルタ強度を制御するデブロッキングフィルタ制御装置において、
   前記動画像のＧＯＰ（Group Of Picture）におけるＩピクチャからの符号化順の番号を示す符号化順番号、ＱＰ（Quantization Parameter）オフセット値、及び局部復号Ｉピクチャの空間高周波パワーの各要素のうちの二つの要素に基づいて、制御オフセット値を決定する制御オフセット処理部と、
   前記制御オフセット処理部により決定された前記制御オフセット値を所定の閾値に加算して新たな閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記新たな閾値に基づいて、前記新たな閾値が大きいほど前記フィルタ強度が強くなり、前記新たな閾値が小さいほど前記フィルタ強度が弱くなるように、前記フィルタ強度を決定するフィルタ強度処理部と、を備え、
   前記制御オフセット処理部は、
   前記二つの要素のそれぞれが大きいほど前記制御オフセット値が大きくなり、前記二つの要素のそれぞれが小さいほど前記制御オフセット値が小さくなるように、前記制御オフセット値を決定する、ことを特徴とするデブロッキングフィルタ制御装置。
2. 動画像の信号にフィルタ処理を施すデブロッキングフィルタのフィルタ強度を制御するデブロッキングフィルタ制御装置において、
   前記動画像のＧＯＰ（Group Of Picture）におけるＩピクチャからの符号化順の番号を示す符号化順番号、ＱＰ（Quantization Parameter）オフセット値、及び局部復号Ｉピクチャの空間高周波パワーの各要素に基づいて、制御オフセット値を決定する制御オフセット処理部と、
   前記制御オフセット処理部により決定された前記制御オフセット値を所定の閾値に加算して新たな閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記新たな閾値に基づいて、前記新たな閾値が大きいほど前記フィルタ強度が強くなり、前記新たな閾値が小さいほど前記フィルタ強度が弱くなるように、前記フィルタ強度を決定するフィルタ強度処理部と、を備え、
   前記制御オフセット処理部は、
   前記符号化順番号、前記ＱＰオフセット値及び前記空間高周波パワーの各要素のそれぞれが大きいほど前記制御オフセット値が大きくなり、前記符号化順番号、前記ＱＰオフセット値及び前記空間高周波パワーの各要素のそれぞれが小さいほど前記制御オフセット値が小さくなるように、前記制御オフセット値を決定する、ことを特徴とするデブロッキングフィルタ制御装置。
3. 請求項２に記載のデブロッキングフィルタ制御装置において、
   前記制御オフセット処理部は、
   前記符号化順番号に基づいて、前記符号化順番号が大きいほど第一制御オフセット候補値が大きくなり、前記符号化順番号が小さいほど前記第一制御オフセット候補値が小さくなるように、前記第一制御オフセット候補値を決定する第一制御オフセット候補決定部と、
   前記ＱＰオフセット値に基づいて、前記ＱＰオフセット値が大きいほど第二制御オフセット候補値が大きくなり、前記ＱＰオフセット値が小さいほど前記第二制御オフセット候補値が小さくなるように、前記第二制御オフセット候補値を決定する第二制御オフセット候補決定部と、
   前記空間高周波パワーに基づいて、前記空間高周波パワーが大きいほど第三制御オフセット候補値が大きくなり、前記空間高周波パワーが小さいほど前記第三制御オフセット候補値が小さくなるように、前記第三制御オフセット候補値を決定する第三制御オフセット候補決定部と、
   前記第一制御オフセット候補決定部により決定された前記第一制御オフセット候補値、前記第二制御オフセット候補決定部により決定された前記第二制御オフセット候補値、及び前記第三制御オフセット候補決定部により決定された前記第三制御オフセット候補値に基づいて、前記制御オフセット値を決定する制御オフセット決定部と、を備えたことを特徴とするデブロッキングフィルタ制御装置。
4. 請求項１から３までのいずれか一項に記載のデブロッキングフィルタ制御装置において、
   前記フィルタ強度処理部は、
   前記デブロッキングフィルタの適用有無を定めるための所定の第一閾値に対し、前記制御オフセット処理部により決定された前記制御オフセット値を加算して第二閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記第二閾値に基づいて、前記第二閾値が大きいほど、前記デブロッキングフィルタを適用することを示す適用有無情報を生成し、前記第二閾値が小さいほど、前記デブロッキングフィルタを適用しないことを示す前記適用有無情報を生成するフィルタリング適用処理部と、
   前記フィルタ強度の強弱を定めるための所定の第三閾値に対し、前記制御オフセット処理部により決定された前記制御オフセット値を加算して第四閾値を求め、当該第四閾値を所定数で除算して第五閾値を求め、前記動画像のブロックにおける所定位置の画素値及び前記第五閾値に基づいて、前記第五閾値が大きいほど、前記フィルタ強度が強いことを示すフィルタモードを生成し、前記第五閾値が小さいほど、前記フィルタ強度が弱いことを示す前記フィルタモードを生成するフィルタリング適用処理部と、を備えたことを特徴とするデブロッキングフィルタ制御装置。
5. コンピュータを、請求項１から４までのいずれか一項に記載のデブロッキングフィルタ制御装置として機能させるためのプログラム。

Images