JP6396782B2 - デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体 - Google Patents

Description

本発明は、動画像信号符号化及び復号に関し、特にインループフィルタを用いて画像信号及び映像信号を符号化又は復号する技術に関するものである。

動画像符号化のアルゴリズムは、フレーム間符号化（インター符号化ないしは画面間予測符号化とも呼ばれる）とフレーム内符号化（イントラ符号化ないしは画面内予測符号化とも呼ばれる）に大別される。フレーム間符号化は、動画像内の時間方向の相関を利用して情報圧縮を図るアプローチである。代表例は、動き補償を用いたフレーム間予測である。一方、フレーム内符号化は、フレーム内の相関を利用して情報圧縮を図るアプローチである。ＪＰＥＧ、ＭＰＥＧ−２では、離散コサイン変換（ＤＣＴ）を用いたアプローチがとられている。ＪＰＥＧ２０００では、離散ウェーブレット変換を用いたアプローチがとられている。上述したようにフレーム間及びフレーム内で予測を行った後、その予測残差信号（予測誤差信号とも呼ぶ）は直交変換及び量子化を経て、最終的にエントロピー符号化によって２値信号（ビットストリーム）となる。

Ｈ．２６４／ＡＶＣなどの動画像符号化の国際標準方式では、入力映像信号で与えられる映像を正方形ないしは長方形の複数のブロックに分割し、各ブロック単位において予測、直交変換、量子化を実施する。そのため、復号された映像では、ブロック状のノイズが発生することが問題となっている。復号された映像において現れるブロック状のノイズは、ブロックノイズとも呼ばれ、視覚的に大きな劣化を招く。特に映像に割り当てられる符号量が少ない低ビットレートにおいて、ブロックノイズは顕著に視認される。

Ｈ．２６４／ＡＶＣでは、ブロックノイズを低減するためにデブロッキングフィルタと呼ばれるインループフィルタが導入されている。デブロッキングフィルタは、各ブロックが接する境界であるブロック境界に対して垂直方向にフィルタをかけ、ノイズを除去する機能を有する。映像符号化及び映像復号におけるデブロッキングフィルタは、各フレームの復号画像ができた後に施される。デブロッキングフィルタは、視覚的に画質を向上させるだけでなく、画質の向上した復号画像を次のフレームの符号化において参照されるので符号化効率の改善、すなわち客観性能の改善にも貢献する。

デブロッキングフィルタは、ブロック境界に対して上下ないしは左右４画素ずつを処理する簡易なフィルタであり、計算複雑度に見合う性能向上から、重要な符号化ツールの１つとして次世代高能率映像符号化ＨＥＶＣ（High Efficiency Video Coding）にも採用されている。なお、ＨＥＶＣでは、従来の動画像符号化装置と動画像復号装置とに対してＳＡＯ（Sample Adaptive Offset）と呼ばれるループ内フィルタがデブロッキングフィルタ後に追加されている点や、各種符号化ツールに対して改良修正が入っているが、基本的なフレームワークは従来の動画像符号化装置と動画像復号装置と変わらない。

また、Ｈ．２６４／ＡＶＣのデブロッキングフィルタの処理は、１６×１６画素のマクロブロック（以下、「ＭＢ」という。）を１６個のブロック（４×４）に分割し、各ブロック境界に対して施される。また、ＭＢ境界の場合、隣接ＭＢが存在すれば、フィルタに必要な画素が得られるため処理を同様に施す。図１４及び図１５は、Ｈ．２６４／ＡＶＣのＭＢ内のデブロッキングフィルタ適用部分を示す概略図である。

図１４には、デブロッキングフィルタの処理が行われる垂直方向のブロック境界が示されている。図１５には、デブロッキングフィルタの処理が行われる水平方向のブロック境界が示されている。なお、処理対象ＭＢが輝度信号の８×８画素のブロックごとに処理される場合、図１４及び図１５において実線で囲まれたブロック境界が処理対象になる。処理対象ＭＢが輝度信号の４×４画素のブロックないしは色差の４×４画素のブロックごとに処理される場合、図１４及び図１５において実線及び点線で囲まれたブロック境界が処理対象になる。

画像の性質によってはブロックノイズが発生しやすい部分と発生しにくい部分とがあるため、デブロッキングフィルタは画像に応じて適応的に施される。具体的には、デブロッキングフィルタは、「境界強度（Ｂｓ値：Boundary Strength）」と「境界間画素の差分の絶対値」とに基づいて、処理が変化する。境界強度の設定を図１６に示す。
図１６は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの境界強度（Ｂｓ値）の設定を示す図である。

図１４や図１５に示すように、デブロッキングフィルタの対象となる２つの４×４画素のブロックのうち、一方のブロックに含まれる画素の画素値をｐ_ｍ（０≦ｍ＜４）とし、他方のブロックに含まれる画素の画素値をｑ_ｎ（０≦ｎ＜４）とする。なお、ブロック境界に近いほどｍとｎとの値は小さいものとする。この場合、次式（１）及び次式（２）を満たす場合、ブロック境界近傍の画素に対してデブロッキングフィルタが適用される。

式（２）において、α及びβは符号化時に定める量子化パラメータ（Quantization Parameter：ＱＰ）に依存して一意に定まる値である。また、α及びβは、スライスヘッダに含まれる２つのパラメータ「slice_alpha_c0_offset_div2」及び「slice_beta_offset_div2」のフラグを利用することによっても調整可能である。

さらに、上記の２つのパラメータ以外にも、ピクチャパラメータセット（ヘッダ部分）にも「deblocking_filter_control_present_flag」及び「disable_deblocking_filter_idc」の２パラメータにより、以下の３種類の動作からいずれかが選択される。
１．ブロック境界及びＭＢ境界にデブロッキングフィルタを施す。
２．ＭＢ境界のみデブロッキングフィルタを施す。
３．デブロッキングフィルタを施さない。
また、デブロッキングフィルタをブロック境界に適用する場合においても、フィルタ処理は、境界強度Ｂｓ値に応じて「弱いフィルタリング」と「強いフィルタリング」とに分けられる。

（弱いフィルタリング）
境界強度Ｂｓ値が１以上かつ４未満である（１≦Ｂｓ＜４）場合には、弱いフィルタリングがデブロッキングフィルタ処理として適用される。「弱いフィルタリング」は、ブロック境界を跨ぐ４画素の画素値（ｐ_１，ｐ_０，ｑ_０，ｑ_１）を入力として、画素値ｐ_０の画素、及び画素値ｑ_０の画素における新たな画素値を出力するフィルタ処理である。フィルタ処理後における、画素値ｐ_０の画素における新たな画素値をｐ’_０と、画素値ｑ_０の画素における新たな画素値をｑ’_０とは、次式（３）〜次式（５）で表される４タップのフィルタ処理により算出される。

式（３）におけるＣｌｉｐ３（ａ，ｂ，ｃ）は、ｃの値をａ≦ｃ≦ｂとなる値に収めるクリップ処理を行うことを意味する。また、ｔ_ｃは、｜ｐ_２−ｐ_０｜、｜ｑ_２−ｑ_０｜、及びβそれぞれの値に基づいて決定される値である。もしも、｜ｐ_２−ｐ_０｜＜βを満たすならば、式（３）〜式（５）で表される４タップフィルタとは別の４タップのフィルタ処理が適用される。別の４タップのフィルタ処理は、ブロック境界を跨ぐ４画素の画素値（ｐ_２，ｐ_１，ｐ_０，ｑ_０）を入力として、画素値がｐ_１の画素の新たな画素値を出力するフィルタ処理である。画素値がｐ_１の画素の新たな画素値ｐ’_１は、次式（６）で表される４タップのフィルタ処理により算出される。

式（６）においてｔ_ｃ０は、境界強度Ｂｓ値とＱＰ値とから定まる定数である。式（６）で表されるフィルタ処理と同様にして、（ｑ_２，ｑ_１，ｑ_０，ｐ_０）の４画素の画素値を入力として、画素値がｑ_１の画素の新たな画素値ｑ’_１が算出される。

（強いフィルタリング）
境界強度Ｂｓ値が４である（Ｂｓ＝４）場合には、強いフィルタリングがデブロッキングフィルタ処理として適用される。「強いフィルタリング」は、以下に示す条件に応じて２つの処理のいずれかが適用される。
条件１「｜ｐ_２−ｐ_０｜＜βかつ｜ｐ_０−ｑ_０｜＜α／４＋２」が満たされる場合には、ｐ’_０、ｐ’_１、及びｐ’_２は次式（７）〜次式（９）により算出される。なお、次式（７）〜次式（９）における演算子「／／」は、「ａ／／ｂ」においてａをｂで除算し、小数点第１位を四捨五入することで整数化する処理を意味する。

上記の条件１が満たされない場合には、次式（１０）によりｐ’_０が算出される。

式（７）〜式（１０）ではｐ’_０、ｐ’_１、及びｐ’_２を算出するフィルタ処理を記述したが、ブロック境界を挟んだ反対側の画素値ｑ’_０、ｑ’_１及びｑ’_２を算出するフィルタ処理も同様に実施される。すなわち、ｑ’_０、ｑ’_１及びｑ’_２は次式（１１）〜次式（１４）により算出されるフィルタ処理になる。
条件２「｜ｑ_２−ｑ_０｜＜βかつ｜ｐ_０−ｑ_０｜＜α／４＋２」が満たされる場合には、ｑ’_０、ｑ’_１、及びｑ’_２は次式（１１）〜次式（１３）により算出される。

上記の条件２が満たされない場合には、次式（１４）によりｑ’_０が算出される。

図１７は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理後に変更が加わる画素の関係を示す図である。図１７には、Ｈ．２６４／ＡＶＣのデブロッキングフィルタ処理における水平ブロック境界を対象にしたときの変更画素の範囲が示されている。図１７における（ａ）及び（ｂ）で示されるように、弱いフィルタリングの場合、ブロック境界に垂直な方向ごとに、最小で２画素（ｐ’_０、ｑ’_０）が修正され、最大で４画素（ｐ’_１、ｐ’_０、ｑ’_０、ｑ’_１）が修正される。また、図１７における（ｃ）及び（ｄ）で示されるように、強いフィルタリングの場合、ブロック境界に垂直な方向ごとに、最大で６画素（ｐ’_２、ｐ’_１、ｐ’_０、ｑ’_０、ｑ’_１、ｑ’_２）が修正され、最小で２画素（ｐ’_０、ｑ’_０）が修正される。図１８は、Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理条件と処理範囲を示す図である。
ここまでの説明は、非特許文献１及び非特許文献２に詳述されている。

ＨＥＶＣのデブロッキングフィルタでは、上記Ｈ．２６４／ＡＶＣからの主な変更点として、「フィルタ対象となる画素位置」、「境界強度Ｂｓ値の定義」、「フィルタリングの強弱の判断」などが挙げられる。具体的には、Ｈ．２６４／ＡＶＣでは、４×４のブロック単位でデブロッキングフィルタの処理が実行されるため、その４×４ブロック境界がフィルタ対象となる（図１４及び図１５参照）。これに対して、ＨＥＶＣでは、１６×１６のＭＢ単位で符号化を行うのではなく、最大６４×６４から最小８×８のＣＵ（Coding Unit）と呼ばれる四分木構造で分割されるブロック単位で符号化が行われる。その中でＣＵは、予測対象のＰＵ（Prediction Unit）と変換対象のＴＵ（Transform Unit）とに独立に分割されて符号化される。

このような柔軟な処理構造に対応するため、そしてフィルタの並列化処理を高めるために、図１９に示されるようにＨＥＶＣでは８×８ブロックの境界がフィルタの対象となる。また、Ｂｓ値の定義については、図２０に示される通り、Ｈ．２６４／ＡＶＣと同様に画面内予測モード、直交変換係数、動きベクトルなどの情報から境界強度Ｂｓ値を判定するところは変わっていないが、境界強度Ｂｓ値の数値範囲が０から４の５段階ではなく０から２の３段階と変更されて、条件に変更が発生している。ＨＥＶＣではＢｓ値が０の場合はフィルタリングが実施されず、１以上の場合はフィルタリングが実施される。フィルタリングの強弱の判断についても、ＨＥＶＣにおいては以下の条件（１５）から（２０）全てを満たす場合に強いフィルタリング（強フィルタ）が適用される。いずれかの条件でも満たさない場合は弱いフィルタリングが適用される。

なお、上記式（１５）から式（２０）において、各画素位置は図１９に示される通りであり、＞＞ＸはＸビット算術右シフト演算（２のＸ乗で割る演算）を示す。ｔ_ｃは隣接するブロックＰとブロックＱに対する量子化パラメータの平均値と境界強度Ｂｓ値などの情報から予め定められた対応関係を示すテーブルを用いて決定される値である。式（１５）と式（１６）とから空間面でのアクティビティが低いことが確認でき、式（１７）と式（１８）とから境界のそれぞれの信号が平坦であることが確認でき、式（１９）と式（２０）とからブロック境界に隣接する２画素の差が閾値を超えるか否かが確認できる。

ＨＥＶＣでは、上述のような変更点はあるものの、強いフィルタリングと弱いフィルタリングとに用いられるフィルタ形状やフィルタ係数についてはＨ．２６４／ＡＶＣの場合にほぼ踏襲している。つまり、ＨＥＶＣのデブロッキングフィルタは、Ｈ．２６４／ＡＶＣのデブロッキングフィルタを改良する形で構築されている。
ここまでの説明は、非特許文献１から非特許文献４に詳述されている。

Ｈ．２６４／ＡＶＣ及びＨＥＶＣに導入されているデブロッキングフィルタでは、ブロックの予測モード、直交変換係数、動きベクトルといった符号化情報によってブロック境界の強度が判定される。また、一部の画素の変化量や位置情報などを用いてフィルタの強弱及び実施可否が適応的に選択されてフィルタリング処理が行なわれている。つまり、それぞれ判定された条件に見合うフィルタをかけて効率的にノイズを除去する機構となっている。

大久保榮（監）、角野眞也、菊池義浩、鈴木輝彦（編）、「改訂三番Ｈ．２６４／ＡＶＣ教科書」、株式会社インプレスＲ＆Ｄ、ｐｐ.１４４−１４８、２００９年 ITU-T Study Group 16-Questions 6/16:"Draft new Corrigendum1 to H.264 Advanced video coding for generic audiovisual services", pp.182-193, 2005 Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 7", JCTVC-I1003_d4.doc, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, pp.149-162, 2012 ITU-T STUDY Group 16-Questions 6/16："SERIES H：AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services-Coding of moving video，High efficiency video coding"，Recommendation ITU-T H．265，ｐｐ．146-160，2013

しかしながら、設定されたフィルタ形状及びフィルタ係数は固定されたものであり、全ての場合においてブロックノイズを効率的に除去できるとは限らない。また、１つの境界に対して一度フィルタリング処理を行うと、その妥当性を省みずに次の境界にフィルタリング処理が移る。仮に選択されたフィルタを実施してもブロックノイズが十分に除去できない場合には、低い主観画質のままである問題や、その低い画質のフレームを参照する後続フレームの符号化効率が低下するという問題が発生してしまう。従来のデブロッキングフィルタではそれらの問題に対応できないという問題があった。

本発明はかかる事情を鑑みてなされたものであって、その目的は、デブロッキングフィルタの処理において、よりブロックノイズを低減させることができるデブロッキング処理方法、デブロッキング処理装置、プログラム、及び記録媒体を提供することにある。

本発明の一態様は、ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行ステップと、第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定ステップと、ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行ステップと、を有することを特徴とするデブロッキング処理方法である。

本発明の一態様は、上記のデブロッキング処理方法であって、前記判定ステップにおいて、前記ブロック境界から同距離にある画素の差分絶対値を算出し、算出結果と、予め定められた閾値とを比較し、前記算出結果が前記閾値よりも大きい場合に前記ブロックノイズが残留していると判定し、前記算出結果が前記閾値よりも小さい場合に前記ブロックノイズが残留していないと判定する。

本発明の一態様は、上記のデブロッキング処理方法であって、前記判定ステップにおいて、前記ブロック境界から同距離にある画素の差分絶対値の算出に加え、前記同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する。

本発明の一態様は、上記のデブロッキング処理方法であって、前記判定ステップにおいて、予め定められた複数の条件に基づいて、前記第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素において前記ブロックノイズが残留している割合を判定し、判定結果と、前記第二のフィルタ処理に使用する第二のフィルタと判定結果とが対応付けられたテーブルとに基づいて前記第二のフィルタ処理に使用する第二のフィルタを選択する選択ステップをさらに有し、前記第二フィルタ実行ステップにおいて、ブロックノイズが残留していると判定された場合に、選択された前記第二のフィルタを用いて前記第二のフィルタ処理を実行する。

本発明の一態様は、上記のデブロッキング処理方法であって、前記判定ステップにおいて、前記ブロック境界から同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する。

本発明の一態様は、ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行部と、第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定部と、ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行部と、を備えることを特徴とするデブロッキング処理装置である。

本発明の一態様は、上記のデブロッキング処理装置であって、前記判定部は、前記ブロック境界から同距離にある画素の差分絶対値を算出し、算出結果と、予め定められた閾値とを比較し、前記算出結果が前記閾値よりも大きい場合に前記ブロックノイズが残留していると判定し、前記算出結果が前記閾値よりも小さい場合に前記ブロックノイズが残留していないと判定する。

本発明の一態様は、上記のデブロッキング処理装置であって、前記判定部は、予め定められた複数の条件に基づいて、前記第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素において前記ブロックノイズが残留している割合を判定し、判定結果と、前記第二のフィルタ処理に使用する第二のフィルタと判定結果とが対応付けられたテーブルとに基づいて前記第二のフィルタ処理に使用する第二のフィルタを選択する選択部をさらに備え、前記第二フィルタ実行部は、ブロックノイズが残留していると判定された場合に、選択された前記第二のフィルタを用いて前記第二のフィルタ処理を実行する。

本発明の一態様は、上記のデブロッキング処理方法をコンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様は、上記のデブロッキング処理方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明により、デブロッキングフィルタの処理において、よりブロックノイズを低減させることが可能となる。

第１の実施形態における動画像符号化装置１００の構成例を示す概略ブロック図である。 同実施形態における動画像復号装置２００の構成例を示す概略ブロック図である。 同実施形態におけるデブロッキングフィルタ処理部１１０及びデブロッキングフィルタ処理部２０８の構成例を示す概略ブロック図である。 同実施形態におけるデブロッキングフィルタ処理部１１０が行うデブロッキングフィルタ処理を示すフローチャートである。 同実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。 同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。 第２の実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。 ブロックノイズ残留度の分類例を示す図である。 ブロックノイズ残留度に応じたスムージングフィルタの設定例を示す図である。 同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。 ブロックノイズ残留度のその他の分類例を示す図である。 動画像符号化装置１００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 動画像復号装置２００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。 Ｈ．２６４／ＡＶＣのＭＢ内のデブロッキングフィルタ適用部分を示す第１の概略図である。 Ｈ．２６４／ＡＶＣのＭＢ内のデブロッキングフィルタ適用部分を示す第２の概略図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの境界強度（Ｂｓ値）の設定を示す図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理後に変更が加わる画素の関係を示す図である。 Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタの処理条件と処理範囲を示す図である。 ＨＥＶＣのデブロッキングフィルタの対象画素の具体例を示す図である。 ＨＥＶＣにおけるデブロッキングフィルタの境界強度（Ｂｓ値）の設定を示す図である。

以下、図面を参照して、本発明に係る一実施形態におけるデブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体を説明する。以下の説明では、本発明に対応するデブロッキングフィルタ処理部を具備する動画像符号化装置及び動画像復号装置の構成例を示し、その後にデブロッキングフィルタ処理部の詳細な説明を行う。デブロッキングフィルタ処理部は、動画像符号化装置及び動画像復号装置において共通する処理を行う。

＜第１の実施形態＞
図１は、第１の実施形態における動画像符号化装置１００の構成例を示す概略ブロック図である。動画像符号化装置１００には、符号化対象の入力映像信号が入力される。動画像符号化装置１００は、入力映像信号の各フレームを複数のブロックに分割してブロックごとに符号化し、符号化結果のビットストリームを符号化ストリームとして出力する。

動画像符号化装置１００は、同図に示すように、イントラ予測処理部１０１、インター予測処理部１０２、予測残差信号生成部１０３、変換処理部１０４、量子化処理部１０５、逆量子化処理部１０６、逆変換処理部１０７、復号信号生成部１０８、フレームメモリ１０９、デブロッキングフィルタ処理部１１０、インター予測情報格納部１１１、イントラ予測情報格納部１１２、及び、エントロピー符号化処理部１１３を具備している。

動画像符号化装置１００においては、デブロッキングフィルタ処理部１１０が本発明のデブロッキングフィルタ処理装置に対応する。他の各機能部は、Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどのエンコーダとして用いられている一般的な動画像符号化装置が具備する機能部と同様である。

イントラ予測処理部１０１は、入力映像信号が入力され、入力映像信号に基づいて予測信号を生成する。また、イントラ予測処理部１０１は、入力映像信号に基づいて、予測モードなどを含むイントラ予測情報を生成し、生成したイントラ予測情報をイントラ予測情報格納部１１２に記憶させて格納する。

インター予測処理部１０２には、入力映像信号と、デブロッキングフィルタ処理部１１０から参照画像とが入力される。インター予測処理部１０２は、入力映像信号と参照画像とに基づいて、予測信号を生成する。また、インター予測処理部１０２は、入力映像信号と参照信号とに基づいて、動きベクトルを含むインター予測情報を生成し、生成したインター予測情報をインター予測情報格納部１１１に記憶させて格納する。

予測残差信号生成部１０３は、入力画像と、イントラ予測処理部１０１あるいはインター予測処理部１０２から出力される予測信号との差分を算出する。予測残差信号生成部１０３は、算出した差分を予測残差信号として変換処理部１０４に出力する。

変換処理部１０４は、予測残差信号生成部１０３から入力される予測残差信号に対して離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交変換を行う。変換処理部１０４は、直交変換により得られた変換係数を量子化処理部１０５に出力する。

量子化処理部１０５は、変換処理部１０４から入力される変換係数を量子化し、その量子化された変換係数を逆量子化処理部１０６とエントロピー符号化処理部１１３とに出力する。

逆量子化処理部１０６は、量子化処理部１０５から入力される変換係数を逆量子化して逆変換処理部１０７に出力する。
逆変換処理部１０７は、逆量子化処理部１０６から入力される変換係数を逆直交変換する。逆変換処理部１０７は、逆直交変換により得られた予測残差復号信号を復号信号生成部１０８に出力する。

復号信号生成部１０８は、逆変換処理部１０７から入力される予測残差復号信号と、イントラ予測処理部１０１あるいはインター予測処理部１０２が出力する予測信号とを加算する。復号信号生成部１０８は、加算結果を符号化した符号化対象ブロックの復号信号としてフレームメモリ１０９に記憶させる。この復号信号は、イントラ予測処理部１０１あるいはインター予測処理部１０２において参照画像として用いられる。

フレームメモリ１０９は、復号信号生成部１０８が生成する復号信号を記憶する。
デブロッキングフィルタ処理部１１０は、フレームメモリ１０９に記憶されている復号信号を読み出し、読み出した復号信号に対してデブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部１１０は、デブロッキングフィルタ処理後の画像を参照画像としてインター予測処理部１０２に出力する。なお、このデブロッキングフィルタ処理部１１０の前後に、デブロッキングフィルタ以外のループ内フィルタ処理部（インループフィルタ）、例えばＨＥＶＣで採用されているＳＡＯなどの符号化歪みを低減するフィルタを挿入してもよい。

インター予測情報格納部１１１は、インター予測処理部１０２が生成するインター予測情報を記憶する。
イントラ予測情報格納部１１２は、イントラ予測処理部１０１が生成するイントラ予測情報を記憶する。

エントロピー符号化処理部１１３は、量子化処理部１０５において量子化された変換係数、インター予測情報格納部１１１に格納されているインター予測情報、及び、イントラ予測情報格納部１１２に格納されているイントラ予測情報をエントロピー符号化し、符号化ストリームとして出力する。

動画像符号化装置１００は、上述の各機能部を具備することにより、入力映像信号の各フレームを複数のブロックに分割してブロックベースの予測符号化を行い、入力映像信号を符号化して得られた符号化ストリームを出力する。

図２は、同実施形態における動画像復号装置２００の構成例を示す概略ブロック図である。動画像復号装置２００は、図１に示した動画像符号化装置１００などにより符号化された符号化ストリームが入力され、符号化ストリームを復号することにより復号画像の映像信号を出力する。

動画像復号装置２００は、図２に示すように、エントロピー復号処理部２０１、イントラ予測処理部２０２、インター予測処理部２０３、逆量子化処理部２０４、逆変換処理部２０５、復号信号生成部２０６、フレームメモリ２０７、デブロッキングフィルタ処理部２０８、インター予測情報格納部２０９、及び、イントラ予測情報格納部２１０を具備している。

動画像復号装置２００においては、デブロッキングフィルタ処理部２０８が本発明のデブロッキングフィルタ処理装置に対応する。他の各機能部は、Ｈ．２６４／ＡＶＣ及びＨＥＶＣなどのデコーダとして用いられる一般的な動画像復号装置が具備する機能部と同様である。

エントロピー復号処理部２０１は、符号化ストリームが入力され、入力された符号化ストリームから復号対象ブロックの量子化変換係数をエントロピー復号するとともに、イントラ予測に関するイントラ予測情報、及びインター予測に関するインター予測情報をエントロピー復号する。また、エントロピー復号処理部２０１は、量子化変換係数を逆量子化処理部２０４に出力し、インター予測情報をインター予測情報格納部２０９に記憶させて格納し、イントラ予測情報をイントラ予測情報格納部２１０に記憶させて格納する。

イントラ予測処理部２０２は、フレームメモリ２０７に記憶される復号信号を参照画像として読み出す。また、イントラ予測処理部２０２は、イントラ予測情報格納部２１０からイントラ予測情報を読み出す。イントラ予測処理部２０２は、読み出した参照画像と、読み出したイントラ予測情報とに基づいて、予測信号を生成する。

インター予測処理部２０３は、インター予測情報格納部２０９からインター予測情報を読み出す。インター予測処理部２０３は、インター予測情報と、デブロッキングフィルタ処理部２０８から入力される参照画像とに基づいて、予測信号を生成する。

逆量子化処理部２０４は、エントロピー復号処理部２０１から入力される量子化変換係数を逆量子化して復号変換係数を算出する。逆量子化処理部２０４は、算出した復号変換係数を逆変換処理部２０５に出力する。

逆変換処理部２０５は、逆量子化処理部２０４から入力される復号変換係数に逆直交変換を施し、予測残差復号信号を算出する。逆変換処理部２０５は、算出した予測残差復号信号を復号信号生成部２０６に出力する。

復号信号生成部２０６は、逆変換処理部２０５から入力される予測残差復号信号と、イントラ予測処理部２０２あるいはインター予測処理部２０３が出力する予測信号とを加算する。復号信号生成部２０６は、加算結果を復号対象ブロックの復号信号としてフレームメモリ２０７に記憶させて格納する。
フレームメモリ２０７は、復号信号生成部２０６が算出する復号信号を記憶する。

デブロッキングフィルタ処理部２０８は、フレームメモリ２０７から復号信号を読み出し、読み出した復号信号により示される画像に対して符号化歪みを低減するフィルタ処理を行う。デブロッキングフィルタ処理部２０８は、フィルタ処理後の画像を復号映像信号として出力する。また、デブロッキングフィルタ処理部２０８は、フィルタ処理後の画像を参照画像としてインター予測処理部２０３に出力する。なお、このデブロッキングフィルタ処理部２０８の前後に、デブロッキングフィルタ以外のループ内フィルタ処理部（インループフィルタ）、例えばＨＥＶＣで採用されているＳＡＯなどの符号化歪みを低減するフィルタを挿入してもよい。

インター予測情報格納部２０９は、エントロピー復号処理部２０１が復号したインター予測情報を格納する。
イントラ予測情報格納部２１０は、エントロピー復号処理部２０１が復号したイントラ予測情報を格納する。

動画像復号装置２００は、上述の各機能部を具備することにより、ブロックベースの予測符号化により符号化された映像の符号化ストリームを入力し、入力された符号化ストリームから映像を復号して復号映像信号を出力する。

（デブロッキングフィルタ処理部の構成例）
図３は、同実施形態におけるデブロッキングフィルタ処理部１１０及びデブロッキングフィルタ処理部２０８の構成例を示す概略ブロック図である。以下、デブロッキングフィルタ処理部１１０とデブロッキングフィルタ処理部２０８とは共通する処理を行い、同じ構成を有するので、デブロッキングフィルタ処理部１１０を説明し、デブロッキングフィルタ処理部２０８の説明を省略する。

デブロッキングフィルタ処理部１１０は、図３に示すように、フィルタ使用判定部３０１、フィルタ処理部３０２、及び、最終ブロック判定部３０３を備えている。
フィルタ使用判定部３０１は、デブロッキングフィルタを適用するブロック境界を同定する。また、フィルタ使用判定部３０１は、フィルタ処理の強弱を調整するためのパラメータである境界強度（Ｂｓ値）を決定する。フィルタ使用判定部３０１には、復号画素信号、モード情報、動きベクトル、位置情報、変数係数が入力される。

復号画素信号は、フレームメモリ１０９から読み出す復号信号が示す画像におけるブロックに含まれる各画素の画素値を示す信号である。モード情報は、例えば、イントラ予測が対象ブロックに適用されているか、インター予測が対象ブロックに適用されているかを示す予測モード情報を含む情報である。動きベクトルは、インター予測情報に含まれる情報である。位置情報は、空間座標、すなわち対象ブロックがＭＢやＣＵ・ＰＵ・ＴＵといったブロックの境界に位置するか否かを判定するためのブロックの位置を示す情報である。変換係数は、対象ブロックに含まれる有意係数の数である。

フィルタ使用判定部３０１は、非特許文献１ないしは非特許文献３に記載されているデブロッキングフィルタ処理と同様に、フィルタ処理を適用するブロック境界線の位置情報、図１６ないしは図２０に示されるような境界強度（Ｂｓ値）、Ｂｓ値と復号画素値とから決定されるデブロッキングフィルタとして用いるフィルタ形状、及び、フィルタ処理の対象画素の範囲を決定する。ここで、フィルタ形状は、フィルタタップ長と、フィルタ係数とを示す情報である。

以下の説明では、位置情報と境界強度とフィルタ形状のような全てのデブロッキングフィルタに関する情報をフィルタリング情報と記載する。フィルタ使用判定部３０１は、入力される情報に基づいて、フィルタリング情報を出力する。

フィルタ処理部３０２には、フィルタ使用判定部３０１が出力するフィルタリング情報と、復号画素信号とが入力される。フィルタ処理部３０２は、フィルタリング情報に基づいて、復号画素信号に対して適切なフィルタ処理を施す。フィルタ処理部３０２は、フィルタ処理後の画素値を示すフィルタ後復号画素信号と、フィルタ処理が施された画素又はブロックの位置を示すフィルタ処理位置情報とを最終ブロック判定部３０３に出力する。

最終ブロック判定部３０３は、フィルタ処理部３０２から入力されるフィルタ後復号画素信号及びフィルタ処理位置情報に基づいて、デブロッキングフィルタの処理が終了したか否かを判定し、フィルタ後復号画素信号を出力する。

デブロッキングフィルタ処理部１１０は、フィルタ使用判定部３０１、フィルタ処理部３０２、及び最終ブロック判定部３０３により、復号信号が示す画像に対してデブロッキングフィルタを適用し、デブロッキングフィルタ後の復号画像を出力する。

（デブロッキングフィルタ処理のフロー）
図４は、同実施形態におけるデブロッキングフィルタ処理部１１０が行うデブロッキングフィルタ処理を示すフローチャートである。
デブロッキングフィルタ処理部１１０において、デブロッキングフィルタ処理が開始されると、フィルタ使用判定部３０１に復号画素信号、モード情報、動きベクトル、位置情報、変数係数が入力される（ステップＳ１０１）。

フィルタ使用判定部３０１は、非特許文献１ないし非特許文献３に記載されている手順に従い、ステップＳ１０１において入力された情報に基づいて、デブロッキングフィルタを適用するブロック境界を同定し、フィルタ処理の強弱を調整するためのパラメータである境界強度Ｂｓ値を決定し、フィルタリング情報を出力する（ステップＳ１０２）。

フィルタ処理部３０２は、ステップＳ１０２において出力されたフィルタリング情報に基づいて、復号画素信号に対して適切なフィルタ処理を施す（ステップＳ１０３）。最終ブロック判定部３０３は、フィルタ処理部３０２が出力するフィルタ処理位置情報に基づいて、フィルタ処理を施したブロックが最終ブロックであるか否かを判定する（ステップＳ１０４）。

フィルタ処理を施したブロックが最終ブロックでない場合（ステップＳ１０４：Ｎｏ）、処理をステップＳ１０１に戻して、ステップＳ１０１からステップＳ１０４までの各処理を繰り返す。
一方、フィルタ処理を施したブロックが最終ブロックである場合（ステップＳ１０４：Ｙｅｓ）、最終ブロック判定部３０３は、フィルタ後復号画素信号を出力し（ステップＳ１０５）、デブロッキングフィルタ処理を終了する。

図５は、同実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。フィルタ処理部３０２は、同図に示すように、フィルタリング情報記憶部４０１、第一フィルタ実行部４０２、ブロックノイズ残留判定部４０３、第二フィルタ設定部４０４及び第二フィルタ実行部４０５を有している。
フィルタリング情報記憶部４０１は、デブロッキングフィルタを適用する際に必要となるフィルタリング情報を全て記憶する。

第一フィルタ実行部４０２は、フィルタリング情報及び復号画素信号を入力として、ブロックノイズを低減するためのフィルタリング処理を実行する。これは、非特許文献１及び非特許文献３に示されるように弱いフィルタリング、強いフィルタリング、又はフィルタリングなしといった３つのパターンのいずれかを選択して、選択したフィルタでデブロッキングフィルタ処理を実行することを意味する。なお、以下の説明では、第一フィルタ実行部４０２によってフィルタリング処理が行われた後の復号画素信号、又は、フィルタリングなしの場合には入力された復号画素信号を第一フィルタ後復号画素信号と記載する。第一フィルタ実行部４０２は、第一フィルタ後復号画素信号を出力する。

ブロックノイズ残留判定部４０３は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報と、第一フィルタ実行部４０２から出力される第一フィルタ後復号画素信号を入力として、処理対象であるブロック境界においてブロックノイズが残留しているか否かを判定する。例えば、第一フィルタ実行部４０２にて強いフィルタリングが実行された場合、ブロックノイズが発生している範囲が元々大きい場所であることが想定される。そのため、ブロックノイズ残留判定部４０３は、第一フィルタ実行部４０２で強いフィルタリングが実行されても処理対象であるブロック境界においてブロックノイズが残留していると仮定し、以下の判定式（２１）でブロックノイズが残留しているか否かを判定する。

ここで、式（２１）におけるｐ０_ｉ及びｑ０_ｉはそれぞれ図１９に示されるように、ブロックＰ及びブロックＱに属するブロック境界に接する画素（ブロック境界からみて１番目の画素）である。同様にｐ１_ｉ及びｑ１_ｉはブロック境界から１画素分離れている画素（ブロック境界から２番目の画素）を示し、ｐ２_ｉ及びｑ２_ｉはブロック境界から２画素分離れている画素（ブロック境界からみて３番目の画素）を示す。また、式（２１）におけるＡ、Ｂ、Ｃはそれぞれブロックノイズ、すなわちブロック境界での乖離度を判定するための閾値係数である。例えば、特定の乖離が続いているとブロックノイズがまだ残っていると考え、Ａ＝Ｂ＝Ｃ＝４のように固定値を全ての係数に割り当ててもよい。また、より中央付近ほど乖離が高い形で周辺画素にもある程度乖離があるならばブロックノイズが残留していると考え、Ａ＝８、Ｂ＝６、Ｃ＝２のように中央に大きな値を設定してもよい。

ブロックノイズ残留判定部４０３は、式（２１）によって定義される判定式の条件を全て満たす場合には処理対象であるブロック境界においてブロックノイズが残留していると判定する。一方、ブロックノイズ残留判定部４０３は、式（２１）によって定義される判定式の条件のいずれかでも満たさない場合には処理対象であるブロック境界においてブロックノイズが残留していないと判定する。以下の説明では、ブロックノイズ残留判定部４０３による判定結果を示す情報をブロックノイズ残留情報と記載する。ブロックノイズ残留判定部４０３は、ブロックノイズ残留情報及び第一フィルタ後復号画素信号を出力する。

第二フィルタ設定部４０４は、予め定められたノイズを除去するためのフィルタ（以下、「第二フィルタ」という。）を用意し、第二フィルタを第二フィルタ情報として第二フィルタ実行部４０５に出力する。例えば、第二フィルタの具体例として、スムージングフィルタが用いられる。スムージングフィルタは、［１，２，１］／４で表現されるようなフィルタであってもよい。

第二フィルタ実行部４０５は、ブロックノイズ残留情報と、第一フィルタ後復号画素信号と、第二フィルタ情報とを入力として、ブロックノイズ残留情報で示される判定結果が、ブロックノイズが残留していることを示す結果である場合に、第二フィルタ情報で示される第二フィルタによるフィルタリング処理を、第一フィルタ後復号画素信号で示される処理対象であるブロック境界に対して実行する。［１，２，１］／４のスムージングフィルタであれば、第二フィルタ実行部４０５は、例えばブロック境界に接するｐ０_ｉとｑ０_ｉに対して以下の式（２２）及び式（２３）に示す演算で第二フィルタを施す。

以下の説明では、第二フィルタが施された後の第一フィルタ後復号画素信号を第二フィルタ後復号画素信号と記載する。その後、第二フィルタ実行部４０５は、第二フィルタ後復号画素信号をフィルタ後復号画素信号として出力する。
また、第二フィルタ実行部４０５は、ブロックノイズ残留情報で示される判定結果が、ブロックノイズが残留していないことを示す結果である場合には第二フィルタを施さずに第一フィルタ後復号画素信号をフィルタ後復号画素信号として出力する。第二フィルタ実行部４０５は、フィルタ後復号画素信号とフィルタ処理位置情報とを出力する。
なお、従来技術では，図５に示されるブロックノイズ残留判定部４０３、第二フィルタ設定部４０４及び第二フィルタ実行部４０５によるブロックノイズの残留判定の実施及び判定結果に基づくフィルタ処理を行うことなく、第一フィルタ実行部４０２の出力する第一フィルタ後復号画素信号をそのまま出力してフィルタ後の復号画素信号としている点が本実施形態と異なる。

図６は、同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。
フィルタ処理部３０２において、フィルタ処理が開始されると、第一フィルタ実行部４０２は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報を読み込む（ステップＳ２０１）。

第一フィルタ実行部４０２は、ステップＳ２０１の処理によって読み込んだフィルタリング情報から定まるフィルタリング処理を行う（ステップＳ２０２）。その後、第一フィルタ実行部４０２は、第一フィルタ後復号画素信号をブロックノイズ残留判定部４０３に出力する。なお、フィルタリング情報によってフィルタリングなしと判断された場合には、第一フィルタ実行部４０２は、フィルタがかかっていない入力の復号画素信号をそのまま第一フィルタ後復号画素信号として出力する。

次に、ブロックノイズ残留判定部４０３は、読み込んだブロック境界に対するフィルタリング情報に関する実施情報（例えばＢｓ値や強いフィルタリングが適用されていた等の情報）を取得して、上記式（２１）に示されるような判定式に基づいてブロックノイズが残留しているか否か判定する（ステップＳ２０３）。
ブロックノイズが残留していると判定された場合（ステップＳ２０３：ＹＥＳ）、第二フィルタ実行部４０５は、ブロック境界に対して上記式（２２）及び式（２３）に示されるようなスムージングフィルタを第二フィルタとして第二フィルタによるフィルタリング処理を実行する（ステップＳ２０４）。この場合、第二フィルタ実行部４０５は、第二フィルタによるフィルタリング処理がなされた後の第一フィルタ後復号画素信号（第二フィルタ後復号画素信号）を最終的なフィルタ後復号画素信号として、フィルタ処理位置情報とともに出力する（ステップＳ２０５）。
一方、ブロックノイズが残留していないと判定された場合（ステップＳ２０３：ＮＯ）、第二フィルタ実行部４０５は、第二フィルタによるフィルタリング処理を実行せず、ステップＳ２０２処理後の第一フィルタ後復号画素信号を最終的なフィルタ後復号画素信号として、フィルタ処理位置情報とともに出力する（ステップＳ２０５）。

以上のように構成されたデブロッキングフィルタ処理部１１０では、デブロッキングフィルタの処理において、よりブロックノイズを低減させることが可能になる。以下、この効果について詳細に説明する。本実施形態では、デブロッキングフィルタが施された後に、再度、ブロックノイズが残留しているか否かの判定が行われ、ブロックノイズが残留していると判定された場合に第二フィルタとしてスムージングフィルタによるフィルタリング処理が行なわれる。このように再度フィルタリング処理が実行されることによって、デブロッキングフィルタによるフィルタリングが実行された後に、処理対象であるブロック境界においてブロックノイズが残留している場合であっても、残留しているブロックノイズを除去することができる。そのため、よりブロックノイズを低減させることが可能になる。

＜変形例＞
本実施形態では、ブロックノイズ残留判定部４０３がブロック境界から３画素範囲内、すなわち合計６画素を判定する場合を示したが、例えばｐ３_ｉ及びｑ３_ｉのようにブロック境界からみて４番目の画素を用いて判定式を構築してもよい。ブロック境界に面するブロックのサイズが１６×１６であるならば、６番目の画素なども判定式に用いてもよい。
本実施形態では、ブロックノイズ残留判定部４０３が上記判定式（２１）に基づいてブロックノイズが残留しているか否かを判定する構成を示したが、これに限定される必要はない。例えば、ブロックノイズ残留判定部４０３は、以下のようにブロックノイズが残留しているか否かを判定してもよい。具体的には、まず、ブロックノイズ残留判定部４０３は、ブロック境界から同距離にある画素の差分絶対値の算出（判定式（２１））に加え、ブロック境界から同距離にある画素毎の差分値の正負の情報をそれぞれ算出する。次に、ブロックノイズ残留判定部４０３は、複数の算出結果それぞれの正負の情報を比較する。正負の情報は、算出結果がプラスであるかマイナスであるかを示す情報である。そして、ブロックノイズ残留判定部５０３は、算出結果全ての正負の情報が一致する場合には処理対象であるブロック境界においてブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には処理対象であるブロック境界においてブロックノイズが残留していないと判定する。

また、ブロックノイズ残留判定部４０３は、ブロック境界から同距離にある画素の差分絶対値と、ブロック境界から同距離にある画素毎の差分値の正負の情報とを組み合わせて以下のような判定を行ってもよい。具体的には、ブロックノイズ残留判定部４０３は、上記判定式（２１）の条件全てを満たし、かつ、算出結果全ての正負の情報が一致する場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件全てを満たす、全て一致］の場合）にはノイズ残留強と判定する。以下、この場合に関する条件を第５の条件と記載する。第５の条件を満たす場合には、第二フィルタ実行部４０５は、最も平滑化の強いスムージングフィルタを第二フィルタとして選択し、第二フィルタによるフィルタリング処理を実行する。
また、ブロックノイズ残留判定部５０３は、上記判定式（２１）の条件の一部を満たし、かつ、算出結果全ての正負の情報が一致する場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件の一部を満たす、全て一致］の場合）にはノイズ残留中と判定する。以下、この場合に関する条件を第６の条件と記載する。第６の条件を満たす場合には、第二フィルタ実行部４０５は、ノイズ残留強と判定された場合に選択するスムージングフィルタより平滑化の弱いスムージングフィルタを第二フィルタとして選択し、第二フィルタによるフィルタリング処理を実行する。

また、ブロックノイズ残留判定部５０３は、上記判定式（２１）の条件全てを満たし、かつ、算出結果のいずれかの正負の情報が一致しない場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件全てを満たす、一部一致］の場合）にはノイズ残留弱と判定する。以下、この場合に関する条件を第７の条件と記載する。第７の条件を満たす場合には、第二フィルタ実行部４０５は、ノイズ残留中と判定された場合に選択するスムージングフィルタより平滑化の弱いスムージングフィルタを第二フィルタとして選択し、第二フィルタによるフィルタリング処理を実行する。
また、ブロックノイズ残留判定部５０３は、第５の条件〜第７の条件のいずれも満たさない場合にはノイズ残留なしと判定する。この場合には、第二フィルタ実行部４０５は、スムージングフィルタを選択しない。

＜第２の実施形態＞
第２の実施形態では、第１の実施形態において説明したフィルタ処理部３０２（図５）と異なる構成例を説明する。なお、フィルタ処理部３０２以外の構成は、第１の実施形態と同じである。

図７は、第２の実施形態におけるフィルタ処理部３０２の構成例を示す概略ブロック図である。本実施形態におけるフィルタ処理部３０２は、同図に示すように、フィルタリング情報記憶部４０１、第一フィルタ実行部４０２、ブロックノイズ残留判定部５０３、第二フィルタ選択部５０４、第二フィルタ設定部５０５及び第二フィルタ実行部５０６を有している。フィルタリング情報記憶部４０１と第一フィルタ実行部４０２とは第１の実施形態と同じであるので、その説明を省略する。

本実施形態の場合、ブロックノイズ残留判定部５０３は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報と、第一フィルタ実行部４０２から出力される第一フィルタ後復号画素信号を入力として、処理対象であるブロック境界においてブロックノイズの残留結果を判定する。具体的には、ブロックノイズ残留判定部５０３において得られるブロックノイズ残留情報をより細かい段階に分類する。例えば、ブロックノイズ残留判定部５０３は、図８に示すテーブルに基づいて、ブロックノイズ残留情報を、ノイズ残留弱、ノイズ残留強、ノイズ残留なしの３つの段階に分類する。以下、詳細に説明する。
上記式（２１）における判定式において、ブロック境界に接する画素（ｐ０_ｉ及びｑ０_ｉ）に関する判定式（｜ｐ０_ｉ−ｑ０_ｉ｜＞Ａ）は満たすが、残りの判定式（｜ｐ１_ｉ−ｑ１_ｉ｜＞Ｂ）及び（｜ｐ２_ｉ−ｑ２_ｉ｜＞Ｃ）は満たさない場合、ブロックノイズ残留判定部５０３はノイズ残留弱と判定する。以下、この条件を第１の条件と記載する。

また、式（２１）における判定式全てを満たす場合、ブロックノイズ残留判定部５０３はノイズ残留強と判定する。以下、この条件を第２の条件と記載する。
また、式（２１）における判定式において、第１の条件及び第２の条件のいずれも満たさない場合、ブロックノイズ残留判定部５０３はノイズ残留なしと判定する。
ブロックノイズ残留判定部５０３は、上述したブロックノイズ残留度分類の判定結果（以下、「ブロックノイズ残留分類結果」という。）を第二フィルタ選択部５０４に出力する。

第二フィルタ選択部５０４は、ブロックノイズ残留判定部５０３によるブロックノイズ残留分類結果を入力として、ブロックノイズ残留度に合わせた第二フィルタを選択する。例えば、第二フィルタ選択部５０４は、図９に示すような第二フィルタ選択テーブルを参照し、ブロックノイズが強く残留している場合（ブロックノイズ残留分類結果がノイズ残留強である場合）、より強いスムージングフィルタを選択する。また、第二フィルタ選択部５０４は、ブロックノイズが弱く残留している場合（ブロックノイズ残留分類結果がノイズ残留弱である場合）、弱いスムージングフィルタを選択する。また、第二フィルタ選択部５０４は、ブロックノイズがなしの場合（ブロックノイズ残留分類結果がノイズ残留なしである場合）、スムージングフィルタを選択しない。ここで、より強いスムージングフィルタとは、平滑化寄与の大きいフィルタを表し、弱いスムージングフィルタとは平滑化寄与の小さいフィルタを表す。

第二フィルタ選択部５０４は、どのスムージングフィルタを選んだかを示すスムージングフィルタ情報を第二フィルタ設定部５０５に出力する。なお、第二フィルタ選択部５０４は、スムージングフィルタを選択しなかった場合には、スムージングフィルタの選択なしであることを示すスムージングフィルタ情報を第二フィルタ設定部５０５に出力する。
第二フィルタ設定部５０５は、第二フィルタ選択部５０４から出力されたスムージングフィルタ情報を入力として、スムージングフィルタ情報が示すフィルタを第二フィルタとしてメモリなどに格納及び設定を行い、第二フィルタ情報を必要に応じて第二フィルタ実行部５０６に出力する。なお、図９では、ブロック境界に接する画素のみに対してスムージング処理をする事例を挙げているが、例えばｐ１_ｉ及びｑ１_ｉを処理対象に含めるように設計してもよい。

第二フィルタ実行部５０６は、ブロックノイズ残留情報と、第一フィルタ後復号画素信号と、第二フィルタ情報とを入力として、ブロックノイズ残留情報で示される判定結果が、ブロックノイズが残留していることを示す結果である場合に、第二フィルタ情報で示される第二フィルタによるフィルタリング処理を、第一フィルタ後復号画素信号で示される処理対象であるブロック境界に対して実行する。

図１０は、同実施形態におけるフィルタ処理部３０２が行うフィルタ処理を示すフローチャートである。
フィルタ処理部３０２において、フィルタ処理が開始されると、第一フィルタ実行部４０２は、フィルタリング情報記憶部４０１に記憶されているフィルタリング情報を読み込む（ステップＳ３０１）。第一フィルタ実行部４０２は、ステップＳ２０１の処理によって読み込んだフィルタリング情報から定まるフィルタリング処理を行う（ステップＳ３０２）。その後、第一フィルタ実行部４０２は、第一フィルタ後復号画素信号をブロックノイズ残留判定部５０３に出力する。なお、フィルタリング情報によってフィルタリングなしと判断された場合には、第一フィルタ実行部４０２は、フィルタがかかっていない入力の復号画素信号をそのまま第一フィルタ後復号画素信号として出力する。

ブロックノイズ残留判定部５０３は、読み込んだブロック境界に対するフィルタリング情報に関する実施情報（例えばＢｓ値や強いフィルタリングが適用されていた等の情報）を取得して、予め定められた判定式から図８に示されるようにブロックノイズ残留度の計算を行い、ブロックノイズ残留度分類結果を導出する（ステップＳ３０３）。
次に、第二フィルタ選択部５０４は、ステップＳ制御部３０２の処理で導出されたブロックノイズ残留度分類結果に基づいて、ブロックノイズ残留度に合わせた第二フィルタを選択する（ステップＳ３０４）。その後、第二フィルタ選択部５０４は、スムージングフィルタ情報を第二フィルタ設定部５０５に出力する。

また、ブロックノイズ残留判定部５０３は、読み込んだブロック境界に対するフィルタリング情報に関する実施情報（例えばＢｓ値や強いフィルタリングが適用されていた等の情報）を取得して、上記式（２１）に示されるような判定式に基づいてブロックノイズが残留しているか否か判定する（ステップＳ３０５）。ブロックノイズが残留していると判定された場合（ステップＳ３０５：ＹＥＳ）、第二フィルタ実行部５０６は、第二フィルタ設定部５０５によって設定された第二フィルタによるフィルタリング処理を実行する（ステップＳ３０６）。なお、第２の実施形態において、第二フィルタ設定部５０５によって設定される第二フィルタは、ステップＳ３０３の処理で導出されたブロックノイズ残留度分類結果と、第二フィルタ選択テーブルとに基づいて選択されるフィルタである。その後、第二フィルタ実行部５０６は、第二フィルタによるフィルタリング処理がなされた後の第一フィルタ後復号画素信号（第二フィルタ後復号画素信号）を最終的なフィルタ後復号画素信号として、フィルタ処理位置情報とともに出力する（ステップＳ３０７）。
一方、ブロックノイズが残留していないと判定された場合（ステップＳ３０５：ＮＯ）、第二フィルタ実行部４０５は第二フィルタによるフィルタリング処理を実行せず、ステップＳ３０２処理後の第一フィルタ後復号画素信号をフィルタ後復号画素信号として、フィルタ処理位置情報とともに出力する。

以上のように構成されたデブロッキングフィルタ処理部１１０では、デブロッキングフィルタの処理において、よりブロックノイズを低減させることが可能になる。以下、この効果について詳細に説明する。本実施形態では、デブロッキングフィルタが施された後に、再度、ブロックノイズが残留しているか否かの判定が行われ、ブロックノイズが残留していると判定された場合に第二フィルタとしてスムージングフィルタによるフィルタリング処理が行なわれる。このブロックノイズが残留しているか否かの判定によって、所定のテーブルに基づいてノイズ残留度が強、弱、なしのいずれかに分類される。本実施形態では、この分類結果に基づいて第二フィルタとして設定されるフィルタが選択される。そして、選択されたフィルタを用いて再度フィルタリング処理が実行される。このように再度フィルタリング処理が実行されることによって、デブロッキングフィルタによるフィルタリングが実行された後に、処理対象であるブロック境界においてブロックノイズが残留している場合であっても、残留しているブロックノイズを除去することができる。そのため、よりブロックノイズを低減させることが可能になる。

＜変形例＞
本実施形態では、図８に示すテーブルに基づいてブロックノイズの残留度を分類する例を示したが、図１１に示すようにテーブルにおける判定式の閾値を変えて判定してもよい。この場合、ブロックノイズ残留判定部５０３は、より強くブロックノイズが残っている事例（Ａ＝Ｂ＝Ｃ＝１０）の場合にブロックノイズ残留度が強い（ノイズ残留度強）と判定する。以下、この条件を第３の条件と記載する。また、ブロックノイズ残留判定部５０３は、第３の条件を満たさないがある程度ブロックノイズがあるという事例（Ａ＝Ｂ＝４、Ｃ＝２）の場合にブロックノイズ残留度は弱い（ノイズ残留度弱）と判定する。以下、この条件を第４の条件と記載する。そして、ブロックノイズ残留判定部５０３は、第３の条件及び第４の条件のいずれも満たさない場合にはブロックノイズ残留度はなしと（ノイズ残留度なし）と判定する。

本実施形態では、ブロックノイズ残留判定部５０３が上記判定式（２１）に基づく分類結果からブロックノイズの残留度を判定する構成を示したが、これに限定される必要はない。例えば、ブロックノイズ残留判定部５０３は、以下のようにブロックノイズが残留しているか否かを判定してもよい。具体的には、まず、ブロックノイズ残留判定部５０３は、ブロック境界から同距離にある画素毎の差分値の正負の情報をそれぞれ算出する。次に、ブロックノイズ残留判定部５０３は、複数の算出結果それぞれの正負の情報を比較する。正負の情報は、算出結果がプラスであるかマイナスであるかを示す情報である。そして、ブロックノイズ残留判定部５０３は、算出結果全ての正負の情報が一致する場合には処理対象であるブロック境界においてブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には処理対象であるブロック境界においてブロックノイズが残留していないと判定する。

また、ブロックノイズ残留判定部５０３は、ブロック境界から同距離にある画素の差分絶対値と、ブロック境界から同距離にある画素毎の差分値の正負の情報とを組み合わせて以下のような判定を行ってもよい。具体的には、ブロックノイズ残留判定部５０３は、上記判定式（２１）の条件全てを満たし、かつ、算出結果全ての正負の情報が一致する場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件全てを満たす、全て一致］の場合）にはノイズ残留強と判定する。以下、この場合に関する条件を第８の条件と記載する。第８の条件を満たす場合には、第二フィルタ選択部５０４は、最も平滑化の強いスムージングフィルタを第二フィルタに選択する。
また、ブロックノイズ残留判定部５０３は、上記判定式（２１）の条件の一部を満たし、かつ、算出結果全ての正負の情報が一致する場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件の一部を満たす、全て一致］の場合）にはノイズ残留中と判定する。以下、この場合に関する条件を第９の条件と記載する。第９の条件を満たす場合には、第二フィルタ選択部５０４は、ノイズ残留強と判定された場合に選択するスムージングフィルタより平滑化の弱いスムージングフィルタを第二フィルタに選択する。

また、ブロックノイズ残留判定部５０３は、上記判定式（２１）の条件全てを満たし、かつ、算出結果のいずれかの正負の情報が一致しない場合（［絶対値差分、正負の情報］＝［上記判定式（２１）条件全てを満たす、一部一致］の場合）（第７の条件）にはノイズ残留弱と判定する。以下、この場合に関する条件を第１０の条件と記載する。第１０の条件を満たす場合には、第二フィルタ選択部５０４は、ノイズ残留中と判定された場合に選択するスムージングフィルタより平滑化の弱いスムージングフィルタを第二フィルタに選択する。
また、ブロックノイズ残留判定部５０３は、第８の条件〜第１０の条件のいずれも満たさない場合にはノイズ残留なしと判定する。この場合には、第二フィルタ選択部５０４は、スムージングフィルタを選択しない。
このようにブロック境界から同距離にある画素の差分絶対値と、ブロック境界から同距離にある画素毎の差分値の正負の情報とを組み合わせる意図は、絶対値によるブロックノイズの残留判定に対して正負情報を補助情報として加味するという考え方に基づく。絶対値による判定でブロックノイズが大きく残留している状況を仮定したとき、そこからさらに境界線から２ないしは３画素目（すなわちｐ１_ｉとｑ１_ｉないしはｐ２_ｉとｑ２_ｉ）の正負情報を確認して正負が逆になっていれば、ブロックノイズではなくエッジなどのテクスチャが残っている可能性もあるため、残留度を１段階ないしは２段階など落とす制御をかける方針である。

図１２は、デブロッキングフィルタ処理部１１０を具備する動画像符号化装置１００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、及び、符号化ストリーム出力部９０５を備えている。

ＣＰＵ９００はプログラムを実行する。メモリ９０１は、ＣＰＵ９００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。映像信号入力部９０２は、映像信号を生成するカメラなどの機器から符号化対象の入力映像信号を入力する。なお、映像信号入力部９０２は、ハードディスク装置等による入力映像信号を記憶する記憶装置であってもよい。プログラム記憶装置９０３は、上述の各実施形態において説明した符号化処理をＣＰＵ９００に実行させるソフトウエアプログラムである動画像符号化プログラム９０４を格納する。符号化ストリーム出力部９０５は、ＣＰＵ９００がメモリ９０１にロードされた動画像符号化プログラム９０４を実行することにより生成された符号化ストリームを出力する。符号化ストリーム出力部９０５は、ネットワークを介して、符号化ストリームを出力するようにしてもよい。また、符号化ストリーム出力部９０５は、ハードディスク装置等による符号化ストリーム記憶する記憶装置であってもよい。ＣＰＵ９００、メモリ９０１、映像信号入力部９０２、プログラム記憶装置９０３、及び、符号化ストリーム出力部９０５は、バスを介して互いに接続されている。

図１３は、デブロッキングフィルタ処理部２０８を具備する動画像復号装置２００をコンピュータとソフトウエアプログラムとによって構成する場合におけるコンピュータのハードウェア構成例を示す図である。コンピュータは、ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、及び、復号映像出力部１００５を備えている。

ＣＰＵ１０００はプログラムを実行する。メモリ１００１は、ＣＰＵ１０００がアクセスするプログラムやデータを一時的に格納するＲＡＭなどである。符号化ストリーム入力部１００２は、例えば、動画像符号化装置１００が上述の処理により入力映像信号を符号化した符号化ストリームを入力する。なお、符号化ストリーム入力部１００２は、ハードディスク装置等による符号化ストリームを記憶する記憶装置であってもよい。プログラム記憶装置１００３は、上述の各実施形態において説明した復号処理をＣＰＵ１０００に実行させるソフトウエアプログラムである動画像復号プログラム１００４を格納する。復号映像出力部１００５は、ＣＰＵ１０００がメモリ１００１にロードされた動画像復号プログラム１００４を実行することにより、符号化ストリームを復号して得られた復号映像を再生装置などに出力する。なお、復号映像出力部１００５は、ハードディスク装置等による復号映像信号を記憶する記憶装置であってもよい。ＣＰＵ１０００、メモリ１００１、符号化ストリーム入力部１００２、プログラム記憶装置１００３、及び、復号映像出力部１００５は、バスを介して互いに接続されている。

なお、本発明におけるデブロッキングフィルタ処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより「デブロッキングフィルタ処理」及び「フィルタ処理」を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。更に、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…動画像符号化装置， １０１…イントラ予測処理部， １０２…インター予測処理部， １０３…予測残差信号生成部， １０４…変換処理部， １０５…量子化処理部， １０６…逆量子化処理部， １０７…逆変換処理部， １０８…復号信号生成部， １０９…フレームメモリ， １１０…デブロッキングフィルタ処理部， １１１…インター予測情報格納部， １１２…イントラ予測情報格納部， １１３…エントロピー符号化処理部， ２００…動画像復号装置， ２０１…エントロピー復号処理部， ２０２…イントラ予測処理部， ２０３…インター予測処理部， ２０４…逆量子化処理部， ２０５…逆変換処理部， ２０６…復号信号生成部， ２０７…フレームメモリ， ２０８…デブロッキングフィルタ処理部， ２０９…インター予測情報格納部， ２１０…イントラ予測情報格納部， ３０１…フィルタ使用判定部， ３０２…フィルタ処理部， ３０３…最終ブロック判定部， ４０１…フィルタリング情報記憶部， ４０２…第一フィルタ実行部， ４０３…ブロックノイズ残留判定部， ４０４…第二フィルタ設定部， ４０５…第二フィルタ実行部， ５０３…ブロックノイズ残留判定部， ５０４…第二フィルタ選択部， ５０５…第二フィルタ設定部， ５０６…第二フィルタ実行部， ９００…ＣＰＵ， ９０１…メモリ， ９０２…映像信号入力部， ９０３…プログラム記憶装置， ９０４…動画像符号化プログラム， ９０５…符号化ストリーム出力部， １０００…ＣＰＵ， １００１…メモリ， １００２…符号化ストリーム入力部， １００３…プログラム記憶装置， １００４…動画像復号プログラム， １００５…復号映像出力部

Claims (6)

1. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、
   隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行ステップと、
   第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定ステップと、
   ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行ステップと、
   を有し、
   前記判定ステップは、前記ブロック境界から同距離にある画素の差分絶対値を算出し、算出結果と、予め定められた閾値とを比較し、前記算出結果が前記閾値よりも大きい場合に前記ブロックノイズが残留していると判定し、前記算出結果が前記閾値よりも小さい場合に前記ブロックノイズが残留していないと判定し、さらに、
   前記判定ステップは、前記ブロック境界から同距離にある画素の差分絶対値の算出に加え、前記同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する、
   デブロッキング処理方法。
2. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理方法であって、
   隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行ステップと、
   第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定ステップと、
   ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行ステップと、を有し、
   前記判定ステップは、予め定められた複数の条件に基づいて、前記第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素において前記ブロックノイズが残留している割合を判定し、
   判定結果と、前記第二のフィルタ処理に使用する第二のフィルタと判定結果とが対応付けられたテーブルとに基づいて前記第二のフィルタ処理に使用する第二のフィルタを選択する選択ステップをさらに有し、
   前記第二フィルタ実行ステップにおいて、ブロックノイズが残留していると判定された場合に、選択された前記第二のフィルタを用いて前記第二のフィルタ処理を実行し、さらに、
   前記判定ステップは、前記ブロック境界から同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する、
   デブロッキング処理方法。
3. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、
   隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行部と、
   第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定部と、
   ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行部と、
   を有し、
   前記判定部は、前記ブロック境界から同距離にある画素の差分絶対値を算出し、算出結果と、予め定められた閾値とを比較し、前記算出結果が前記閾値よりも大きい場合に前記ブロックノイズが残留していると判定し、前記算出結果が前記閾値よりも小さい場合に前記ブロックノイズが残留していないと判定し、さらに、
   前記判定部は、前記ブロック境界から同距離にある画素の差分絶対値の算出に加え、前記同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する、
   デブロッキング処理装置。
4. ブロックベースの予測符号化により符号化ストリームを生成する映像符号化方式、又は符号化ストリームから映像を復号する映像復号方式において、ブロックノイズを低減させるためのデブロッキング処理装置であって、
   隣接するブロックの境界を示すブロック境界の近傍に位置するフィルタ処理の対象となる画素に対して第一のフィルタを用いて第一のフィルタ処理を実行する第一フィルタ実行部と、
   第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素においてブロックノイズが残留しているか否か判定する判定部と、
   ブロックノイズが残留していると判定された場合に、前記フィルタ処理がなされた後のフィルタ処理の対象となる画素に対して、前記第一のフィルタと異なる第二のフィルタを用いて第二のフィルタ処理を実行する第二フィルタ実行部と、を有し、
   前記判定部は、予め定められた複数の条件に基づいて、前記第一のフィルタ処理がなされた前記フィルタ処理の対象となる画素において前記ブロックノイズが残留している割合を判定し、
   判定結果と、前記第二のフィルタ処理に使用する第二のフィルタと判定結果とが対応付けられたテーブルとに基づいて前記第二のフィルタ処理に使用する第二のフィルタを選択する選択部をさらに有し、
   前記第二フィルタ実行部において、ブロックノイズが残留していると判定された場合に、選択された前記第二のフィルタを用いて前記第二のフィルタ処理を実行し、さらに、
   前記判定部は、前記ブロック境界から同距離にある画素毎の差分値の正負の情報をそれぞれ算出し、複数の算出結果それぞれの正負の情報を比較し、算出結果全ての正負の情報が一致する場合には前記ブロックノイズが残留していると判定し、算出結果のいずれかの正負の情報が一致しない場合には前記ブロックノイズが残留していないと判定する、
   デブロッキング処理装置。
5. 請求項１から２のいずれか一項に記載のデブロッキング処理方法をコンピュータに実行させるためのコンピュータプログラム。
6. 請求項１から２のいずれか一項に記載のデブロッキング処理方法をコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images