JP5491187B2 - デブロッキング・フィルタリング方法及び装置 - Google Patents

Description

本発明は、映像のデブロッキング・フィルタリング方法及び装置に係り、さらに詳細には、照明変化補償（illumination compensation）を利用し、符号化されたブロックを含んでいる映像をデブロッキング・フィルタリングする方法及び装置に関する。

ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）のような映像圧縮方式では、映像を符号化するために１つのピクチャをマクロブロックに分ける。その後、インター予測（inter prediction）またはイントラ予測（intra prediction）を利用してそれぞれのマクロブロックを符号化する。

この映像圧縮方式は、マクロブロック単位で圧縮符号化した後で復号化するので、復元された映像には、ブロックキング・アーチファクト（blocking artifacts）が発生する。一定の大きさのブロックに対して離散コサイン変換（ＤＣＴ：Discrete Consine Transform）を行って量子化過程を経るので、周辺ブロックまたは画素間の相関関係が全く考慮されないまま独立的に変換と量子化とが行われつつ、原本映像の損失が発生するために、ブロックキング・アーチファクトが発生する。

デブロッキング・フィルタは、かようなブロック単位のコーディングで発生するブロックの境界誤差を減らし、最終的な復元映像の品質を向上させる。図１Ａ及び図１Ｂ、図２を参照しつつ詳細に説明する。

図１Ａ及び図１Ｂは、従来技術による映像の符号化、復号化装置を示す。Ｈ．２６４標準案によってインター予測を行って映像を符号化する装置、及びインター予測された映像を復号化する装置を示す。

図１Ａを参照するに、動き推定部１１０は、符号化しようとする現在ブロックの動きベクトルを、フレームメモリ１２２に保存されている参照ピクチャを参照して生成する。動き補償部１１２は、動き推定部１１０で生成された動きベクトルに基づいて、現在ブロックの予測値である予測ブロックを生成する。

生成された予測ブロックを原本現在ブロックから減算して剰余（residue）を生成し、生成された剰余がＤＣＴ及び量子化部１１４で離散コサイン変換され、量子化される。エントロピ符号部１１６は、量子化された剰余を可変長符号化する。符号化された剰余は、動き推定部１１０で生成された動きベクトルと共にビットストリームに挿入されて伝送される。

ＤＣＴ及び量子化部１１４で量子化された剰余は、次に符号化されるピクチャの予測に利用されるために、逆量子化及び逆ＤＣＴ部１１８で逆量子化され、逆離散コサイン変換されて復元される。

復元された剰余は、予測ブロックと加算されてフレームメモリ１２２に保存されるが、フレームメモリ１２２に保存するに先立ち、デブロッキング部１２０でデブロッキング・フィルタリングされる。復元された剰余と予測ブロックとが加算されたブロックをそのままフレームメモリ１２２に保存すれば、前述のブロックキング・アーチファクトが発生するので、デブロッキング部１２０でデブロッキング・フィルタリングを行った後でフレームメモリ１２２に保存する。従来技術による映像復号化装置についての詳細な説明は、図１Ｂを参照しつつ後述する。

図１Ｂは、図１Ａによってインター予測符号化されたブロックを復号化する装置を示している。図１Ｂを参照するに、動き補償部１２８は、ビットストリームに含まれている動きベクトルについてのデータに基づいて、フレームメモリ１３２に保存されている参照ピクチャを検索して現在ブロックの予測ブロックを生成する。

エントロピ復号化部１２４は、符号化された剰余を受信してエントロピ復号化を行う。エントロピ復号化された剰余は、逆量子化及び逆ＤＣＴ部１２６によって逆量子化され、逆離散コサイン変換される。逆離散コサイン変換されて復元された剰余は、動き補償部１２８で生成された予測ブロックに加算され、符号化以前のブロックとして復元される。符号化の場合と同様に、復元されたブロックをそのままフレームメモリ１３２に保存すれば、前述のブロックキング・アーチファクトが発生するので、デブロッキング部１３０でデブロッキング・フィルタリングを行った後、フレームメモリ１２２に保存する。

図２は、従来技術によるデブロッキング・フィルタリングを行う方法について説明するためのフローチャートである。デブロッキング部１２０または１３０がデブロッキング・フィルタリングを行う方法について、Ｈ．２６４標準案によるデブロッキング・フィルタリングを例にして説明する。図２を参照するに、段階２０１で、デブロッキング部１２０または１３０は、デブロッキング・フィルタリングを行う隣接した２つのブロックｐ，ｑのうち、少なくとも一つがイントラ符号化されたか否かを判断する。

段階２０１でデブロッキング部１２０または１３０は、ブロックｐ，ｑのうち、少なくとも一つがイントラ符号化されたと判断されれば、段階２０２で、デブロッキング・フィルタリングを行うブロックｐ，ｑがマクロブロック境界に位置したブロックであるか否かを判断する。ブロックｐ，ｑがマクロブロック境界に位置したブロックであるならば、段階２０６で、デブロッキング・フィルタのフィルタリング強度を最も強いＢｓ（Boundary strength）＝４に設定してデブロッキング・フィルタリングを行う。デブロッキング・フィルタリングを行うブロックｐ，ｑがマクロブロック境界に位置しないブロックであるならば、段階２０７で、フィルタリング強度をＢｓ＝３に設定してデブロッキング・フィルタリングを行う。

特に、段階２０１で、デブロッキング部１２０または１３０は、ブロックｐ，ｑがいずれもイントラ符号化されていないブロックであると判断されれば、段階２０３で、ブロックｐ，ｑのうち、少なくとも一つが直交変換係数、すなわち、離散コサイン変換係数を有するか否かを判断する。ブロックｐ，ｑのうち、少なくとも一つが直交変換係数を有すれば、段階２０８で、フィルタリング強度をＢｓ＝２に設定してデブロッキング・フィルタリングを行い、ブロックｐ，ｑいずれも直交変換係数を有さなければ、段階２０４に移る。

段階２０３で、ブロックｐ，ｑがいずれも直交変換係数を有さなければ、段階２０４で、ブロックｐ，ｑの参照フレームが異なるか否か、あるいは参照フレームの個数が異なるか否かを判断する。参照フレームまたは参照フレームの個数が異なれば、段階２０９で、フィルタリング強度をＢｓ＝１に設定してデブロッキング・フィルタリングを行う。

段階２０４で、ブロックｐ，ｑの参照フレーム及び参照フレームの個数がいずれも同じであると判断されれば、段階２０５で、ブロックｐ，ｑの動きベクトルに違いが有るか否かを判断する。動きベクトルに違いがあると判断されれば、段階２０９で、フィルタリング強度をＢｓ＝１に設定してデブロッキング・フィルタリングを行い、動きベクトルに違いがないと判断されれば、段階２１０で、フィルタリング強度をＢｓ＝０に設定することによって、デブロッキング・フィルタリングを行わない。

段階２０１ないし２１０と関連して説明した通り、従来技術によるデブロッキング・フィルタリング方法は、隣接した２つのブロックｐ，ｑが照明変化補償を利用して符号化された場合については考慮していない。現在ブロックの平均値（ＤＣ
value）が照明変化補償を利用して符号化された場合と、照明変化補償を利用せずに符号化された場合とで違いが発生することになり、それによってブロックキング・アーチファクトが発生するにもかかわらず、かような点を考慮していないのである。

従って、照明変化補償を利用して符号化された場合を考慮してデブロッキング・フィルタリングを行うことができる方法及び装置が必要である。

本発明の目的は、前記のような従来技術の短所を克服するための映像のデブロッキング・フィルタリング方法及び装置を提供するところにあり、前記方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。

前記技術的課題を解決するための本発明による、映像をデブロッキング・フィルタリングする方法は、隣接した２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する段階と、前記判断結果に基づいてデブロッキング・フィルタのフィルタリング強度を調節する段階と、前記調節されたフィルタリング強度に基づき、前記隣接した２つのブロックに対してデブロッキング・フィルタリングを行う段階とを含む。

本発明によるさらに望ましい実施形態によれば、前記判断する段階は、前記２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたならば、前記ブロックそれぞれの照明変化差値の差分に対する絶対値を第１臨界値と比較する段階をさらに含む。

本発明によるさらに望ましい実施形態によれば、前記比較する段階は、前記比較の結果、前記絶対値が前記第１臨界値より小さければ、前記絶対値を前記第１臨界値より小さい第２臨界値と比較する段階をさらに含む。

本発明によるさらに望ましい実施形態によれば、前記判断する段階は、前記２つのブロックのうち、１つのブロックだけ照明変化補償を利用して符号化されたならば、前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値を第１臨界値と比較する段階をさらに含む。

前記技術的課題を解決するための本発明による、映像をデブロッキング・フィルタリングする装置は、隣接した２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する制御部と、前記制御部の判断結果に基づいてデブロッキング・フィルタのフィルタリング強度を調節し、前記調節されたフィルタリング強度に基づき、前記隣接した２つのブロックに対してデブロッキング・フィルタリングを行うフィルタリング部とを備える。

本発明によるさらに望ましい実施形態によれば、前記制御部は、前記２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたならば、前記ブロックそれぞれの照明変化差値の差分に対する絶対値を第１臨界値及び前記第１臨界値より小さい第２臨界値と比較することを特徴とする。

本発明によるさらに望ましい実施形態によれば、前記制御部は、前記２つのブロックのうち、１つのブロックだけ照明変化補償を利用して符号化されたならば、前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値を第１臨界値及び前記第１臨界値より小さい第２臨界値と比較することを特徴とする。

本発明によるさらに望ましい実施形態によれば、前記隣接した２つのブロックは、互いに異なるマクロブロックに含まれたブロックであることを特徴とする。

前記技術的課題を解決するために、本発明は、前記のデブロッキング・フィルタリング方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

本発明によれば、デブロッキング・フィルタリングの対象になるブロックが照明変化補償を利用して符号化されたか否かを考慮してデブロッキング・フィルタリングを行うことが可能であり、ブロックキング・アーチファクトを最小化できる。

従来技術による映像の符号化装置を示す図である。 従来技術による映像の復号化装置を示す図である。 従来技術による映像をデブロッキング・フィルタリングする方法について説明するためのフローチャートである。 本発明の例示的な実施形態による照明変化補償を利用した映像の符号化装置を示す図である。 本発明の例示的な実施形態による照明変化補償を利用した映像の復号化装置を示す図である。 本発明の例示的な実施形態による映像をデブロッキング・フィルタリングする方法について説明するためのフローチャートである。 本発明の他の例示的な実施形態による映像をデブロッキング・フィルタリングする方法について説明するためのフローチャートである。 本発明のさらに他の例示的な実施形態による映像をデブロッキング・フィルタリングする方法について説明するためのフローチャートである。 本発明の例示的な実施形態によるデブロッキング部を示す図である。

本発明の前記特徴及び長所、他の特徴及び長所は、添付された図面を参照しつつ、例示的な実施形態について詳細に説明することによって、さらに明確になるのである。

以下、図面を参照しつつ、本発明の例示的な実施形態について詳細に説明する。

図３Ａ及び図３Ｂは、本発明の例示的な実施形態による映像の符号化、復号化装置を示している。照明変化補償（illumination compensation）を利用してインター予測を行って映像を符号化する装置及びインター予測された映像を復号化する装置を示している。

図３Ａを参照するに、本発明による映像の符号化装置は、動き推定部３１０、動き補償部３１２、照明変化差値（ＤＶＩＣ：Different Value of Illumination Change）計算部３１４、照明変化差値予測部３１６、ＤＣＴ（Discrete Cosine Transform）及び量子化部３１８、エントロピ符号化部３２０、逆量子化及び逆ＤＣＴ部３２２、デブロッキング部３２４及びフレームメモリ３２６を備える。ここで、デブロッキング部３２４が本発明によるデブロッキング・フィルタリングを行う装置に対応する。

照明変化差値計算部３１４は、符号化しようとする現在ブロックの平均値（ＤＣ
value）と、現在ブロックのインター予測に利用される参照ピクチャ内の参照ブロックの平均値とを差分して照明変化差値を計算する。

望ましくは、マクロブロック単位で、現在ブロック及び参照ブロックの平均値を計算し、計算された対応するマクロブロックの平均値を差分して照明変化差値を計算する。計算された照明変化差値から、照明変化差値予測部３１６で現在ブロックの周辺ブロックから予測された照明変化差値を減算し、ビットストリームに挿入することによって、予測符号化して圧縮率を向上させる。

動き推定部３１０は、照明変化差値計算部３１４で計算された照明変化差値に基づいて、現在ブロックの動きベクトルを推定する。照明変化差値に基づいて現在ブロックを照明変化補償し、照明変化補償された現在ブロックを利用してフレームメモリ３２６に保存されている参照ピクチャを検索し、現在ブロックの動きベクトルを推定する。推定された動きベクトルは、ビットストリームに挿入されて映像の復号化装置に伝送される。

動き補償部３１２は、現在ブロックの平均値、参照ブロックの平均値及び動きベクトルを利用して動き補償を行う。動き補償は、式（１）を介して行われる。

ここで、ＮｅｗＲ（ｉ，ｊ）は、照明変化補償を利用して生成される（ｉ，ｊ）座標での剰余（residue）を意味し、ｆ（ｉ，ｊ）は、現在フレームの（ｉ，ｊ）座標での画素値、ｒ（ｉ＋ｘ’，ｊ＋ｙ’）は、参照ピクチャの（ｉ＋ｘ’，ｊ＋ｙ’）座標での画素値であり、

は、現在ブロックの画素平均値、

は、参照ブロックの画素平均値であり、（ｘ’，ｙ’）は、現在フレームの動きベクトルである。

生成された剰余は、ＤＣＴ及び量子化部３１８で離散コサイン変換され、周波数領域に直交変換された後で量子化される。量子化された剰余は、エントロピ符号化部３２０で可変長符号化され、可変長符号化された剰余は、ビットストリームに挿入される。

逆量子化部及びＤＣＴ部３２２は、量子化された剰余を逆量子化した後で逆離散コサイン変換し、エントロピ符号化前の剰余に復元される。復元された剰余は、動き補償部３１２で生成された現在ブロックの予測ブロックと加算され、エントロピ符号化前のブロックに復元される。

復元されたブロックは、参照ピクチャとして使われるために、フレームメモリ３２６に保存されるが、ブロックキング・アーチファクト（blocking artifacts）を除去するために、デブロッキング部３２４でデブロッキング・フィルタリング（deblocking filtering）された後で保存される。ここで、従来技術によるデブロッキング・フィルタリングをそのまま行えば、照明変化補償を利用して符号化された場合を考慮しないので、ブロックキング・アーチファクトが除去されずに残っている場合が発生しうる。従って、これを除去するためのデブロッキング・フィルタリング方法が必要であり、これについての詳細な説明は、図４ないし図６を参照して後述する。

図３Ｂは、本発明の一実施形態による映像の復号化装置を示している。照明変化補償を利用してインター予測を行い、符号化された映像を復号化する装置を示す。図３Ｂを参照するに、本発明による映像の復号化装置は、エントロピ復号化部３２８、逆量子化及び逆ＤＣＴ部３３０、照明変化差値予測部３３２、動き補償部３３４、デブロッキング部３３６及びフレームメモリ３３８を備える。ここで、デブロッキング部３３６が本発明によるデブロッキング・フィルタリングを行う装置に対応する。

エントロピ復号化部３２８は、ビットストリームに含まれている可変長符号化された現在ブロックの剰余についてのデータをエントロピ復号化する。エントロピ復号化された剰余についてのデータは、逆量子化及び逆ＤＣＴ部３３０で逆量子化され、逆離散コサイン変換されて復元される。復元された剰余は、動き補償部３３４で生成された予測ブロックと加算され、現在ブロックに復元される。

動き補償部３３４は、図３Ａに示された符号化装置の動き補償部３１２に対応する。動き補償部３３４は、現在ブロックの予測ブロックを生成するにおいて、現在ブロックの照明変化差値を利用する。ビットストリームに含まれている予測符号化された照明変化差値に、照明変化差値予測部３３２で現在ブロックの周辺ブロックから予測した照明変化差値を加算し、現在ブロックの照明変化差値を生成する。

また、ビットストリームに含まれている動きベクトルを利用し、フレームメモリ３３８に保存されている参照ピクチャを検索し、参照ブロックを生成し、参照ブロックの平均値に生成された照明変化差値を加算することによって、現在ブロックの平均値を生成する。生成された現在ブロックの平均値及び参照ブロックを利用し、現在ブロックの予測ブロックを生成する。

動き補償部３３４で生成された予測ブロックと剰余とが加算されて復元された現在ブロックは、参照ピクチャとして使われるためにフレームメモリ３３８に保存されるが、ブロックキング・アーチファクトを除去するために、デブロッキング部３３６でデブロッキング・フィルタリングされた後で保存される。

図４ないし図６は、本発明の例示的な実施形態によるデブロッキング・フィルタリング方法について説明するためのフローチャートである。図３Ａ及び図３Ｂに示されたデブロッキング部３２４または３３６でデブロッキング・フィルタリングを行う方法について説明するためのフローチャートである。

図４は、本発明の一実施形態によるデブロッキング・フィルタリング方法について説明するためのフローチャートである。

図４を参照するに、段階４１０で、本発明によるデブロッキング部３２４または３３６は、デブロッキング・フィルタリングを行う隣接した２つのブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する。

照明変化補償を利用して符号化された場合、復元された現在ブロックの平均値は、照明変化補償を利用していない場合、現在ブロックの平均値と差が発生しうる。その場合、従来技術によってデブロッキング・フィルタリングを行えば、ブロックキング・アーチファクトが除去されえないこともあるので、段階４１０では、隣接した２つのブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する。

２つのブロックｐ，ｑは、互いに異なるマクロブロックに含まれているブロックでありうる。照明変化補償は、マクロブロック単位で、ブロックに含まれた画素の平均値を計算して現在ブロックを符号化するとき、計算された平均値を利用する方法でもって行われる。本発明の例示的な実施形態によるデブロッキング・フィルタリング方法は、隣接した２つのブロックが照明変化補償されたか否かを考慮してデブロッキング・フィルタリングを行う。従って、互いに異なるマクロブロックに含まれた隣接した２つのブロック間で発生するブロックキング・アーチファクトを除去するために、デブロッキング・フィルタリングを行うのが望ましい。

段階４１０で、隣接した２つのブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたと判断されれば、段階４２０で、フィルタリング強度をＢｓ（boundary strength）＝Ｋ_１に設定してデブロッキング・フィルタリングを行う。

反対に、段階４１０で、隣接した２つのブロックｐ，ｑいずれも照明変化補償を利用して符号化されたものではないと判断されれば、段階４３０で、フィルタリング強度をＢｓ＝Ｋ_２に設定してデブロッキング・フィルタリングを行う。

段階４１０での判断結果に基づいて、互いに異なるフィルタリング強度でデブロッキング・フィルタリングを行うために、Ｋ_１とＫ_２は、互いに異なる値に設定する。そして、隣接した２つのブロックｐ，ｑのうち、少なくとも１つのブロックが照明変化補償を利用して符号化された場合に、フィルタリング強度をさらに強くしてデブロッキング・フィルタリングを行うことが望ましい。

段階４１０で、隣接した２つのブロックｐ，ｑいずれも照明変化補償を利用して符号化されたものではないと判断されれば、従来技術によるデブロッキング・フィルタリング方法によって、さらにフィルタリング強度を調節するように実施形態を構成することもできる。これについての詳細な説明は、図６を参照して後述する。

図５は、本発明の他の実施形態によるデブロッキング・フィルタリング方法について説明するためのフローチャートである。

段階５１０は、図４の段階４１０と同じ段階であって、本発明によるデブロッキング部３２４または３３６は、デブロッキング・フィルタリングを行う隣接した２つのブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する。

段階５１０での判断結果、２つのブロックｐ，ｑいずれも照明変化補償を利用して符号化されたものではない場合には、段階５７０で、フィルタリング強度をＢｓ＝Ｋ_４に設定してデブロッキング・フィルタリングを行う。

段階５１０での判断結果、２つのブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化された場合には、段階５２０で、本発明によるデブロッキング部３２４または３３６は、ブロックｐの照明変化差値とブロックｑの照明変化差値との差分に対する絶対値を第１臨界値Ｔ_１と比較する。

比較した結果、絶対値が第１臨界値より大きいか、または同じであるならば、段階５４０で、フィルタリング強度をＢｓ＝Ｋ_１に設定してデブロッキング・フィルタリングを行う。

比較した結果、絶対値が第１臨界値より小さければ、段階５３０で、絶対値を第２臨界値Ｔ_２と比較する。ここで、第２臨界値は、第１臨界値より小さい値である。絶対値が第１臨界値より小さければ、第２臨界値との比較なしに、Ｋ_１とは異なるフィルタリング強度でデブロッキング・フィルタリングを行うように実施形態を構成できる。その場合、段階５３０、５５０及び５６０は省略され、直ちに段階５７０で、Ｂｓ＝Ｋ_４でデブロッキング・フィルタリングを行うようにすることができる。

段階５３０での比較の結果、絶対値が第２臨界値より大きければ、換言すれば、絶対値が第１臨界値と第２臨界値との間の値を有せば、段階５５０で、フィルタリング強度をＢｓ＝Ｋ_２に設定してデブロッキング・フィルタリングを行う。

段階５３０での比較の結果、絶対値が第２臨界値よりも小さければ、段階５６０で、フィルタリング強度をＢｓ＝Ｋ_３に設定してデブロッキング・フィルタリングを行う。

段階５４０及び段階５５０の場合に、互いに異なるフィルタリング強度を有するように、Ｋ_１及びＫ_２を互いに異なる値に設定してデブロッキング・フィルタリングを行うことができる。しかし、段階５６０及び段階５７０の場合には、Ｋ３及びＫ４に別途のフィルタリング強度値を割り当てずに、従来技術によるデブロッキング・フィルタリング方法によってさらにフィルタリング強度を調節するように、実施形態を構成することもできる。これについての詳細な説明は、図６を参照して後述する。

段階５２０及び段階５３０で絶対値と臨界値とを比較するとき、ブロックｐ，ｑのうち、いずれか１つのブロックだけ照明変化補償された場合には、照明変化補償されていないブロックの照明変化差値を「０」に設定し、絶対値を臨界値と比較する。例えば、ブロックｐのみ照明変化補償を利用して符号化された場合には、ＤＶＩＣ_ｑ＝０に設定して絶対値と臨界値とを比較する。

図６は、本発明のさらに他の実施形態によるデブロッキング・フィルタリング方法について説明するためのフローチャートである。図６は、従来技術、すなわち、Ｈ．２６４標準案によるデブロッキング・フィルタリング方法に、本発明によるデブロッキング・フィルタリング方法を適用したデブロッキング・フィルタリング方法について示している。

図６を参照するに、段階６０３ないし６０５を含む本発明の例示的な実施形態によるデブロッキング・フィルタリング方法が、従来技術によるデブロッキング・フィルタリング方法、すなわち、Ｈ．２６４標準に定義されたデブロッキング方法に適用される。

段階６０１は、図２に示された段階２０１と同じ段階であって、本発明によるデブロッキング部３２４または３３６は、２つの隣接したブロックｐ，ｑのうち、少なくとも一つがイントラ符号化されたか否かを判断する。

段階６０１で、隣接したブロックｐ，ｑのうち、少なくとも一つがイントラ符号化されたブロックであると判断されれば、段階６０２で、ブロックｐ，ｑの境界がマクロブロック境界であるか否かをさらに判断し、段階６０２での判断結果によって、段階６０９または６１０で、互いに異なるフィルタリング強度によってデブロッキング・フィルタリングを行う。

段階６０１で、隣接したブロックｐ，ｑいずれもイントラ符号化されたブロックではないと判断されれば、段階６０３で、隣接したブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する。

段階６０３で、ブロックｐ，ｑいずれも照明補償を利用して符号化されたものではないと判断されれば、従来技術によるデブロッキング・フィルタリング方法と同様に、段階６０６ないし段階６０８を介してフィルタリング強度を調節する。

段階６０３で、ブロックｐ，ｑのうち、少なくとも一つが照明変化補償を利用して符号化されたと判断されれば、段階６０４及び段階６０５で、隣接したｐ及びｑブロックの照明変化差値の差分に対する絶対値を所定の臨界値と比較する。

比較の結果、絶対値が第１臨界値Ｔ_１より大きいと判断されれば、段階６１１で、フィルタリング強度をＢｓ＝Ｋ_１に設定してデブロッキング・フィルタリングを行う。比較の結果、段階６０５で、絶対値が第１臨界値Ｔ_１と、第１臨界値より小さい第２臨界値Ｔ_２との間の値であると判断されれば、段階６１２で、フィルタリング強度をＢｓ＝Ｋ_２に設定してデブロッキング・フィルタリングを行う。

比較の結果、絶対値が第１臨界値及び第２臨界値より小さいと判断されれば、従来技術によるデブロッキング・フィルタリング方法によって、さらにフィルタリング強度を調節する。換言すれば、図２の段階２０３ないし段階２０５を、段階６０６ないし段階６０８で行う。

図５と関連して前述の通り、段階６０４及び段階６０５で、絶対値と臨界値とを比較するとき、ブロックｐ，ｑのうち、いずれか１つのブロックのみ照明変化補償された場合には、照明変化補償されていないブロックの照明変化差値を「０」に設定して絶対値を臨界値と比較する。例えば、ブロックｐのみ照明変化補償を利用して符号化された場合には、ＤＶＩＣ_ｑ＝０に設定して絶対値と臨界値とを比較する。

図６に示された本発明によるデブロッキング・フィルタリング方法と、従来技術によるデブロッキング・フィルタリングとを組み合わせる方法は例示であるのみ、それ以外に多様な組み合わせが可能であることは、本発明が属する技術分野で当業者ならば、容易に理解することができるであろう。

例えば、段階６０３ないし段階６０５の判断する段階が、段階６０６をまず行った後で、ブロックｐ，ｑのうち、少なくとも一つが直交変換係数を有するものではない場合に行われることもあり、段階６０７で、ブロックｐ，ｑの参照フレームが異なるか、または参照フレーム個数が異なるものではない場合にのみ行われることもある。

もちろん、段階６０６ないし段階６０８の判断過程をいずれも経た後で、段階６０８で、ブロックｐ，ｑの動きベクトルに違いがないと判断された後で行われることもある。

図７は、本発明の例示的な実施形態によるデブロッキング部３２４または３３６を示している。図７を参照するに、本発明の例示的な実施形態によるデブロッキング部３２４または３３６は、制御部７１０及びフィルタリング部７２０を備える。

制御部７１０は、隣接した２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かを判断する。望ましくは、隣接した２つのブロックいずれも照明変化補償を利用して符号化されたと判断された場合には、２つのブロックそれぞれの照明変化差値の差分に対する絶対値を所定の臨界値と比較する。絶対値との比較に使われる臨界値は、一つまたは二つ以上でありうる。

隣接した２つのブロックのうち、１つのブロックだけ照明変化補償を利用して符号化されたと判断された場合には、２つのブロックのうち、照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値を所定の臨界値と比較する。

また制御部７１０は、図６に示されたように、従来技術によるデブロッキング・フィルタリング方法と、本発明の例示的な実施形態によるデブロッキング・フィルタリング方法とを組み合わせ、デブロッキング・フィルタリングのフィルタリング強度を調節するように制御できる。

フィルタリング部７２０は、制御部７１０の判断または比較の結果に基づいてフィルタリング強度を調節し、デブロッキング・フィルタリングを行う。隣接した２つのブロックのうち、少なくとも一つが照明変化補償を利用して符号化されたか否かによって、互いに異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う。

また、ブロックそれぞれの照明変化差値の差分に対する絶対値を所定の臨界値と比較し、比較の結果に基づいて、互いに異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う。

２つの第１臨界値Ｔ_１及び第１臨界値より小さい第２臨界値Ｔ２と絶対値とを比較する場合を例にして説明すれば、絶対値が第１臨界値より大きい場合、第１臨界値と第２臨界値との間である場合、及び第２臨界値より小さい場合にそれぞれ分け、それぞれの互いに異なる場合ごとに互いに異なるフィルタリング強度を適用し、デブロッキング・フィルタリングを行うことができる。

また、本発明によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。

以上のように本発明は、たとえ限定された実施形態と図面とによって説明したにしても、本発明が前記の実施形態に限定されるものではなく、それらは、本発明が属する分野で当業者ならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は特許請求範囲によってのみ把握されるものであり、それと均等であるか、または等価的な変形はいずれも、本発明の思想の範疇に属するものである。

Claims (17)

1. 映像をデブロッキング・フィルタリングする方法において、
   隣接した２つのブロックのうち、少なくとも一つが照明変化補償（illumination compensation）を利用して符号化されたか否かを判断する段階と、
   前記判断結果に基づいてデブロッキング・フィルタのフィルタリング強度を調節し、調節されたフィルタリング強度に基づき、前記隣接した２つのブロックに対してデブロッキング・フィルタリングを行う段階と、を含み、
   前記照明変化補償は、現在ブロックと参照ブロックとの間に照明変化のある場合に前記照明変化の差を補償するものであり、前記照明変化補償を利用した符号化における動き推定は前記照明変化の差を補償した後に行われる、
   ことを特徴とするデブロッキング・フィルタリング方法。
2. 前記隣接した２つのブロックは、
   互いに異なるマクロブロックに含まれたブロックであることを特徴とする請求項１に記載のデブロッキング・フィルタリング方法。
3. 前記判断する段階は、
   前記２つのブロックいずれも照明変化補償を利用して符号化されたならば、前記ブロックそれぞれの照明変化差値の差分に対する絶対値を第１臨界値と比較する段階をさらに含むことを特徴とする請求項１に記載のデブロッキング・フィルタリング方法。
4. 前記フィルタリングを行う段階は、
   前記絶対値が前記第１臨界値より大きい場合及び小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う段階を含むことを特徴とする請求項３に記載のデブロッキング・フィルタリング方法。
5. 前記比較する段階は、
   前記比較の結果、前記絶対値が前記第１臨界値より小さければ、前記絶対値を前記第１臨界値より小さい第２臨界値と比較する段階をさらに含むことを特徴とする請求項３に記載のデブロッキング・フィルタリング方法。
6. 前記フィルタリングを行う段階は、
   前記絶対値が前記第２臨界値より大きい場合及び小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う段階を含むことを特徴とする請求項５に記載のデブロッキング・フィルタリング方法。
7. 前記判断する段階は、
   前記２つのブロックのうち、１つのブロックだけ照明変化補償を利用して符号化されたならば、前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値を第１臨界値と比較する段階をさらに含むことを特徴とする請求項１に記載のデブロッキング・フィルタリング方法。
8. 前記フィルタリングを行う段階は、
   前記照明変化補償を利用して予測符号化されたブロックの照明変化差値に対する絶対値が前記第１臨界値より大きい場合及び小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う段階を含むことを特徴とする請求項７に記載のデブロッキング・フィルタリング方法。
9. 前記比較する段階は、
   前記比較の結果、前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値が前記第１臨界値より小さければ、前記照明変化補償を利用して予測符号化されたブロックの照明変化差値に対する絶対値を前記第１臨界値より小さい第２臨界値と比較する段階をさらに含むことを特徴とする請求項７に記載のデブロッキング・フィルタリング方法。
10. 前記フィルタリングを行う段階は、
    前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値が前記第２臨界値より大きい場合及び小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行う段階を含むことを特徴とする請求項９に記載のデブロッキング・フィルタリング方法。
11. 映像をデブロッキング・フィルタリングする装置において、
    隣接した２つのブロックのうち、少なくとも一つが照明変化補償（illumination compensation）を利用して符号化されたか否かを判断する制御部と、
    前記制御部の前記判断結果に基づいてデブロッキング・フィルタのフィルタリング強度を調節し、前記隣接した２つのブロックに対して前記調節されたフィルタリング強度に基づき、デブロッキング・フィルタリングを行うフィルタリング部とを備え、
    前記照明変化補償は、現在ブロックと参照ブロックとの間に照明変化のある場合に前記照明変化の差を補償するものであり、前記照明変化補償を利用した符号化における動き推定は前記照明変化の差を補償した後に行われる、
    ことを特徴とするデブロッキング・フィルタリング装置。
12. 前記隣接した２つのブロックは、
    互いに異なるマクロブロックに含まれたブロックであることを特徴とする請求項１１に記載のデブロッキング・フィルタリング装置。
13. 前記制御部は、
    前記２つのブロックいずれも照明変化補償を利用して符号化されたならば、前記ブロックそれぞれの照明変化差値の差分に対する絶対値を第１臨界値及び前記第１臨界値より小さい第２臨界値と比較することを特徴とする請求項１１に記載のデブロッキング・フィルタリング装置。
14. 前記フィルタリング部は、
    前記絶対値が前記第１臨界値より大きい場合、前記第１臨界値より小さくて前記第２臨界値より大きい場合、及び前記第２臨界値より小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行うことを特徴とする請求項１３に記載のデブロッキング・フィルタリング装置。
15. 前記制御部は、
    前記２つのブロックのうち、１つのブロックだけ照明変化補償を利用して符号化されたならば、前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値を第１臨界値及び前記第１臨界値より小さい第２臨界値と比較することを特徴とする請求項１１に記載のデブロッキング・フィルタリング装置。
16. 前記フィルタリング部は、
    前記照明変化補償を利用して符号化されたブロックの照明変化差値に対する絶対値が前記第１臨界値より大きい場合、前記第１臨界値より小さくて前記第２臨界値より大きい場合、及び前記第２臨界値より小さい場合に、それぞれ異なるフィルタリング強度を適用してデブロッキング・フィルタリングを行うことを特徴とする請求項１５に記載のデブロッキング・フィルタリング装置。
17. 請求項１ないし請求項１０のうちいずれか一項に記載の方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images