JP4300839B2

JP4300839B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP4300839B2
Application number: JP2003083093A
Authority: JP
Inventors: 真己石川; 亮田口; 晃次宮田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-11-14
Filing date: 2003-03-25
Publication date: 2009-07-22
Anticipated expiration: 2023-03-25
Also published as: JP2004215216A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル動画像の画質を改善するための画像処理装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来、デジタル動画像の画質を改善するために、フィルタリング処理が施されている（特開２００２−０７７９０９号公報参照）。
デジタル動画像には種々の形式が規定されているが、ＭＰＥＧ（Moving Picture Experts Group）形式の動画像においては、従来、画質改善のためにＶＭ（Verification Model）に規定されているポストフィルタが用いられている。
【０００３】
さらに、ＶＭに規定されるポストフィルタとしては、ブロック歪みを低減するためのデブロッキングフィルタおよびリンギングを低減するためのデリンギングフィルタが知られている。
なお、ブロック歪みとは、動画像を符号化する際に所定サイズのブロック単位で処理することに起因するノイズである。ブロック歪みは、空間的に輝度の変化の小さいブロック境界や、エッジを含むブロックと平坦なブロックとのブロック境界および時間的に変化の大きいブロック境界において、より目立ちやすいという特徴を有する。
【０００４】
また、リンギングとは、符号化により高周波成分の波が失われ、それに起因して、失われた高周波成分の逆相の波が、画像の平坦部分に現れることによるノイズである。リンギングは、時間的に動きを伴うエッジの周辺や、空間的なエッジの周辺において、より目立ちやすいという特徴を有する。
ところで、上述のデブロッキングフィルタにおいては、２つのモードが用意されており、その１つは、ブロック歪みの低減に比重を置くＤＣオフセットモード、他は、原信号の保存に比重を置くデフォルトモードである。そして、デブロッキングフィルタによるフィルタリング処理においては、ＤＣオフセットモードおよびデフォルトモードのいずれかが、ブロックの境界を構成する画素の内容に応じて選択して用いられている。
【０００５】
具体的には、ブロック境界が滑らかな変化を呈しており、ブロック境界を構成する画素（ブロック境界に隣接する２つの画素）の間に大きな変化がない場合には、ＤＣオフセットモードが選択され、ブロック境界を挟む一定の範囲（９画素×１画素の領域）に渡って平滑化される。
これは、ブロック境界が滑らかに変化していることから、ブロック境界の一定範囲に渡りフィルタリング処理を施したとしても、信号の劣化が少なく、また、ブロック境界を構成する画素についてのみフィルタリング処理を施すと、ブロック歪みが目立ち易いためである。
【０００６】
一方、ブロック境界が一定の変化を呈しており、ブロック境界を構成する画素に比較的大きな変化がある場合、デフォルトモードが選択され、ブロック境界を構成する画素のみについて平滑化される。
これは、ブロック境界が一定の変化を呈することから、ブロック歪みが目立ち難く、また、フィルタリング処理を施す画素を出来る限り限定することにより、画像本来の情報が保存されるためである。
【０００７】
また、デリンギングフィルタは、リンギングがエッジ周辺に発生することから、エッジ検出を行い、検出されたエッジの周辺に対して荷重平均値フィルタを適用するものである。
そして、エッジ検出の際には、ブロック内の信号の平均値を用いてエッジを判定し、その後、所定の荷重を与えられた荷重平均値フィルタによる処理が行われる。
【０００８】
【特許文献１】
特開２００２−０７７９０９号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上述したデブロッキングフィルタのデフォルトモードにおいては、ブロック境界が一定の変化を呈することから、画像本来の情報を保存することが望ましく、さらに、ブロック歪みを十分に低減させることが必要である。にもかかわらず、デフォルトモードにおいては、ブロック境界を構成する画素のみにフィルタリング処理を施すことから、ブロック歪みが十分に低減されないという問題があった。また、ブロック境界を構成する画素が、符号化における量子化パラメータ以上の差を有するものである場合、デフォルトモードにおいては、フィルタリング処理が施されないという問題があった。
【００１０】
また、上述したデリンギングフィルタによる処理においては、エッジ検出後に施される荷重平均値フィルタの荷重が、固定的に定められた値のものであることから、エッジ検出の精度によっては、エッジを含む大振幅の信号（画像の大きな変化）を平滑化し、輪郭をぼやけさせてしまうという問題があった。
本発明の課題は、動画像の画質をより効果的に改善することである。
【００１１】
【課題を解決するための手段】
以上の課題を解決するため、本発明に係る画像処理装置は、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、前記ブロック境界を構成する２つのブロックそれぞれに含まれる画素列（例えば、図１に示す画素列（ｘｌ，ｘｒ））において、前記ブロック境界を挟む所定の画素を構成する周波数成分のうち、非零となる要素数（例えば、発明の実施の形態における非零要素数Pｌ，Pｒ）をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分（例えば、（３）式における“Ｎ”）を推定し、前記ブロック歪みを低減する処理を施すことを特徴としている。
【００１２】
上記の画像処理装置は、前記ブロック歪み成分を推定する際に、前記画素列のうち、ブロック境界により近い所定数の画素のみ（例えば、ブロック境界に近い２画素ずつ等）について、所定のブロック歪み成分を推定し、他の画素については、ブロック歪み成分を零であると推定してもよい。
【００１３】
上記の画像処理装置は、取得した非零となる要素数の、より大きいものである最大値の信号形状を算出し、処理対象であるブロックに応じた所定条件に基づいて、前記最小値の信号形状あるいは前記最大値の信号形状のいずれかを選択し、選択した信号形状に基づいて、前記ブロック歪み成分を推定してもよい。
【００１４】
上記の画像処理装置は、処理対象であるブロックあるいは該ブロックを含むマクロブロックの符号化方法に基づいて、フレーム内符号化が行われているマクロブロックについては前記最大値の信号形状を選択し、フレーム間符号化が行われているマクロブロックについては前記最小値の信号形状を選択してもよい。
また、上記の画像処理装置は処理対象であるブロックが符号化された際に検出された動きベクトルを取得し、該動きベクトルの大きさが所定値より大きく、かつ、処理対象であるブロックの符号化方法がフレーム間符号化である場合にのみ、前記最小値の信号形状を選択してもよい
【００１５】
上記の画像処理装置は、処理対象であるブロックにおける動きの量（例えば、処理対象ブロックと、参照されるブロックとの平均ＢＭＱ：Block-based Moving Quantity）に基づいて、フレーム間の各ブロックにおける差分絶対値和（ＢＭＱ）が所定の値より大きい場合には前記最小値の信号形状を選択し、前記差分絶対値和が所定の値以下の場合には前記最大値の信号形状を選択してもよい。
【００１６】
上記の画像処理装置は、処理対象であるブロックのフレームにおける位置（例えば、フレーム内のアドレス）に基づいて、参照されるフレームにおいて同一位置（同一アドレス）にあるブロックを参照し、前記動きの量を検出してもよい。
【００１７】
上記の画像処理装置は、処理対象であるブロックが符号化された際に検出された動きベクトルに基づいて、参照されるフレームにおいて動きベクトルが示す位置のブロックを参照し、前記動きの量を検出してもよい。
【００１８】
上記の画像処理装置は、処理対象であるブロックが符号化された際に検出された動きベクトルの大きさに基づいて、前記動きの量を検出することをしてもよい。
上記の画像処理装置は、処理対象であるブロックにおける量子化パラメータの大きさに基づいて、前記２つのブロックのうち、より大きい量子化パラメータが所定の値以上である場合には前記最小値の信号形状を選択し、前記量子化パラメータが所定の値より小さい場合には前記最大値の信号形状を選択してもよい。
【００１９】
上記の画像処理装置は、前記動画像データに含まれるリンギングを低減する処理において、ε平均値フィルタに基づく処理を施してもよい。
上記の画像処理装置は、処理対象であるブロックに含まれるエッジ検出を行い、検出されたエッジ周辺に対し、前記ε平均値フィルタを施してもよい。
【００２０】
本発明に係る画像処理方法は、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理方法であって、前記ブロック境界を構成する２つのブロックそれぞれに含まれる画素列において、前記ブロック境界に隣接する所定数の画素を構成する周波数成分のうち、非零となる要素数をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分を推定し、前記ブロック歪みを低減する処理を施すことを特徴としている。
【００２１】
本発明に係る画像処理プログラムは、複数ブロックに区分された動画像データのブロック境界を挟んで、該ブロック境界と交差する方向に配列された画素列について、ブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理プログラムであって、前記ブロック境界を構成する２つのブロックそれぞれに含まれる画素列において、前記ブロック境界に隣接する所定数の画素を構成する周波数成分のうち、非零となる要素数をそれぞれのブロックに含まれる前記画素列について取得し、取得した非零となる要素数の、より少ないものである最小値の信号形状に基づいて導出される歪みの形状を示すベクトル及びブロックの境界における境界不連続量に基づいて、動画像データから除去するブロック歪み成分を推定し、前記ブロック歪みを低減する処理を施す機能をコンピュータに実現させることを特徴としている。
【００２２】
本発明によれば、フィルタリングの対象であるブロックのブロック歪み成分を推定する際に、ブロック境界を挟む両側の画素列それぞれにおける周波数成分の非零となる要素数のうち、より少ない非零要素数に基づいて、ブロック歪み成分の推定を行う。
したがって、従来行われているブロック歪み成分の推定（雑音推定）の場合に比べ、ブロック歪みの低減効果を高めることが可能となる。
【００２３】
また、ブロック境界を挟む画素列のうち、ブロック境界に近い所定画素にのみデブロッキングフィルタを施すことにより、ブロック歪みの低減効果を向上させた場合であっても、画像本来の情報が失われること防止できる。
さらに、ブロック歪み成分を推定する際に、動画像における動きの量および符号化における量子化パラメータに基づいて、境界を挟む両側の画素列それぞれにおける周波数成分の非零となる要素数のうち、より少ないもの、あるいは、より多いもののいずれかを適宜選択する。
【００２４】
したがって、動画像データの内容に応じて、より適切なデブロッキングフィルタリング処理を行うことが可能となる
即ち、本発明により、動画像の画質をより効果的に改善することができる。
【００２５】
【発明の実施の形態】
以下、図を参照して本発明に係る画像処理装置の実施の形態を説明する。
初めに、本発明に係る画像処理方法について説明する。
本発明に係る画像処理方法では、ＶＭに規定されるデブロッキングフィルタのデフォルトモードに対し、雑音推定に基づく歪み低減法を適用して、より効率的な歪み低減を実現可能としている。
【００２６】
以下、具体的な方法について説明する。
一般に、動画像信号の復号化において、ブロック歪みを含む復号化対象の動画像信号Ｘは、以下に示すように、符号化前の信号Ｘ_０に歪み成分Ｎが加えられたものであると仮定することができる。ただし、（１）式において、“Ｘ”，“Ｘ_０”，“Ｎ”は一次元ベクトルとして表している。
【００２７】
【数１】

【００２８】
そのため、ブロック歪みが除去された復号化対象の動画像信号Ｘ´は、理想的にはＸ_０と等しいものとなり、
【００２９】
【数２】

【００３０】
と表される。
即ち、雑音推定に基づくブロック歪みの低減においては、歪み成分である信号Ｎの推定問題に帰着する。
ここで、ブロック歪みは、▲１▼ブロック境界の不連続量、▲２▼信号の変化が大きいブロックの境界ほど目立たない、という特徴を有する。
【００３１】
そこで、ブロックの境界不連続量Ｄおよびブロックにおける局所的な信号形状Ｐを定義し、これらを用いて、歪み成分Ｎをモデル化して取り扱うこととする。
すると、歪み成分Ｎは、次式によりモデル化することができる。
【００３２】
【数３】

【００３３】
なお、（３）式における“ｂ_Ｐ”は、局所的な信号形状Ｐに基づく、歪みの形状を表すベクトルである。
そして、局所的な信号形状Pは、図１に示すように境界を挟む画素列（ｘ_ｌ，ｘ_ｒ）について、８点ＤＣＴ（Discrete Cosine Transform）変換した後の周波数成分（Ｘ_ｌ，Ｘ_ｒ）の非零要素数P_ｌ，P_ｒを用いて、
【００３４】
【数４】

【００３５】
で定義され、ブロックの境界不連続量Ｄは、
【００３６】
【数５】

【００３７】
で定義される。ただし、図２に示すように、（５）式において、 “ｄ_Ｎ”は、ブロック境界を構成する２画素の差分値、“ｓ_ｌ”，“ｓ_ｒ”は、ブロック境界を構成する２画素を除いた７画素において、隣接する画素間の差分値の平均値である。
すると、（４）式より、局所的な信号形状Pが大きいほど、高周波成分が残されており、ブロック歪みが目立たないことがわかる。
【００３８】
また、（５）式より、ブロック境界を構成する２画素の差分値ｄ_Nが大きいほど、ブロックの境界不連続量Dが大きくなり、より強くブロック歪みが低減されることとなる。さらに、“ｓ_ｌ”，“ｓ_ｒ”それぞれの値が小さい場合、ブロック境界を挟んで滑らかに変化していることから、ブロック歪みが目立つと考えられる。そして、この場合にも、ブロックの境界不連続量Dが大きくなり、より強くブロック歪みが低減されることとなる。
【００３９】
一方、雑音推定に基づく歪み低減法においては、ブロックの境界不連続量Dおよび局所的な信号形状Pは、復号後の画像毎に与えられることから、（３）式におけるベクトルｂ_ｐは推定して取得する必要がある。
即ち、雑音推定に基づく歪み低減法によりブロック歪みを低減して得られた画像の信号（一次元ベクトル）をＸ_１とおくと、
【００４０】
【数６】

【００４１】
と表される。
そして、より理想的な歪み低減が行われる場合には、符号化前の信号Ｘ_０と、歪み低減後の信号Ｘ_１との誤差が最小となることから、“Ｘ_０”，“Ｘ_１”の差分を最小とするベクトルｂ_ｐを推定すればよい。
【００４２】
（２）式および（６）式から、“Ｘ_０”，“Ｘ_１”の差分を最小とするベクトルｂ_ｐは、次式により表される。
【００４３】
【数７】

【００４４】
ここで、ベクトルｂ_ｐを求めるためには、例えば、ＳＩＤＢＡ（Standard Image Data-Base）画像等のサンプル画像を複数用いて、実際に、ＤＣＴおよび量子化を含む符号化処理を行い、さらに、復号化することにより、ブロック歪みの発生した画像を得る。そして、それらの画像内の局所毎に、局所的な信号形状Ｐと、（Ｘ−Ｘ_０）／Ｄとを求め、得られた各局所的な信号形状Ｐに対応する（Ｘ−Ｘ_０）／Ｄの平均値を算出することにより、その平均値を“ｂ_ｐ”とする。
【００４５】
なお、ブロック境界を挟んで並ぶ画素（左から順に、ｍ＝０，１，２，・・・，１５の番号を付すものとする）と、歪みの形状を示すベクトルｂ_ｐとの関係は、およそ、図３に示す特性となる。
以上は、一般的に行われている雑音推定に基づく歪み低減法の手法であるが、このような手法において、隣接するブロックの一方が、高周波成分を多く含む画像であり、他方が平坦な画像である場合、（４）式より、周波数成分の非零要素数の最大値、即ち、高周波成分を多く含む画像の非零要素数が局所的な信号形状Ｐとして算出される。
【００４６】
ここで、隣接するブロックの一方が、高周波成分を多く含む画像であり、他方が平坦な画像である場合には、そのブロック境界がブロック歪みとして視覚的に認識されやすい。
しかしながら、このような場合、局所的な信号形状Ｐとして、より大きな値が算出されることから、歪みの形状を示すベクトルｂ_ｐは、図３に示すように、振幅が小さいものとなる。すると、（６）式より、ブロック歪みの低減効果は不十分なものとなり、ブロック歪みが目立つこととなる。
【００４７】
そこで、本発明に係る画像処理方法においては、局所的な信号形状Ｐを算出するに当たり、（４）式に示す演算（以下、「ｍａｘ演算」と言う。）では、ブロック歪みを十分に低減できない領域については、以下の式のいずれかを適宜選択して局所的な信号形状Ｐを算出することとする。
【００４８】
【数８】

【００４９】
なお、（８）式中、“τ”は、歪み低減力をより強めるための補正値であり、また、（８）式に示す演算を、以下、「ｍｉｎ演算」と言う。
（８）式によって局所的信号形状Ｐを算出することとすると、局所的信号形状Ｐは、より小さい値となり、相対的にブロック歪み低減効果が向上することとなる。
【００５０】
さらに、（８）式により局所的信号形状Ｐを算出し、ブロック歪み低減効果を向上させた場合、それに伴い、信号の劣化が生じ、画像本来の情報が失われることとなる。
そこで、歪みの形状を示すベクトルとして、（７）式により定められる “ｂ_ｐ” に修正を加え、ｍｉｎ演算用の“ｂ_ｐ”（以下、「ｂ´_ｐ」とする。）を定義することとする。
【００５１】
具体的には、“ｂ´_ｐ”が示す歪みの形状として、例えば、ブロック境界に隣接する２画素のみに歪みが加えられているものと想定し、ブロック境界から３画素以上離れた画素の信号については、歪みの形状を示すベクトル値を“０”と定める。
即ち、ブロック境界を挟んで並ぶ画素列（左から順に、ｍ＝０，１，２，・・・，１５の番号を付すものとする）と、歪みの形状を示すベクトルｂ´_ｐとの関係を、およそ、図４に示す特性とする。
【００５２】
このように“ｂ´_ｐ”を定めることにより、歪み低減効果を向上させた場合であっても、画像本来の情報が失われることを防止できる。
なお、“ｂ´_ｐ”が示す歪みの形状として、ブロック境界に隣接する２画素のみに歪みが加えられているものと想定する場合を例に挙げたが、歪みが加えられていると想定する画素の数は、２画素以外であってもよい。
【００５３】
また、“ｂ´_ｐ”を定めた場合、（６）式は、以下のように修正される。
【００５４】
【数９】

【００５５】
ここで、（８）式に示すように、ｍａｘ演算およびｍｉｎ演算の双方を、処理対象の領域に応じて切り替えることとすると、その切り替えの条件を適切に定める必要がある。即ち、歪み低減効果を向上させるべく、領域の判定条件を定める必要がある。
このような判定条件を定めるに当たり、歪み低減効果を向上させる必要がある領域は、ブロック歪みが目立つ領域およびブロック歪みが多く発生する領域であることに鑑み、▲１▼フレーム間符号化が行われているフレーム、▲２▼動きの多い領域（時間的に輝度変化が大きい領域）、▲３▼量子化パラメータが大きいブロックの境界、の３つの検討事項を想定し、それぞれについて検討を行った。
【００５６】
その結果、検討事項▲１▼については、図５に示す検討結果が得られた。図５は、フレーム内符号化フレーム（Ｉ−ＶＯＰ（Video Object Plane））およびフレーム間符号化フレーム（Ｐ−ＶＯＰ）のそれぞれについて、ｍａｘ演算およびｍｉｎ演算を適用した場合の画質改善効果を示す図である。
なお、図５における横軸は、量子化パラメータＱＰ、縦軸は、ＭＳＥ−Ｒ（画質改善度を表す指標）であり、ＭＳＥ−Ｒ＝（原画像と歪み低減後の画像との平均２乗誤差）／（原画像と復号後の画像との平均２乗誤差）である。
【００５７】
図５によれば、フレーム内符号化フレームについては、ｍｉｎ演算（ここでは、歪み形状を示すベクトルｂ_ｐの場合をいう。以下、単に「ｍｉｎ演算」というときは同様。）より、ｍａｘ演算の場合が有効であることがわかる。これは、本来、雑音推定に基づく歪み低減法が、静止画像（フレーム内符号化フレーム）に対して提案されたものであることによると考えられる。
【００５８】
また、図５によれば、フレーム間符号化フレームについては、量子化パラメータが大きいほど、ｍｉｎ演算の場合が有効であることがわかる。これは、フレーム間符号化フレームの場合、前フレームの量子化雑音と、差分画像が量子化されることによる歪みとによって、フレーム内符号化フレームに比べてブロック歪みが増大することによると考えられる。
【００５９】
なお、検討事項▲１▼に関連して、さらに詳細な判定条件について検討した結果、フレーム単位で符号化方法を判定し、判定結果をそのフレーム全体に適用する場合より、マクロブロック単位（あるいはブロック単位）で符号化方法を判定し、ｍａｘ演算あるいはｍｉｎ演算のいずれかを切り替えて適用する方が、より有効な歪み低減を行えることが判明した。
【００６０】
即ち、フレーム内符号化が行われているマクロブロック（あるいはブロック）についてはｍａｘ演算を行い、フレーム間符号化が行われているマクロブロック（あるいはブロック）についてはｍｉｎ演算を行う方が、歪み低減効果が高い場合があることが判明した。
この場合の具体的な判定方法は、以下の通りである。
【００６１】
図６は、条件判定を行うブロック境界およびマクロブロック境界を示す図である。
図６において、各マクロブロックには、符号化方法を示す符号化モード（CodeMode(a)，(b)）が設定されており、符号化モードはデコーダから取得することが可能である。そして、符号化モードはマクロブロック単位で設定されていることから、マクロブロック内の隣接ブロックについては、符号化モードが同一である。一方、マクロブロックの境界を挟む隣接ブロックについては、符号化モードが同一の場合および異なる場合がある。
【００６２】
マクロブロックあるいはブロック単位で符号化方法を判定する場合、境界に隣接するブロックの両方においてフレーム間符号化を表す符号化モードが設定されていれば、条件判定のためのフラグ（CodedFlag）として“１”を設定し、境界に隣接するブロックのいずれかもしくは両方においてフレーム内符号化を表す符号化モードが設定されていれば、条件判定のフラグとして“０”を設定する。
【００６３】
したがって、フレーム内符号化された同一マクロブロック内の隣接ブロックについては、フラグ“０”が設定される。また、フレーム内符号化された異なるマクロブロックの境界を挟む隣接ブロックについても、フラグ“０”が設定される。一方、それ以外の場合には、フラグ“１”が設定される。
そして、フラグ“０”が設定されている場合には、ｍａｘ演算を行い、フラグ“１”が設定されている場合には、ｍｉｎ演算を行うものと判定する。
【００６４】
このような条件判定を行うことによって、より有効な歪み低減効果を得ることができるのは、フレーム間符号化フレーム内においても、フレーム内符号化が行われているマクロブロックもあり、マクロブロック単位で細かく演算方法を切り替えることにより、適切に歪み低減力を制御することができるためであると考えられる。
【００６５】
なお、マクロブロックあるいはブロック単位で符号化方法を判定する場合、フレーム間符号化された領域であっても、平坦な領域については信号の劣化が目立つ場合もあり、必ずしもｍｉｎ演算が有効でないこともある。
そこで、動きが大きい領域についてはブロック歪みが大きいことから、後述するように動きベクトルによって動きの量を判定し、動きの量が大きいマクロブロックあるいはブロックについてのみｍｉｎ演算を適用することが望ましいと考えられる。
【００６６】
また、検討事項▲２▼については、フレーム間の各ブロックにおける差分絶対値和（ＢＭＱ：Block-based Moving Quantity）を評価量として、動きの多い領域を定義した結果、画像内のブロック全てにおけるＢＭＱの平均値（以下、「平均ＢＭＱ」と言う。）が一定の値（α）を超えると、ｍａｘ演算の場合より、ｍｉｎ演算の方が、ＭＳＥ−Ｒが小さくなり、歪み低減効果が高いことが判明した。
【００６７】
図７は、サンプル画像について、平均ＢＭＱと、ＭＳＥ−Ｒとの関係を示す図である。なお、図７において、“Ｍａｘ”は、ｍａｘ演算の場合の特性、“Ｍｉｎ”は、ｍｉｎ演算の歪み形状を示すベクトルｂ_ｐの場合の特性、“Ｍｉｎ（Ｓｈａｐｅ）”は、ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合の特性を示している。
【００６８】
したがって、統計的に取得されるαの値（例えば、図７では、α＝５．５）に応じて、ｍａｘ演算とｍｉｎ演算とを切り替えることが望ましいと考えられる。
このとき、（８）式は、以下のように表される。
【００６９】
【数１０】

【００７０】
なお、評価量として用いたＢＭＱは、以下の式により与えられる。
【００７１】
【数１１】

【００７２】
ただし、（１１）式において、現フレームの信号ｘ（ｍ，ｎ，ｋ）と、前フレームの信号ｘ（ｍ，ｎ，ｋ−１）との差分をとることとしているが、このとき参照される前フレームのブロックとして、現フレームの対象ブロックと同一位置のブロックを採用することや、動き補償において参照元となっているブロックを採用することのいずれも可能である。
【００７３】
このように、αの値に応じて、ｍａｘ演算とｍｉｎ演算とを切り替えた結果、量子化パラメータＱＰと、ＭＳＥ−Ｒとの関係は、図８のようになる。
なお、図８においては、ｍａｘ演算の場合（図８中の“Ｍａｘ”）、歪み形状を示すベクトルｂ_ｐのｍｉｎ演算の場合（図８中の“Ｍｉｎ”）、歪み形状を示すベクトルｂ´_ｐのｍｉｎ演算の場合（図８中の“Ｍｉｎ（Ｓｈａｐｅ）”）に加え、ｍａｘ演算とｍｉｎ演算とをα＝５．５で切り替えた場合（図８中の“Switching with BMQ”）の特性を示している。
【００７４】
図８において、平均ＢＭＱのみに基づいてｍａｘ演算とｍｉｎ演算とを切り替えた場合、量子化パラメータＱＰ＜２０の領域では、最も歪み低減効果が高いものとなる。
なお、検討事項▲２▼に関連して、さらに詳細な判定条件について検討した結果、差分絶対値和に基づく平均ＢＭＱによって動きの量を評価する場合の他、動きベクトルの大きさに基づいて、動きの量を評価することが可能であることが判明した。
【００７５】
この場合、動きベクトルは、図９において矢印として示すように、各ブロックについて１つあるいは各マクロブロックについて１つが設定されていることから、これらを利用することが可能である。
即ち、各動きベクトルの大きさは、その成分の２乗の和の平方根として求めることができる。さらに、処理対象である画素列が属するブロックあるいはマクロブロックそれぞれの動きベクトルの大きさを加え、評価対象である動きの量とする。
【００７６】
そして、平均ＢＭＱを動きの量として条件判定する場合と同様に、動きが多いと判定された領域に対してｍｉｎ演算を行うことにより、歪み低減効果を高めることができる。
このとき、検討事項▲１▼において説明したように、マクロブロックあるいはブロック単位で、その符号化方法に基づく条件判定を行う場合、動きベクトルの大きさに基づく条件を併せて判定することが可能である。
【００７７】
即ち、動きベクトルがマクロブロック毎あるいはブロック毎に設定されていることに鑑み、各マクロブロックあるいはブロックについて、符号化方法に基づく判定条件と、動きベクトルの大きさに基づく判定条件とを併せて考慮することが可能である。
具体的には、符号化方法に基づく条件判定のためのフラグ（CodedFlag）が“０”であり、かつ、動きベクトルの大きさが一定の値（α）以下である場合にはｍａｘ演算を行い、それ以外の場合にはｍｉｎ演算を行うことにより、歪み低減効果をより高めることができる。
【００７８】
このように、動きベクトルの大きさを評価量として用いると、ブロック単位あるいはマクロブロック単位で演算方法を切り替えることが可能であり、また、平均ＢＭＱを用いる場合より、少ない演算量で動き量の評価を行うことができる。なお、動きベクトルの大きさを判定条件とする場合の他、動きベクトルを用いて動き補償を行った後の画像と、処理対象フレームの差分を用いて条件判定を行うことや、動きベクトルを用いて動き補償を行った後の画像と処理対象フレームとの差分を示す画像のみに対して、条件判定を行い、動きの多い領域に対してｍｉｎ演算を行うことも可能である。
【００７９】
また、ここで用いる動きベクトルについては、デコーダにおいて既に算出されているため、デコーダから取得して用いることが可能である。
次に、検討事項▲３▼については、上述のように、図８に示す特性から、平均ＢＭＱのみに基づいてｍａｘ演算とｍｉｎ演算とを切り替えた場合、量子化パラメータＱＰ＞２０の領域では、ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合に比べ、歪み低減効果が劣ることが判明した。
【００８０】
そこで、量子化パラメータＱＰの値に基づいて、ｍａｘ演算とｍｉｎ演算とを切り替えることとする。
このとき、図１０に示すように、ブロック境界を挟む２つのブロックに設定された量子化パラメータＱＰ（ＱＰ_ｌ，ＱＰ_ｒ）のうち、より大きいものＱＰ_ｍａｘを取得し、その量子化パラメータＱＰ_ｍａｘと統計的に取得される閾値βとを比較することにより、ｍａｘ演算とｍｉｎ演算との切り替えを行うこととする。
【００８１】
即ち、（８）式において、以下のように判定条件を与えることとする。
【００８２】
【数１２】

【００８３】
このように、量子化パラメータＱＰによってｍａｘ演算とｍｉｎ演算とを切り替えた結果、量子化パラメータＱＰとＭＳＥ−Ｒとの関係は、図１１のようになる。
なお、図１１においては、ｍａｘ演算の場合（図１１中の“Ｍａｘ”）、歪み形状を示すベクトルｂ_ｐのｍｉｎ演算の場合（図１１中の“Ｍｉｎ”）、歪み形状を示すベクトルｂ´_ｐのｍｉｎ演算の場合（図１１中の“Ｍｉｎ（Ｓｈａｐｅ）”）、平均ＢＭＱに応じてｍａｘ演算とｍｉｎ演算とを切り替えた場合（図１１中の“Switching with BMQ”）に加え、平均ＢＭＱおよび量子化パラメータＱＰに応じてｍａｘ演算とｍｉｎ演算とを切り替えた場合（図１１中の“Switching with BMQ and QP”）の特性を示している。
【００８４】
図１１において、平均ＢＭＱおよび量子化パラメータＱＰに応じてｍａｘ演算とｍｉｎ演算とを切り替えた場合の特性が、量子化パラメータＱＰの全ての領域において、最も歪み低減効果が高いものとなっている。
以上の検討結果の有効性について、ブロック歪み低減度合を示すＧＢＩＭ（Generalized Block-edge Impairment Metric）を用いて評価すると、図１２に示す結果が得られる。
【００８５】
図１２は、３種類のサンプル画像について、▲１▼デコーダ出力（図１２中のDecoder）、▲２▼ＶＭのデブロッキングフィルタにおけるデフォルトモード（図１２中のVM De-block Default mode）、▲３▼ｍｉｎ演算の歪み形状を示すベクトルｂ_ｐの場合で、かつ、平均ＢＭＱおよび量子化パラメータＱＰに応じた切り替えを行わない場合（図１２中のNbr）、▲４▼ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合で、かつ、平均ＢＭＱおよび量子化パラメータＱＰに応じた切り替えを行う場合（τ＝０）（図１２中のNbrProRe(1)）、▲５▼ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合で、かつ、平均ＢＭＱおよび量子化パラメータＱＰに応じた切り替えを行う場合（τ＝２）（図１２中のNbrProRe(2)）のそれぞれについて、ＧＢＩＭを示している。
【００８６】
図１２によれば、▲５▼ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合で、かつ、平均ＢＭＱおよび量子化パラメータＱＰに応じた切り替えを行う場合（τ＝２）が、最も歪み低減効果が高く、次いで、▲４▼ｍｉｎ演算の歪み形状を示すベクトルｂ´_ｐの場合で、かつ、平均ＢＭＱおよび量子化パラメータＱＰに応じた切り替えを行う場合（τ＝０）の歪み低減効果が高いことがわかる。
【００８７】
以上は、ＶＭに規定されるデブロッキングフィルタのデフォルトモードに対する処理であるが、さらに、デリンギングフィルタとして、ε平均値フィルタを用いることにより、効果的なリンギング除去を行うことが可能である。
即ち、任意の閾値εを定め、以下に示すε平均値フィルタを施すことにより、一定振幅（ε未満）のリンギングが低減され、大振幅であるエッジ自身が保存されることとなる。
【００８８】
【数１３】

【００８９】
なお、デリンギングフィルタとして、ε平均値フィルタを用いる場合、予め、画像のエッジ検出を行った上で、検出されたエッジの周辺に対して、ε平均値フィルタを施すこととしてもよい。
次に、本画像処理方法を使用した画像処理装置１の構成を説明する。
図１３は、本実施の形態に係る画像処理装置１の構成を示すブロック図である。図１３において、画像処理装置１は、デコーダ１０と、フレームメモリ部２０と、ポストフィルタ部３０とを含んで構成される。
【００９０】
デコーダ１０は、符号化された動画像データを受け取り、可変長復号、逆量子化および逆ＤＣＴを含む復号化処理を行い、復号した動画像データをフレームメモリ部２０に出力する。
フレームメモリ部２０は、例えば、２フレーム分等のフレームデータを記憶するメモリを備えており、ポストフィルタ部３０によってフィルタリング処理が行われる際に、記憶しているデータに対し、読み出しおよび書き込みが行われる。
【００９１】
ポストフィルタ部３０は、フレームメモリ部２０に記憶された復号後の動画像データに対し、上述した画像処理方法（即ち、（１０）式および（１２）式等に基づくデブロッキング処理およびε平均値フィルタによるデリンギング処理を用いた画像処理方法）に基づくフィルタリング処理を施し、動画像データに含まれるブロック歪みおよびリンギングを低減する。
【００９２】
次に、動作を説明する。
画像処理装置１は、符号化された動画像データが入力されると、初めに、デコーダ１０によって、動画像データの復号化処理を行い、復号化された動画像データをフレームメモリ部２０に記憶する。
すると、ポストフィルタ部３０が、フレームメモリ部２０に記憶された動画像データに対し、デブロッキングフィルタ、デリンギングフィルタとしてのε平均値フィルタの順にフィルタリング処理を施す。
【００９３】
このとき、デブロッキングフィルタによる処理として、（１０）式および（１２）式による条件判定を行いながら、ブロック歪みを適応的に低減する。
また、デリンギングフィルタとして、ε平均値フィルタを用いた処理を行う。このとき、動画像データについて、エッジ検出を行うことなくε平均値フィルタを施すこと、および、エッジ検出後に、エッジ周辺に対してε平均値フィルタを施すことのいずれも可能である。
【００９４】
このように処理した結果、動画像データにおいて、例えば、ＶＭに規定されるデブロッキングフィルタおよびデリンギングフィルタを用いた場合に比べ、ブロック歪み低減効果およびリンギング除去効果がより高いものとなっている。
なお、デリンギングフィルタとして、ε平均値フィルタを用いることとして説明したが、ＶＭに規定される従来のデリンギングフィルタを用いることも可能である。
【００９５】
以上のように、本実施の形態に係る画像処理装置１は、フィルタリングの対象であるブロック境界の局所的な信号形状を算出する際に、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数を採用して、局所的な信号形状とし、その局所的な信号形状に基づいて、雑音推定を行う。
【００９６】
したがって、従来行われている雑音推定の場合に比べ、ブロック歪みの低減効果を高めることが可能となる。
また、ブロック境界を挟む画素列のうち、ブロック境界に近い所定画素にのみデブロッキングフィルタを施すことにより、ブロック歪みの低減効果を向上させた場合であっても、画像本来の情報が失われること防止できる。
【００９７】
さらに、局所的な信号形状を算出する際に、動画像における動きの大きさおよび符号化における量子化パラメータに基づいて、境界を挟む両側の画素列それぞれにおける周波数成分の非零要素数のうち、より少ない非零要素数、あるいは、より多い非零要素数のいずれかを適宜選択する。
したがって、動画像データの内容に応じて、より適切なデブロッキングフィルタリング処理を行うことが可能となり、動画像の画質を効果的に改善することができる。
【図面の簡単な説明】
【図１】ブロック境界を挟む画素列（ｘ_ｌ，ｘ_ｒ）を示す図である。
【図２】ブロック境界を構成する２画素の差分値“ｄ_Ｎ”、ブロック境界を構成する２画素を除いた７画素“ｓ_ｌ”，“ｓ_ｒ”を示す図である。
【図３】ブロック境界を挟んで並ぶ画素と、歪みの形状を示すベクトルｂ_ｐとの関係を示す図である。
【図４】ブロック境界を挟んで並ぶ画素列と、歪みの形状を示すベクトルｂ´_ｐとの関係を示す図である。
【図５】フレーム内符号化フレーム、フレーム間符号化フレームについて、ｍａｘ演算およびｍｉｎ演算を適用した場合の画質改善効果を示す図である。
【図６】条件判定を行うブロック境界およびマクロブロック境界を示す図である。
【図７】サンプル画像について、平均ＢＭＱと、ＭＳＥ−Ｒとの関係を示す図である。
【図８】量子化パラメータＱＰと、ＭＳＥ−Ｒとの関係を示す図である。
【図９】マクロブロックおよびブロックに設定された動きベクトルを示す図である。
【図１０】ブロック境界を挟む２つのブロックに設定された量子化パラメータＱＰ（ＱＰ_ｌ，ＱＰ_ｒ）を示す図である。
【図１１】量子化パラメータＱＰとＭＳＥ−Ｒとの関係を示す図である。
【図１２】ブロック歪み低減度合を示すＧＢＩＭを用いて評価した結果を示す図である。
【図１３】本実施の形態に係る画像処理装置１の構成を示すブロック図である。
【符号の説明】
１画像処理装置，１０デコーダ，２０フレームメモリ部，３０ポストフィルタ部

Claims

複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。
前記第１の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第２の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第２の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項１記載の画像処理装置。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックあるいは前記処理対象であるブロックを含むマクロブロックの符号化方法に基づいて、フレーム内符号化が行われているマクロブロックについては前記第１の信号形状及び前記第２の信号形状のうちの最大値の信号形状を選択し、フレーム間符号化が行われているマクロブロックについては前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。
前記第１の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第２の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第２の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項３記載の画像処理装置。
処理対象であるブロックが符号化された際に検出された動きベクトルを取得し、該動きベクトルの大きさが所定値より大きく、かつ、処理対象であるブロックの符号化方法がフレーム間符号化である場合にのみ、前記最小値の信号形状を選択することを特徴とする請求項３記載の画像処理装置。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックにおける動きの量に基づいて、フレーム間の各ブロックにおける差分絶対値和が所定の値より大きい場合には前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状を選択し、前記差分絶対値和が所定の値以下の場合には前記第１の信号形状及び前記第２の信号形状のうちの最大値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。
前記第１の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第２の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第２の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項６記載の画像処理装置。
前記複数のブロックのうち処理対象であるブロックのフレームにおける位置に基づいて、参照されるフレームにおいて同一位置にあるブロックを参照し、前記動きの量を検出することを特徴とする請求項６記載の画像処理装置。
前記複数のブロックのうち処理対象であるブロックが符号化された際に検出された動きベクトルに基づいて、参照されるフレームにおいて動きベクトルが示す位置のブロックを参照し、前記動きの量を検出することを特徴とする請求項６記載の画像処理装置。
前記複数のブロックのうち処理対象であるブロックが符号化された際に検出された動きベクトルの大きさに基づいて、前記動きの量を検出することを特徴とする請求項６記載の画像処理装置。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記複数のブロックのうち処理対象であるブロックにおける量子化パラメータの大きさに基づいて、前記第１のブロックの量子化パラメータ及び前記第２のブロックの量子化パラメータのうち最大値の量子化パラメータを取得し、前記最大値の量子化パラメータが所定の値以上である場合には前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状を選択し、前記最大値の量子化パラメータが所定の値より小さい場合には前記第１の信号形状及び前記第２の信号形状のうちの最大値の信号形状を選択し、
前記最大値の信号形状又は前記最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。
前記第１の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第1の信号形状を算出し、前記第２の画素列のうち前記ブロック境界により近い所定数の画素のみについて前記第２の信号形状を算出し、前記ブロック境界から所定数以上離れた画素については前記ベクトルの値を零であると定めることを特徴とする請求項１１記載の画像処理装置。
前記動画像データに含まれるリンギングを低減する処理において、ε平均値フィルタに基づく処理を施すことを特徴とする請求項１〜１２のいずれかに記載の画像処理装置。
前記複数のブロックのうち処理対象であるブロックに含まれるエッジ検出を行い、検出されたエッジ周辺に対し、前記ε平均値フィルタを施すことを特徴とする請求項１３記載の画像処理装置。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理方法であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理方法。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施すための画像処理プログラムであって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列について取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列について取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減する機能をコンピュータに実現させることを特徴とする画像処理プログラム。
複数のブロックに区分された動画像のブロック歪みを低減させるデブロッキングフィルタ処理を含む歪み低減処理を施す画像処理装置であって、
前記複数ブロックは、隣接する第１のブロックと第２のブロックと、を含み、
前記第１のブロックは、前記第１のブロックと前記第２のブロックとの間のブロック境界と交差する方向に配列された第１の画素列を含み、
前記第２のブロックは、前記ブロック境界と交差する方向に配列された第２の画素列を含み、
前記第１の画素列のうち前記ブロック境界により近い所定数の画素のみについて取得された周波数成分のうち非零となる第１の要素数から第１の信号形状を算出し、
前記第２の画素列のうち前記ブロック境界により近い所定数の画素のみについて取得された周波数成分のうち非零となる第２の要素数から第２の信号形状を算出し、
前記第１の信号形状及び前記第２の信号形状のうちの最小値の信号形状に基づいて前記ブロック歪みの歪みの形状を示すベクトルを導出し、
前記動画像のデータに対して前記ブロックの境界における境界不連続量及び前記ベクトルに基づいて処理を施し、前記ブロック歪みを低減すること、
を特徴とする画像処理装置。