JP4945533B2

JP4945533B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP4945533B2
Application number: JP2008230745A
Authority: JP
Inventors: 秀則竹島; 敏充金子; 直三島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-09-09
Filing date: 2008-09-09
Publication date: 2012-06-06
Anticipated expiration: 2028-09-09
Also published as: US8111939B2; US20100061652A1; JP2010068084A

Description

本発明は、ブロックノイズやリンギングを除去する、画像処理方法及び画像処理装置に関する。

画像の情報量を削減するために、ＪＰＥＧ、ＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４など、ブロック単位の変換を利用した圧縮符号化が広く用いられている。圧縮符号化された静止画や動画像フレームから元の画像を復号すると、ブロックノイズやリンギングと呼ばれる人工ノイズが発生することが多い。これらの人工ノイズに単純な平滑化フィルタを適用すると、ノイズの除去と同時に画像本来のパターン（エッジやテクスチャ）まで失われてしまう。

これに対し、圧縮符号化を行った際の情報（変換の単位となるブロックサイズ、変換の際の変換係数及び量子化情報）を用い、画像本来のパターンを保ちつつ、人工ノイズを効果的に除去する方法が提案されている（例えば、非特許文献１）。
Y. Yang et al., Regularized Reconstruction to Reduce Blocking Artifacts of Block Discrete Cosine Transform Compressed Images, IEEE Trans. Circuits and System for Video Technology, vol 3, no. 6, Dec. 1993.

上記した従来技術では、符号化情報を得ることが出来ない画像に対して、人工ノイズを効果的に除去することが出来なかった。

上記課題を解決するために本発明は、入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、前記フレーム内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、（ａ）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値の変化の程度から算出し、（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、特徴値算出手段と、前記対象画素群の画素間で画素値を平滑化する際の強度値を、前記特徴値から算出する強度値算出手段と、前記強度値算出手段が求めた前記強度値に応じて、前記対象画素群の画素値を平滑化する平滑化手段と、を備えたことを特徴とする画像処理装置、及び前記画像処理装置が行う画像処理方法を提供する。

また、入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、前記推定手段が推定したブロック境界と異なる位置で前記フレームを、前記推定手段が推定する前記ブロック境界とは異なる境界で分割し、複数の区画を生成する分割手段と、前記区画内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、（ａ）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、特徴値算出手段と、前記構成画素間で画素値を平滑化する際の強度を示し、前記差分量が大きい程、前記強度が小さくなるような強度値を算出する強度値算出手段と、前記強度値算出手段が求めた前記強度値に応じた強度で、前記構成画素間の画素値を平滑化し、出力画素値を得る平滑化手段と、前記区画毎の前記出力画素値から、１つのフレームに統合する統合手段と、を備えた画像処理装置及び前記画像処理装置が行う画像処理方法を提供する。

符号化情報を得ることが出来ない画像の人工ノイズを効果的に除去することが出来る。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。なお、同じ構成には同じ符号を付し、重複する説明は省略する。

（第１の実施形態）
図１は、本実施形態の画像処理装置１００の構成を示す図である。本実施形態の画像処理装置は、入力される復号画像（以下、入力画像と記載）から、ブロックノイズやリンギングなどの人工ノイズの少ない画像への変換処理を行う。なお、入力画像は既に復号されており、符号化されていた際のブロック情報を得ることが出来ない場合について説明する。

画像処理装置１００は、ブロック情報推定部１０１、特徴値算出部１０２、正則化強度算出部１０３、エネルギー最小化部１０４、を有する。

ブロック情報推定部１０１は、入力画像の付加情報が得られる場合には付加情報を用いて入力画像が符号化された際の変換単位であるフレーム内のブロックの境界（以下、ブロック境界と記載）を推定する。本実施形態では、ブロック情報推定部１０１は、ブロック情報として、推定されるブロックサイズを求める。

ブロック境界を推定するために用いる付加情報とは、ファイルのフォーマット情報やＭＩＭＥ情報（データの形式を指定する文字列）等を示す。例えば、入力画像のファイルの種類がＪＰＥＧである場合は８ｘ８（画素を単位とする。以下省略して記載する。）に、ＭＰＥＧである場合は８ｘ８に、Ｈ．２６４である場合は４ｘ４のサイズで符号化が行われたと推定することができる。入力画像を復号したデコーダから符号化の情報を得ることが出来ない場合であっても、入力画像は、付加情報を伴っている場合が多い。例えば、ファイルの拡張子やＭＩＭＥタイプが得られることもあるし、メタデータなどの付加情報からファイルフォーマットに関する情報が得られることもある。これらの付加情報に基づいて、実際に符号化が行われた際のブロックサイズに関する情報を得ることが出来ない場合であってもブロックサイズを推定することが出来る。ブロック情報推定部１０１は、推定したブロックサイズのサイズデータをブロック情報として求める。

なお、付加情報に依らずに８ｘ８など比較的良く使われる所定のブロックサイズで符号化の変換処理が行われたと推定し、そのブロック間の境界をブロック境界として推定する構成であってもかまわない。

特徴値算出部１０２は、ブロック情報推定部１０１が推定したブロック情報を利用し、入力画像のフレーム内で隣接する複数の画素（以下、構成画素と記載）の集合（以下、対象画素群と記載）の画素間の相関の程度を示す特徴値を、対象画素群をずらしながら順次算出する。例えば、ブロックサイズがMｘNであったと推定するブロック情報が求められたフレームは、フレーム内をMｘNで区切った境界がブロック境界であったと推定される。

なお、対象画素群をずらす際には、構成画素が異なる画素の集合となるような画素群であればよい。本実施形態では、構成画素が２つの隣接画素である場合について説明する。画素群を構成する画素の数は、その他の任意の数であって構わない。特徴値は、対象画素群の画素値（例えば、輝度値やＲＧＢ値）の画素間の変化を示すものである。本実施形態では、特徴値として構成画素間の画素値の差分量（以下、エッジ強度と記載）を利用する例について述べる。その際に、ブロック境界をはさんだ対象画素群における特徴値を求める際には、その周辺のエッジ強度に応じて特徴値を求める。例えば、図２，図３に示すように、画素が複数のブロックに属する対象画素群８００の特徴値８０２を算出する場合、対象画素群のうち少なくとも１つの構成画素の画素値と、その構成画素と同じブロックに属すると推定される周辺の画素の画素値との間のエッジ強度を求める。図２では、対象画素群８００の画素それぞれ同じブロック内で推定エッジ方向と直交する方向で隣接する１画素間のエッジ強度８０３を求める例について示している。また、図３では、対象画素群８００の画素それぞれが同じブロック内で隣接する３画素間のエッジ強度９０１を求める例について示している。求めた周辺のエッジ強度８０３、９０１に応じて、対象画素群８００の特徴値８０２の大きさを求める。大きさの求め方として例えば、求めた周辺のエッジ強度８０３、９０１の代表値（例えば、最大値、最小値、中央値や平均値のうちいずれかひとつ）を対象画素群の特徴値とする。

正則化強度算出部１０３は、特徴値算出部１０２が求めた特徴値に基づいて対象画素群間での画素値の平滑化を行う際の重みに相当する正則化強度を決める。正則化強度と特徴値との関数をあらかじめ決めておき、特徴値を代入することで求める。なお、あらかじめ定められた関数は、特徴値が大きい（画素間の差分が大きい）程、正則化強度が小さくなるような関数である。また、特徴値が離散値である場合には、各特徴値と対応した正則化強度が記憶されたテーブルを保持していても良い。詳細については後述する。

エネルギー最小化部１０４は、正則化強度算出部１０３が求めた正則化強度に基づきフレーム内の画素の画素値の平滑化を正則化再構成法によって行う。この処理をエネルギー最小化と呼ぶ。詳細については後述する。

図４は、本実施形態の画像処理装置の動作を示すフローチャートである。

まず、ブロック情報推定部１０１が入力画像のフレームが符号化された際のブロックサイズを推定する（Ｓ１０１）。次に、フレーム内の画素のうち隣接する複数の画素を対象画素群として順次設定する（Ｓ１０２）。特徴値算出手段１０２は、ブロック情報推定部が推定したブロックサイズを利用し、対象画素群を構成する画素がすべて同じブロックに属していたと推定されるか判断する（Ｓ１０３）。対象画素群を構成する画素がすべて同じブロックに属していたと推定される場合（Ｓ１０３,Ｙｅｓ）には、対象画素群の画素間のエッジ強度を対象画素群の特徴値として算出する（Ｓ１０４）。対象画素群を構成する画素がすべて同じブロックに属していなかったと推定される場合（Ｓ１０３,Ｎｏ）には、対象画素群の周辺の画素との画素間のエッジ強度から（例えば、最大値や平均値などの代表値を用いて）、対象画素群の特徴値を算出する（Ｓ１０５）。正則化強度算出部１０３は、特徴値から、対象画素群の正則化強度を算出する（Ｓ１０６）。フレーム内の全ての対象画素群の正規化強度を算出したか判断する（Ｓ１０７）。フレーム内の全ての対象画素群の正則化強度を算出したと判定した場合（Ｓ１０７,Ｙｅｓ）には、エネルギー最小化部１０４がフレーム内の画素の画素値の平滑化を正則化再構成法によって行う。得られた画素値の集合を出力画像として出力する（Ｓ１０８）。フレーム内の、全ての求めるべき対象画素群の正則化強度を算出していないと判定した場合（Ｓ１０７,Ｎｏ）には、Ｓ１０２から、対象画素群を再度設定し、繰り返す。

なお、図４では、フレーム内の全ての対象画素群に対して正則化強度を求めた後にエネルギーの最小化を行う構成としたが、エネルギー関数を一部の対象画素群に対してのみ定義し、それを最小化しても良い。

（正則化再構成法）
次に、正則化再構成法について説明する。はじめに、入力画像に対して定義した拘束式を連立方程式として定式化し、それらの連立方程式をなるべく満たすようにするためのデータ項(Data terms)、および、ノイズを除去するための項である正則化項(Regularization terms)の２つを備えたエネルギー関数を定義し、そのエネルギー関数を最小化し出力画像を得る。

一般的な人工ノイズの除去では、入力画像と出力画像の解像度は等しい。ただし、人工ノイズの除去と同時にスケーリングを行うことも可能で、その場合を考えると、入力画像と出力画像の解像度は必ず一致しない。以下、入力画像と出力画像の解像度が同じであっても異なっていても良いように、入力画像の画素数をL、出力画像の画素数をMとして説明を進める。L=Mでもかまわない。

入力画像の各画素にインデックスｉ＝｛１、２、３、…、Ｌ｝を付与し、画素値をｙ₁,ｙ₂,ｙ₃…であらわす。なお、画素値がスカラー値でない場合、ｙは縦ベクトルであらわすものとする。例えば、画素値がＲＧＢの３次元で与えられる場合、３次元の縦ベクトルであらわす。出力信号にもインデックスｊ＝｛１、２、３、…、Ｍ｝を付与し、画素値をｘ₁,ｘ₂,ｘ₃…であらわす。

人工ノイズの除去では、通常、出力画像の各画素値が入力画像の各画素値から大きく外れることは好ましくない。一般的な人工ノイズの除去では、L=Mであり、かつ、ｙ＝ｘから大きく外れないように出力画像の画素値を求めれば良い。ただし、例えば圧縮符号化に伴うノイズに加えて画像本来のパターンのぼけを補正し、先鋭化する場合には、図５に示すように、入力画素３０１の画素値は、出力画素３０２の画素値に対して積和演算を加えることで得られたものと考えて、そのぼけを除去した値を求めることが好ましい。あるいは、LとMが異なるスケーリングを含む場合には、図６に示すように、出力画素４０２の画素値ｘにスケーリングに対応した積和演算を施した値が入力画素４０１の画素値に近くなるように、出力画像の画素値ｙを求めることが好ましい。一般には、入力画素値を出力画素値の重みつき和であらわした連立方程式を立てると良い。求めたい出力画素値ｘ1,ｘ2,ｘ3…に対し、各インデックスｉについて、重みの係数をwijであらわせば、出力画像の各画素値が入力画像の各画素値から大きく外れることを避けるために、（式１）をなるべく満たすような最適化問題を解けばよいことがわかる。

重み係数はPoint Spread Function(PSF)と呼ばれる。入力画像以外に、出力画素値の重みつき和の値が推定できる拘束式が得られるなら、それらについてもインデックスを付与して式を追加し、追加した式の本数だけＬの値を増やすことができる。このような拘束式の追加方法はL<Mの場合によく使われ、その具体的な方法は、非特許文献（S. C. Park et al., “Super-Resolution Image Reconstruction: A Technical Overview,”’ IEEE Signal Processing Magazine, pp.21-36, May 2003.）に述べられている。なお、この方法はL<Mでない場合であっても利用することができる。

数１の拘束式を入力画像の画素数だけ立てるとL個の式が得られる。これらをまとめて行列表記すると、ベクトルx=(x_１,x_２,x_３,…,x_Ｍ)^T、ベクトルy=( y_１,y_２,y_３,…, y_Ｌ)^T、行列W=(( ｗ_１１, ｗ_１２, ｗ_１３ , …, ｗ_１Ｍ)^T,( ｗ_２１, ｗ_２２, ｗ_２３ , …, ｗ_２Ｍ)^T,…)^Tを導入すると、各インデックスｉに対する式をまとめてｙ＝Ｗｘと表すことができる。

人工ノイズの除去においては、この拘束式からのずれをできるだけ抑えながら、同時に人工ノイズを抑えることが目的となる。ここで、人工ノイズが大きいほど値が大きくなるようなｘの関数Ｅ_reg(x)を考える。エネルギー最小化部１０４は、エネルギー関数（式２）のＥを最小化することにより、人工ノイズの除去を行う。

ノルムの右下の添え字はノルムがＬ２ノルムであることを表す。（右上の添え字は２乗を表す。）λは正則化の強さを制御するパラメータである。

（正則化強度の算出方法）
次に、正則化強度算出部１０３が求める正則化強度をＬ＝Ｍの場合について説明する。正則化再構成法では、人工ノイズが大きいほど値が大きくなると期待できる関数Ｅ_reg(x)によって、人工ノイズを効果的に除去することができる。以下、対象画素群として２画素が抽出された場合について説明する。

関数Ｅ_reg(x)として、画像のフレーム内に発生する人工ノイズ、例えばリンギングを除去する関数を設計する。人間は強いエッジ付近での弱いエッジを知覚しにくいという性質を持つため、エッジ強度が弱い場合にリンギングを平滑化できれば、人間の知覚する画質は改善すると考えられる。そこで、図７に示すように、画素値の相関が低い５０１のような画素間では平滑化を行わず、画素値の相関が高い５０２のような画素間で強い平滑化を行う。それによって、物体（オブジェクト）の輪郭のような画像本来のパターンに起因する部分には影響を与えずに、平坦部におけるリンギングのようなノイズを選択的に除去することができる。上記の性質を持つ関数として、例えば次の式を利用することができる。
Ｅ_reg(x)＝Σｇ_i,ｊe（ｘ_i,ｘ_j）
ここで、Σは対象画素群(i,j)にする正則化項e(・)の値の重みつき和をとったものである。正則化項e(・)としては、図８のように、その対象画素群における画素間のエッジ強度が強いほど小さい値となる関数であれば何でも良い。例えば、指数関数を用いれば、（式３）を利用することが出来る。

エネルギー関数Ｅの最小化においては、画素値の差分(x_i−x_j) ²は正則化の役割を持つ。このコストが２次でない場合には必ずしも正則化の役割を持つわけではないが、便宜上、線形システムに対する正則化の役割を持つか否かにかかわらず、Ｅ_reg(x)は正則化項である。また、ｇ_i,jは正則化項の強さを制御する正則化強度である。ｄ_i,jは、特徴値算出部１０２が算出した特徴値である。例えば、入力画像の対象画素群(i,j)の各画素値に対して適当な積和演算を施した値を利用することが出来る。例えば、画素値の１次微分の離散近似、つまり図１０や図１１のフィルタ係数を利用した積和演算を施せば良い。もちろん、積和演算の係数は図９の２次微分の離散近似でも良いし、また他の係数であっても良い。また、非線形操作である近傍９画素の差分のメディアンを算出しても良い。なお、図９に示すフィルタを用いた場合には、その周辺画素群の構成画素は５つである。また、図１０、図１１に示すフィルタを用いた場合には、その画素群の構成画素は２つである。

（正則化再構成法を用いたエネルギー最小化）
次に、エネルギー最小化部１０４がエネルギー関数を最小化する（Ｓ１０８）具体的な方法について述べる。エネルギー関数の最小化には、例えば、シーケンシャル最小化やパラレル最小化が利用できる。

これらの最小化の過程では、繰り返し演算に基づく最適化を行う。このような最適化では初期値として仮のｘが必要となる。仮のｘは、例えば入力画像の補間により生成できる。どのような補間方法を用いてもかまわないが、例えば、次の方法が使える。

（Ａ）線形補間
既知の２点を用いて補間する。補間に用いる２点は、できるだけ補間すべき点の近くを用いることが望ましい。既知の２点の位置をa_１，a_１＋１、その画素値をｙ_１，ｙ_２とし、補間すべき点の位置をa_１＋ｃで表すと、補間値は

で求められる。

（Ｂ）キュービックコンボリューション法
既知の等間隔に配置された４点を用いて補間する。補間に用いる４点は、補間位置を中心とした２以下の範囲に配置されているものとする。補間値は、各点に対し、補間位置を中心とした次の重みカーネル

の値をかけてそれらの和を求めることで得られる。ｄは各点の補間位置からの距離を表す。γは補間関数を制御するパラメータで、例えばγ＝−１．０あるいはγ＝−０．５とする。

（シーケンシャル最小化）
Ｅ_reg(x)は２次のエネルギー項を有するため、適当な行列Ｒを用いて

と書ける関数である場合を考える。例えば先に説明した、隣接画素の画素値の差分を求めて２乗し、その重みつき和を求めるエネルギー項はこの形で書ける。

シーケンシャル最小化の流れの一例を図１２に示す。そのアルゴリズムは次の通りである。以下の処理は、エネルギー最小化部１０４が行う。
（ステップ１）仮のｘを生成する（Ｓ１３０１）。仮のｘは、例えば入力画像の補間により生成できる。補間には、例えば線形補間やキュービックコンボリューション法が利用できる。

（ステップ２）
ｙ＝Ｗｘを構成する第ｉ番目の式は次の形で書ける。

ここで、

は重みを並べた横ベクトルで、y_i，W_iは入力として与えられる（Ｓ１３０２）。ノイズの影響をあまり受けずに各

を満たすｘを求めるために、シーケンシャル最小化では、ステップサイズβiおよび定数δiを別途与え、次の繰り返し演算を実行する（並列化なしの例：Ｓ１３０３〜Ｓ１３０４）。なお、

は、ｘの推定値を意味する。

ステップサイズβiや定数δiはすべてのｉに対して同じ値（例えばβi=1,δi=1）でもよいし、例えば

の様に、式ごとに変えてもよい。

（ステップ３）方程式０＝Ｒｘについても、ｙ＝Ｗｘと同様に、式ごとに評価を行う。このとき、ステップサイズにはλをかける。

（ステップ４）所定の回数、ステップ２〜３を繰り返す（Ｓ１３０５）。
（ステップ５）得られた推定画像

を出力する（Ｓ１３０６）。

（パラレル最小化）
次に、図１３を参照しながら、パラレル最小化の方法（steepest descent法）を説明する。

（ステップ１）仮のｘを生成する（Ｓ１４０１）。具体的には、仮のｘを、例えば入力画像に線形補間やキュービックコンボリューション法などを適用して生成する。

（ステップ２）
Ｅのベクトルｘに対する勾配方向∂Ｅ/∂xを求め、ｘの推定値

をエネルギー関数の勾配方向に−β倍したステップ進める操作を繰り返す。その更新は

により行える。

具体的な手順は次の通りである。Ｗおよびｙを与える（Ｓ１４０２）。なお、上記の式をそのまま実行する場合は、まず、エネルギー関数の勾配ベクトルを図示しないバッファ等に保持させ、ゼロで初期化する（Ｓ１４０３）。次に、∂Ｅ/∂xの各項を評価してエネルギー関数の勾配ベクトルを更新する（Ｓ１４０４〜Ｓ１４０５）。すべての式の評価が終わった段階で、β倍を行い、それを推定値

から減ずる（Ｓ１４０６）。

（ステップ３）別途定めた回数だけステップ２を繰り返す（Ｓ１４０７）。決定的なパラメータはなく、パラメータ設定は画質と処理コストのトレードオフとなる。実用上は、例えば、処理コストを考えて繰り返し回数を適当な値（例えば、１〜２０回程度）に設定し、βの値を変化させながら良い画質が得られるパラメータを探す。

（ステップ４）得られた出力画像

を出力する（Ｓ１４０８）。

（ブロック情報の推定：画像パターンからの推定）
入力画像から、ブロックサイズを推定する例について説明する。ブロックノイズは特徴的な画像パターンを発生させるため、画像のフォーマット情報が得られない場合であっても、ブロック境界を推定することができる。

例えば、フレームを１６ｘ１６ごとに分割し、その境界はすべてブロック境界であると仮定したうえで、その内部がブロックサイズ４ｘ４、８ｘ８、１６ｘ１６のいずれかのブロックで分割されていると想定し、これらの候補から各１６ｘ１６ブロック内部におけるブロックサイズを選択することを考える。まず、各候補ブロックサイズに対し、ブロック間の各２画素に対するエッジ強度をすべて（あるいは、適当に選んだいくつかの画素対に対して）求め、その代表値（例えば、平均値や中央値）を求める。このとき、その候補ブロックサイズが正しいのであれば、エッジ強度の代表値は高い値になり、その候補ブロックサイズが誤っているのであれば、エッジ強度の代表値は低い値になることが期待できる。したがって、それらのうちで代表値が最も高いブロックサイズ候補をブロックサイズとして選択すれば、原理的にはブロックサイズを推定できる。実際は、この原理をそのまま用いると大きなブロックサイズを選択される可能性が高くなってしまうため、小さいブロックサイズが選択されやすいように何らかのバイアスをかけておくと良い。例えば、比較の前に４ｘ４に対する代表値を１．５倍、８ｘ８に対する代表値を１．２５倍しておくという方法を利用することができる。

上記の正則化強度に関する上記の説明では、入力画像の画素数Ｌと出力画像の画素数Ｍが同じである場合について例示した。つまり、入力画像の各対象画素群に対する正則化強度を求めていた。入力画像の各対象画素群に対する正則化強度に基づいて、出力画像の各対象画素群に対する正則化強度を決めるステップを追加することで、入力画像の画素数Ｌと出力画像の画素数Ｍが異なる出力画像を得ることができる。

例えば、出力画像の各対象画素群を構成する各出力画素位置について、次の操作を行う。はじめに、各出力画素位置の近傍（例えば、最近傍、ｋ−最近傍や、別途定めた範囲）にある入力画像の画素を探索する。次に、その画素を含む入力画像の各対象画素群に対する正則化強度を取得し、その代表値（例えば、最大値、最小値、平均値や中央値）を算出する。最後に、算出された代表値を、注目する対象画素群の正則化強度とする。

上記のようにすれば、入力画像から異なる解像度の画像を生成することが出来、また、ブロックノイズやリンギングを除去することができる。

このようにエネルギー項を求めることで、リンギングを抑制することができる。しかし、画像圧縮によってブロックノイズが発生していると、推定ブロック境界に存在する対象画素群（すなわち、互いに所属するブロックが異なる画素を含む複数の画素によって構成される対象画素群）においては、ブロックノイズによって対象画素群のエッジ強度（先の例ではｄの値）が大きく評価されてしまい、画像圧縮前のエッジ強度によらず正則化強度の値が小さくなってしまう。そこで、ブロックノイズに対応するために、本発明では、正則化強度を次に述べる方法で変化させる。

なお、本実施形態では、対象画素群を構成する画素数が２である場合e(x_i,x_j)について例示したが、３以上の画素で構成された対象画素群を順次設定してもよい。例えば、各画素ｉに対して、画素ｉと隣接する４つの画素とを含めた、５つの画素を有する対象画素群

を考え、正則化エネルギー項を

としても良い。ただし、インデックスｉはラスタスキャン順に割り当てられるものとし、widthは画像の横方向の画素数を表すものとする。［数１８］の例では、ｄとして、図９の２次微分の離散近似を用いている。なお、上記の例はｄの形［数１８］にこれに限定するものではない。

上記の実施形態の画像処理装置は、入力画像のデコーダから量子化情報やブロック境界の情報を得ることが出来ない場合であっても、ブロックノイズやリンギングの除去をすることが出来るため有効である。したがって、既存の画像デコーダの後段にカスケード接続して利用することができる。仕様の公開されない画像デコーダであっても、後段にカスケード接続することができるため、有効である。

人間は強いエッジ付近での弱いエッジを知覚しにくいという性質を持つ。エッジ強度が弱い場合に推定ブロック境界を平滑化できれば、人間の知覚する画質は大きく改善すると考えられる。したがって、ブロックノイズについても、リンギングのときと同様に、エッジ強度が弱い場合に推定ブロック境界を平滑化する方法を考える。

ＪＰＥＧやＭＰＥＧに代表される変換符号化を用いた画像圧縮では、画像全体を４ｘ４や８ｘ８のブロックで区切り、各ブロックでＤＣＴなどの線形変換を行い、得られた係数を量子化することで圧縮を行う。したがって、逆変換により復元された画像は、圧縮に用いたブロックの境界部分において強いノイズが生じる。その一例を図１４に示す。

図１４は、本来は画素値が滑らかに変化する部分が、変換符号化によってブロックノイズを生み出した結果を表す説明図である。ブロックの境界７０１をはさんで、７０２のような暗い画素値を持つブロックと７０３のような明るい画素を持つブロックが存在している。このように、画素値が滑らかに変化する部分であるなら、そのブロック境界を平滑化したいのであるが、ブロック境界をはさんだ対象画素群においてエッジ強度を求めても、そのエッジ強度はブロックノイズによって高い値となってしまい、その正則化強度は弱く設定されてしまう。

本実施形態では、各対象画素群で重みの異なる画素間の平滑化項を利用した正則化再構成法を利用した。平滑化項の重みとして、画素間のエッジ強度が小さいほど、大きくなるような重みを用いた。また、ブロック境界の可能性が高い位置を推定し、ブロック境界をまたぐと考えられる各対象画素群の重みについては、周辺にあるブロック境界をまたがない画素間のエッジ強度を用いた。この場合についても同様に、周辺にあるブロック境界をまたがない画素間のエッジ強度が小さいほど重みが大きくなるような重みを用いた。リンギングは、画像本来のパターンと比べ相対的に弱い画素間のエッジ強度が小さいほど、各画素間の重みを大きく設定することにより、平滑化される。対象画素群の画素間にブロック境界が存在する場合には、周辺のパターンが滑らかなパターンである場合ブロック境界は平滑化され、周辺のパターンが滑らかでない場合にはブロック境界も平滑化されない。

したがって、ブロック境界と推定された画素間にブロック境界が存在しない場合であっても、その部分にエッジやテクスチャがあれば、その周辺にもエッジやテクスチャがあると考えられる。そのため、ブロック境界位置でない部分をブロック境界と判定しても、画像本来のパターンに与える影響が少ない。したがって、本実施形態の画像処理装置によれば、符号化情報を利用することができない入力画像に対しても、人工ノイズの除去を効果的に行うことができる。

（第２の実施形態）
本実施形態の画像処理装置は、第１の実施形態の画像処理装置と異なり、１つのフレーム内の処理を並列化し処理する。処理速度が向上するため、入力画像に対してリアルタイムで処理を行う場合に有効である。前述の、正則化再構成法は繰り返し演算によって個々の画素値の変化を伝播させることで平滑化の効果を上げる方法であるため、その効果をなるべく損なわない方法での並列化が望ましい。

並列化を行う１つの方法は、フレームを適当な大きさに区切り、区画ごとに別々の並列ユニットに処理をさせることである。このとき、並列化処理の境界とブロック境界が重なると、その部分ではブロックノイズ平滑化の効果が期待できなくなる。また、境界付近の画素値の変化が伝播されなくなる。この解決方法は、区画の一部を重ねたうえで、重なり部分の結果を平均化することであり、ある程度、ブロックノイズ平滑化の効果を得ることができる。

図１５は、本実施形態の画像処理装置２００の構成を示す図である。

画像処理装置２００は、図１の画像処理装置と比較して、フレーム分割部２０１、統合部２０３を有し、また、並列処理部２０２を複数有する点で異なる。

フレーム分割部２０１は、入力画像の１枚のフレーム内を並列処理部２０２の数に応じた数の適当な大きさの区画に分割する。その際に、ブロック情報推定部１０１が推定したブロック境界と、区画とが重ならないように区切る。図１６は、並列化処理の境界とブロック境界が重ならないように区切る方法の例を示す図である。ブロック境界が推定できる場合は、例えばブロック境界１５０１に区画の境界が重ならないように、個々の並列ユニットに対する区画（処理範囲）を１５０２、１５０３のように設定すれば良い。ブロック境界が推定できない場合は、適当なブロックサイズ（例えば８ｘ８）を仮定することで推定されるブロック境界に重ならないように区画を設定すれば良い。また、この区切り方と先に説明した区画の一部を重ね合わせる方法は併用可能である。

並列処理部２０２は、それぞれ図１に示した特徴値算出部１０２、正則化強度算出部１０３、エネルギー最小化部１０４を有する。１つの並列処理部２０２は、フレーム分割部２０１が生成した区画に対して出力する画素値を算出する。

統合部２０３は、並列処理部２０２がそれぞれ求めた区画毎の出力画素値を統合し、元の１枚のフレームの画像として出力する。

上記の各実施形態の画像処理装置およびプログラムの実施形態として２次元の画像の例を示したが、２次元の画像以外にも容易に拡張することが可能である。例えば、画像を２次元平面・時間あるいは２次元平面・奥行きについて展開する動画像あるいは３次元ボクセル画像に対する人工ノイズの除去についても、各符号化ブロックが２次元ではなく３次元や４次元、あるいはそれ以上の次元でのブロック（超ブロック）である点を除き、そのまま適用することが可能である。画像の座標系はＮ次元空間（Ｎ：自然数）と考える。一般的には、画素を、Ｎ次元空間（Ｎ：自然数）内の微小な範囲として扱い、画素値を、画素という範囲内で、ある時間だけサンプリングした信号強度の積分値として扱う。便宜上、画素の中心位置を特に画素の位置と呼ぶことにする。また、動画像のように座標系に時間軸を含む場合でも、画素値のサンプリングはある時間（シャッタースピード）に対して信号を積分することによって行うと考える。なお、画素は必ずしも密に配置される必要はない。例えば、動画像の人工ノイズ除去においては、画素が配置される空間は水平・垂直と時間方向の３次元であるが、このとき、シャッタースピードがフレームレートより小さい場合には時間方向に隙間があらわれる。また、例えば、撮像系が隣の画素の光の一部も積分値に加えてしまうなら、画素間には重なりがあることになる。これらの場合も含め、Ｎ次元空間内の微小な範囲を画素と呼ぶことにする。

上記の各実施形態の画像処理装置を用いると、デコーダから符号化に関する情報が得られない場合であってもブロックノイズやリンギングを効果的に除去することができる。したがって、上記の各実施形態の画像処理装置は、任意の画像デコーダの後段にカスケード接続して利用することが可能である。例えば、ＤＶＤやネット映像のように、解像度が低く、かつ符号化歪みを有する動画像をテレビ再生する場合、画像デコーダの後段にカスケード接続することで、符号化歪みを除去した画像を再生することができる。

上記の各実施形態では、画像のブロックサイズに関する情報が与えられない場合について説明した。なお、デコーダからブロックサイズに関する情報を得ることが出来る画像についても、上記の方法によってノイズを除去することは可能である。また、ブロックサイズに関する情報を適宜ブロックサイズの推定に用いても良い。

上述の実施形態の中で示した処理手順に示された指示は、プログラムに基づいて実行することが可能である。上記の指示は、プログラムとして、磁気ディスク、光ディスク、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータは、この記録媒体からプログラムを読み込み、プログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の信号処理装置と同様な動作を実現することができる。コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているオペレーティングシステムや、データベース管理ソフト、ネットワーク等のミドルウェア等が本実施形態を実現するための各処理の一部を実行してもよい。

本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

第１の実施形態の画像処理装置を示す図。対象画素群が異なるブロックに属すると推定される場合の正則化強度を示す図。対象画素群が異なるブロックに属すると推定される場合の正則化強度を示す図。第１の実施形態の画像処理装置の動作を示すフローチャート。入力画像と出力画像との解像度が同じ場合の重み係数の例を示す図。入力画像と出力画像との解像度が異なる場合の重み係数の例を示す図。オブジェクトの輪郭における平滑化の重み付の例を示す図。特徴値と正則強度との関係を示す図。２次微分の離散近似のフィルタ係数の例。水平一次微分の離散近似のフィルタ係数の例。垂直一次微分の離散近似のフィルタ係数の例。シーケンシャル最小化の動作を示す図。パラレル最小化の動作を示す図。ブロック境界によるゆがみの例を示す図。第２の実施形態の画像処理装置を示す図。並列処理の処理範囲と推定ブロック境界の例を示す図。

符号の説明

１００・・・画像処理装置
１０１・・・ブロック情報推定部
１０２・・・特徴値算出部
１０３・・・正則化強度算出部
１０４・・・エネルギー最小化部

Claims

入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、
前記フレーム内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、
（ａ）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値の変化の程度から算出し、
（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出手段と、
前記対象画素群の画素間で画素値を平滑化する際の強度値を、前記特徴値から算出する強度値算出手段と、
前記強度値算出手段が求めた前記強度値に応じて、前記対象画素群の画素値を平滑化する平滑化手段と、
を備えたことを特徴とする画像処理装置。
前記平滑化手段は、前記対象画素群の前記強度値と前記構成画素の画素値とから求める第１項と、前記構成画素の出力画素値に広がり関数による重み値を乗じた重み付き和と前記構成画素の画素値との差が小さいほど小さな値をとる第２項とを求め、前記第１項と前記第２項との加重和が小さくなるような出力画素の画素値を、前記構成画素の画素値として求めることを特徴とする請求項１記載の画像処理装置。
前記特徴値算出手段は、前記特徴値を画素値の差分量を用いて算出することを特徴とする請求項２記載の画像処理装置。
前記強度値算出手段は、前記差分量が大きい程、前記強度値が小さくなるような強度値を算出することを特徴とする請求項３記載の画像処理装置。
前記推定手段は、前記フレームを所定のブロックサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項２記載の画像処理装置。
前記推定手段は、前記入力画像のフォーマット情報を得て、前記フォーマット情報からブロックサイズを推定し、前記フレームを前記ブロックサイズで分割した際の境界を前記ブロック境界として推定することを特徴とする請求項２記載の画像処理装置。
前記推定手段は、複数のブロックサイズの候補それぞれで前記フレームを分割した際の前記ブロック境界をまたぐ画素間の画素値の相関の程度を求め、前記相関が低い前記ブロックサイズの候補の境界を前記ブロック境界として推定することを特徴とする請求項５乃至６記載の画像処理装置。
入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定手段と、
前記推定手段が推定したブロック境界と異なる位置で前記フレームを、前記推定手段が推定する前記ブロック境界とは異なる境界で分割し、複数の区画を生成する分割手段と、
前記区画内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、
（ａ）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出手段と、
前記構成画素間で画素値を平滑化する際の強度を示し、前記差分量が大きい程、前記強度が小さくなるような強度値を算出する強度値算出手段と、
前記強度値算出手段が求めた前記強度値に応じた強度で、前記構成画素間の画素値を平滑化し、出力画素値を得る平滑化手段と、
前記区画毎の前記出力画素値から、１つのフレームに統合する統合手段と、
を備えた画像処理装置。
入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定ステップと、
前記フレーム内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、
（a）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出ステップと、
前記対象画素群の画素間で画素値を平滑化する際の強度値を、前記特徴値から算出する強度値算出ステップと、
前記強度値に応じて、前記対象画素群の画素値を平滑化する平滑化ステップと、
を備えたことを特徴とする画像処理方法。
入力画像が符号化された際の、フレーム内の変換単位であるブロックの境界を推定する推定ステップと、
前記推定手段が推定したブロック境界と異なる位置で前記フレームを、前記推定手段が推定する前記ブロック境界とは異なる境界で分割し、複数の区画を生成する分割ステップと、
前記区画内の画素とその画素に隣接する少なくとも１つの画素とを構成画素として有する対象画素群の特徴値を、
（a）前記対象画素群のすべての構成画素が同じ前記ブロックに属する場合には、前記構成画素の画素値から算出し、
（ｂ）前記対象画素群の構成画素が異なる複数の前記ブロックに属する場合には、前記構成画素の画素値と、前記構成画素の周辺に存在し前記構成画素と同じブロックに属する周辺画素の画素値との画素値の変化の程度から算出する、
特徴値算出ステップと、
前記構成画素間で画素値を平滑化する際の強度を示し、前記差分量が大きい程、前記強度が小さくなるような強度値を算出する強度値算出ステップと、
前記強度値算出手段が求めた前記強度値に応じた強度で、前記構成画素間の画素値を平滑化し、出力画素値を得る平滑化ステップと、
前記区画毎の前記出力画素値から、１つのフレームに統合する統合ステップと、
を備えた画像処理方法。