JP5487106B2 - 画像処理装置および方法、ならびに、画像表示装置 - Google Patents

Description

本発明は、画像処理装置および方法、ならびに、画像表示装置に関する。

特許文献１は、ノイズの無い理想の画像表面をパラメトリックな曲面によって最小二乗フィッティングする技術を開示している。本手法では、Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎという方法が用いられており、通常の線形フィルタリングよりも、入力画像の形状やエッジを精度良く抽出することができる。

米国特許出願公開第２００７／００４７８３８号明細書

しかしながら、特許文献１では、低次の多項式曲面では平滑化により画像がボケ過ぎ、高次の多項式曲面では過フィッティングにより画像にノイズが発生しやすいという問題がある。

本発明は、上記を鑑みてなされたものであり、入力画像の形状やエッジを精度よく抽出すると共に、画像のノイズを抑えることを目的とする。

上記目的を達成するために、本発明の画像処理装置は、入力画像の処理対象画素の周辺に位置する画素の画素値の勾配の方向及び大きさを用いて、処理対象画素周辺でのエッジの接線方向および法線方向のうち少なくとも一方を演算する演算部と、処理対象画素の周辺画素の座標を、エッジの接線方向または法線方向に従った座標軸に回転させた２次元の回転座標に変換する変換部と、処理対象画素の周辺での局所的な画素値の分布を、回転座標での位置を変数とする２次元の曲面モデルで近似した曲面を求め、曲面における処理対象画素の位置の画素値から、補正後の処理対象画素の画素値を求めるフィッティング部とを備えることを特徴とする。

また、本発明の画像処理装置は、入力画像の処理対象画素の周辺に位置する画素の画素値の勾配の方向及び大きさを演算する演算部と、画像のエッジの接線方向または法線方向に従った方向の座標軸上での変位を変数とする２次元の曲面モデルであって、エッジの接線方向の座標軸上での変位を示す変数の自由度よりもエッジの法線方向の座標軸上での変位を示す変数の自由度の方が高い曲面モデルを用いて近似した曲面によって定まるフィルタ係数を、画素値の勾配の方向及び大きさの複数の組合せ毎に記憶する記憶部と、記憶部を参照し、処理対象画素について求めた勾配の方向及び大きさに基づいてフィルタ係数を選択する選択部と、選択されたフィルタ係数によるフィルタリングによって補正後の処理対象画素の画素値を算出する畳み込み演算部とを備えることを特徴とする。

本発明によれば、入力画像の形状やエッジを精度よく抽出できると共に、画像のノイズが抑えられるという効果を奏する。

図１は、第１の実施形態に係る画像処理装置の構成を示す図。 図２は、第１の実施形態に係る画像処理部の構成を示す図。 図３は、第１の実施形態に係る画像処理部の動作を示す図。 図４は、２次元ガウス関数とエッジの接線方向及び法線方向との関係を示す図。 図５は、画像のｘ軸と２次元ガウス関数の長軸方向とがなす回転角を示す図。 図６は、第１の実施形態に係る画像処理部における曲面フィッティングの動作を示す図。 図７Ａは、原画像を示す図。 図７Ｂは、原画像上の各点での２次元ガウス関数の形状を示す図。 図８Ａは、従来のＫｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによるｘ−ｙ軸に対するフィッティングの結果を示す図。 図８Ｂは、従来のＫｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによるｘ−ｙ軸に対するフィッティングの結果を示す図。 図８Ｃは、ｕ−ｖ軸に対するフィッティングの結果を示す図。 図８Ｄは、ｕ−ｖ軸に対するフィッティングの結果を示す図。 図９は、従来の方式と本実施形態の方式との違いを示す図。 図１０は、第２の実施形態に係る画像処理部を示す図。 図１１は、第２の実施形態に係る画像処理部の動作を示す図。 図１２は、Ｈａｒｒｉｓによる画像特徴分類を示す図。 図１３は、第３の実施形態に係る画像処理部を示す図。 図１４は、第３の実施形態に係る画像処理部の動作を示す図。 図１５は、第４の実施形態に係る画像処理部を示す図。 図１６は、第４の実施形態に係る画像処理部の動作を示す図。 図１７は、第５の実施形態に係る画像処理部を示す図。 図１８は、第５の実施形態に係る画像処理部の動作を示す図。 図１９は、第６の実施形態に係る画像表示装置を示す図。

（第１の実施形態）
図１に示すように、画像処理装置１００は、入力インターフェース部１０１と、画像処理部１０２と、記憶部１０３と、出力インターフェース部１０４と、を備える。

入力インターフェース部１０１は、画像を入力する入力装置に接続される。入力インターフェース部１０１は、入力装置から入力画像を取得する。画像処理部１０２は、入力画像に対してフィルタリングなどの処理を行なう。これにより、画像処理部１０２は、ノイズが除去された画像を生成する。記憶部１０３は、入力インターフェース部１０１で取得した入力画像や画像処理部１０２で処理された画像等を記憶する。出力インターフェース部１０４は、画像を出力する出力装置に接続される。出力インターフェース部１０４は、記憶部１０３に記憶された画像を出力装置に出力する。

なお、入力装置及び出力装置の少なくとも一方は、画像処理装置１００の外部に設けられてもよいし、画像処理装置１００の内部に設けられてもよい。

図２に示すように、図１の画像処理部１０２に対応する画像処理部１０２ａは、演算部２０１と、パラメータ算出部２０２と、変換部２０３と、フィッティング部２０４とを備える。

図２の画像処理部１０２ａの動作を図３を参照して説明する。ここで、入力画像中の位置をｘ∈Ω、入力画像の位置全体の集合をΩ⊂Ｒ^２、入力画像の位置ｘにおける画素値をＩ（ｘ）とする。画素値は、スカラー値（例えば、輝度値など）であってもよいし、ベクトル値（例えば、ＲＧＢカラー信号など）であってもよい。また、行列・ベクトルの転置を、行列・ベクトルに上付文字の「Ｔ」を添えて表す。Ｎｕｍ（Ｎ）は、集合Ｎの要素数とする。

ステップＳ３０１では、演算部２０１は、入力画像の各画素に対してその周辺の画素値の勾配の方向及び大きさを求める。本実施形態では、画素値の勾配の方向及び大きさを求めるために、離散化された１階の微分演算を用いる例について述べる。離散化された１階の微分演算としては、例えば、Ｓｏｂｅｌオペレータを用いることができる。演算部２０１は、Ｓｏｂｅｌオペレータを用いた場合、数式１に示す演算を行う。

ｄ_ｘ（ｘ）は、位置ｘにおけるｘ方向微分値である。ｄ_ｙ（ｘ）は、位置ｘにおけるｙ方向微分値である。「＊」は畳み込み演算である。ｄ_ｘ（ｘ）は、数式２のように表される。

なお、Ｓｏｂｅｌオペレータ以外の離散化された微分演算を用いてもよい。例えば、前進差分、後退差分でも中心差分のいずれであっても構わない。

ステップＳ３０２では、パラメータ算出部２０２は、ｄ_ｘ（ｘ）及びｄ_ｙ（ｘ）を用いて、位置ｘにおけるエッジの方向及び大きさを示す画像特徴パラメータを算出する。まず、パラメータ算出部２０２は、エッジの方向及び大きさに従って、非等方のガウシアン分布で表される２次元ガウス関数を算出する。２次元ガウス関数は、微分値の構造テンソルＨ（ｘ）によって数式３のように定義される。

ここで、ｓ∈Ｎは位置ｘを中心として予め定められた範囲（以下「局所近傍」という。）内にある点の位置を示す。ｈ（＞０）は非等方ガウシアン分布の標準偏差である。２次元ガウス関数は、エッジの法線方向の成分に強く影響される。図４に示すように、２次元ガウス関数は、画素値の変化が小さい方向と長軸とがほぼ平行で、画素値の変化が大きい方向と短軸とがほぼ平行な楕円形状となる。２次元ガウス関数は、エッジが鮮明であるほど短径がより短くなり、エッジの接線方向に潰れた楕円形状となる。画像特徴パラメータは、構造テンソルＨ（ｘ）から数式４により算出される。

ここで、Ｈ（ｘ）を数式５のように表した。

図５に示すように、回転角θは、画像のｘ軸と２次元ガウス関数の長軸方向とがなす角を表す。λ_＋は２次元ガウス関数による楕円の長径の長さ、λ₋は短径の長さを表す。なお、λ_＋、λ₋は構造テンソルの固有値である。２次元ガウス関数の長軸は、エッジの接線方向にほぼ一致する。２次元ガウス関数の短軸は、エッジの法線方向にほぼ一致する。このままでは、画像に含まれるノイズにより、画像特徴パラメータが安定して算出されない。そこで、数式６に示すように、位置ｘを中心とした局所近傍Ｎ内の点に関して畳み込んだ構造テンソルを用いてもよい。

局所近傍Ｎは、任意の形状であってよい。例えば、位置ｘを中心とした５ｘ５（画素を単位とする。以下省略。）タップの矩形領域などを局所近傍Ｎとして用いてもよい。

ステップＳ３０３では、変換部２０３は、回転角θに応じて、位置ｘに関する局所近傍Ｎ内における位置ｓの座標（以下、局所座標ｓと呼ぶ）を、回転座標による局所座標ｕへ座標変換する。画像のｘ−ｙ座標から２次元ガウス関数のuｖ局所座標への座標変換は数式７で表される。

ここで、ｕ＝（ｕ、ｖ）^Ｔは、２次元ガウス関数の局所座標である。

ステップＳ３０４では、フィッティング部２０４は、最小二乗法による曲面フィッティングにより、フィッティングを行う曲面のパラメータを求める。ここで、特許文献１で用いられている、ｎ次多項式の曲面モデルによる曲面フィッティングについて説明する。例えば、ｎ次多項式の曲面モデルは、数式８で表される。

ここで、ｓ＝（ｓ、ｔ）Ｔは、局所座標である。位置ｘを中心として、局所近傍Ｎに対して曲面モデルによる曲面フィッティングを行う。曲面フィッティング後の出力画素値は、Ｉ（ｘ）＝ａ_０となる。

特許文献１に示された曲面フィッティングには、以下に示す問題点がある。
例えば、斜め方向のエッジがあるとする。これを２次曲面でフィッティングするには、パラメータａ_０、ａ_１、ａ_２、ａ_３、ａ_４、ａ_５が全て必要である。これに対し、縦方向のエッジであれば、パラメータａ_０、ａ_１、ａ_３のみでよい。縦方向のエッジに関しては、局所座標のｔ成分が必要ないからである。同様に、横方向のエッジであれば、パラメータａ_０、ａ_２、ａ_５のみでよい。

このように、特許文献１のフィッティングでは、エッジに対する方向依存性がある。フィッティングに必要なパラメータ数が増加すると、フィッティングの安定性が低下するおそれがある。全方向をカバーしようとすると、必要以上のパラメータを用いることとなり、過フィッティングになるおそれがある。最小二乗法によるフィッティングの安定性は、推定したいパラメータ数と当てはめに用いることのできるサンプル点の数とにより決定される。サンプル点の数に対して必要以上のパラメータ数を用いると、フィッティングが不安定になる。

２次元ガウス関数の長軸方向は、エッジの接線方向に対応する。２次元ガウス関数の短軸方向は、エッジの法線方向に対応する。画素値の変化は、エッジの法線方向では大きく、エッジの接線方向では小さい。この特性を曲面のフィッティングで考える。エッジの法線方向では画素値の変化が大きいため、曲面のパラメータ数が多くなる。これにより、自由度が高まり、フィッティングが高精度に行われる。これに対し、エッジの接線方向では画素値の変化が小さいため、曲面のパラメータ数が少なくて済む。以上により、曲面モデルは数式９のように表される。

ここで、２次元ガウス関数の局所座標ｕ＝（ｕ、ｖ）^Ｔを用いた。ｕは２次元ガウス関数の長軸、ｖは２次元ガウス関数の短軸である。ここでは、２次元ガウス関数の短軸方向のみに曲面の自由度を設定し、長軸方向では０次の多項式にしている。短軸方向でエッジの鮮鋭度を調整し、長軸方向でノイズ除去性能を高めている。回転角θによる曲面モデルとすることにより、エッジの方向に依存しないフィッティングが可能となる。また、特許文献１よりも少ないパラメータでエッジの鮮鋭度を高め、同じサンプル点を用いてもフィッティングの安定性を向上させることができる。

例えば、特許文献１では、２次曲面精度のエッジを表現するのに６パラメータが必要である。これに対し、本実施形態では、３パラメータが必要である。また、特許文献１では４次曲面精度のエッジを表現するのに１５パラメータが必要である。これに対し、本実施形態では５パラメータが必要である。このように、必要とされるパラメータ数に関し、曲面の自由度を増やすほど、両者の差が大きくなる。

曲面フィッティングは、最小二乗法を用いて行われる。曲面モデルは、以下のように定義される。

数式１０では、４次多項式曲面モデルを示したが、０次〜５次又は７次以上の多項式曲面モデルであってもよい。また、多項式ではなく、数式１１に示すように正弦波をベースとした曲面モデルであってもよい。

位置ｘを中心とした局所近傍Ｎ内における位置ｓの画素の画素値を、Ｉ（ｘ＋ｓ）とする（ここで、ｓ∈Ｎ）。局所座標ｓに対する回転角θによる座標変換は、回転行列による座標変換ステップにより数式１２で求められる。

この数式１２によって、画素値Ｉ（ｘ＋ｓ）と曲面ｆ（Ｒ^−１（θ）ｓ）とが対応付けられる。最小二乗法は、この対応における二乗誤差が最小となるようなパラメータを求める方法であり、数式１３のように定義される。

ここで、ａ＾（ｘ）は、最小二乗法によるフィッティングのパラメータである。Ｋ（ｘ、ｓ）は、点ｓにおける重みである。ここでは、２次元ガウス関数を用いている。局所近傍Ｎは、任意の形状を用いることができる。例えば、位置ｘを中心とした５ｘ５タップの矩形領域などを用いることができる。ここでは、説明を簡略化するため、数式１３を数式１４のように行列形式で表す。

ここで、局所近傍Ｎ内の点をＮ＝｛ｓ_０、…、ｓ_ｎ｝とした。行列形式を用いると、最小二乗法の解は、数式１５のように行列計算により一意に求められる。

数式１５は、正規方程式と呼ばれる。線形の最小二乗法の場合には、これが最適解となる。逆行列は、ＬＵ分解や特異値分解などにより数値計算可能である。ここで、ａ＾（ｘ）が数式１６に示すように求まったとする。

フィッティング後の出力画素は、数式１７で与えられる。

図６を参照して、ステップＳ３０４の曲面フィッティングステップの動作を説明する。ステップＳ６０１では、フィッティング部２０４は、数式１４の行列Ｐを計算する。ステップＳ６０２では、フィッティング部２０４は、数式４の画像特徴パラメータを用いて、数式１４の行列Ｗを計算する。ステップＳ６０３では、フィッティング部２０４は、ＬＵ分解や特異値分解などを用いて、（Ｐ^ＴＷＰ）^−１を計算する。ステップＳ６０４では、フィッティング部２０４は、数式１５のａ＾（ｘ）を計算する。

図７と図８を用いて、従来のＫｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによるフィッティング結果と本実施形態のフィッティング結果とを説明する。

図８Ａ及び図８Ｂは、図７Ｂに対して最小二乗法により曲面フィッティングを行い、それぞれｘ方向及びｙ方向に１次微分した結果を示す。図８Ａおよび図８Ｂを参照すると、曲面パラメータが各軸に分散しており、モデルパラメータが２次元ガウス関数の回転角に依存していることが分かる。そのため、全方向のエッジを同じレベルで再現しようとすると、２次曲面全てのパラメータが必要となる。

図８Ｃ及び図８Ｄは、図７Ｂに対して最小二乗法により曲面フィッティングを行い、それぞれｕ方向（２次元ガウス関数の長軸方向）及びｖ方向（２次元ガウス関数の短軸方向）に１次微分した結果を示す。図８Ｃおよび図８Ｄを参照すると、エッジの主成分軸に曲面モデルの軸が一致していることが分かる。そのため、エッジの成分はｖ軸（２次元ガウス関数の短軸）に集中している。このことから、全方向のエッジを再現する場合にも、ｖ軸のみを使えばよい。

図９を用いて、従来の方式と本実施形態の方式との違いを説明する。従来では、Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによるフィッティングをｘ−ｙ軸に対して行っている。これに対し、本実施形態では、Ｋｅｒｎｅｌ Ｒｅｇｒｅｓｓｉｏｎによるフィッティングをｕ−ｖ軸に対して行う。ｕ−ｖ軸は、エッジの主成分軸であるため、情報の最大振幅方向（主成分）に自由度を配分することができる。

このように、本実施形態によれば、画像の形状やエッジを保持しながら、画像のノイズを効果的に除去することが可能となる。

（第２の実施形態）
図１０に示す本実施形態の画像処理部１０２ｂの各部について、図２の画像処理部１０２ａと同一部分は同一符号で示す。第２の実施形態が第１の実施形態と異なる点は、選択部１００１を備える点である。

第１の実施形態では、エッジの接線方向に曲面モデルを回転させることにより、エッジの再現性に優れたフィルタリングを行った。エッジ部分では、上述した２次元ガウス関数による楕円の短軸方向、すなわちエッジの法線方向に情報が集中しているため、短軸成分に自由度を与えた曲面がよく当てはまるからである。

しかし、画像には、エッジ領域だけではなく、フラットな領域やコーナーの領域（角や尖端など）なども存在する。これらの領域では、必ずしも短軸成分に情報が集中していない。第２の実施形態では、画像特徴に応じて当該領域を分類し、その分類に応じて適した曲面モデルを割り当てる。本実施形態では、ｘ方向の微分値とｙ方向の微分値とを用いて画像特徴を求める。より具体的には第１の実施形態でも説明した構造テンソルを用いて画像特徴を求める。

図１１に示すように、図１０の画像処理部１０２ｂによる動作は、少なくとも、曲面モデル選択ステップＳ１１０３を座標変換ステップ及び曲面フィッティングステップの前に行う点で、図３による動作とは相違する。他のステップについては、図３と相違する点を中心に説明する。

ステップＳ１１０２では、画像の局所的な特徴を表現するエッジの接線方向、楕円の長軸、短軸などのパラメータを、構造テンソルを用いて算出する。Ｈａｒｒｉｓらは、構造テンソルから画像の特徴分類を行っている（Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｓｔｅｐｈｅｎｓ（１９８８）、“Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ”、Ｐｒｏｃ． ｏｆ ｔｈｅ ４ｔｈ ＡＬＶＥＹ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ、ｐｐ．１４７−１５１）。

これによれば、構造テンソルの固有値をλ_＋、λ₋とすると、画像の各部分は、固有値λ_＋、λ₋に応じて、図１２に示すようにエッジ領域（Ｅｄｇｅ）、フラット領域（Ｆｌａｔ）及びコーナー領域（Ｃｏｒｎｅｒ）に分類される。固有値λ_＋、λ₋のうち一方の値が大きく、他方が小さければ、２次元ガウス関数による楕円は潰れた形状となる。その場合には、その画像部分がエッジ領域であることを示す。両方の固有値が大きければ、２次元ガウス関数による楕円は等方の円形で小さくなる。その場合には、その画像部分がコーナー（角や尖端）であることを示す。両方の固有値が小さければ、２次元ガウス関数による楕円は等方の円形で大きくなる。その場合には、その画像部分がフラットな領域であることを示す。

第１の実施形態の曲面モデルは、２次元ガウス関数による楕円の短軸成分のみを使った曲面モデルとなっている。これは、エッジ領域ではエッジ法線方向に情報が集中していることに基づき、上記領域のうちエッジ領域に適したものとなっている。例えば、第１の実施形態によれば、以下のようなエッジ領域曲面モデルが考えられる。

これに対し、コーナー領域及びフラット領域は、２次元ガウス関数による楕円が等方的となり、情報が短軸（ｖ軸）に集中しているわけではない。したがって、コーナー領域及びフラット領域では、u軸およびｖ軸の両方を用いる方が適当である。これらのうち、コーナー領域は、画素値の変化が大きいため、曲面モデルの自由度は高い方が適している。例えば、以下のようなコーナー領域曲面モデルが考えられる。

これに対し、フラット領域ではなるべくノイズを抑えたいので、数式２０に示されるような、低次の多項式からなるフラット領域曲面モデルが考えられる。

ステップＳ１１０３では、選択部１００１は、対象画素を予め定められた複数のクラス（領域）に分類する。選択部１００１は、分類した複数のクラスに一対一に対応する曲面モデルを対象画素の曲面モデルとして選択する。具体的には、選択部１００１は、構造テンソルの固有値λ_＋、λ₋に基づいて対象画素の分類を行う。分類は、例えば図１２を用いて説明した分類に従って行われる。そして、選択部１００１は、その分類結果に応じて上記曲面モデルを選択する。

ステップＳ１１０５では、フィッティング部２０４は、ステップＳ１１０３で選択された曲面モデルを用いて、最小二乗法によるフィッティングを行う。

（第３の実施形態）
図１３に示す本実施形態の画像処理部１０２ｃの各部について、図２の画像処理部１０２ａと同一部分は同一符号で示す。第３の実施形態が第１の実施形態と異なる点は、変換部２０３及び曲面フィッティンブ部２０４に代えて、フィルタ選択部１３０１及び畳み込み演算部１３０２を備える点である。

第１の実施形態では、フィルタリング対象となる画素毎に、正規方程式を解く必要がある。具体的には、逆行列をＬＵ分解や特異値分解で数値計算する必要がある。処理コストを減らすために、第３の実施形態では、正規方程式を事前に解いた結果を、ＬＵＴ（ルックアップテーブル）に保存する。これにより、回路などでの実現性が高められる。

図１４に示す図１３の画像処理部１０２ｃの動作は、少なくとも、座標変換ステップＳ３０３及び曲面フィッティングステップＳ３０４に代えて、フィルタ選択ステップＳ１４０３及び畳み込み演算ステップＳ１４０４を含む点で、図３で説明した動作とは相違する。他のステップについては、図３と同様である。

ステップＳ１４０３では、フィルタ選択部１３０１は、ステップＳ１４０２で算出された画像特徴パラメータに基づいて、正規方程式を解いた結果のＬＵＴから適切なフィルタを選択する。

正規方程式は数式１５により与えられる。Ｙは数式１４に示すように画素値を表し、入力画像に応じて変化する。（Ｐ^ｒＷＰ）^−１Ｐ^ｒＷは、画像特徴パラメータλ_＋、λ₋、θのみに依存し、画像には依存しない。２次元ガウス関数は、数式２１に示すように、入力画像の微分の自己相関係数によって表される。

数式２１を画像特徴パラメータによって書き直すと、数式２２で表される。

２次元ガウス関数も数式２３のように書き直される。

行列Ｗは、数式２４のように表される。

行列Ｗは、画像特徴パラメータのみに依存していることが分かる。同様に、行列Ｐは、数式２５のように表される。

行列Ｐは、画像特徴パラメータのみに依存していることが分かる。従って、数式２６も画像特徴パラメータのみに依存することが分かる。

離散化された任意の画像特徴パラメータの組（λ_＋、λ₋、θ）_ｌ、（ｌ＝０、…、Ｌ）に対して、事前にＸ（λ_＋、λ₋、θ）_ｌ、（ｌ＝０、…、Ｌ）を計算しておけば、追加計算をすることなく、解を数式２７によって求めることができる。

すなわち、フィルタ選択ステップＳ１４０３では、（λ_＋、λ₋、θ）_ｌ、（ｌ＝０、…、Ｌ）に対して、事前にＸ（λ_＋、λ₋、θ）_ｌ、（ｌ＝０、…、Ｌ）を計算し、ＬＵＴ（フィルタバンク）に登録する。そして、実際の処理では、算出された画像特徴パラメータ（λ_＋、λ₋、θ）に基づいて、対応するＸ（λ_＋、λ₋、θ）_ｌをＬＵＴから選択する。

ステップＳ１４０４では、畳み込み演算部１３０２は、フィルタ選択ステップＳ１４０３で選択されたフィルタＸ（λ_＋、λ₋、θ）_ｌを用いて、画素値ベクトルＹとの畳み込み演算を行う。そして、畳み込み演算部１３０２は、最小二乗法により、曲面がフィッティングされた出力画素を計算する。具体的には、畳み込み演算部１３０２は、数式２８に示す行列計算を行う。

（第４の実施形態）
図１５に示す本実施形態の画像処理部１０２ｄの各部について、図２の画像処理部１０２ａと同一部分は同一符号で示す。第４の実施形態が第１の実施形態と異なる点は、重み算出部１５０１を備える点である。

第１、第２の実施形態では、２次元ガウス関数を用いて入力画像のエッジに適応したフィルタリング処理を行った。しかし、三角形の先端部分などは２次元ガウス関数では表現できないため、鈍った画像となってしまう。そこで、第４の実施形態では、２次元ガウス関数を三角形の先端部分などにある画素の画素値からロバスト化することにより、先端部分などが鈍ってしまうという問題を解決可能である。

図１６に示すように、図１５の画像処理部１０２ｄの動作は、少なくとも、曲面フィッティングステップＳ１６０５の後に、重み算出ステップＳ１６０６を含む点で、図３で説明した動作とは相違する。他のステップについては、図３と相違する点を中心に説明する。

ステップＳ１６０５は、基本的には第１の実施形態と同様であるが、フィッティング部２０４が、行列Wを数式２９に従って計算する。

ステップＳ１６０６では、重み算出部１５０１は、局所座標の中心に位置する処理対象画素からの距離に応じて、局所近傍内の入力画像の画素値に重み付けをする。例えば、局所近傍内において、入力画像の処理対象画素の画素値との差が大きいほど重みを小さくし、差が小さいほど重みを大きくする。２次元ガウス関数は、画像のステップエッジ部分では当てはまるが、先端部分や角などにおいては当てはまらないことがある。このような２次元ガウス関数が当てはまらない領域で最小二乗法によるフィッティングを行うと、関数が当てはまらない外れ値の画素値によって画像が大きく歪んでしまい、その結果、角が鈍ってしまうといった弊害が現れる。そのような外れ値となる領域は、処理対象画素の画素値と値が離れている画素値の画素による領域ということができる。画素値の差による重みは、数式３０のようにガウシアン関数を用いて以下のように定義できる。

ここで、σ_Ｉ＞０はガウシアン関数の標準偏差であり、どの程度の画素値の差で重みを小さくするかのパラメータである。

一方、符号化された画像のようにブロック歪が発生するような状況では、数式３０の重みではブロック歪みにも反応してしまい、ブロック歪みが解消されない。そこで、ブロック境界では画素値の差の重みを用いないように、数式３１のようなデブロッキング型の重みを用いることもできる。

（第５の実施形態）
図１７に示す本実施形態の画像処理部１０２ｅの各部について、図２の画像処理部１０２ａと同一部分は同一符号で示す。第５の実施形態が第１の実施形態と異なる点は、差分算出部１７０１を備える点である。

本実施形態では、第１〜第４の実施形態によってフィッティングされた曲面の画素値と入力画像の画素値との差分をとり、この差分に対して再度フィッティングすることにより細かいテクスチャなどの再現性を高めることができる。

図１８に示すように、図１７の画像処理部１０２ｅの動作は、少なくとも、曲面フィッティングステップＳ１８０５の後に、差分算出ステップＳ１８０６、座標算出ステップＳ１８０７、曲面フィッティングステップＳ１８０８を含む点で、図３で説明した動作とは相違する。他のステップについては、図３と相違する点を中心に説明する。

ここで、入力画像が骨格成分とテクスチャ成分とノイズとで構成されるとすると、画素Ｉ（ｘ）は、数式３２のようにモデル化できる。

ここで、Ｓ（ｘ）は骨格成分、Ｔ（ｘ）はテクスチャ成分、ｎ（ｘ）はノイズである。これは加算モデルであるが、数式３３のように乗算モデルも可能である。

第１〜第４の実施形態では、曲面の自由度をエッジの法線方向に設定し、接線方向には設定していない。これは、エッジの接線方向の凹凸を無視しており、骨格成分を抽出していることと等価である。従って、最小二乗法による曲面フィッティング結果を、数式３４のように画像の骨格成分と見なすことができる。

ステップＳ１８０６では、差分算出部１７０１は、入力画像の画素値と骨格成分の画素値の差分を算出する。まず、数式３２及び数式３４より、テクスチャ成分は、数式３５のようになる。

これにより、テクスチャ成分を求めるためには、入力画像の画素値と骨格成分の画素値の差分が必要だと分かる。フィッティング曲面は、数式３６で表される。

よって、差分は、数式３７で表される。

ここで、ｓは局所近傍Ｎ内の点とする。

ステップＳ１８０８では、曲面フィッティング部２０４は、ステップＳ１８０６で求められた差分に対してステップＳ１８０７で座標変換がなされた局所座標に対して最小二乗法により曲面フィッティングを行いテクスチャ成分を算出する。テクスチャ曲面モデルは、数式３８で表される。

第１〜第４の実施形態では、エッジの法線方向にモデルを設定したが、ここではエッジの接線方向にモデルを設定している。これは、画像の骨格成分が抜かれるエッジの法線方向に直交しているエッジの接線方向で、テクスチャ成分を抽出するためである。差分に対する最小二乗法は、数式３９のように表される。

これを行列形式にすると、数式４０のように表される。

従って、正規方程式は、数式４１のように表される。

逆行列は、ＬＵ分解や特異値分解などにより数値計算可能である。ここで、ｂ＾（ｘ）が、数式４２のように求まったとする。

この場合、テクスチャ成分は、数式４３で与えられる。

画像処理部１０２ｅは、曲面モデルとテクスチャ曲面モデルとを加算して、出力画像を生成する。すなわち、フィルタリング後の出力画像は、数式４４で表される。

（第６の実施形態）
図１９は、本実施形態に係る画像表示装置を示す図である。本実施形態の画像表示装置は、画像処理装置１９００と、画像を表示する表示部１９０３を有する。図１９に示す画像処理装置１９００の各部について、図１３の画像処理部１０２ｃと共通する部分には同一の符号を付して、詳細な説明を省略する。

画像処理装置１９００は、入力されたデータを復号し、入力画像を得る復号部１９０１と、フィルタ選択部１９０２と、ＬＵＴ１９０３を有する。なお、フィルタ選択部１９０２とＬＵＴ１９０３は、図１３のフィルタ選択部１３０１と同様の動作を行う。

フィルタ選択部１９０２は、入力されたデータの符号化方式に応じて選択するフィルタを変える。

ＬＵＴ１９０３には、あらかじめ算出されたフィルタ係数が保持されている。フィルタ係数は、符号化方式毎に用意されている。例えば、ＬＵＴ１９０３は、画像のエッジの接線方向または法線方向に従った方向の座標軸上での変位を変数とする曲面モデルであって、エッジの接線方向の座標軸上での変位を示す変数の自由度よりも当該エッジの法線方向の座標軸上での変位を示す変数の自由度の方が高い曲面モデルを用いて近似した曲面によって定まるフィルタ係数を、画素値の勾配の方向及び大きさの複数の組合せ毎に記憶している。

例えば、入力されたデータがＨ．２６４のように符号化の効率の良い符号化方式に従って符号化されていた場合に用いるフィルタ係数として、高い自由度に基づく曲面モデルによって近似して求められた曲面によるフィルタ係数がＬＵＴ１９０３に保持されている。また、符号化効率がＨ．２６４に比較して低い、Ｈ．２６３のような符号化方式で符号化されていた場合に用いるフィルタ係数として、Ｈ．２６４で符号化されていた場合よりも低い自由度に基づく曲面モデルによって生成したフィルタ係数がＬＵＴ１９０３に保持されている。

なお、符号化方式によってフィルタ係数を切り替える方法を前述したが、入力画像のサイズに応じてフィルタを切り替える構成であっても構わない。例えば、画像サイズが小さい場合に用いるために、畳み込み演算で用いる対象の領域の大きさが小さくなるようなフィルタ係数を生成し、ＬＵＴ１９０３に保持しておく。また、入力画像のサイズが大きい場合に用いるために、畳み込み演算で用いる対象の大きさが大きくなるようなフィルタ係数を生成し、ＬＵＴ１９０３に保持しておく。

本実施形態の画像処理装置１９００によれば、入力画像の符号化方式や画像サイズに応じて好適な画像処理を行うことができる。例えば、様々な符号化方式や画像サイズのものがインターネットによって配信される。入力されるデータの符号化方式や画像サイズが種々異なる場合であったとしても高画質な画像を得ることが出来る。

なお、本発明は、上記の実施形態に限定されず、その要旨を逸脱しない範囲で変更されうる。また、上述した各実施形態による画像処理装置で各処理ステップを実行するための画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。

また、各実施形態による画像処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

上述した各実施形態による画像処理装置で実行される画像処理プログラムは、上述した画像処理部１０２あるいは画像処理装置１９００の各部を含むモジュール構成となっており、実際のハードウェアとしては、それぞれ図示されないＣＰＵ（プロセッサ）が記憶媒体から画像処理プログラムを読み出して実行することにより、画像処理部１０２あるいは画像処理装置１９００の各部が図示されない主記憶装置上にロードされ、画像処理部１０２あるいは画像処理装置１９００の各部が主記憶装置上に生成されるようになっている。

Claims (10)

1. 入力画像の処理対象画素の周辺に位置する画素の画素値の勾配の方向及び大きさを用いて、前記処理対象画素周辺でのエッジの接線方向および法線方向のうち少なくとも一方を演算する演算部と、
   前記処理対象画素の周辺画素の座標を、前記エッジの接線方向または法線方向に従った座標軸に回転させた２次元の回転座標に変換する変換部と、
   前記処理対象画素の周辺での局所的な画素値の分布を、前記回転座標での位置を変数とする２次元の曲面モデルで近似した曲面を求め、前記曲面における前記処理対象画素の位置の画素値から、補正後の前記処理対象画素の画素値を求めるフィッティング部と、
   を備えることを特徴とする画像処理装置。
2. 前記処理対象画素の周辺の画素値の勾配の方向及び大きさを用いて、前記処理対象画素を予め定められた複数のクラスに分類し、前記複数のクラスに対応する曲面モデルを当該処理対象画素の曲面モデルとして選択する選択部を更に備え、
   前記フィッティング部は、前記選択部により選択された曲面モデルに従って前記曲面を求める
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記フィッティング部は、前記回転座標において、前記エッジの法線方向の座標軸上での変位を示す変数の自由度の方が、前記エッジの接線方向の座標軸上での変位を示す変数の自由度よりも高い前記曲面モデルを用いることを特徴とする請求項１に記載の画像処理装置。
4. 前記入力画像の周辺の画素に対して、前記処理対象画素からの距離に応じた重みを与える重み算出部を更に備え、
   前記フィッティング部は、前記入力画像の画素値に対して前記重みを乗じた画素値に基づいて近似した曲面を求めることを特徴とする請求項１に記載の画像処理装置。
5. 前記重み算出部は、前記処理対象画素の画素値との差が大きい画素値の画素程、小さな重みを与える
   ことを特徴とする請求項４に記載の画像処理装置。
6. 入力画像の処理対象画素の周辺に位置する画素の画素値の勾配の方向及び大きさを演算する演算部と、
   画像のエッジの接線方向または法線方向に従った方向の座標軸上での変位を変数とする２次元の曲面モデルであって、前記エッジの接線方向の座標軸上での変位を示す変数の自由度よりも前記エッジの法線方向の座標軸上での変位を示す変数の自由度の方が高い前記曲面モデルを用いて近似した曲面によって定まるフィルタ係数を、画素値の勾配の方向及び大きさの複数の組合せ毎に記憶する記憶部と、
   前記記憶部を参照し、前記処理対象画素について求めた勾配の方向及び大きさに基づいてフィルタ係数を選択する選択部と、
   選択された前記フィルタ係数によるフィルタリングによって補正後の前記処理対象画素の画素値を算出する畳み込み演算部と、
   を備えることを特徴とする画像処理装置。
7. 入力データを復号して入力画像を得る復号部をさらに備え、
   前記記憶部は、符号化方式毎にフィルタ係数を保持し、
   前記選択部は、前記入力データの符号化方式に応じて前記フィルタ係数を選択する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 入力データを復号して入力画像を得る復号部をさらに備え、
   前記記憶部は、画像のサイズ毎にフィルタ係数を保持し、
   前記選択部は、前記入力画像のサイズに応じて前記フィルタ係数を選択する
   ことを特徴とする請求項６に記載の画像処理装置。
9. 入力画像の処理対象画素の周辺に位置する画素の画素値の勾配の方向及び大きさを用いて、前記処理対象画素周辺でのエッジの接線方向および法線方向のうち少なくとも一方を演算する演算ステップと、
   前記処理対象画素の周辺画素の座標を、前記エッジの接線方向または法線方向に従った座標軸に回転させた２次元の回転座標に変換する変換ステップと、
   前記処理対象画素の周辺での局所的な画素値の分布を、前記回転座標での位置を変数とする２次元の曲面モデルで近似した曲面を求め、前記曲面における前記処理対象画素の位置の画素値から、補正後の前記処理対象画素の画素値を求めるフィッティングステップと、
   を備えることを特徴とする画像処理方法。
10. 請求項６に記載の画像処理装置と、
    画像を表示する表示部と、
    を更に備えたことを特徴とする画像表示装置。

Images