JP5478200B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、および画像処理プログラムに関するものである。

従来、静止画や動画の画像データ中のノイズを除去する画像処理方法として、バイラテラルフィルタを用いる方法が知られている（例えば、特許文献１参照）。バイラテラルフィルタは、エッジ保存フィルタの一種であり、画像のエッジを保存しつつノイズを除去して画像を平滑化するものである。

ここで、バイラテラルフィルタの出力値Ｆは、注目画素の位置をａ、ａの周辺画素の位置をｂ、入力画素値をｚ、空間領域の標準偏差をσ_ｘ、色空間領域の標準偏差をσ_ｄとすると、以下のように定義される。

特開２００６−１８０２６８号公報

しかしながら、バイラテラルフィルタを用いる画像処理方法は、上式に示されているように指数関数を含む演算を要する。このため、計算量が多くなって画像処理に時間がかかることが懸念される。

したがって、かかる点に鑑みてなされた本発明の目的は、バイラテラルフィルタを用いたノイズ除去と比較して、短時間で、元画像のエッジの鮮鋭度および形状を維持しつつ、ノイズを除去した出力画像が得られる画像処理装置、画像処理方法、および画像処理プログラムを提供することにある。

上記目的を達成する本発明に係る画像処理装置は、
入力画像データに基づいて各画素のエッジの方向を算出するエッジ方向算出部と、
前記エッジの方向に基づいて設定されたコンボリューション行列を記憶する記憶部と、
前記各画素の前記エッジの方向に対応する前記記憶部に記憶されているコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成する出力画像生成部と、を備え、
前記エッジ方向算出部は、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出することを特徴とするものである。

さらに、上記目的を達成する本発明に係る画像処理方法は、
入力画像データに基づいて各画素のエッジの方向を算出するステップと、
前記各画素の前記エッジの方向に対応する予め設定されたコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成するステップと、を含み、
前記エッジの方向を算出するステップは、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出することを特徴とするものである。

さらに、上記目的を達成する本発明に係る画像処理プログラムは、
画像処理装置として機能するコンピュータを、
入力画像データに基づいて各画素のエッジの方向を算出するエッジ方向算出部、
前記エッジの方向に基づいて設定されたコンボリューション行列を記憶する記憶部、
前記各画素の前記エッジの方向に対応する前記記憶部に記憶されているコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成する出力画像生成部、としてさらに機能させ、
前記エッジ方向算出部は、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出することを特徴とするものである。

本発明によれば、各画素のエッジの方向に基づいて予め設定されたコンボリューション行列を用いて当該画素の出力画素値を算出するので、バイラテラルフィルタを用いたノイズ除去と比較して、短時間で、元画像のエッジの鮮鋭度および形状を維持しつつ、ノイズを除去した出力画像を得ることができる。

本発明の一実施の形態に係る画像処理装置の要部の構成を示す機能ブロック図である。 図１に示した画像処理装置による画像処理の概略動作を示すフローチャートである。 図２に示したエッジ方向算出処理を説明するための図である。 図２に示した混合エッジ方向算出処理を説明するための図である。 図２に示した出力画像生成処理により出力画像を生成する際に、注目画素の近傍に設定する複数の補間点を示す図である。 図５に示した補間点における補間値算出例を説明するための図である。 図６の補間値算出例と等価なコンボリューション行列を示す図である。 図５に示した補間点ａの補間値を求める混合エッジ方向に基づくコンボリューション行列の一例を示す図である。 図５に示した補間点ｂの補間値を求める混合エッジ方向に基づくコンボリューション行列の一例を示す図である。 図５に示した補間点ｃの補間値を求める混合エッジ方向に基づくコンボリューション行列の一例を示す図である。 図５に示した補間点ｄの補間値を求める混合エッジ方向に基づくコンボリューション行列の一例を示す図である。 図８〜図１１に示した補間値算出用のコンボリューション行列から、出力画素値を算出する際に使用するコンボリューション行列を算出する２つの例を示す図である。 図１に示した記憶部に記憶する混合エッジ方向に応じたコンボリューション行列を示す図である。 図１に示した画像処理装置による出力画素値の算出例を示す図である。 図１に示した画像処理装置による処理画像とバイラテラルフィルタを用いた処理画像とを比較して示す図面代用写真である。

以下、本発明の好適実施の形態について、図を参照して説明する。

図１は、本発明の一実施の形態に係る画像処理装置の要部の構成を示す機能ブロック図である。本実施の形態に係る画像処理装置は、画像入力部１、エッジ方向算出部２、混合エッジ方向算出部３、記憶部４、および、出力画像生成部５を有する。画像入力部１は、フレームメモリ等の画像メモリを有し、外部の画像メモリやネットワーク等から写真やイラスト画像等の行列（マトリックス）に配列された複数の画素からなる入力画像データを取得する。

エッジ方向算出部２は、画像入力部１が取得した入力画像データに基づいて、各画素のエッジの方向を算出して、その結果を混合エッジ方向算出部３へ出力する。混合エッジ方向算出部３は、各画素（注目画素）について、エッジ方向算出部２からの当該画素のエッジの方向と、その周辺画素のエッジの方向とを混合した混合エッジ方向を算出して、その結果を出力画像生成部５へ出力する。

記憶部４は、出力画像生成部５において注目画素の出力画素値を算出する際に使用するコンボリューション行列を記憶する。この記憶部４に記憶されるコンボリューション行列は、後述するように、注目画素の近傍に設定された複数の点（補間点）の補間値（輝度値）を混合して平均化するもので、混合エッジ方向算出部３により算出される混合エッジ方向に応じて設定される。

そして、出力画像生成部５は、各画素（注目画素）について、記憶部４に記憶されている当該画素の混合エッジ方向に対応するコンボリューション行列を用いて出力画素値を算出し、その出力画素値に基づいて出力画像データを生成する。これにより、入力画像の解像度を倍化して、元の解像度にダウンサンプリングした出力画像データを生成する。この出力画像データは、図示しないフレームメモリ等に記憶されて表示等に供される。

図２は、図１に示した画像処理装置による画像処理の概略動作を示すフローチャートである。先ず、画像処理装置は、画像入力部１において、画像処理すべき画像データを画像メモリに格納する等の画像入力処理を行う（ステップＳ２０１）。

次に、画像処理装置は、画像入力部１が取得した入力画像データに基づいて、エッジ方向算出部２により各画素のエッジの方向を算出するエッジ方向算出処理を実行する（ステップＳ２０２）。その後、画像処理装置は、混合エッジ方向算出部３において、各画素（注目画素）について、ステップＳ２０２で算出したエッジの方向と、その周辺画素におけるエッジの方向とを混合して混合エッジ方向を算出する混合エッジ方向算出処理を実行する（ステップＳ２０３）。

次に、画像処理装置は、出力画像生成部５において、各画素（注目画素）について、記憶部４に記憶されている当該画素の混合エッジ方向に対応するコンボリューション行列を用いて出力画素値を算出し、その出力画素値に基づいて出力画像データを生成する出力画像生成処理を実行し（ステップＳ２０４）、その出力画素データを図示しないフレームメモリ等に記憶する。これにより、注目画素の近傍に設定された複数の点（補間点）を補間して解像度を倍化し、それらの補間点の輝度値を混合して元の解像度にダウンサンプリングした出力画像データを生成する。

次に、上記のエッジ方向算出処理、混合エッジ方向算出処理、記憶部４に記憶するコンボリューション行列および出力画像生成処理について、さらに詳細に説明する。

（エッジ方向算出処理）
図３は、エッジ方向算出処理を説明するための図である。図３に示すＸ軸、Ｙ軸、Ｚ軸は、それぞれ画像の水平軸、垂直軸、輝度値に対応している。入力画像データの画素ｘ，ｙにおける輝度値をｚ（ｘ，ｙ）としたとき、下記の４点Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３を３次元空間にプロットすると、図３に示すような平面となる。

図３において、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３は、同一平面上に存在するものとする。本実施の形態に係る画像処理装置においては、エッジ方向算出部２により、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の４点を通過する平面と、ＸＹ平面に平行な面とが交わる直線の傾きをエッジ方向として算出する。実際には、隣接する４点が同一平面上に存在しない場合もあるので、Ｐ_０，Ｐ_１，Ｐ_２，Ｐ_３の４点から主成分分析により新たに３つの直交軸を求め、最も寄与率の低い１次元を除いた２次元平面を、これらの４点が作る平面とする。

ここで、４点の分散共分散行列Ａは次のようになる。

これにより、３つの固有値を小さい順にλ_０，λ_１，λ_２とすると、λ_０≦１／４，λ_１＝１／４，λ_２≧１／４であることがわかる。λ_０は寄与率が最も低いため無視し、λ_１，λ_２に対応する固有ベクトルが作る面を求める。

ここで、λ_１＝λ_２のときの固有ベクトルＢは、下式を満たす。

したがって、この場合の固有ベクトルＢは、下式のようになる。なお、下式において、ｎは定数である。

上式において、固有ベクトルＢは、ｚ値が０であるＸＹ平面上のベクトルなので、ベクトルＢをエッジ方向とみなせる。これにより、画素（ｘ，ｙ）におけるエッジ方向ベクトルＧ（ｘ，ｙ）は、下式のように表される。

（混合エッジ方向算出処理）
図４（ａ）および（ｂ）は、混合エッジ方向算出処理を説明するための図である。上述したエッジ方向算出処理により算出されるエッジ方向は、隣接する４画素から決定された局所的なエッジ方向である。このため、エッジ方向がばらつき、そのばらつきにより出力画像にノイズが出る場合がある。そこで、混合エッジ方向算出処理により、局所的にエッジ方向を混合して、エッジ方向のばらつきを抑制し、出力画像のノイズを軽減する。

図４（ａ）は、画素（ｘ，ｙ）の周辺９画素における重み付きエッジ方向を示す図である。この重み付きエッジ方向は、下式で表される。

上式において、Ｗ(i)は、中央のｘ，ｙに近いほど混合比率を高くするために設けられた重み関数である。ここでは次の重み関数を用いる。

以上により求めた重み付きエッジ方向を主成分分析して、図４（ｂ）に示すように、最も寄与率の高い固有ベクトルＭを混合エッジ方向として算出する。なお、画素（ｘ，ｙ）と、その周辺画素とにおける重み付きエッジ方向はＧ′_０からＧ′_８までの９個であるが、エッジ方向に向きは存在せず、１８０度回転させてもよいので、−Ｇ′_０から−Ｇ′_８を加えた１８個のベクトルについて主成分分析を行う。この場合、１８個のベクトルの平均値は、（０，０）である。

この場合、分散共分散行列Ａは、次のようになる。

また、行列Ａの固有値をλとすると、

これにより、固有値を寄与率の低い順にλ_０，λ_１とすると、λ_１＝Ｓ_ＹＹ＋ｐ／１８＋（ｐ^２＋４ｑ^２）^１／２／１８である。したがって、λ_１に対応する固有ベクトルＭは、下式を満たす。

ただし、固有値の比λ_１／λ_０が小さくなればなるほど、エッジ方向ベクトルＧ′_０からＧ′_８までの偏りが少なくばらついていることを意味するため、λ_１／λ_０が閾値（≧1）以下であれば、
とする。

（記憶部４に記憶するコンボリューション行列および出力画像生成処理）
先ず、本実施の形態に係る画像処理装置による出力画像生成処理の原理について説明する。本実施の形態に係る画像処理装置は、注目画素の近傍に設定する複数の補間点を、図５に示すように、注目画素（ｉ，ｊ）から水平方向および垂直方向に±１／４画素離れた点ａ〜ｄの４点とする。すなわち、ａ＝（ｉ−１／４，ｊ−１／４），ｂ＝（ｉ−１／４，ｊ＋１／４），ｃ＝（ｉ＋１／４，ｊ−１／４）およびｄ＝（ｉ＋１／４，ｊ＋１／４）とする。そして、記憶部４に記憶された注目画素の混合エッジ方向に基づくコンボリューション行列を用いて演算することにより、各補間点における輝度値を混合して平均化した出力画素値を算出する。

すなわち、注目画素（ｉ，ｊ）の出力画素値をｇ（ｉ，ｊ）、４つの補間点ａ〜ｄにおける補間値をそれぞれ、ｆ（ｉ−１／４，ｊ−１／４），ｆ（ｉ−１／４，ｊ＋１／４），ｆ（ｉ＋１／４，ｊ−１／４）およびｆ（ｉ＋１／４，ｊ＋１／４）とすると、出力画素値ｇ（ｉ，ｊ）を次式により算出する。
ｇ(i,j)＝｛ｆ(i-1/4,j-1/4)＋ｆ(i-1/4,j+1/4)
＋ｆ(i+1/4,j-1/4)＋ｆ(i+1/4,j+1/4)｝／４

これにより、エッジを考慮した補間法により入力画像の解像度を水平方向および垂直方向に倍化し、それらの補間点の補間値を平均化してダウンサンプリングすることで、高周波成分の除去した元の解像度の出力画像データを生成する。ただし、注目画素（ｉ，ｊ）における混合エッジ方向が零ベクトルの場合は、注目画素（ｉ，ｊ）の周辺画素の例えば移動平均値を出力値ｇ（ｉ，ｊ）とする。

ここで、補間点ａの補間値ｆ（ａ）は、例えば、当該補間点ａを基点として対応する注目画素の混合エッジ方向に延ばした直線と、行または列との交点の値に基づいて、次式により算出することができる。

本実施の形態においては、重み関数Ｄは、簡単化のため次式を用いる。

また、ＶＸ（ｘ），ＶＹ（ｘ）も、単純化して、下記の最近隣内挿法により算出する（zは入力画素値）。
ＶＸ（ｘ）＝ｚ（round(x)）
ＶＹ（ｘ）＝ｚ（round(x)）

図６は、注目画素周辺の補間点における補間値算出例を説明するための図である。この例は、注目画素（ｉ，ｊ）に対して、ａ＝（ｉ−１／４，ｊ−１／４）の補間点の補間値を算出する。図６では、補間点ａから注目画素（ｉ，ｊ）の混合エッジ方向に伸ばした直線と、行および列との各交点ｈ_０（ａ），ｈ_１（ａ），ｖ_０（ａ），ｖ_１（ａ）を求めて、各点のround値（最近傍点）を求める。この場合、round（ｈ_０）＝（ｉ＋１，ｊ−１）、round（ｈ_１）＝round（ｖ_０）＝（ｉ−１，ｊ）、round（ｖ_１）＝（ｉ，ｊ）となる。したがって、補間値ｆ（ａ）は、次式に示すようになる。この補間値ｆ（ａ）は、図７に示す３×３のコンボリューション行列を適用したのと同じとなる。
ｆ（ａ）＝｛２ｚ（ｉ−１，ｊ）＋ｚ（ｉ，ｊ）＋ｚ（ｉ＋１，ｊ−１）｝／４

図８〜図１１は、それぞれ補間点ａ〜ｄの補間値を求める混合エッジ方向に基づくコンボリューション行列の一例を示す図である。なお、図８〜図１１に示すコンボリューション行列は、正規化していない。補間点ａ〜ｄにおいて、行および列との交点のround値が変わる境界に注目すると、それぞれ１１種類のコンボリューション行列となる。例えば、図８に示す補間点ａにおいて、混合エッジ方向の傾きが−５から−７／３までの場合、round（ｈ_０）＝（ｉ，ｊ−１）、round（ｈ_１）＝（ｉ，ｊ）、round（ｖ_１）＝（ｉ，ｊ−１）となり、ｖ_０はＤ（ｖ_０，ａ）＝０なので無視すると、３×３のコンボリューション行列は、中央が重み「１」、中央下が重み「２」となる。

そして、注目画素の混合エッジ方向に基づく補間点ａ〜ｄの補間値を求めるコンボリューション行列を平均化して、出力画素値ｇ（ｉ，ｊ）を算出するコンボリューション行列を求める。例えば、図８〜図１１において、混合エッジ方向の傾きが「２」の場合の出力画素値ｇ（ｉ，ｊ）を算出するコンボリューション行列は、図１２（ａ）に示すように求められる。また、混合エッジ方向の傾きが「−４／５」の場合の出力画素値ｇ（ｉ，ｊ）を算出するコンボリューション行列は、図１２（ｂ）に示すようにして求められる。

これにより、注目画素の近傍に設定された４点のそれぞれを基点として、注目画素の混合エッジ方向に延ばした直線と、入力画像データの画素を行毎または列毎に結ぶ直線との交点近傍の画素の重みが大きくなるように設定されたコンボリューション行列が得られる。本実施の形態に係る画像処理装置は、このようにして求められる出力画素値ｇ（ｉ，ｊ）を算出する混合エッジ方向に応じたコンボリューション行列を、記憶部４に予め記憶しておく。

図１３は、記憶部４に記憶する混合エッジ方向に応じたコンボリューション行列を示す図である。ただし、図１３において、コンボリューション行列は、正規化していない。図１３に示すように、出力画素値ｇ（ｉ，ｊ）を算出する際に使用するコンボリューション行列は、２２種類の混合エッジ方向（傾き）に対応して記憶部４に記憶される。なお、図１３に示すコンボリューション行列は、フィルタの強度を制御するため中央の重みを変更したり、鮮鋭度を向上させるためにアンシャープマスクフィルタと組み合わせたりして調整してもよい。

そして、出力画像生成部５は、各画素（注目画素）について、記憶部４に記憶されている当該画素の混合エッジ方向に対応するコンボリューション行列を用いて出力画素値ｇ（ｉ，ｊ）を算出し、その出力画素値に基づいて出力画像データを生成する。

図１４（ａ）〜（ｃ）は、本実施の形態に係る画像処理装置による出力画素値の算出例を示す図である。図１４（ａ）は、注目画素を中心とする３×３の入力画像の各画素値を示し、図１４（ｂ）および（ｃ）の右側は、注目画素の混合エッジ方向の傾きが「１．１」の場合の算出例を示し、図１４（ｂ）および（ｃ）の左側は、注目画素の混合エッジ方向の傾きが不定の場合の算出例を示す。

図１において、混合エッジ方向算出部３により、図１４（ａ）に示す画素値「１２０」の注目画素の混合エッジ方向の傾きが「１．１」と算出された場合、出力画像生成部５は、記憶部４に記憶されている図１４（ｂ）の右側に示す混合エッジ方向に対応するコンボリューション行列を読み出して、注目画素の出力画素値を算出する。この場合、注目画素の出力画素値は、図１４（ｃ）の右側に示すように「９３」となる。

これに対し、混合エッジ方向算出部３により、注目画素の混合エッジ方向が不定（エッジ強度が閾値以下）と判定された場合、出力画像生成部５は、移動平均フィルタ、すなわち図１４（ｂ）の左側に示す全ての値が等しいコンボリューション行列を適用して、注目画素の出力画素値を算出する。この場合、注目画素の出力画素値は、図１４（ｃ）の左側に示すように「６４」となる。

このように、本実施の形態に係る画像処理装置は、記憶部４に予め記憶されているコンボリューション行列を用いて注目画素の出力画素値を算出するので、バイラテラルフィルタを用いてノイズを除去する場合と比較して、短時間で出力画像を得ることができる。したがって、バッテリを電源とする携帯機器においては、バッテリの使用時間を長くできる。しかも、記憶部４には、注目画素の混合エッジ方向に基づいて設定されたコンボリューション行列が記憶されており、出力画像生成部５は、混合エッジ方向算出部３により算出された注目画素の混合エッジ方向に対応するコンボリューション行列を記憶部４から読み出して、当該注目画素の出力画素値を算出する。これにより、エッジを考慮した補間法により解像度を倍化してエッジ成分の保存を図り、その解像度が倍化された画像の補間値を混合してダウンサンプリングして解像度を元に戻すことで高周波成分の除去を図ることができる。したがって、画像（エッジ）の鮮鋭度および画像の印象（形状）を保持しながら、ノイズを除去することができる。

図１５（ａ）〜（ｃ）は、本実施の形態に係る画像処理装置による処理画像とバイラテラルフィルタを用いた処理画像とを比較して示す図面代用写真である。図１５（ａ）は元画像を示し、図１５（ｂ）は本実施の形態に係る画像処理装置による処理画像を示し、図１５（ｃ）はバイラテラルフィルタを用いた処理画像を示す。図１５（ｂ），（ｃ）の比較から明らかなように、本実施の形態に係る画像処理装置によれば、バイラテラルフィルタを用いた場合よりも、エッジの鮮鋭度および形状を保ちつつノイズが除去された出力画像が得られることがわかる。

なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変形または変更が可能である。例えば、図１に示した構成において混合エッジ方向算出部３を省略し、エッジ方向算出部２により算出される各画素のエッジ方向を用いて、同様にして出力画素値を算出することもできる。この場合、記憶部４には、好ましくは、注目画素の近傍に設定された各補間点を基点として、当該注目画素のエッジ方向に延ばした直線と、入力画像データの画素を行毎または列毎に結ぶ直線との交点近傍の画素の重みが大きくなるように設定されたコンボリューション行列を記憶する。

また、各画素の近傍の補間点は、４点に限らず、任意の複数点とすることができるとともに、補間点の注目画素からの距離も、水平方向および垂直方向に±１／４画素離れた点に限らず、任意に設定することができる。さらに、記憶部４に記憶する出力画素値を算出する際のコンボリューション行列は、３×３に限らず、５×５等にすることもできる。

また、図１に示した画像処理装置は、コンピュータを含んで構成して、該コンピュータに、上述した画像入力部１、エッジ方向算出部２、混合エッジ方向算出部３、記憶部４、および、出力画像生成部５の機能を、画像処理プログラムによって実現させることもできる。

１ 画像入力部
２ エッジ方向算出部
３ 混合エッジ方向算出部
４ 記憶部
５ 出力画像生成部

Claims (3)

1. 入力画像データに基づいて各画素のエッジの方向を算出するエッジ方向算出部と、
   前記エッジの方向に基づいて設定されたコンボリューション行列を記憶する記憶部と、
   前記各画素の前記エッジの方向に対応する前記記憶部に記憶されているコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成する出力画像生成部と、を備え、
   前記エッジ方向算出部は、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出することを特徴とする画像処理装置。
2. 画像処理装置による画像処理方法であって、
   入力画像データに基づいて各画素のエッジの方向を算出するステップと、
   前記各画素の前記エッジの方向に対応する予め設定されたコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成するステップと、を含み、
   前記エッジの方向を算出するステップは、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出することを特徴とする画像処理方法。
3. 画像処理装置として機能するコンピュータを、
   入力画像データに基づいて各画素のエッジの方向を算出するエッジ方向算出部、
   前記エッジの方向に基づいて設定されたコンボリューション行列を記憶する記憶部、
   前記各画素の前記エッジの方向に対応する前記記憶部に記憶されているコンボリューション行列を用いて当該画素の出力画素値を算出し、該出力画素値に基づいて出力画像データを生成する出力画像生成部、としてさらに機能させ、
   前記エッジ方向算出部は、各画素およびその近傍の複数の画素のそれぞれの輝度値に基づく平面と、画像の水平軸および垂直軸からなる平面とが交わる直線の傾きをエッジ方向として算出する画像処理プログラム。