JP6952226B2 - 画像処理装置、カメラ、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、カメラ、画像処理方法およびプログラムに関する。

エッジ等の画像の特徴を保存しつつ、ノイズ低減処理を行うため、様々なフィルター処理の方法が提案されている（特許文献１参照）。従来の方法では、選択比較画素の数を減らすものであるため効果は限定的であった。

特開２０１０−１５３９６９号

本発明の第１の態様によると、画像処理装置は、複数の画素からなる画像データを入力する入力部と、前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成する生成部と、前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出する算出部と、前記類似度に基づいて前記第１画素の画素値を補正する補正部と、を備える。
本発明の第２の態様によると、カメラは、第１の態様の画像処理装置を搭載する。
本発明の第３の態様によると、画像処理方法は、複数の画素からなる画像データを入力するステップと、前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成するステップと、前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出するステップと、前記類似度に基づいて前記第１画素の画素値を補正するステップと、を備える。
本発明の第４の態様によると、プログラムは、複数の画素からなる画像データを入力する入力処理と、前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成する生成処理と、前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出する算出処理と、前記類似度に基づいて前記第１画素の画素値を補正する補正処理と、をコンピュータに実行させるものである。

一実施形態の画像処理装置を含むカメラの概念図である。 一実施形態の画像処理装置における画像処理を説明するための図である。 一実施形態の画像処理装置における画像処理を説明するための図である。 一実施形態の画像処理装置のテンプレートマッチングの方法を説明するための図である。 一実施形態の画像処理装置のパラメタの計算方法の一例を示す概念図である。 一実施形態の画像処理装置におけるノイズ除去処理の流れを示すフローチャートである。 一実施形態の画像処理装置におけるプログラムを説明するための概念図である。

以下では、適宜図面を参照しながら、一実施形態の画像処理装置、カメラ、プログラムおよび画像処理方法等について説明する。本実施形態の画像処理装置は、カメラに内蔵され、カメラで撮像された画像を処理するものとして構成されるが、入力された画像データに後述のテンプレートマッチングを行うものであれば、特に限定されず様々な装置と組み合わせて用いることができる。

図１は、本実施形態の画像処理装置１００を備えるカメラ１の構成を示したブロック図である。図１中の矢印は、被写体からの光に関する情報の流れを概念的に示す。カメラ１は、光学系７と、撮像素子８と、入力部９と、処理部１０と、記憶部２０とを備える。処理部１０は、画像変換部１１と、関数生成部１３と、類似度算出部１４と、画素値補正部１５と、を備える。入力部９、処理部１０、記憶部２０は画像処理装置１００を構成する。関数生成部１３および類似度算出部１４は、マッチング演算部１２を構成する。

光学系７は、レンズ等の光学素子により構成され、被写体からの光を撮像素子８の撮像面に結像させる。光学系７は、不図示の絞り、フォーカシングレンズおよびズームレンズ等を含んで構成することができる。撮像素子８は、ＣＭＯＳイメージセンサを備え、光学系７を通った光を撮像素子８の撮像面に配置された光電変換素子により光電変換し、光電変換した信号をＡ／Ｄ変換した画像データを制御部１０に出力する。
なお、処理部１０の演算処理の一部は、撮像素子８に搭載された処理回路において行うこともできる。また、撮像素子８は、ＣＣＤ等の任意のイメージセンサを用いて適宜構成することができる。

入力部９は、入出力端子等のインターフェースにより構成され、撮像素子８からの画像データを受け付け、処理部１０の画像変換部１１に出力する。
以下では、画像データを適宜「画像」等と呼び、説明をわかりやすくするため、必要に応じて画像データにより構築される画像に基づいて説明する。

処理部１０は、ＣＰＵおよびその周辺回路等により構成され、入力された画像に対して画像処理を行う。画像変換部１１は、入力された画像に対し色補間処理を行って各画素位置にＲ（赤）Ｇ（緑）Ｂ（青）成分による画素値を生成し、適宜ＲＧＢ成分による画素値からＹ（輝度）ＣｂＣｒ（色差）成分等による画素値に変換する。また、画像変換部１１は必要に応じて、階調変換処理等の公知の画像変換処理を行い、得られた画像データを関数生成部１３に出力する。関数生成部１３は、画素値のＹ成分について以下のノイズ除去処理を行う。処理部１０は、色差成分に関しては、ガウシアンフィルタを用いたフィルタ処理によりノイズを除去する。
なお、上記の画像変換部１１が行う処理が予め行われた画像データが入力部９に入力され、関数生成部１３に入力される構成にしてもよい。また、色差成分についても、以下で説明される本実施形態のノイズ除去処理を行ってもよい。この場合、後述の二乗和全体にかかる定数ｈを、輝度成分についてノイズ除去処理を行う場合より、小さくすることが好ましい。入力画像５の画素値の成分の特性に応じて、画像構造を保存しながらノイズ除去を行うことができる。

関数生成部１３は、後に詳述するように、画像変換部１１から入力された入力画像のそれぞれの画素に対し、単項式または多項式で代数的に記述され得る関数（以下、局所関数と呼ぶ）を生成する。関数生成部１３は、例えば局所関数の一次の項の係数等の、局所関数を規定するパラメタを算出し、入力画像と共に類似度算出部１４に出力する。
なお、局所関数に関しては、本実施形態の概念を利用した計算処理が実質的になされていればよい。

類似度算出部１４は、後に詳述するように、関数生成部１３が生成した局所関数に基づいてテンプレートマッチングを行い、入力画像に含まれる２つの画素間の類似度を算出する。入力画像と、算出された画素間の類似度とは、画素値補正部１５に出力される。

画素値補正部１５は、後に詳述するように、類似度算出部１４から入力された類似度に基づいて、入力画像のそれぞれの画素（後述の注目画素５１）の近傍の所定の範囲（後述の探索領域７１）にある全画素の画素値の重み付き和を当該注目画素５１の補正後の値として設定する。画素値補正部１５は、入力画像を補正した後の画像を適宜圧縮等し、記憶部２０に出力する。
なお、画素値補正部１５による補正は、必ずしも入力画像の画像データを書き換える必要は無く、補正後の画像が出力されればよい。

記憶部２０は、不揮発性のメモリまたは外部記憶媒体等により構成され、画素値補正部１５で補正した画像を記憶する。

（ノイズ除去処理）
本実施形態におけるノイズ除去処理を以下に説明する。本実施形態のノイズ除去処理では、公知のＮＬ（Ｎｏｎ Ｌｏｃａｌ）−ｍｅａｎｓ法に基づいて、テンプレートマッチングを上述の局所関数を用いて行う方法とするが、テンプレートマッチングを含む演算処理であれば、ＮＬ−ｍｅａｎｓ法に限らず適用することが可能である。

図２は、局所関数の算出の際の抽出領域を説明するための図である。図２中には、入力画像５の各画素５０が二次元に配置されている。画像変換部１１から入力画像５が入力されると、関数生成部１３は、入力画像５の各画素５０に対し、抽出領域７０を設定する。抽出領域７０は、局所関数の算出のための画素値が抽出される画素を示す領域である。本実施形態では、図２中の画素５０ａの抽出領域７０のように、各画素に対する抽出領域７０を、当該各画素（以下、対応画素５０ａと呼ぶ）を中心とした３×３の範囲の画素からなる領域とする。

抽出領域７０は、抽出領域７０に含まれる画素の数および位置を任意に設定することができる。例えば、抽出領域７０は、対応画素５０ａを中心とした５×５、７×７または９×９の正方形の範囲の領域とすることができる。抽出領域７０がより少ない数の近傍の画素から構成されていると、局所関数は対応画素５０ａの近傍のより狭い範囲の画素値に基づいて算出されるため、局所関数は対応画素５０ａの近傍のディテールを反映したものとなる。抽出領域７０がより多い数の画素から構成されていると、熱ノイズ等に強くなり、また、より大きいスケールの画素値の傾向を反映したものとなる。

図２中の実線矢印で示されるように、図２中の横方向にｘ軸を、縦方向にｙ軸をとっており、各画素５０の位置は、例えば画素５０の中心を示すｘとｙとの値の組により示される。関数生成部１３は、設定された抽出領域７０に含まれる画素について、座標位置と画素値とを取得し、最小二乗法により局所関数を生成する。本実施形態では、局所関数ｆはｆ＝ａｘ＋ｂｙ＋ｃで規定される、平面を表す一次の多項式で定義される。

なお、局所関数ｆは任意の関数形に設定することができるが、例えば、ｘおよびｙのべき乗に関する単項式、多項式であると、後述するように計算量を著しく削減することができるため好ましい。例えば、局所関数ｆはｘおよびｙの二次式により示される二次の曲面にすることができる。

最小二乗法による局所関数の導出は、公知の方法を用いる。簡潔に説明すると、座標（ｘｉ，ｙｉ）で示される抽出領域７０内の画素５０の画素値Ｉ（ｘｉ，ｙｉ）に対し、値ｆ（ｘｉ，ｙｉ）−Ｉ（ｘｉ，ｙｉ）のｉに関する二乗和Ｓが最小となるように、二乗和Ｓのａ，ｂ，ｃそれぞれに関する偏微分が０となるようなａ，ｂ，ｃの値を算出する。

関数生成部１３は、入力画像５の全ての画素５０に対し、当該画素についての局所関数を規定する係数ａ，ｂ，ｃを算出したら、全ての画素５０についての係数ａ，ｂ，ｃの値と、入力画像５とを類似度算出部１４に出力する。このように、本実施形態において「関数を生成する」とは、例えば、係数を算出することに相当する。

図３は、類似度の算出における注目画素５１と比較画素５２との定義を示した図である。本実施形態では、入力画像５において、ある画素の補正後の画素値を算出するステップにおいて、当該補正後の画素値を算出する対象となっている画素を注目画素５１と呼ぶ。類似度算出部１４は、注目画素５１の近傍に所定の範囲の領域（以下では、探索領域６１と呼ぶ）を設定する。探索領域６１に含まれる画素を参照画素５２と呼ぶ。注目画素５１の中心座標を（ｘ＿０，ｙ＿０）とし、参照画素５２の中心座標を（ｘ＿ｉ，ｙ＿ｉ）とし、ｉは１から参照画素数ｎまでの値をとる。

類似度算出部１４は、参照画素５２のそれぞれについて注目画素５１との類似度を算出する。図３では、注目画素５１を中心とした５×５の探索領域６１が設定されている。探索領域６１の位置、範囲は適宜設定することができ、例えば入力画像５の全体に設定することもできる。探索領域６１の範囲を広くとると、入力画像５の広い範囲からパターンを抽出することができる。探索領域６１の範囲を狭くとると、注目画素６１の近傍で似たパターンが存在する場合に、計算量を抑え効率的に精度の高いノイズ除去処理を行うことができる。探索領域６１は、注目画素５１を中心として５×５、７×７、９×９等に配置された画素を含んだ正方形の領域に設定することができる。

類似度算出部１４は、テンプレートマッチングにより注目画素５１と参照画素５２との類似度を算出する。類似度算出部１４は、注目画素５１の近傍の所定の範囲に注目画素領域７１を設定し、参照画素５２の近傍の所定の範囲に参照画素領域７２を設定する。注目画素領域７１と参照画素領域７２とのそれぞれに含まれる画素５０の数は、同一とする。本実施形態では、注目画素領域７１および参照画素領域７２は、それぞれ注目画素５１および参照画素５２を中心とした３×３の領域に設定される。注目画素領域７１の位置、範囲は、適宜設定することができるが、注目画素５１を含んだ領域を設定することが好ましい。参照画素領域７２の位置、範囲は、適宜設定することができるが、参照画素５２を含んだ領域を設定することが好ましい。

以下で説明されるように、公知のＮＬ−ｍｅａｎｓ法等で利用される方法と異なり、本実施形態ではテンプレートマッチングにおいて、注目画素領域７１と参照画素領域７２とのそれぞれの対応画素間の差分を計算する必要が無い。従って、注目画素領域７１および参照画素領域７２に含まれる画素の数が増えても、注目画素領域７１と参照画素領域７２との形状が複雑になったり等しなければ特に計算量が増大するわけではない。注目画素領域７１および参照画素領域７２は、それぞれ注目画素５１、参照画素５２を中心とした５×５、７×７、９×９等で配置された画素を含む正方形の領域として設定することができる。注目画素領域７１および参照画素領域７２は、上述の抽出領域７０と同じ範囲に設定してもよい。これにより、局所関数の算出のための元データを得た範囲と、テンプレートマッチングをする領域とが等しくなるため、テンプレートマッチングがより元データを反映したものとなる。

図４は、本実施形態におけるテンプレートマッチングの概念図である。図をわかりやすくするため、ｙ軸を図４下部の実線矢印で示した方向にとった。本実施形態では、局所関数がｘ、ｙに関する１次の式で示され、テンプレートマッチングは注目画素領域７１と、参照画素領域７２とのそれぞれの画素値を局所関数で示される平面で近似した近似面８１および８２のマッチングにより行われる。

本実施形態では、注目画素領域７１と参照画素領域７２との類似度を、参照画素領域７２に定義された局所関数ｆ（ｘ＿ｉ，ｙ＿ｉ）と、注目画素領域７２に定義された局所関数ｆ（ｘ＿０，ｙ＿０）との各画素位置に対応した値での差分の二乗和Ｓｆに基づいて算出する。ここでのｆ（ｘ＿ｉ，ｙ＿ｉ）は、段落００２０でのｆ（ｘｉ，ｙｉ）とは意味が異なるので注意されたい。局所関数は注目画素５１および参照画素５２のそれぞれについて定義される。注目画素５１と参照画素５２との類似度Ｒは、二乗和Ｓｆを所定の定数ｈ、抽出画素領域７１および参照画素領域７２の画素数Ｎと組み合わせて、二乗和Ｓｆを類似度が０から１までのいずれかの値になるよう自然対数のべき乗の形で表し、以下の（式１）に示される。

…（式１）
ここで、注目画素５１の中心座標（ｘ＿０，ｙ＿０）と参照画素５２の中心座標（ｘ＿ｉ，ｙ＿ｉ）とは、それぞれｘ＿０、ｘ＿ｉに矢印をつけた形でベクトルで示した。注目画素５１についての局所関数ｆ（ｘ＿０，ｙ＿０）は、以下のように示される。

…（式２）
ここで、二乗和をとる領域Ｄに関しては、注目画像領域７１と参照画像領域７２とで、両領域内の相対的に同じ位置の画素に対応する局所関数の値の差分を実行する。つまり、局所座標ｘ−ｘ０とｘ−ｘｉとが等しい点同士の差分をとることになるから、以下の（式３）のように（式１）の右辺が展開される。

…（式３）
ここで、Ａは、注目画素領域７１と参照画素領域７２とを原点を中心として局所座標で表した領域Ｄで計算される、以下の（式４）で示された定数となる。

…（式４）

図５は、（式４）に示された定数Ａの算出の概念図である。定数Ａは、ｘ方向またはｙ方向での領域Ｄの二乗和で示される。図５（ａ）のように、領域Ｄが３×３の場合は、対応する画素５０に関し、左列が−１の２乗である１が並び、真ん中の列が０の２乗である０が並び、右列が１の２乗である１が並ぶ。これらの和を領域Ｄの画素数Ｎ＝９で割るから、Ａ＝１×６／９＝２／３となる。図５（ｂ）のように、領域Ｄが５×５の場合は、対応する画素５０に関し、最左列が−２の２乗である４が並び、最左列の右隣の列が−１の２乗である１が並び、真ん中の列が０の２乗である０が並び、真ん中の列の右隣の列が１の２乗である１が並び、最右列が２の２乗である４が並ぶ。これらの和を領域Ｄの画素数Ｎ＝２５で割るから、Ａ＝（４×１０＋１×１０）／２５＝２となる。
定数Ａは、注目画素領域７１および参照画素領域７２の形状により決まるため、例えば、入力画像５の全体で注目画素領域７１と参照画素領域７２が固定されていれば、一度算出するだけでよく、計算量は、きわめて小さいものとなる。また、実際には、上記で計算した値をふまえて、自由にＡの値を直接変えることによりノイズ除去処理のパラメタを調節できる。

（式３）に戻ると、注目画素５１と参照画素５２との類似度は、注目画素５１についての局所関数の係数と、参照画素５２についての局所関数の係数との差分により算出されることがわかる。定数Ａについての計算量はきわめて小さいため、局所関数をもちいた本実施形態における方法では、公知のテンプレートマッチングのように注目画素領域７１と参照画素領域７２との画素間の差をとるよりも、計算量が著しく低減されることがわかる。

以下に、本実施形態によるノイズ除去方法と公知のノイズ除去方法との計算量について比較する。公知のバイラテラルフィルタでは、エッジの保存のため、画素値の差（Ｒｉ−Ｒｏ）の二乗和に基づいて、以下の（式５）で示される重みを、画素間で算出する。

…（式５）
ここで、σは定数である。バイラテラルフィルタでは、テンプレートマッチングを行わないため、画像中の似たパターンを利用して画素値を置き換えることができず、ノイズにも弱い。

また、公知のＮＬ−ｍｅａｎｓ法では、テンプレートマッチングによりノイズを抑えられる一方、以下の（式６）で示される重みを算出する際に画素間の二乗和を求めるため、計算量が膨大になってしまうという欠点があった。

…（式６）
ここで、ｈは定数、Ｎはテンプレートの領域Ｄに含まれる画素数であり、Ｒ_ｘｉおよびＲ_ｘｏは、注目画素および参照画素に相当する。Σで示される二乗和は、テンプレートの対応する画素間で二乗和をとることを意味している。σ_idealはホワイトノイズの分散であり、ノイズに相当する分を予め取り除くための項である。

（式３）と（式５）および（式６）とを比較すると、本実施形態のノイズ除去方法では、テンプレートマッチングを利用し、画像構造を保存しながらノイズを低減することができる一方、計算量は（式５）で示されるバイラテラルフィルタの計算量の高々３倍程度に抑えることができる。また、本実施形態のノイズ除去方法では、局所平面近似を用いるため、ホワイトノイズの除去に対応する項が必要ないため、計算を簡略化できる。

類似度算出部１４は、注目画素５１と、当該注目画素についての探索領域７１の全ての参照画素５２との類似度を算出したら、算出した類似度を画素値補正部１５に出力する。画素値補正部１５は、各参照画素５２についての類似度を、当該注目画素５１についての探索領域７１の全ての参照画素５２の類似度を足し合わせた和で割ることにより規格化する。画素値補正部１５は、規格化された各参照画素５２についての類似度と、各参照画素５２の画素値との積を全ての参照画素５２について足し合わせた値を当該注目画素５１の補正後の画素値として設定する。

画素値補正部１５は、全ての画素５０について補正後の画素値を算出したら、得られた補正後の画像データに適宜圧縮等の画像変換を加えて記憶部２０に出力する。
なお、類似度算出部１５は、入力画像５全体の、ノイズ除去処理に必要な２つの画素のペアの類似度を全て算出した後、算出した全ての画素のペアの類似度を画素値補正部１５に出力する構成にしてもよい。

（フローチャートの説明）
図６は、本実施形態のノイズ除去処理の流れを示すフローチャートである。ステップＳ１００１において、入力画像５の画像データが画像変換部１１に入力される。ステップＳ１００１の後は、ステップＳ１００３に進む。ステップＳ１００３において、画像変換部１１は、入力画像５の画像データにＲＧＢでの表現からＹＣｂＣｒでの表現への変換等、所定の画像処理を施す。ステップＳ１００３の後は、ステップＳ１００５に進む。

ステップＳ１００５において、関数生成部１３は、入力画像５の各画素について、当該画素に対応する抽出領域７０に含まれる画素５０の画素値から局所関数を生成する。ステップＳ１００５の後は、ステップＳ１００７に進む。ステップＳ１００７において、類似度算出部１４は、入力画像５の一つの画素を注目画素５１として、対応する探索領域７１に含まれる全ての参照画素５２に対し、注目画素５１との類似度を算出する。ステップＳ１００７の後は、ステップＳ１００９に進む。

ステップＳ１００９において、画素値補正部１５は、探索領域６１に含まれる全ての参照画素５２の画素値を、その参照画素５２に対応する類似度で重み付けして加算した和を、補正後の注目画素５１の画素値に設定する。ステップＳ１００９の後は、ステップＳ１０１１に進む。ステップＳ１０１１において、処理部１０は、入力画像５の全ての画素５０について補正後の画素値を算出したか否かを判定し、算出し終えていればステップＳ１０１１を肯定判定し、ステップＳ１０１３に進み、算出し終えていなければステップＳ１０１１を否定判定し、ステップＳ１００７に戻る。

ステップＳ１０１３において、画素値補正部１５は、補正後の画像データに圧縮等の画像変換を適宜加え、記憶部１５に出力し、記憶部１５は当該画像データを記憶する。

上述の実施の形態によれば、次の作用効果が得られる。
（１）本実施形態の画像処理装置１００は、画素５０のうち注目画素５１を含む複数の画素５０による注目画素領域７１に定義された局所関数を注目画素領域７１の画素値から生成し、注目画素５１を含まない複数の画素５０による参照画素領域７２に定義された局所関数を参照画素領域７２の画素値から生成し、注目画素５１に関する局所関数と参照画素５２に関する局所関数との類似度を算出するマッチング演算部１２と、算出された類似度により注目画素５１の画素値を補正する画素値補正部１５と、を備える。これにより、バイラテラルフィルターよりも強力なノイズ除去力、高い画像構造保存性を持った、ノイズ除去処理を、バイラテラルフィルターと同等の計算量で実現することができる。

（２）本実施形態の画像処理装置１００において、注目画素領域７１と参照画素領域７２とは、同数の画素により構成される。これにより、適切にテンプレートマッチングを行うことができる。

（３）本実施形態の画像処理装置１００において、参照画素領域７２は、注目画素５１を含む複数の画素５０による探索領域６１に含まれるそれぞれの参照画素５２について設定される。これにより、適切にテンプレートマッチングを行うことができる。

（４）本実施形態の画像処理装置１００において、探索領域６１は、注目画素領域７１よりも広く設定される。これにより、探索領域６１の内部において、注目画素領域７１と参照画素領域７２とに含まれる画素の重複を少なくすることができる。

（５）本実施形態の画像処理装置１００において、注目画素５１についての局所関数および参照画素５２についての局所関数は、単項式または多項式で表され、マッチング演算部１２は、単項式または多項式の係数の差分に基づいて類似度を算出する。これにより、テンプレートマッチングにおいて画素間の画素値の差分を直接計算することがないため、ノイズ除去処理の計算量を大幅に低減できる。

（６）本実施形態の画像処理装置１００において、注目画素５１についての局所関数および参照画素５２についての局所関数は、３つの係数で規定される一次の式で表される。これにより、局所平面近似を用いて、バイラテラルフィルターの計算量の高々３倍程度の計算量で、画像構造保存性が高くノイズ除去力の高いノイズ除去処理を実現できる。

（７）本実施形態の画像処理装置１００において、注目画素５１についての局所関数および参照画素５２についての局所関数は、それぞれ２次以上の係数を含むことができる。これにより、入力画像５の画素値を適切な関数で近似して、テンプレートマッチングをより正確なものにすることができる。

（８）本実施形態の画像処理装置１００は、入力画像５の画素位置ごとに近似面８１，８２を生成する関数生成部１３と、入力画像５の注目画素５１の位置の近似面８１と、注目画素５１以外の他の画素５２の位置の近似面８２との間の類似度を算出する類似度算出部１３を備える。これにより、局所平面近似を用いて、バイラテラルフィルターの計算量の高々３倍程度の計算量で、画像構造保存性が高くノイズ除去力の高いノイズ除去処理を実現できる。

次のような変形も本発明の範囲内であり、上述の実施形態と組み合わせることが可能である。
（変形例１）
上述の実施形態では、（式３）および（式４）で示される数式により、注目画素５１についての局所関数と参照画素５２についての局所関数との離散的な差分の二乗和を類似度として算出した。しかし、以下の（式７）および（式８）で示される数式により、注目画素５１についての局所関数において、注目画素５１から離れた点、また、参照画素５２についての局所関数においては、参照画素５２から離れた点に関しては、類似度を算出する際に重み付けを軽くすることができる。ここで、重み付け関数Ｗ（ｘ）は、局所座標の内部での、重み付けを調節するための関数であり、例えば原点を中心としたガウシアンで示される。

…（式７）

…（式８）
上述の（式４）と同様、この場合でも、類似度に現れる定数Ｂは、注目画素領域７１と参照画素領域７２とが同じ形状である限り、一度算出すればよいのみなので、計算量はきわめて少ない。また、特に重み付け関数Ｗ（ｘ）が標準偏差σのガウシアンの場合、Ｂは連続極限では積分により値を求めることができ、Ｂ＝σ^２となる。このことから、Ｂを連続的に変化させることは、テンプレートマッチングにおいて、テンプレートの内部の重み付けを連続的に変化させることに対応する。概念的には、Ｂを変化させることは、テンプレートのサイズを変化させることでもある。計算量を変化させず、テンプレートを大きくすることができるのは、本実施形態のノイズ除去処理の利点であるが、あまりＢの値を大きくし過ぎると、局所的な構造に基づいてフィルタ処理を行う趣旨が没却されるため、望ましくない。

重み付け関数Ｗ（ｘ）をガウシアン等の原点からの距離に依存した関数とすると、本変形例の画像処理装置１００では、注目画素５１と、前記参照画素５２との距離に基づいて、参照画素５２に対応する類似度を重み付けすることができる。これにより、入力画像５の画像構造等の特性にあったテンプレートの大きさで、ノイズ除去処理をおこなうことができる。

（変形例２）
上述の実施形態において、注目画素５１の入力画像５の中での位置または画像構造に基づいて、注目画素領域７１と参照画素領域７２との大きさまたは形状を変えてもよい。本実施形態のノイズ除去処理では、注目画素５１の入力画像５の中での位置に基づいて定数Ａの値を変化させることにより、容易に注目画素領域７１と参照画素領域７２との大きさを変えることができる。これにより、入力画像５のそれぞれの部分の画像構造の特性に応じて、画像構造を保存しながらノイズ除去を行うことができる。

（変形例３）
上述の実施形態において、注目画素５１の入力画像５の中での位置または画像構造に基づいて、（式３）の二乗和全体にかかる重みｈを変化させてもよい。例えば空のような、画素値の変化の小さい画像部分に対応する注目画素５１はｈを小さくし、細かい構造のような画素値の変化の大きい画像部分ではｈを大きくすると好ましい。これにより、入力画像５のそれぞれの部分の画像構造の特性に応じて、画像構造を保存しながらノイズ除去を行うことができる。

（変形例４）
上述の実施形態において、画像変換部１１は、入力画像５を多重解像度解析の方法を用いて、複数の分解画像データに分解し、その一部または全部の分解画像データに対し、上述のノイズ除去処理を行うことができる。これにより、多重解像度解析を利用して、より効率的に、特定の周波数等の特徴を持った画像データに対してノイズ除去処理を行うことができる。

（変形例５）
本実施形態のカメラ１や画像処理装置１００の情報処理機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された、上述したノイズ除去処理、画像処理等に関するプログラムをコンピュータシステムに読み込ませ、実行させてもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

また、パーソナルコンピュータ等に適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネット等のデータ信号を通じて提供することができる。図８はその様子を示す図である。パーソナルコンピュータ９５０は、ＣＤ−ＲＯＭ９５３を介してプログラムの提供を受ける。また、パーソナルコンピュータ９５０は通信回線９５１との接続機能を有する。コンピュータ９５２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク等の記録媒体にプログラムを格納する。通信回線９５１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ９５２はハードディスクを使用してプログラムを読み出し、通信回線９５１を介してプログラムをパーソナルコンピュータ９５０に送信する。すなわち、プログラムをデータ信号として搬送波により搬送して、通信回線９５１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。

本発明は上記実施形態の内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…カメラ、１０…制御部、１２…マッチング演算部、１３…関数生成部、１４…類似度算出部、１５…画素値補正部、５１…注目画素、５２…参照画素、６１…探索領域、７１…注目画素領域、７２…参照画素領域、８１，８２…近似面、１００…画像処理装置。

Claims (9)

1. 複数の画素からなる画像データを入力する入力部と、
   前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成する生成部と、
   前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出する算出部と、
   前記類似度に基づいて前記第１画素の画素値を補正する補正部と、
   を備える画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記算出部は、前記第１関数と前記第２関数に基づいてテンプレートマッチングを行い、前記第１画素と前記第２画素との間の類似度を算出する、画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記算出部は、前記第１画素の画素値と前記第１関数とに基づいて得られる第１近似面と、前記第２画素の画素値と前記第２関数とに基づいて得られる第２近似面とのマッチングにより、前記第１画素と前記第２画素との間の類似度を算出する、画像処理装置。
4. 請求項１から３までのいずれか一項に記載の画像処理装置において、
   前記第２画素は、前記第１画素の近傍の所定範囲の領域に設定される、画像処理装置。
5. 請求項１から４までのいずれか一項に記載の画像処理装置において、
   前記補正部は、前記第２画素の画素値を、前記第２画素に対応する類似度で重みづけした値に基づいて、前記第１画素の画素値を補正する、画像処理装置。
6. 請求項１から５までのいずれか一項に記載の画像処理装置において、
   前記第１関数は第１局所関数であり、
   前記第２関数は第２局所関数である、画像処理装置。
7. 請求項１から６までのいずれか一項に記載の画像処理装置を搭載するカメラ。
8. 複数の画素からなる画像データを入力するステップと、
   前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成するステップと、
   前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出するステップと、
   前記類似度に基づいて前記第１画素の画素値を補正するステップと、
   を備える画像処理方法。
9. 複数の画素からなる画像データを入力する入力処理と、
   前記複数の画素のうちの第１画素に対し第１関数を生成するとともに、前記複数の画素のうちの第２画素に対し第２関数を生成する生成処理と、
   前記第１関数と前記第２関数に基づいて、前記第１画素と前記第２画素との間の類似度を算出する算出処理と、
   前記類似度に基づいて前記第１画素の画素値を補正する補正処理と、
   をコンピュータに実行させるプログラム。
   
   

Images