JP6501452B2 - 画像処理装置及びシステム、画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置及びシステム、画像処理方法、並びにプログラムに関する。具体的には、本発明は、画像にノイズリダクションを施す画像処理装置及びシステム、画像処理方法、並びにプログラムに関する。

近年、表示装置の高精細化に伴って、画像の高画質化が望まれている。高画質化のためには、画像からノイズを低減することが重要である。

特許文献１では、ＮＬ−ｍｅａｎｓ（ｎｏｎ ｌｏｃａｌ ｍｅａｎｓ）フィルタと呼ばれる被写体空間の自己相似性を利用したノイズリダクションの手法が提案されている。ＮＬ−ｍｅａｎｓフィルタは、対象画素の信号値を、該画素の周辺にある複数の画素の加重平均信号値で置換し、ノイズを低減する手法である。この際、加重平均で用いる重みは、対象画素を中心とする部分領域の各信号値を成分としたベクトルと、該対象画素の周辺にある画素から同様に生成したベクトルとの距離に応じて決定される。

特表２００７−５３６６６２号公報

特許文献１で開示された手法では、複数の画素の加重平均によってノイズリダクションの効果を得ている。このようなノイズリダクションの場合、加重平均に用いる画素の数を増やすほど、強いノイズ低減効果を得ることができる。しかしながら、画素数の増大に伴ってベクトル間の距離算出回数が増え、計算負荷が増大してしまう問題があった。

本発明は、上記の問題を鑑みてなされたものである。本発明の目的は、計算負荷の増大を抑えながらも高いノイズリダクション効果を有する画像処理装置を提供することである。

本発明は、入力画像における対象画素について、当該対象画素を含む対象領域に含まれる画素の信号値の集合を対象データとして抽出する対象データ抽出手段と、前記対象画素に対応する複数の参照画素の夫々について、参照画素を含む参照領域に含まれる画素の信号値の集合を参照データとして取得する参照データ取得手段と、参照データから変換参照データを生成し、当該生成した変換参照データが有する変換参照画素の信号値を複数、出力する変換参照データ生成手段と、前記複数の参照画素の夫々について、前記対象データと、前記参照データとの類似性を表す相関値を算出する算出手段と、前記対象データと、前記参照データとの前記相関値に基づいて、複数の変換参照画素の夫々に対する重みを決定する重み決定手段と、前記変換参照画素と、前記重みとに基づき算出した信号値を用いて、前記対象画素に対応する出力画素を生成する手段とを備え、前記変換参照データ生成手段は、前記参照領域に含まれる画素数が、前記対象領域に含まれる画素数より多い参照データに対して、該対象領域と該参照領域それぞれに含まれる画素数に基づいた変換を施し、変換参照データを生成し、前記重みは、前記参照領域に含まれる画素数に基づき決定されることを特徴とする。

本発明によれば、計算負荷の増大を抑えながらも高いノイズリダクション効果を有する画像処理装置を提供することができる。

実施例１における撮像装置の構成を示すブロック図である。 実施例１における撮像装置の外観を示す斜視図である。 実施例１乃至３におけるノイズリダクション処理のフローチャートである。 実施例１乃至３における対象データの取得と、参照データの取得とに関する説明図である。 実施例１乃至３における相関値算出に関する説明図である。 実施例１乃至３におけるノイズリダクションの説明図である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例３における無線撮像システムのブロック図である。 実施例３における無線撮像システムの外観図である。 実施例３における撮像装置の構成を示す図である。 実施例１乃至３における対象画素と対象領域の例を示す図である。 実施例１乃至３における参照画素と参照領域の例を示す図である。

以下、本発明に係る実施形態について、図面を参照しながら詳細に説明する。なお、以下の実施例において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。各図において、同一の要素については同一の参照番号を付し、重複する説明は省略する。

具体的な実施形態の説明へ移る前に、本実施形態に係るノイズリダクションに関して概要を簡単に述べておく。

本実施形態では、入力画像において特定の領域内に含まれる画素毎にノイズリダクション後の画素値を算出する。入力画像における処理の対象とする画素（本明細書では「対象画素」と呼び、１画素でも複数の画素でもよい）を含む部分領域を設定し（本明細書では「対照領域」と呼ぶ）、この対象領域に含まれる各画素の信号値の集合を対象データとして抽出する。次に、対象画素に対応する複数の参照画素について、各参照画素を含む領域（本明細書では「参照領域」と呼ぶ）内の複数の画素の信号値の集合を、それぞれ参照データとして取得する。ただし、取得した複数の参照データのうち少なくとも１つの参照データにおいて、画素数（信号値の数）が対象領域に含まれる画素数よりも多くなっている（換言すると、参照領域が対象領域より大きい）。取得した複数の参照データそれぞれに対して、対象データとの相関値を算出し、該相関値に応じて各参照画素に対応する重みを決定する。この際重みは、相関が高いほど、つまり参照データが対象データと似ているほど大きくなるように決定される。次に、各参照データに対する画素数（即ち、各参照領域に含まれる画素の数）を対象データに対する画素数（即ち、対象領域に含まれる画素の数）と同じ画素数に変換した変換参照データを生成する。この際、参照データの画素数の方が対象データの画素数より多い場合は、参照データに含まれる画素を平均化することにより、縮小する。その結果、対象データより画素数の多い参照データは画素数が低下し、参照データに対する縮小変換が施され、かつ、平均化により変換参照データはノイズリダクション処理が施されていることになる。ここで、変換参照データに含まれる画素のうち、参照画素が縮小されて生成された画素を、本明細書では変換参照画素と呼ぶこととする。前記相関値に応じて決定した重みを用いて、複数の変換参照データの間で、変換参照画素における信号値の加重平均を算出する。これにより、加重平均により求められた信号値は、合成による平均化処理に加え、前述の縮小変換が施されていることから、合計２回分のノイズリダクションの効果が得られることとなる。そのため、前記加重平均で求まった信号値で対象画素の信号値を置き換えれば、高いノイズリダクション効果を得ることができる。以上の処理により、対象画素のノイズリダクションのための加重平均に用いる参照画素の数を増やさず、つまり重み決定のために行う相関値算出の計算量を増大させることなく、強いノイズ低減効果を得ることが可能となる。

［実施例１］
実施例１に係る画像処理方法を適用した撮像システムについて説明する。図１（ａ）は、実施例１における撮像システムの基本構成を示すブロック図である。図２は、実施例１における撮像システム（具体的には、撮像装置１００）の外観を示す斜視図である。

画像取得部１０１は、結像光学系と、撮像素子とを備える。撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが挙げられる。撮影時、画像取得部１０１へ入射した光は、結像光学系によって集光され、撮像素子を介してアナログの電気信号へと変換される。該アナログ電気信号は、Ａ／Ｄコンバータ１０２を介してデジタル信号へと変換される。該デジタル信号から成る画像は、画像処理部１０３へ入力される。画像処理部１０３では所定の処理に加えて、本実施例に係るノイズリダクション処理が行われる。ここで図１（ｂ）に、画像処理部１０３の詳細な構成を示すブロック図を示す。画像処理部１０３は、入力画像取得部１０３−１と、対象データ抽出部１０３−２と、参照データ取得部１０３−３と、相関値算出部１０３−４とを備える。さらに画像処理部１０３は、変換参照データ生成部１０３−５と、参照データ判定部１０３−６と、重み決定部１０３−７と、対象画素置換部１０３−８と、ノイズリダクション処理終了判定部１０３−９とを備える。これらの要素による一連の動作（即ち、ノイズリダクション処理）に関しては、図３のフローチャートを用いて後で詳細を説明する。なお、画像記録媒体１０４に既に保存されている画像を読み出して、同様に画像処理部１０３でノイズリダクション処理を行ってもよい。

画像記録媒体１０４に保存された画像を鑑賞する際は、該画像が液晶ディスプレイなどで構成される表示部１０５へ出力される。

以上に述べた一連の制御は、システムコントローラ１０６により行われ、画像取得部１０１の機械的な駆動は、システムコントローラ１０６からの指示に従って制御部１０７で行われる。

図３乃至図６を用いて、画像処理部１０３で行われるノイズリダクション処理に関して詳細に説明する。図３は、本実施例におけるノイズリダクション処理のフローチャートである。

ステップＳ３０１では、入力画像取得部１０３−１は、画像取得部１０１で得られた入力画像を取得する。該入力画像には、撮像素子で発生するショットノイズ等が存在している。

ステップＳ３０２では、対象データ抽出部１０３−２は、入力画像から対象画素を指定し、該対象画素を含む部分領域（即ち「対象領域」）に含まれる画素の信号値の集合を対象画素に対応する対象データとして抽出する。対象画素はノイズリダクションの対象となる画素であり、単数（即ち１画素）でもよいし、一度に複数の画素を指定しても構わないが、本実施例では対象画素が１画素の場合を例に取って説明する。対象画素が複数の画素からなる場合も、以下の処理は同様に成り立つ。

対象データは、対象画素に対応する信号値の分布に関する情報である。そのため、対象データを取得する対象領域には、必ず複数の画素が含まれていなければならない。本実施例において対象画素は１画素で構成されているため、対象領域は対象画素以上の画素数を含み、且つ対象画素を含む領域でなければならない。例えば図４のように、入力画像４００において対象画素４０１を設定し、対象画素を含むように対象領域４０２を設定する。図４に示す例では、対象画素４０１は１画素とし、該対象画素及びその周囲８画素を含む領域を対象領域４０２とし、対象領域４０２に含まれる画素の信号値の集合を対象データとする。ただし、対象画素及び対象領域に関して、サイズ、形状、及び抽出位置はこの例に限定されない。

ステップＳ３０３では、参照データ取得部１０３−３は、対象データに対応する参照データを複数取得する。各参照データは、１つ以上の参照画素を含む参照領域に含まれる複数の画素の信号値の集合である。参照画素は、対象画素のノイズリダクション後の信号値を算出するための加重平均に用いられる画素である。対象データと同様、参照データも参照画素に対応する信号値の分布に関する情報を持っている必要がある。参照データの取り方について、図１２及び図１３を用いて説明する。今、ステップＳ３０２で図１２のように、対象画素４０１を含む対象領域４０２内の信号値の集合を対象データとして取得していたとする。このとき参照領域は、対象領域４０２に対して、画像の２方向（本実施例では画像が格子状なので、縦方向と横方向）それぞれにおける対象画素４０１と参照画素の相似関係と、略同様の相似関係となるように設定される。これについて、図１３をもちいて説明しよう。図１３（ａ）では、参照画素４０４ｄが対象画素４０１に対して、縦方向に２倍、横方向に３倍の画素数を有している。そのため、参照領域４０５ｄも同様に、対象領域４０２の縦方向に２倍、横方向に３倍の大きさを持つ領域となる。もし、参照画素が図４の４０４ａのように、対象画素４０１と同じ画素数ならば、参照領域４０５ａも対象領域４０２と同じ大きさとなる。ただし、図１３（ｂ）のように参照領域４０５ｅを取ってもよい。参照画素４０４ｅは参照画素４０４ｄと同様の形状となっているが、参照領域４０５ｅは参照領域４０５ｄと完全に一致しない。しかし、図１３（ｂ）の左側に出ている余分な画素は後の相関算出時に、無視してもよいし、或いは参照データを対象データと同じ成分数に縮小した変換参照データを生成する際に行う縮小処理で吸収してしまってもよい。図１３（ｂ）の右下にある欠落した画素は、周囲の画素から補間してもよい。ただし、該補間処理が入ると、後の相関算出における精度が低下するため、参照領域は、該参照領域と対象領域との相似関係が、参照画素と対象画素との相似関係と一致することが望ましい。

なお参照データは、対象データと同じ入力画像上の画素から取得してもよいし、異なる画像から取得してもよい。また、入力画像のある色成分（例えば、Ｇｒｅｅｎ）から対象データを抽出している場合、入力画像の他の色成分（ＲｅｄやＢｌｕｅ）から参照データを取得してもよい。ただし、被写体空間の自己相似性を利用するという観点から、異なる画像から参照データを取得する場合は、対象データを取得した画像と同じ、或いは、類似の被写体が存在している画像であることが望ましい。また、対象データを取得した画像から参照データを取得する場合、対象データにより描写される形状と相似する形状は、対象データを取得した画素群の近傍に存在している可能性が高い。故に、処理の高速化のため、参照データを取得するためにサーチする領域を対象領域の近傍に絞って設定してもよい。例えば図４に示すように、抽出領域４０３を設定する。ただし、抽出領域のサイズ及び形状は、この例に限定されない。参照データは抽出領域内から抽出し、例えば、図４の、参照画素４０４ａを含む参照領域４０５ａのように抽出する。ただし、参照領域及び参照画素に関して、サイズ、形状、及び抽出位置はこの例に限定されない。

一つの対象データに対して参照データは複数必要となるので、ステップＳ３０３は複数回反復することとなるが、その際、少なくとも１つ以上は対象データより画素数の多い参照データを取得する。例えば図４に示すように、画素数の多い参照領域４０５ｂを抽出する。ここでは参照領域４０５ｂに含まれる画素数が３６であり、対象領域４０２に含まれる画素数９の４倍となっているため、参照画素４０４ｂも同様に４画素となる。後に、このような画素数の多い参照領域を縮小して得た変換参照画素を加重平均することにより、ノイズリダクションの効果を高めることができる。

ステップＳ３０４では、相関値算出部１０３−４は、対象データと参照データとの類似性を表す相関値を求める。相関値の算出には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの特徴ベースの手法、または、後述する領域ベースの手法を用いるとよい。特徴ベースの手法では、対象データにおける特徴量と参照データにおける特徴量との類似性に着目するため、対象データの画素数と参照データの画素数とが異なっていても相関値を算出できる。一方、領域ベースの手法では、対象データが含む各画素の信号値と参照データが含む各画素の信号値との差に着目する。そのため、対象データの画素数と参照データの画素数とを合わせないと相関値を正しく算出できない。ただし、特徴ベースより領域ベースで相関値を算出する方が類似性を高精度に判定できるため、領域ベースの手法を用いることが望ましい。

領域ベースの相関値算出式の例として、ここでは以下の２つを挙げておく。ただし、本実施例は以下の２例に限定されるものではない。また、以下の説明では簡単のため、入力画像における色成分（ＲＧＢ）を考えず、信号が単信号の場合を想定して式を記述するが、信号が複数の色成分を持つ場合にも本実施例を同様に適用することができる。

＜相関値算出式の例１＞
ここでは、対象データが有する信号値と参照データが有する信号値との差分の二乗平均平方根を使用して、相関値を算出する場合について説明する。対象データ及び参照データを行列で扱う場合は、相関値算出式ｇ_１は以下の式（１）のようになる。

ここで、Ｔは対象データにおける各画素の信号値を成分Ｔ_ｉｊとする行列、ＮはＴの行数、ＭはＴの列数、Ｒ_ｋはｋ番目の参照データの各信号値を成分とする行列である。Ρは参照データに対する画素数を対象データに対する画素数と等しくした結果得られるデータである。行列Ｐは以下の式（２）を満たし、Ρ_ｉｊは行列Ρの成分を表す。

Ｎ_Ｒｋはｋ番目の参照データＲ_ｋの行数、Ｍ_Ｒｋはｋ番目の参照データＲ_ｋの列数である。また式（２）の右辺σ（Ｒ_ｋ，Ｎ／Ｎ_Ｒｋ，Ｍ／Ｍ_Ｒｋ）は、ｋ番目の参照データＲ_ｋの行数をＮ／Ｎ_Ｒｋ倍、列数をＭ／Ｍ_Ｒｋ倍にする変換（画像でいえば拡大、或いは、縮小）を表す。σの変換には、バイリニア補間やバイキュービック補間などを用いるとよい。

また、対象データ及び参照データをそれぞれ、各信号値を成分としたベクトルとして扱う場合、式（１）は以下の式（３）のように書き換わる。

ここでベクトルｔは対象データにおける各画素の信号値を成分ｔ_ｉとしたベクトル、ベクトルｒ_ｋはｋ番目の参照データにおける各画素の信号値を成分としたベクトル、ρは行列Ρの各成分を１次元に並び換えたベクトルであり、ρの成分がρ_ｉである。

式（１）及び（３）で表される相関値算出式では、対象データにおける画素の信号値と参照データにおける画素の信号値との差分に基づいて相関値を算出しているため、算出した相関値が０に近いほど対象データと参照データとの類似性が高いことを意味する。

相関値は、対象データの持つ構造と参照データの持つ構造とがどの程度似ているかを判定するために算出される。そのため、対象データと参照データとの明るさ（直流成分）は無関係である。そこで対象データ及び参照データの信号から直流成分（各信号値の平均値を指し、画像の明るさに相当する）を減算してもよい。また、両者の相関が最も高くなるように（即ち、式（１）を用いる本実施例では、算出する相関値を最も０に近づけるように）、参照データのコントラストを調整してもよい。このコントラスト調整は参照データの交流成分をスカラー倍することに相当する。このとき式（１）は、以下の式（４）のように書き換わる。

ここでＴ_ａｖｅとΡ_ａｖｅはそれぞれ対象データを示す行列Ｔと参照データを示す行列Ρにおける各信号値の平均値である。該平均値は均一の重みで算出してもよいし、加重平均で算出してもよい。ｃはコントラストを調整する係数であり、最小二乗法を用いて以下の式（５）によって表される。

式（４）で相関値を算出した場合、後段のステップＳ３０５で生成する変換参照データにも同様に明るさ及びコントラストの調整を施す必要があるが、これに関しては後述する。

＜相関値算出式の例２＞
相関値は、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ Ｓｉｍｉｌａｒｉｔｙ）を使用して算出してもよい。ＳＳＩＭを用いた場合の相関値算出式は、以下の式（６）で表される。

ここでＬ、Ｃ、Ｓはそれぞれ明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。評価関数各々の値が１に近いほど、比較する対象データと参照データとが、各評価項目において近いことを意味する。α、β、γは、各評価項目の重みを調整するパラメータである。ここでα＝０とすれば直流成分（明るさ）の差し引かれた相関値が算出され、β＝０とすれば交流成分の分散を無視した相関値が算出される。故に、α＝０かつβ＝０とすれば、対象データｔの構造及び参照データｒ_ｋの構造のみに基づく相関値を算出することができる。また、相関値の算出には、複数の相関値算出式を組み合わせて使用しても構わない。

さらに、領域ベースの相関値算出、例えば、＜相関値算出式の例１＞又は＜相関値算出式の例２＞で上述した式（１）、（３）、（６）などを用いる際、参照データに等長変換を施して対象データとの相関が最も高くなるようにしてもよい。等長変換とは、例えば恒等変換や回転変換、或いは反転変換などである。この際、最も相関が高くなった変換を、ステップＳ３０５で生成する変換参照データにも施すこととなる。より相似性の高い参照データを見つけることで、ノイズリダクションの効果を向上させることができる。ただし、等長変換を施すと計算量は増大してしまうので、得たいノイズリダクションの効果と計算量とを比較して、等長変換を施すか否かを決めるとよい。

ステップＳ３０５では、変換参照データ生成部１０３−５は、変換参照データを生成する。変換参照データとは、参照データの画素数と対象データの画素数とを一致させる変換を参照データに対して行ったものである。例えば、式（２）で用いた変換σを用いて変換参照データを生成する。もし、ステップＳ３０４で領域ベースの相関値算出を行う場合、ステップＳ３０４で既に変換参照データを生成しているため、それを流用してもよい。具体的には、例えば図５に示すように、参照画素４０４ｂを含む参照領域４０５ｂに含まれる画素の信号値の集合である参照データを変換して、変換参照データを生成する。ここで変換参照データは、参照画素４０４ｂに対応する変換参照画素４０６ｂを含む変換参照領域４０７ｂに含まれる画素の信号値から構成される。なお本実施例では、参照領域に含まれる画素数と対象領域に含まれる画素数とが同じであった場合、参照データが有する各画素の信号値をそのまま変換参照データが有する各画素の信号値として用いる。

なお、ステップＳ３０４の相関値算出において、直流成分の減算及びコントラストの調整を行っている場合は、同様に変換参照データに対しても明るさ及びコントラストの調節を行わなければならない。この調節を行列を用いて表記した場合、参照データＲ_ｋ-を変換した変換参照データＤ_ｋは、以下の式（７）のようになる。

ここで、Ｅは全成分の値が１のＮ×Ｍ行列である。

ステップＳ３０６では、参照データ判定部１０３−６は、取得した参照データの数が既定の条件を満たしたかの判定を行う。具体的には、抽出領域内の参照データを全て取得し終えたか、又は、参照データの数が充分であると判断されれば、ステップＳ３０７へ進む。例えば、相関性の高い参照データの数が、ノイズリダクションの強度によって決まる閾値以上になったら、参照データの数が充分であると判断するとよい。前記既定の条件を満たしていない場合は、ステップＳ３０３へ戻り、新たな参照データを取得する。またここでは、参照データを１つずつ取得して同様の処理を繰り返したが、複数の参照データを一挙に取得し、参照データ毎に並列でステップＳ３０４及びＳ３０５を行ってもよい。

ステップＳ３０７では、重み決定部１０３−７は、各変換参照画素に対応する重みをステップＳ３０４で求めた相関値から決定する。本実施例では、変換前の参照データと対象データとの相関値を算出したが、この相関値は変換後の参照データについても類似性を維持している。つまり相関値が高い参照データから算出される変換参照データほど、対象データと類似していると言える。従って、ステップＳ３０４において求めた相関値が対象データと参照データとの相関が高いことを示すほど、変換参照画素に対応する重みを大きく設定する。これによって、対象データの構造を保ったまま、対象画素のノイズリダクションを行うことができる。例えば、以下の式（８）のように重みを決定する。

ここでｗ_ｋはｋ番目の変換参照画素に対応した重み、ｈはフィルタの強さを表す。Ｚは重みｗ_ｋの規格化因子であり、以下の式（９）を満たす。

この際、変換を行う前の参照データの画素数に応じて重みを変化させることが望ましい。参照データの画素数が対象データの画素数より多い場合は、縮小変換を伴って変換参照画素が生成されている。つまり、該変換参照画素はノイズリダクションを施されていることとなる。故に、同じ相関値である変換参照データであっても、縮小変換を伴って生成された変換参照画素の重みをより大きくすることで、後のステップＳ３０８でより高いノイズリダクション効果を得ることができる。変換参照画素を生成する際により縮小しているほどノイズリダクションの効果も増すので、参照データの画素数が対象データの画素数より多いほど重みを大きくするとよい。そのため、対象データとの相関値が第一の参照データと等しく、かつ、第一の参照データより画素数の多い第二の参照データがあった場合、第二の参照データに対応する重みを第一の参照データに対応する重みより大きくすることが望ましい。逆に、参照データの画素数が対象データの画素数より少ない場合、変換参照画素の生成時に拡大処理を伴うため、ノイズも増大してしまう。故に、この場合は、重みを小さくすることが望ましい。

なお、ステップＳ３０７の処理は、ステップＳ３０４からステップＳ３０８までの間なら、いつ行っても構わない。

ステップＳ３０８では、対象画素置換部１０３−８は、前ステップＳ３０７で決定した重みを用いて変換参照画素の加重平均を算出し、当該算出した値で対象画素の信号値を置換する。これにより、対象画素のノイズリダクションが完了する。加重平均信号値ｓ_ａｖｅは、例えば以下の式（１０）のように算出する。

ここでｓ_ｋは、ｋ番目の変換参照データにおける変換参照画素の信号値である。ただし、加重平均の算出方法はこれに限らない。例えば、非線型結合を用いてもよい。

複数の画素を合成することで信号値が平均化され、ノイズが低減される。この加重平均信号値ｓ_ａｖｅで対象画素の信号値を置換することで、該対象画素にノイズリダクションを行った出力画素が生成される。またこの際、同時に他のノイズリダクションの手法を併用してもよい。或いは前述の置換処理の代わりに、加重平均信号値を参考にする学習型のノイズリダクションを使用してもよい。

図６を用いて、ステップＳ３０３からＳ３０８までの流れを説明する。様々な画素数の参照領域４０５ａ、４０５ｂ、４０５ｃ（４０５ｃ以降のものも存在するが、ここでは省く）の夫々に対して、参照領域に含まれる画素の信号値から成る参照データを取得する。次いで、それぞれを対象データ４０２の画素数と同じ画素数に変換した変換参照領域４０７ａ乃至４０７ｃに含まれる画素の信号値から成る変換参照データを生成する。次いで、変換参照領域４０７ａ乃至４０７ｃに含まれる変換参照画素４０６ａ乃至４０６ｃの加重平均を算出する。算出した加重平均信号値（画素４０８が有する）で対象画素４０１の信号値を置換すれば、対象画素４０１に対するノイズリダクションが完了する。

ステップＳ３０９では、ノイズリダクション処理終了判定部１０３−９は、入力画像の既定の領域を処理し終えたかを判定する。判定の結果、ノイズリダクションを施したい対象画素を全て処理し終えたなら処理は終了し、対象画素がまだ残っている場合はステップＳ３０２へ戻って未処理の対象画素を含んだ対象データを新たに抽出する。

以上のような構成により、計算負荷の増大を抑えながらも高いノイズリダクション効果を有する撮像システムを提供できる。

なお本実施例では、対象領域が１つの対象画素を含むように構成した例について説明した。しかしながら、対象領域が複数の対象画素を含むように構成してもよい。この場合、複数の対象画素に対するノイズリダクションを同時に進行することになる。例えば、式（１０）を対象領域に含まれる各対象画素に対して算出することにより、各対象画素に対してノイズリダクションを施した結果の信号値を算出できる。また、対象画素が複数の画素から構成される場合、対象データは対象画素と一致していてもよい。これは対象画素が、対象データに必要な条件である複数の信号値成分、つまり信号値分布に関する情報を既に有しているためである。

さらにここから、本実施例の効果を高めるための望ましい条件について述べる。

ステップＳ３０２で抽出した対象データは、対象画素より画素数が多いことが望ましい。相関値算出の際に、対象データに含まれる対象画素の周囲の画素の情報も用いることで、より対象画素と相似な構造を持つ変換参照画素を見つけることができる。

ステップＳ３０３では、取得する複数の参照データのうちの半分以上において、対象データの画素数より画素数が多いことが望ましい。この理由は、変換参照データを生成する際に、縮小処理が行われる参照データの数が多いほど、高いノイズリダクション効果が得られるからである。故に、対象データに対する全ての参照データにおいて、対象データの画素数より画素数が多いことがさらに望ましい。

また、ステップＳ３０３より前に、入力画像へ施すノイズリダクションの強度を決定する工程を設けて、該決定した強度に応じて、前記参照データが取り得る画素数の範囲を決定するのが望ましい。ここで前記画素数の範囲は、例えば９画素から２５画素の間のいずれか、というように連続的でもよいし、９画素、１６画素、３６画素のうちのいずれか、というように不連続となっていてもよい。また、３６画素のみというように、最大値と、最小値とが同じになっていてもよい。ノイズリダクションの強度は入力画像全体に一律でもよいし、対象データ毎に異なっていてもよい。ノイズリダクションの強度の決定方法としては、ユーザーが選択してもよいし、ＭＡＤ（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ）などの手法を用いて画像からノイズレベルを推定し、その結果から自動的に選択されるようにしてもよい。参照データの画素数を多くするほどノイズリダクションの効果が増すので、前記強度が大きくなるほど参照データの画素数が多くなるように画素数の範囲を設定する。

さらにステップＳ３０３では、参照領域の縦方向の画素数と、横方向の画素数との比が、対象領域の縦方向の画素数と、横方向の画素数との比と等しくなるように、参照データを取得することが望ましい。つまり、式（１）のように対象データ及び参照データを行列で考えた場合、Ｎ／Ｎ_Ｒｋ＝Ｍ／Ｍ_Ｒｋが成り立つということである。図６の参照領域４０５ｃのように、Ｎ／Ｎ_Ｒｋ≠Ｍ／Ｍ_Ｒｋ（ここではＮ／Ｎ_Ｒｋ＝１、Ｍ／Ｍ_Ｒｋ＝０．５）となっていると、方向によってノイズリダクションの効果が変わってしまう。

ステップＳ３０４の相関値算出において、式（４）及び（５）で表されるコントラストの調整の行う場合、ｃ＞１の場合は参照データ内の信号を増幅させることとなり、これは同時にノイズも増大させることを意味する。そのため、望ましくは、ｃ≦１の条件をかすか、ｃ＞１の場合は、ステップＳ３０７で決定する重みが小さくなるようにするとよい。

また上の説明では、参照データを構成する信号値の数（即ち参照領域に含まれる画素の数）が、対象データを構成する信号値の数（即ち対象領域に含まれる画素の数）と同じ場合、参照データをそのまま変換参照データとして出力する構成を例に挙げて説明した。しかし、本実施例はこの例に限らない。例えば、変換参照データを生成するステップＳ３０５の前に、参照データに対する画素数に基づいて判定し、分岐する構成であってもいい。このとき、参照データに対する画素数と対象データに対する画素数とが異なる場合は、ステップＳ３０５の処理に進む。参照データに対する画素数と対象データに対する画素数とが等しい場合は、ステップＳ３０５に進まず、参照画素の信号値をそのまま出力してステップＳ３０８で用いてもよい。

［実施例２］
実施例２に係る画像処理方法を適用した画像処理システムについて説明する。本実施例の特徴は、撮像装置と、ノイズリダクションを実行する装置とが個別に存在し、それらはケーブル等で接続されていることにある。図７に、実施例２における画像処理システムのブロック図を示す。また図８に、実施例２における画像処理システムの構成の外観を示す。

撮像装置７０１で取得された入力画像は、通信部７０３を介して画像処理装置７０２へ入力される。該入力画像と、必要に応じてその撮影条件情報（撮影時の焦点距離、絞り値、ＩＳＯ感度など）とが記憶部７０４に記憶される。ノイズリダクション部７０５は画像処理部１０３と同じ要素を備えており（図１（ｂ）参照）、入力画像に対するノイズ低減処理を実行する。ノイズ低減処理後の出力画像は、通信部７０３を介して表示装置７０６、記録媒体７０７、出力装置７０８のいずれか、又は、複数に出力される。表示装置７０６は、例えば液晶ディスプレイやプロジェクタ等である。ユーザーは、表示装置７０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体７０７は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置７０８は、プリンタ等である。画像処理装置７０２は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。

本実施例におけるノイズリダクション部７０５の処理フローは、図３に示した通りであるので、以下の説明では、実施例１と同様の部分は説明を省略し、実施例１と異なる部分について説明する。

ステップＳ３０１では、入力画像取得部１０３−１は、撮像装置７０１で撮影した入力画像を取得する。この際、同時に撮影条件情報を取得し、該情報内に含まれるＩＳＯ感度からノイズリダクションの強度を決定してもよい。

以上のような構成により、計算負荷の増大を抑えながらも高いノイズリダクション効果を有する画像処理システムを提供できる。

［実施例３］
実施例３に係る画像処理方法を適用した無線撮像システムについて説明する。本実施例の特徴は、撮像装置が無線で接続された装置へ画像を送信し、無線で画像を送信された装置が入力画像に対するノイズリダクションを行うことにある。図９に、実施例３における無線撮像システムのブロック図を示す。また図１０に、実施例３における無線撮像システムの構成の外観を示す。

サーバー９０３は、通信部９０４と、記憶部９０５と、画像処理部９０６とを備え、ネットワーク９０２を介して撮像装置９０１と接続されている。撮像装置９０１で撮影が行われると、撮影画像が自動的に、或いは、手動でサーバー９０３へ送信及び入力され、記憶部９０５に入力画像として記憶される。その後、該入力画像は画像処理部９０６でノイズリダクション処理を施され、出力画像が生成される。該出力画像は、撮像装置９０１へ出力されるか、記憶部９０５に記憶される。

撮像装置９０１は多眼構成となっており、図１１に示すように４種類の結像光学系が４つずつ配列されている。結像光学系は種類ごとに焦点距離が異なり、結像光学系９１０ａ乃至９１０ｄが広角レンズ、結像光学系９２０ａ乃至９２０ｄが標準レンズ、結像光学系９３０ａ乃至９３０ｄが中望遠レンズ、結像光学系９４０ａ乃至９４０ｄが望遠レンズとなっている。ただし、結像光学系の種類や数、及び配置は、図１１に示した例に限定されない。また、各結像光学系に対応する撮像素子は、それぞれ画素数が異なっていてもよい。

本実施例における画像処理部９０６の処理フローは、図３に示した通りであるので、以下の説明では、実施例１と同様の部分は説明を省略し、実施例１と異なる部分について説明する。

ステップＳ３０１では、入力画像取得部１０３−１は、撮像装置９０１で撮影された画像のうち、１つの結像光学系に対応した画像を入力画像として取得する。

ステップＳ３０３では、参照データ取得部１０３−３は、参照データ-を取得する。この際、参照データ-は入力画像からだけでなく、撮像装置９０１の他の結像光学系で得られた画像からも取得する。撮像装置９０１の結像光学系はそれぞれ、視点及び画角の違いがあるものの、全て共通の被写体を撮像している。そのため、対象データと類似性の高い参照データがあった場合、対応する部分領域を他の結像光学系によって得られた画像から取得することで、ノイズリダクションの効果をより高めることができる。

以上のような構成により、計算負荷の増大を抑えながらも高いノイズリダクション効果を有する無線撮像システムを提供できる。

［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体を、システム又は装置に供給し、システム又は装置（具体的にはＣＰＵやＭＰＵ）がプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ等を用いることが出来る。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳが実際の処理の一部又は全部を行っても良い。ＯＳの処理によって前述した実施例の機能が実現される場合も、本発明の範囲に含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、処理が実行されても良い。また、機能拡張ボードや機能拡張ユニットに備わるＣＰＵが実際の処理の一部又は全部を実行しても良く、機能拡張ボードや機能拡張ユニットに備わるＣＰＵの実行処理によって前述した実施例の機能が実現される場合も、本発明の範囲に含まれる。

また、前述の実施例の機能を実現するためのプログラムコードを、１つのコンピュータ（ＣＰＵ、ＭＰＵ）で実行しても良いし、複数のコンピュータが協働することによって実行しても良い。更に、プログラムコードをコンピュータが実行しても良いし、プログラムコードの機能を実現するための回路等のハードウェアを設けても良い。または、プログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行しても良い。

Claims (15)

1. 入力画像における対象画素について、当該対象画素を含む対象領域に含まれる画素の信号値の集合を対象データとして抽出する対象データ抽出手段と、
   前記対象画素に対応する複数の参照画素の夫々について、参照画素を含む参照領域に含まれる画素の信号値の集合を参照データとして取得する参照データ取得手段と、
   参照データから変換参照データを生成し、当該生成した変換参照データが有する変換参照画素の信号値を複数、出力する変換参照データ生成手段と、
   前記複数の参照画素の夫々について、前記対象データと、前記参照データとの類似性を表す相関値を算出する算出手段と、
   前記対象データと、前記参照データとの前記相関値に基づいて、複数の変換参照画素の夫々に対する重みを決定する重み決定手段と、
   前記変換参照画素と、前記重みとに基づき算出した信号値を用いて、前記対象画素に対応する出力画素を生成する手段と
   を備え、
   前記変換参照データ生成手段は、前記参照領域に含まれる画素数が、前記対象領域に含まれる画素数より多い参照データに対して、該対象領域と該参照領域それぞれに含まれる画素数に基づいた変換を施し、変換参照データを生成し、
   前記重みは、前記参照領域に含まれる画素数に基づき決定されることを特徴とする画像処理装置。
2. 前記変換参照データ生成手段は、前記参照領域に含まれる画素数が前記対象領域に含まれる画素数と等しくなるように変換することを特徴とする請求項１に記載の画像処理装置。
3. 前記参照データは、第１の参照データと、第２の参照データとを含み、前記第１の参照データに対する相関値と、前記第２の参照データに対する相関値とが等しく、かつ、前記第２の参照データの画素数が、前記第１の参照データの画素数より多い場合、前記第２の参照データに基づく重みは、前記第１の参照データに基づく重みより大きいことを特徴とする請求項１に記載の画像処理装置。
4. 複数の前記参照データのうち、少なくとも１つの参照データにおいて、画素数が、前記対象データの画素数より多いことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 複数の前記参照データのうちの半分以上において、画素数が、前記対象データの画素数より多いことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 複数の前記参照データのいずれにおいても、画素数が、前記対象データの画素数より多いことを特徴とする請求項５に記載の画像処理装置。
7. 前記変換参照データ生成手段は、複数の前記参照データの夫々の画素数を前記対象データの画素数と等しくした後で、前記相関値は、算出されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記入力画像に施すノイズリダクションの強度を決定する手段を更に備え、
   前記強度に基づき、前記参照データが取り得る画素数の範囲を決定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 入力画像における対象画素について、当該対象画素を含む対象領域に含まれる画素の信号値の集合を対象データとして抽出する対象データ抽出手段と、
   前記対象画素に対応する複数の参照画素の夫々について、参照画素を含む参照領域に含まれる画素の信号値の集合を参照データとして取得する参照データ取得手段と、
   参照データから変換参照データを生成し、当該生成した変換参照データが有する変換参照画素の信号値を複数、出力する変換参照データ生成手段と、
   前記対象データと、前記参照データとに基づいて、複数の変換参照画素の夫々に対する重みを決定する重み決定手段と、
   前記変換参照画素と、前記重みとに基づき算出した信号値を用いて、前記対象画素に対応する出力画素を生成する手段と
   を備え、
   前記変換参照データ生成手段は、前記参照領域に含まれる画素数が、前記対象領域に含まれる画素数より多い参照データに対して、該対象領域と該参照領域それぞれに含まれる画素数に基づいた変換を施し、変換参照データを生成し、
   前記重みは、前記参照領域に含まれる画素数に基づき決定されることを特徴とする画像処理装置。
10. 前記参照データは、第１の参照データと、第２の参照データとを含み、前記第１の参照データに対する相関値と、前記第２の参照データに対する相関値とが等しく、かつ、前記第２の参照データの画素数が、前記第１の参照データの画素数より多い場合、前記第２の参照データに基づく重みは、前記第１の参照データに基づく重みより大きいことを特徴とする請求項９に記載の画像処理装置。
11. 入力画像を取得する撮像装置と、
    前記撮像装置と接続され、前記取得した入力画像から出力画像を生成する請求項１乃至１０のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする画像処理システム。
12. 前記撮像装置は、複数の結像光学系を有する多眼構成であることを特徴とする請求項１１に記載の画像処理システム。
13. 入力画像における対象画素について、当該対象画素を含む対象領域に含まれる画素の信号値の集合を対象データとして抽出する対象データ抽出ステップと、
    前記対象画素に対応する複数の参照画素の夫々について、参照画素を含む参照領域に含まれる画素の信号値の集合を参照データとして取得する参照データ取得ステップと、
    参照データから変換参照データを生成し、当該生成した変換参照データが有する変換参照画素の信号値を複数、出力する変換参照データ生成ステップと、
    前記複数の参照画素の夫々について、前記対象データと、前記参照データとの類似性を表す相関値を算出する算出ステップと、
    前記対象データと、前記参照データとの前記相関値に基づいて、複数の変換参照画素の夫々に対する重みを決定する重み決定ステップと、
    前記変換参照画素と、前記重みとに基づき算出した信号値を用いて、前記対象画素に対応する出力画素を生成するステップと
    を備え、
    前記変換参照データ生成ステップにおいて、前記参照領域に含まれる画素数が、前記対象領域に含まれる画素数より多い参照データに対して、該対象領域と該参照領域それぞれに含まれる画素数に基づいた変換を施し、変換参照データを生成し、
    前記重みは、前記参照領域に含まれる画素数に基づき決定されることを特徴とする画像処理方法。
14. 入力画像における対象画素について、当該対象画素を含む対象領域に含まれる画素の信号値の集合を対象データとして抽出する対象データ抽出ステップと、
    前記対象画素に対応する複数の参照画素の夫々について、参照画素を含む参照領域に含まれる画素の信号値の集合を参照データとして取得する参照データ取得ステップと、
    参照データから変換参照データを生成し、当該生成した変換参照データが有する変換参照画素の信号値を複数、出力する変換参照データ生成ステップと、
    前記対象データと、前記参照データとに基づいて、複数の変換参照画素の夫々に対する重みを決定する重み決定ステップと、
    前記変換参照画素と、前記重みとに基づき算出した信号値を用いて、前記対象画素に対応する出力画素を生成するステップと
    を備え、
    前記変換参照データ生成ステップにおいて、前記参照領域に含まれる画素数が、前記対象領域に含まれる画素数より多い参照データに対して、該対象領域と該参照領域それぞれに含まれる画素数に基づいた変換を施し、変換参照データを生成し、
    前記重みは、前記参照領域に含まれる画素数に基づき決定されることを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置として、機能させるための、プログラム。

Images