JP6468791B2 - 画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像の高解像化に伴う弊害の低減を目的とする画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラムに関する。

近年、表示装置の高精細化に伴って画像の高画質化が望まれている。画質を向上させるためには、画像の高解像化やノイズ低減などが重要となる。高解像化には、単純なシャープネス処理の他、ウィナーフィルタなどの逆フィルタを用いた処理、あるいは最小二乗法に基づいた推定を行う超解像処理などがある。しかしながら、これらの処理は画像の解像感を向上させる一方で、ノイズの増幅やリンギングなどの弊害を発生させ、画質の低下を招いてしまう。

そこで、特許文献１では、逆フィルタによる高解像化を行う際、画像のエッジ部とそれ以外の領域で高解像化の強度を変化させ、ノイズ増幅を抑えつつ高解像化画像を生成する手法が開示されている。

また、特許文献２では、ＮＬＭ（Ｎｏｎ−ｌｏｃａｌ Ｍｅａｎｓ）フィルタと呼ばれる被写体空間の自己相似性を利用したノイズ低減手法が提案されている。ＮＬＭフィルタは、注目画素の信号値を、注目画素の周辺に位置する複数の画素の加重平均された信号値で置換することでノイズを低減する手法である。この際、加重平均で用いる重みは、注目画素の近傍の部分領域における各信号値を成分としたベクトルと、注目画素の周辺に位置する画素から同様に生成したベクトル間の距離に応じて決定される。これにより、エッジの解像感を保ちつつ、画像からノイズを除去することが可能となる。

特開２０１１−７１９３０号公報 米国特許第８４２７５５９号明細書

しかしながら、特許文献１で開示された手法では、非エッジ領域における高解像化の強度を低下させるだけで、エッジ領域では従来と同様にノイズ増幅とリンギングが発生してしまう。また、高解像化された画像に対して、特許文献２で開示された手法を用いた場合、増幅されたノイズは低減されるものの、強く発生したリンギングはエッジと判定されてしまうため除去することができない。

このような課題を鑑みて、本発明は、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得する第１の取得手段と、前記第１の画像から注目画素を選択する選択手段と、前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする。

また、本発明の他の側面としての撮像装置は、結像光学系が結像する被写体像を撮像して前記入力画像を出力する撮像手段と、前記入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得する第１の取得手段と、前記第１の画像から注目画素を選択する選択手段と、前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理システムは、結像光学系が結像する被写体像を撮像して前記入力画像を出力する撮像手段と、前記入力画像を高解像化して第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像を生成する画像生成手段と、前記第１および第２の画像を取得する第１の取得手段と、前記第１の画像から注目画素を選択する選択手段と、前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得するステップと、前記第１の画像から注目画素を選択するステップと、前記第２の画像から前記注目画素に対応した画素を含む第１のデータを取得するステップと、前記第２の画像から複数の第２のデータを取得するステップと、前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定するステップと、前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得するステップと、前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成するステップと、を有することを特徴とする。

また、本発明の他の側面としての画像処理プログラムは、入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得するステップと、前記第１の画像から注目画素を選択するステップと、前記第２の画像から前記注目画素に対応した画素を含む第１のデータを取得するステップと、前記第２の画像から複数の第２のデータを取得するステップと、前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定するステップと、前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得するステップと、前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成するステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラムを提供することができる。

実施例１の撮像装置の外観図である。 実施例１の撮像装置のブロック図である。 実施例１の画像処理方法のフローチャートである。 実施例１の画像処理部の構成図である。 画像の解像度合に関する説明図である。 実施例１の第１の画像と第２の画像との関係図である。 弊害低減処理の説明図である。 実施例２の画像処理方法のフローチャートである。 実施例２の第１の画像と第２の画像との関係図である。 実施例３の画像処理システムの外観図である。 実施例３の画像処理システムのブロック図である。 実施例４の撮像システムの外観図である。 実施例４の撮像システムのブロック図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

具体的な実施形態の説明に移る前に、本発明の高解像化に伴う弊害の低減方法に関して概要を述べておく。簡単のため、説明はモノクロ画像を例にして行う。カラー画像の場合は、各成分に対して同様の処理を実行すればよい。

まず、逆フィルタや超解像処理を用いて、入力画像を高解像化した第１の画像を生成する。この際、第１の画像には高解像化に伴う弊害（ノイズ増幅やリンギングなど）が発生している。

次に、第１の画像から弊害低減の対象となる注目画素を選択する。そして、第２の画像から注目画素に対応する画素（注目対応画素）を含む部分領域を注目対応データ（第１のデータ）として取得する。ここで、第２の画像とは、第１の画像と同一の被写体空間を撮像し、かつ解像度合が第１の画像より小さい画像のことである。すなわち、第２の画像は、第１の画像に対して高解像化の弊害が小さい、あるいは弊害がそもそも存在していない。第２の画像の例として、入力画像そのものや、入力画像に第１の画像より弱い高解像化を施した画像などが挙げられる。また、解像度合とは、画像のコントラストや周波数分布などを指すが、その詳細に関しては後述する。

次に、第２の画像から部分領域である参照対応データ（第２のデータ）を複数取得し、それぞれ注目対応データとの相関値を算出する。相関値に応じて、各参照対応データの重みが決定される。重みは、相関が高いほど、つまり参照対応データが注目対応データと似ているほど大きくなるように決定される。

次に、参照対応データと対応する参照画素の信号値を第１の画像から取得し、参照対応データで算出した重みを用いて、信号値の加重平均値を算出する。そして、注目画素の信号値を加重平均値で置換することにより、弊害の低減が終了する。

以上のように、弊害の少ない（あるいは、ない）第２の画像から相関値を算出することで、弊害の影響が抑制された高精度な重みを得ることができる。この重みを用いて平均化を行うことで、従来のＮＬＭフィルタのノイズ低減効果に加え、リンギング等のその他弊害も抑える効果が得られる。

本実施例では、本発明の画像処理方法を撮像装置１００に適用した場合について説明する。図１は撮像装置１００の外観図、図２は撮像装置１００のブロック図である。

画像取得部１０１は、結像光学系と撮像素子を有している。撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などが挙げられる。撮影時、画像取得部１０１に入射した光は結像光学系によって集光され、撮像素子でアナログの電気信号に変換される。アナログの電気信号は、Ａ／Ｄコンバータ１０２でデジタル信号となり、画像処理部１０３に入力される。画像処理部（画像処理装置）１０３は、所定の処理に加えて、高解像化処理とそれに伴う弊害の低減処理を行う。これらの処理に関しては、後述する。また、これらの処理では、記憶部１０４に記憶された画像取得部１０１の光学特性や、状態検出部１０９で検出された画像取得部１０１の撮影条件に関する情報が使用される。ここで、光学特性とは、画像取得部１０１内の結像光学系における収差や回折、またはデフォーカスに関する情報（例えば、光学伝達関数や点像強度分布）を指す。また、撮影条件とは、撮影時における画像取得部１０１の状態を指し、例えば絞りの状態やフォーカス位置、露光中における撮像装置１００のぶれ軌跡、またはズームレンズにおける焦点距離などである。状態検出部１０９は、撮影条件に関する情報をシステムコントローラ１０７から得てもよいし、制御部１０８から得てもよい。処理後の画像は、画像記録媒体１０６に所定のフォーマットで保存される。この際、同時に撮影条件に関する情報を保存してもよい。また、すでに画像記録媒体１０６に保存されている画像を読み出して、画像処理部１０３で高解像化と弊害低減処理を行ってもよい。画像記録媒体１０６に保存された画像を鑑賞する際は、画像が液晶ディスプレイなどの表示部１０５に出力される。以上に述べた一連の制御は、システムコントローラ１０７により行われ、画像取得部１０１の機械的な駆動はシステムコントローラ１０７の指示によって制御部１０８で行われる。

次に、図３のフローチャートを用いて、画像処理部１０３で行われる高解像化の弊害に対する低減処理方法に関して詳細に説明する。図３に示す方法は、コンピュータに各ステップの機能を実行させるための画像処理プログラムとして具現化が可能である。また、図４は、画像処理部１０３の構成図である。

ステップＳ１０１では、第１の取得手段１０３ａが画像取得部１０１で得られた入力画像を取得する。入力画像には、撮影時の様々な要因、例えば、画像取得部１０１における結像光学系の収差や回折、撮像素子でのサンプリング、または露光中における撮像装置１００のぶれ等によって被写体空間の情報が失われている。さらに入力画像には、撮像素子などで発生したノイズが存在している。

ステップＳ１０２では、第１の取得手段１０３ａが入力画像から解像力が異なる２つの高解像化画像を生成する。これらのうち、解像度合の高い方を第１の画像、解像度合の低い方を第２の画像と呼ぶ。ただし、第２の画像は入力画像そのもの、あるいは入力画像に平滑化フィルタ等の低解像化処理を施した画像でも構わない。しかし望ましくは、後述するように第２の画像の解像度合が入力画像の解像度合以上であるほうがよい。

ここで、解像度合とは、画像がどの程度、被写体空間の情報を所持しているかを表すものであり、例えばその指標として、画像のコントラストや最大解像周波数、あるいは周波数分布が挙げられる。ここで、最大解像周波数とは、スペクトル強度がしきい値以上となる最大空間周波数の絶対値を指す。しきい値は、画像に求める画質から決定するとよい。コントラストや最大解像周波数は値が大きいほど、解像度合が大きいことを意味する。また、解像度合を高精度に判定する例として、画像の周波数分布の積分値が挙げられる。図５にその概要を示す。図５では簡単のため、画像のある１次元方向における空間周波数のスペクトル強度のみを示している。横線部の面積は第１の画像２００のスペクトル強度２１１に対する積分値を表し、縦線部の面積は第２の画像３００のスペクトル強度３１１に対する積分値を表している。実際は、空間周波数が２次元になっているため、積分値は体積に該当する。これらの積分値が大きいほど、解像度合が大きいことを意味する。また、他の解像度合を表す方法として、高解像化のパラメータを用いる方法がある。ただし、この場合、第１の画像２００と第２の画像３００が同一の手法で高解像化されていないと、パラメータによる解像度合の大小判定ができない。

入力画像に施す高解像化についていくつか例を挙げておく。高解像化手法としては、ウィナーフィルタ等の逆フィルタを用いた処理の他、ＲＬ（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）法や事後確率最大化法などの超解像処理が挙げられる。これらの処理で必要となる入力画像に発生した劣化情報は、劣化が収差や回折の場合は結像光学系の設計値や測定値から取得し、露光中のぶれの場合は撮像装置１００に搭載したジャイロセンサー等から取得することができる。あるいは、Ｂｌｉｎｄ Ｄｅｃｏｎｖｏｌｕｔｉｏｎと呼ばれる、入力画像から劣化情報を推定して高解像化を行う手法を用いてもよい。

しかし、上述したいずれの手法を用いたとしても、高解像化した画像には弊害としてノイズ増幅やリンギングが発生してしまう。これらの弊害は、高解像化の強度を高めるほどに大きくなる。そのため、高解像化された第１の画像２００では弊害が表出しやすい。そこで、本発明では、第１の画像２００の解像感を保ちつつ、弊害を抑制することを目的としている。

次に、各高解像化の手法に関して、解像度合を表すパラメータを説明しておく。例えばウィナーフィルタによる処理は、周波数空間上において以下の式（１）で表される。

Ｇは入力画像の周波数分布、Ｈは入力画像に生じた劣化を表す光学伝達関数、Ｈ^＊はＨの複素共役、Ｆは高解像化された画像の周波数分布を表す。Ｆをフーリエ変換（あるいは、逆フーリエ変換）すれば、高解像化された画像が得られる。ここで、Γが高解像化の強度を表すパラメータであり、この値を０に近付けるほど、解像度合が増すことになる。

次に、以下の式（２）で表されるような実空間上における超解像処理を考える。

Ｘは入力画像、Ｋは入力画像に生じた劣化を表す点像強度分布、Ｙは高解像化された画像、＊は畳み込み演算を表す。Ａ（Ｙ）は正則化項と呼ばれる項で、高解像化に伴う弊害を抑制する役割を担っているが、これによって弊害が完全に抑えられるわけではない。正則化項の例としては、１次平均ノルムやＴＶ（Ｔｏｔａｌ Ｖａｒｉａｔｉｏｎ）ノルム等がある。ここで、λが正則化項の効果をどの程度強めるかを表すパラメータであり、一般に０に近いほど解像度合が増すことになる。

さらに、前述のＲＬ法などの、一度高解像化を施した画像を新たな初期画像として高解像化を反復させるような手法では、その反復回数も解像度合を表すパラメータとなり得る。すなわち、第１の画像２００を生成するために反復演算をしている途中の高解像化画像を第２の画像３００とすることができる。この場合、第２の画像３００を別に生成する計算負荷が削減される。

ステップＳ１０３では、選択手段１０３ｂが図６に示されるように第１の画像２００から弊害を除去したい注目画素２０１を選択する。ただし、注目画素２０１の位置はこれに限定されず、一度に複数の画素（例えば、２×２の画素群）を選択しても構わない。

ステップＳ１０４では、第２の取得手段１０３ｃが図６に示されるように第２の画像３００から第１の画像２００の注目画素２０１に対応する画素（注目対応画素と呼ぶ）を含む部分領域である注目対応データ（第１のデータ）３０３を取得する。すなわち、注目画素２０１と注目対応画素３０１は各画像に対して同一の位置に存在しており、第１の画像２００内の注目画素２０１が選択されると、第２の画像３００内の注目対応画素３０１と注目対応データ３０３が決定される。注目対応データ３０３のサイズや形状は図５に示したものに限定されないが、注目対応データ３０３は信号の分布に関する情報を持っている必要があるため、複数の画素から形成されていなければならない。もし注目対応画素３０１が複数の画素から形成されている場合、注目対応画素３０１と注目対応データ３０３は一致していても構わない。

ステップＳ１０５では、まず、図６に示されるように、注目対応画素３０１の周囲に参照対応データ（第２のデータ）３０５ａ〜３０５ｃを取得する範囲を表す参照対応データ取得領域３０４を設定する。ただし、参照対応データ取得領域３０４のサイズや形状はこれに限定されず、第２の画像３００の全体を参照対応データ取得領域３０４としても構わない。しかしながら、注目対応データ３０３の類似構造はその周囲に存在している可能性が高いので、計算負荷の低減から参照対応データ取得領域３０４を注目対応データ３０３の周辺に制限することが望ましい。次に、第２の取得手段１０３ｃが参照対応データ取得領域３０４内から参照対応画素３０２ａ〜３０２ｃとそれを含む参照対応データ３０５ａ〜３０５ｃを複数取得する。参照対応画素３０２ａ〜３０２ｃと参照対応データ３０５ａ〜３０５ｃのサイズや形状はそれぞれ、注目対応画素３０１と注目対応データ３０３に必ずしも一致しなくてよい。これは、ステップＳ１０６の相関値の算出時に、縮小変換等を用いて互いのサイズや形状を合わせることができるためである。ただし、この変換を行った場合、ステップＳ１０９の加重平均算出で用いる参照画素にも、同様の変換を施す必要がある。さらに、入力画像がカラー画像の場合、注目対応データとは異なる色成分から参照対応データを取得してもよい。例えば、ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）画像において注目対応データをＲ成分から選択していた場合でも、Ｇ成分およびＢ成分から参照対応データを取得してもよい。これは高解像化に伴う弊害の強さが、一般にＲＧＢ成分間でそれほど変化しないためである。なお、本実施例では、参照画素および参照対応データをそれぞれ３つずつ取得しているが、それ以上取得しても構わない。

ステップＳ１０６では、複数の参照対応データ３０５ａ〜３０５ｃそれぞれとの注目対応データ３０３に対する相関値を算出する。相関値の算出には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの特徴ベースの手法、または後述する領域ベースの手法を用いるとよい。特徴ベースの手法では特徴量に着目するため、注目対応データと参照対応データの画素数が異なっていても相関値が算出できる。一方、領域ベースの手法では互いの信号値の差に着目するため、両者の画素数を合わせないと正しく算出ができない。ただし、特徴ベースより領域ベースの相関算出の方が相似性を高精度に判定できるため、領域ベースの手法を用いることが望ましい。領域ベースの相関算出式の例として、以下の２つを挙げておくが、算出方法はこれに限定されるものではない。
＜相関算出式の例１＞
相関算出式の例１では、注目対応データと参照対応データの信号差の二乗平均平方根を使用する。注目対応データおよび参照対応データを画像の部分領域として、つまり行列で扱う場合は、相関算出式ｇ_１は以下の式（３）で表される。

Ｔは注目対応データにおける各画素の信号値を成分Ｔ_ｉｊとする行列、ＮはＴの行数、ＭはＴの列数、Ｒ_ｋはｋ番目の参照対応データの各信号値を成分とする行列である。Ρは以下の式（４）を満たし、Ρ_ｉｊはその成分を表す。

Ｎ_ＲｋはＲ_ｋの行数、Ｍ_ＲｋはＲ_ｋの列数である。また、σ（Ｒ_ｋ，Ｎ／Ｎ_Ｒｋ，Ｍ／Ｍ_Ｒｋ）は、行列Ｒ_ｋの行数をＮ／Ｎ_Ｒｋ倍、列数をＭ／Ｍ_Ｒｋ倍にする変換（画像でいえば拡大、あるいは縮小）を表す。σの変換には、バイリニア補間やバイキュービック補間などを用いるとよい。

対象データと参照データをそれぞれ、各信号値が成分のベクトルとして扱う場合、式（３）は以下の式（５）のように書き換わる。

ｔは注目対応データの各信号値を成分ｔ_ｉとしたベクトル、ｒ_ｋはｋ番目の参照対応データの各信号値を成分としたベクトル、ρは行列Ρの各成分を１次元に並び換えたベクトルで、ρの成分がρ_ｉである。

式（３）および（５）で表される相関算出式は、注目対応データと参照対応データの差分を見ているため、値が０に近いほど両者の相似性が高いことを意味する。

ここで、注目対応データおよび参照対応データの信号から直流成分（平均値を指し、画像の明るさに相当する）を減算してもよい。相関算出によって判定したいのは、注目対応データと参照対応データの持つ構造がどの程度似ているかであるため、その明るさ（直流成分）は無関係である。また、両者の相関が最も高くなるように、参照対応データのコントラストを調整してもよい。これは参照対応データの交流成分をスカラー倍することに相当する。このとき、式（３）は、以下の式（６）のように書き換わる。

Ｔ_ａｖｅとΡ_ａｖｅは、それぞれ行列ＴとΡにおける各信号値の平均値である。平均値は、均一の重みで算出してもよいし、加重平均にしてもよい。ｃは、コントラストを調整する係数であり、最小二乗法から以下の式（７）で表される。

式（６）で相関値を算出した場合、ステップＳ１０９の加重平均算出時にも同様に明るさとコントラストの調整を施す必要がある。
＜相関算出式の例２＞
相関算出式の例として、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ Ｓｉｍｉｌａｒｉｔｙ）を使用してもよい。ＳＳＩＭを用いた相関算出式は、以下の式（８）で表される。

Ｌ，Ｃ，Ｓはそれぞれ、明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。各々の値が１に近いほど、比較する２つの信号が近いことを意味する。α，β，γは、各評価項目の重みを調整するパラメータである。ここで、α＝０とすれば直流成分（明るさ）の差し引かれた相関算出が行われ、β＝０とすれば交流成分のスカラー倍（コントラストの調整）を相関算出時に加味する必要がなくなるため、式（６）と同様の評価を行うことができる。

なお、複数の相関算出式を組み合わせて相関値を算出しても構わない。また、領域ベースの相関算出、例えば、相関算出式の例１または例２を用いる際、参照対応データに等長変換を施して注目対応データとの相関値が最も高くなるようにしてもよい。等長変換とは、例えば、恒等変換や回転変換、あるいは反転変換などである。この際、最も相関値が高くなった変換を、ステップＳ１０９の加重平均算出時にも施すこととなる。より相似性の高い参照対応データを見つけることで、弊害低減の効果を向上させることができる。ただし、計算量は増大してしまうので、弊害低減の効果と計算量を比較して、等長変換を施すかを決めるとよい。

ステップＳ１０７では、決定手段１０３ｄが、ステップＳ１０６で算出された相関値から複数の参照対応データ３０５ａ〜３０５ｃのそれぞれに対する重みを決定する。相関が高いほど、参照対応データは注目対応データと類似しているので、重みが大きくなるように設定する。例えば、式（５）を用いて、以下の式（９）のように重みを決定する。

ｗ_ｋはｋ番目の参照対応データに対応した重み、ｈはフィルタの強さを表す。Ｚは重みｗ_ｋの規格化因子であり、以下の式（１０）を満たす。

ただし、重みを決定する方法はこれに限定されない。例えば、相関値と対応した重みのテーブルを所持しておき、そのテーブルを参照して重みを決定してもよい。

ステップＳ１０８では、第３の取得手段１０３ｅが、第１の画像２００から第２の画像３００における複数の参照対応画素３０２ａ〜３０２ｃそれぞれに対応する複数の参照画素２０２ａ〜２０２ｃの信号値を取得する。参照対応画素３０２ａ〜３０２ｃと参照画素２０２ａ〜２０２ｃは、各々の画像に対して同一の位置に位置している。なお、本ステップはステップＳ１０５からステップＳ１０９の間なら、いつ実行しても構わない。また、本実施例では、参照画素を３つ取得しているが、それ以上取得しても構わない。

ステップＳ１０９では、ステップＳ１０７で決定された重みを用いて、参照画素の信号値における加重平均を算出する。そして、生成手段１０３ｆが、算出した加重平均で注目画素の信号値を置換し、注目画素２０１から弊害が除去された出力画素を生成する。注目画素の近傍の構造と似た構造の信号値が重み付けされて平均化されるため、注目画素の構造（言い換えると、エッジの解像感）を保ったまま、高解像化で増幅されたノイズが低減される。さらに、重みをリンギングの少ない第２の画像から算出したことで、リンギングを被写体空間の本来の構造と区別することができ、ノイズと同様に平均化によってリンギングが低減されることとなる。

ここまでの処理の流れを図７に示す。第２の画像３００から算出された重みｗ_ｋ（ｋ＝１，２，３・・・）を用いて、参照画素２０２ａ〜２０２ｃの加重平均である平均信号値２０３を算出する。そして、平均信号値２０３で注目画素２０１の信号値を置換する。ここで、加重平均信号値ｓ_ａｖｅは、以下の式（１１）のように算出した。

ｓ_ｋはｋ番目の参照画素における信号値である。注目画素と参照画素が複数の画素を有する場合、ｓ_ｋおよびｓ_ａｖｅはベクトル量となる。ただし、加重平均の算出方法はこれに限らず、例えば非線型結合などを用いてもよい。

また、ステップＳ１０６での相関値の算出において、直流成分の減算とコントラストの調整を行っている場合は、参照画素に対応する明るさとコントラストの調節を行ってから加重平均を算出しなければならない。これは式（４）のサイズ変換や、等長変換に関しても同様である。

また、本実施例では弊害低減のために置換処理を用いたが、信号値の加重平均を参考にして学習型の弊害低減処理を使用してもよい。

ステップＳ１１０では、入力画像の既定の領域を処理し終えたかを判定する。弊害を低減したい画素を全て処理し終えたなら終了し、まだ残っている場合はステップＳ１０３に戻って新たな注目画素を選択する。

以上のような処理により、画像の高解像化に伴って発生する複数の弊害を同時に低減することができる。

次に、本発明の効果を高めるための望ましい条件について説明する。

まず、第２の画像の解像度合は、入力画像の解像度合以上であることが望ましい。もし、第２の画像の解像度合が第１の画像の解像度合に比べて小さ過ぎると、加重平均で生成した出力画像は第１の画像より解像感が低下する。これは第１の画像よりも解像度合の小さい第２の画像から重みを算出するため、類似性の低い構造でも重みが大きくなってしまうからである。そのため、入力画像よりも第２の画像の解像度合を低下させることは避けるほうが望ましい。

また、第２の画像の解像度合は、第１の画像の解像度合に応じて決定することが望ましい。第１および第２の画像の解像度合が近いと、両者に出現した弊害も同程度となってしまい、弊害除去の効果が得られにくくなるためである。逆に第１および第２の画像の解像度合が離れ過ぎても、前述したように出力画像の解像感が低下してしまう。

また、入力画像を撮影した際の撮影条件から第２の画像の解像度合を決定することが望ましい。さらに望ましくは、撮影条件には、ＩＳＯ感度と輝度レベルの情報が含まれているとよい。これは入力画像に発生しているノイズは、撮影時のＩＳＯ感度や入力画像の輝度レベルによって変化するためである。つまり、入力画像に発生しているノイズが大きいほど、高解像化時に増幅されるノイズも大きくなるので、より解像度合が小さい画像、言い換えるとノイズ増幅が小さい画像を第２の画像としたほうがノイズ低減効果を向上させられる。

また、第２の画像の解像度合に応じて、ステップＳ１０７で決める重みを変化させることが望ましい。さらに望ましくは、第１および第２の画像の解像度合の差が大きいほど、注目対応データと相関が強い参照対応データの重みを、相関が弱いものの重みで除した値が大きくなるようにするとよい。注目対応データと相関が強い参照対応データほど、重みがより大きくなるようにパラメータを調節することで、より相似性の高い構造だけが重視されるようになり、解像感の低下を防ぐことができる。例えば、式（９）では、ｈを０に近付けることに相当する。

以上のような構成により、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な撮像装置を提供することができる。

図８，９を用いて、注目画素における弊害の大きさに応じて処理を切り換え可能な本実施例の画像処理方法を撮像装置１００に適用した場合について説明する。図８は本実施例の画像処理方法のフローチャート、図９は本実施例の第１の画像５００と第２の画像６００との関係図である。なお、以下の説明では、実施例１の処理フローと同様の部分を省略する。また、図８に示す方法は、コンピュータに各ステップの機能を実行させるための画像処理プログラムとして具現化が可能である。

ステップＳ２０１〜Ｓ２０４は、実施例１におけるステップＳ１０１〜Ｓ１０４と同様であるので説明を省略する。

ステップＳ２０５では、第２の取得手段１０３ｃが第１の画像５００内の注目画素５０１を含む注目データ（第３のデータ）５０３を取得する。そして、第２の取得手段１０３ｃは、注目データ５０３と第２の画像６００内の注目対応画素６０１を含む注目対応データ６０３との相関値を算出する。ただし、注目画素５０１や注目データ５０３のサイズと形状、および位置はこれに限定されない。相関値の算出には、実施例１で挙げた手法などを用いるとよい。また、注目データ５０３の形状やサイズは、必ずしも注目対応データ６０３と一致している必要はない。

ステップＳ２０６では、第２の取得手段１０３ｃがステップＳ２０５で算出された相関値が既定の条件を満たすか否かの判定を行う。注目データ５０３と注目対応データ６０３との相関値が規定の条件を満たす（相関が高い）場合はステップＳ２０７、条件を満たさない（相関が低い）場合はステップＳ２１０に進む。なお、本実施例では、第２の取得手段１０３ｃによって、注目データ５０３と注目対応データ６０３との相関値を算出し、算出された相関値が既定の条件を満たすか否かの判定を行っているが、他の構成によって行ってもよい。

ここで、規定の条件を満たすと判定された場合は、注目データ５０３における高解像化の弊害が弱いことを意味しているので、従来のＮＬＭフィルタと同様の処理を実行する。一方、既定の条件を満たさないと判定された場合は弊害の影響が強いので、ステップＳ２１０〜Ｓ２１３では、実施例１のステップＳ１０５〜Ｓ１０８と同様に、弊害低減処理を実行する。

ステップＳ２０７では、第１の画像５００から複数の参照画素５０２ａ〜５０２ｃと参照画素５０２ａ〜５０２ｃを含む部分領域である参照データ５０５ａ〜５０５ｃを取得する。参照データ５０５ａ〜５０５ｃのサイズおよび形状は、必ずしも注目データ５０３と一致している必要はない。また、注目画素５０１の周辺に参照データ取得領域５０４を設定して、その中から複数の参照データを取得してもよい。なお、本実施例では、参照画素および参照データをそれぞれ３つずつ取得しているが、それ以上取得しても構わない。

ステップＳ２０８では、実施例１のステップＳ１０６で説明した方法と同様の方法で、注目データ５０３と参照データ５０５ａ〜５０５ｃとの相関値を算出する。

ステップＳ２０９では、実施例１のステップＳ１０７で説明した方法と同様の方法で、ステップＳ２０８で算出された相関値から各参照データの重みを決定する。

ステップＳ２１４では、決定された重みを用いて参照画素５０２ａ〜５０２ｃの信号値における加重平均を算出する。そして、算出した加重平均を用いて、実施例１のステップＳ１０９と同様に注目画素５０１から弊害が除去された出力画素を生成する。

ステップＳ２１５は、実施例１のステップ１１０と同様に弊害除去したい画素が残っている場合は、ステップＳ２０３に戻る。

以上のような構成により、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な撮像装置を提供することができる。

本実施例では、実施例１，２で説明した画像処理方法を画像処理システムに適用した例について説明する。本実施例の画像処理システムでは、撮像装置と画像処理方法を行う画像処理装置が個別に存在し、それらを接続することで高解像化された画像の弊害低減を行う。図１０は本実施例の画像処理システムの外観図、図１１は画像処理システムのブロック図である。

撮像装置４０１は、結像光学系が結像する被写体像を撮像することで入力画像を取得する。撮像装置４０１で取得された入力画像は、通信部４０３を介して画像処理装置４０２に入力される。この際、必要に応じて撮像装置４０１の光学特性（光学伝達関数や点像強度分布）や撮影時の撮影条件（焦点距離、絞り値、ＩＳＯ感度など）に関する情報が記憶部４０４に記憶される。高解像化部４０５は、入力画像から異なる解像力の第１の画像と第２の画像を生成する。ただし、撮像装置４０１が高解像化処理を行い、画像処理装置４０２に既に生成された第１の画像と第２の画像を入力してもよい。また、第２の画像を入力画像そのものとしてもよい。第１および第２の画像は、弊害低減部４０６に入力され、画像処理（弊害低減処理）が実行される。処理後の出力画像は、通信部４０３を介して表示装置４０７、記録媒体４０８、出力装置４０９のいずれか、または複数に出力される。表示装置４０７は、例えば液晶ディスプレイやプロジェクタ等である。ユーザーは、表示装置４０７を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体４０８は、例えば半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。出力装置４０９は、プリンタなどである。画像処理装置４０２は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。

以上のような構成により、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な画像処理システムを提供することができる。

本実施例では、実施例１，２で説明した画像処理方法を撮像システムに適用した例について説明する。図１２は本実施例の撮像システムの外観図、図１３は撮像システムのブロック図である。本実施例の撮像システムは、撮像装置が無線で接続されたサーバーに画像を転送し、サーバー内で高解像化とそれに伴う弊害低減処理を行う。

サーバー７０３は、通信部７０４を有し、ネットワーク７０２を介して撮像装置７０１に接続されている。撮像装置７０１で撮影が行われると、入力画像が自動的、あるいは手動でサーバー７０３に入力される。その際、必要に応じて撮像装置７０１の光学特性や撮影条件に関する情報も入力される。なお、サーバー７０３に入力される画像は入力画像の代わりに、第１の画像と第２の画像でもよい。サーバー７０３に入力された入力画像は、記憶部７０５に記憶される。その後、入力画像には画像処理部７０６で高解像化処理と、弊害低減処理が施され、出力画像が生成される。出力画像は撮像装置７０１に出力されるか、記憶部７０５に記憶される。

以上のような構成により、画像の高解像化に伴って発生する複数の弊害を同時に低減可能な撮像システムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されたものではなく、その要旨の範囲内で様々な変形、及び変更が可能である。

１０３ 画像処理部（画像処理装置）
１０３ａ 第１の取得手段
１０３ｂ 選択手段
１０３ｃ 第２の取得手段
１０３ｄ 決定手段
１０３ｅ 第３の取得手段
１０３ｆ 生成手段
２００ 第１の画像
２０１ 注目画素
２０２ａ〜２０２ｃ 参照画素
２０３ 平均信号値
３００ 第２の画像
３０１ 注目対応画素
３０３ 注目対応データ（第１のデータ）
３０４ 参照対応データ取得領域
３０５ａ〜３０５ｃ 参照対応データ（第２のデータ）

Claims (15)

1. 入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得する第１の取得手段と、
   前記第１の画像から注目画素を選択する選択手段と、
   前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、
   前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、
   前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、
   前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする画像処理装置。
2. 前記第１の取得手段は、入力画像に基づいて前記第１および第２の画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段は、前記第２の画像の解像度合が前記入力画像の解像度合以上となるように、前記第２の画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記第１の取得手段は、前記第１の画像の解像度合に応じて前記第２の画像の解像度合を決定することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第１の取得手段は、前記入力画像を撮影した際の撮影条件に基づいて前記第２の画像の解像度合を決定することを特徴とする請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記撮影条件は、ＩＳＯ感度と輝度レベルであることを特徴とする請求項５に記載の画像処理装置。
7. 前記第１の取得手段は、前記入力画像に反復演算を施すことで、前記第１および第２の画像を生成し、
   前記第１の画像に施される前記反復演算の回数は、前記第２の画像に施される前記反復演算の回数よりも多いことを特徴とする請求項２から６のいずれか１項に記載の画像処理装置。
8. 前記決定手段は、前記第２の画像の解像度合に応じて、前記重みを決定することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記決定手段は、前記第１の画像と前記第２の画像の解像度合の差が大きいほど、前記第１のデータと相関が強い前記第２のデータの重みを、前記第１のデータと相関が弱い前記第２のデータの重みで除した値が大きくなるように、前記重みを決定することを特徴とする請求項８に記載の画像処理装置。
10. 前記第２の取得手段は、前記第１の画像から前記注目画素を含む第３のデータを取得し、前記第１および第３のデータの相関に基づいて、前記第２のデータを取得するどうか判定することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 結像光学系が結像する被写体像を撮像して入力画像を出力する撮像手段と、
    前記入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得する第１の取得手段と、
    前記第１の画像から注目画素を選択する選択手段と、
    前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、
    前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、
    前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、
    前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする撮像装置。
12. 結像光学系が結像する被写体像を撮像して入力画像を出力する撮像手段と、
    前記入力画像を高解像化して第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像を生成する画像生成手段と、
    前記第１および第２の画像を取得する第１の取得手段と、
    前記第１の画像から注目画素を選択する選択手段と、
    前記第２の画像から、前記注目画素に対応する画素を含む第１のデータと、複数の第２のデータを取得する第２の取得手段と、
    前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定する決定手段と、
    前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得する第３の取得手段と、
    前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成する生成手段と、を有することを特徴とする画像処理システム。
13. 入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得するステップと、
    前記第１の画像から注目画素を選択するステップと、
    前記第２の画像から前記注目画素に対応した画素を含む第１のデータを取得するステップと、
    前記第２の画像から複数の第２のデータを取得するステップと、
    前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定するステップと、
    前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得するステップと、
    前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成するステップと、を有することを特徴とする画像処理方法。
14. 前記第１の画像から前記注目画素を含む第３のデータを取得するステップと、
    前記第１のデータと前記第３のデータとの相関を求めるステップと、
    前記相関に基づいて、前記複数の第２のデータを取得するステップを行うかどうか判定するステップと、を更に有することを特徴とする請求項１３に記載の画像処理方法。
15. 入力画像を高解像化した第１の画像と、前記第１の画像よりも解像度合が小さい第２の画像と、を取得するステップと、
    前記第１の画像から注目画素を選択するステップと、
    前記第２の画像から前記注目画素に対応した画素を含む第１のデータを取得するステップと、
    前記第２の画像から複数の第２のデータを取得するステップと、
    前記第１および第２のデータの相関に基づいて、前記複数の第２のデータごとに重みを決定するステップと、
    前記第１の画像から前記複数の第２のデータに対応する複数の参照画素の信号値を取得するステップと、
    前記複数の参照画素の信号値と前記重みから算出した信号値に基づいて、前記注目画素に対応する出力画素を生成するステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。