JP5653464B2 - 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像から回復画像を生成可能な撮像装置および画像処理装置に関する。

撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差を高精度に補正した場合でも、絞り値（Ｆナンバー）に依存した回折現象により劣化する。

図８は、回折限界曲線であり、横軸は空間周波数、縦軸はＭＴＦをそれぞれ示している。図８に示されるように、Ｆナンバーが暗くなるほど遮断周波数が低周波側にシフトする。例えば、画素サイズが４μｍの撮像素子のナイキスト周波数は１２５本／ｍｍである。このため、Ｆ２．８など明るい場合、その影響は小さい。しかし、Ｆ１６やＦ３２など暗い場合、その影響は大きくなる。回折現象も収差と同様にＯＴＦやＰＳＦで記述できるため、上記の画像回復処理により回折によるぼけを補正することができる。

収差や回折による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味し、点像分布関数ＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）で表される。

点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。

ＰＴＦ＝ｔａｎ^−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。

画像回復を効果的に用いるには、撮像光学系のより正確なＯＴＦ情報を得る必要がある。ＯＴＦを得る方法は、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことでも求めることが可能である。更に、回折においては理論的に導かれた計算式から求めることもできる。

特許文献１には、画像回復に用いるＯＴＦを係数化して保持し、撮像装置の種々の撮影条件に対応して収差や回折による劣化画像に対して画像回復処理を行う方法が開示されている。

特開２０１２−７３６９１号公報

しかしながら、ＯＴＦは、絞りや撮影距離やズームレンズにおける焦点距離により変化する。またＯＴＦは、画面内の像高によっても変化する。このため、高精度なＯＴＦデータの全体は非常に大きなデータ量となる。また、１つの画像について画像回復処理を行う場合にも、像高に応じてＯＴＦを変更して用いるため、演算量は大きくなる。

特許文献１の方法では、画像回復に用いるＯＴＦを係数化して保持することでデータ量を削減している。しかしながら、データ量や演算量は撮像装置の画像処理回路の演算速度やメモリのコストに影響するため、データ量および演算量の更なる削減が求められる。

例えば上述したように、Ｆ１６以上のＦナンバーでは絞りによって収差は低減され回折の影響が支配的となる。特許文献１の方法を用いることにより、回折が支配的なＦナンバーに対しても回復画像を得ることができる。しかしながら、ＯＴＦの係数から２次元ＯＴＦデータを生成し、後述の画像回復フィルタを生成する処理が必要となる。これは、収差と回折の両方に共通な方法で画像回復処理を行うには適しているが、回折のみを対象とした場合には更なるデータ量および演算量の削減ができる可能性がある。収差は撮像光学系の結像性能を向上することで改善が可能であるが、回折は避けられない物理現象であるため、回折による画像劣化を補正することは重要な課題である。

そこで本発明は、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有する。
本発明の他の側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする。
本発明の他の側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする。

本発明の他の側面としての画像処理装置は、撮影画像から回復画像を生成可能な画像処理装置であって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有する。
本発明の他の側面としての画像処理装置は、撮影画像から回復画像を生成可能な画像処理装置であって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする。
本発明の他の側面としての画像処理装置は、撮影画像から回復画像を生成可能な画像処理装置であって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする。

本発明の他の側面としての画像処理方法は、撮影画像から回復画像を生成する画像処理方法であって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、前記絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含む。
本発明の他の側面としての画像処理方法は、撮影画像から回復画像を生成する画像処理方法であって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、前記絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含むことを特徴とする。
本発明の他の側面としての画像処理方法は、撮影画像から回復画像を生成する画像処理方法であって、前記撮影画像および該撮影画像の撮影条件を取得するステップと、前記撮影条件の絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含むことを特徴とする。

本発明の他の側面としての画像処理プログラムは、撮影画像から回復画像を生成する画像処理プログラムであって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、前記絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させる。
本発明の他の側面としての画像処理プログラムは、撮影画像から回復画像を生成する画像処理プログラムであって、前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、前記絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させることを特徴とする。
本発明の他の側面としての画像処理プログラムは、撮影画像から回復画像を生成する画像処理プログラムであって、前記撮影画像および該撮影画像の撮影条件を取得するステップと、前記撮影条件の絞り値が所定値以上であるか否かを判定するステップと、前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させることを特徴とする。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを格納している。

本発明の他の側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記絞り値が所定値以上の場合に、前記被写体像の第１像高に対応する第１画素値を補正するために該第１画素値に対して演算される画像回復フィルタと前記被写体像の第２像高に対応する第２画素値を補正するために該第２画素値に対して演算される画像回復フィルタとして、共通の画像回復フィルタを記憶する記憶手段とを有する。

本発明の他の側面としての撮像装置は、撮影画像から回復画像を生成可能な撮像装置であって、撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、前記撮影画像を光学伝達関数に基づいて生成された画像回復フィルタを用いて回復する画像処理手段と、前記画像回復フィルタを記憶する記憶手段と、を有し、前記画像処理手段は、絞り値が所定値以上の場合、前記記憶手段に記憶された回復フィルタを用いて回復画像を生成し、前記絞り値が所定値未満の場合、回復画像を生成しない。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１における画像処理方法のフローチャートである。 本実施例における画像回復フィルタの説明図である。 本実施例における画像回復フィルタの説明図である。 本実施例における点像分布関数ＰＳＦの説明図である。 本実施例における光学伝達関数の振幅成分ＭＴＦと位相成分ＰＴＦの説明図である。 実施例１における撮像装置の構成図である。 実施例２における画像処理システムの構成図である。 回折限界曲線の説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

まず、本実施例で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明される画像処理方法は、後述の各実施例において適宜用いられる。

［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。

入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。

入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。

［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。

また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） … （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。

撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） … （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。

Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） … （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、ＰＳＦの広がり幅に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。

また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ） … （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ） … （５−２）
ここで、Ｎはノイズ成分である。

ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。

ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。

続いて、図２および図３を参照して、画像回復フィルタについて説明する。本実施例では、画像回復の原理を説明するため、非対称な形状の収差を有する例を示す。画像回復フィルタは、撮像光学系の収差や回折によるＰＳＦの広がりや要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。ただし本実施例はこれに限定されるものではなく、ＰＳＦの広がり幅と画素ピッチとの関係から、更に大きなタップ数を用いてもよい。また図２では、各タップ内の値を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値の分布は、収差により空間的に広がった信号値又は画素値を、理想的には元の１点に戻す機能を有する。ここで、回転対称と近似できる絞りによる回折を対象とする場合、回折によるＰＳＦが回転対称となるため、図３に示される断面形状は対称となる。

画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの各タップの値の積をとり、その総和を中心画素の信号値として置き換える。

続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は、点像分布関数ＰＳＦの説明図であり、図４（ａ）は画像回復前の点像分布関数ＰＳＦ、図４（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、収差の影響により非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。

回転対称と近似できる絞りによる回折を対象とした場合、回折によるＰＳＦが回転対称となる。このため、図５（ｂ）の破線（Ａ）は零となる。換言すると、本実施例で扱う回折には位相ずれが無い。また、位相ずれの有無に関わらず、上記の画像回復の原理は機能するため、回折を補正対象とした本実施例においても、画像回復は有効である。

このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。

また、光学伝達関数ＯＴＦは、１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。一方、絞り値（Ｆナンバー）が大きくなるに従って回折の影響が支配的になる光学伝達関数（ＯＴＦ）に対しては、光学系のビネッティング（けられ）の影響が小さい場合、像高に対して一律な（一定の）光学伝達関数ＯＴＦとして扱うことができる。

また、収差による光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するため、画像回復フィルタは像高に応じて変更して使用する必要がある。一方、Ｆナンバーが大きくなるに従って影響が支配的になる回折による光学伝達関数（ＯＴＦ）は、光学系のビネッティングの影響が小さい場合、像高に対して一律なＯＴＦとして扱うことができる。

本実施例は回折（回折ぼけ）を対象とする。このため画像回復フィルタは、Ｆナンバーと光の波長のみに依存し、像高（画像の位置）に依存しない。このため、一つの画像内について一律の（一定の）画像回復フィルタを用いることができる。すなわち本実施例の画像回復フィルタは、絞り値に応じて発生する回折ぼけによる光学伝達関数（第１の光学伝達関数）に基づいて生成される。波長については、複数の波長での光学伝達関数を計算し、想定する光源の分光や撮像素子の受光感度情報に基づいて波長ごとの重み付けにより色成分ごとの光学伝達関数を生成することができる。または、予め決めた色成分ごとの代表波長で計算を行ってもよい。そして、色成分ごとの光学伝達関数に基づいて画像回復フィルタを生成することができる。

したがって、回折のみを対象とする本実施例では、Ｆナンバーに依存する画像回復フィルタを予め複数保持しておき、Ｆナンバーの撮影条件に応じて画像内を一律の（一定の）画像回復フィルタを用いて処理することができる。

《実施例１》
次に、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法（画像回復処理）を示すフローチャートである。本実施例の画像処理方法は、画像処理装置または撮像装置の画像処理部により実行される。以下、各ステップを実行するステップの主体の代表として画像処理部を主体として記載するが、画像処理装置と置き換えることができる。

まず、ステップＳ１１において、画像処理部は、撮影画像を入力画像として取得する。画像処理装置を用いて画像処理方法を実行する場合、画像処理装置と撮像装置とを有線または無線で接続して撮影画像を取得することができる。また画像処理装置は、記憶媒体を介して撮影画像を取得することも可能である。一方、撮像装置を用いて画像処理方法を実行する場合、撮像装置は現像処理の入力データ（入力画像）としてＲＡＷ画像（撮影画像）を取得する。このように、画像処理装置または撮像装置の画像処理部は、撮影画像を取得する。

続いてステップＳ１２において、画像処理部は、撮影条件を取得する。撮影条件は、絞り値（Ｆナンバー）、焦点距離、および、撮影距離などを含む。また、撮像装置本体（カメラ本体）に対して着脱可能なレンズ装置（交換レンズ）を用いる場合、撮影条件はレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得可能であり、または、画像に付帯された情報から取得することもできる。

次に、ステップＳ１３において、画像処理部は、入力画像（撮影画像）に関して、絞り値が所定値以上であるか否かを判定する。絞り値が所定値以上の場合、回折の影響が支配的であると判定し、ステップＳ１４に進む。このように、本実施例の画像処理方法では、絞り値に応じて、以降の処理が切り替えられる。

本実施例において、所定値（処理を切り替えるための閾値）は、例えば絞り値がＦ１６に設定される。ただし本実施例はこれに限定されるものではなく、所定値は撮像光学系の収差量や撮像素子の画素ピッチに応じて適宜変更可能である。例えば、以下の条件式（７）で表されるように、絞り値に応じて決定される回折による遮断周波数が撮像素子の画素ピッチで決定されるサンプリング周波数より小さくなる絞り値を所定値として設定することが好ましい。

Ｆ≧ｐ／λ … （７）
ここで、ＦはＦナンバー（絞り値）、ｐは画素ピッチ、λは可視光の波長帯域のうち所定の波長である。或いは、λを撮像素子が受光可能な波長帯域の中心波長としてもよい。すなわち絞り値の所定値は、Ｆ＝ｐ／λを満たすか近い値に設定すればよい。例えば、画素ピッチをｐ＝０．００６ｍｍとすると、サンプリング周波数は１６７本／ｍｍとなる。このため、波長をλ＝５５０ｎｍとすると、絞り値の所定値はＦ１１である。

ステップＳ１３にて絞り値が所定値以上である判定された場合、ステップＳ１４において、画像処理部は、撮影条件に適した画像回復フィルタを取得する。絞り値が所定値以上である場合、画像の劣化の要因は回折が支配的である。このため、画像回復フィルタは、撮影距離や焦点距離などの撮影条件には依存せず、絞り値のみに応じて選択すればよい。すなわち画像処理手段は、絞り値に応じた画像回復フィルタを取得する。ただし、撮影距離により実効Ｆナンバーが変化するため、絞り値に加えて他の撮影条件を考慮して画像回復フィルタを選択してもよい。

ステップＳ１４にて取得される画像回復フィルタのタップ数は、以下の条件式（８）を満足することが好ましい。

１＜Ｔ・ｐ／（０．００１６・Ｆ）＜６ … （８）
ここで、Ｔは水平方向および垂直方向のタップ数、ｐは撮像素子の画素ピッチ（画素サイズ）、ＦはＦナンバー（絞り値）である。上記条件式の下限を超えると、収差や回折によるＰＳＦの広がりに対してタップ数が不足するため、十分な補正効果を得ることができない。一方、上記条件式の上限を超えると、畳み込み処理の演算量が肥大化し、処理速度が低下する。例えば、ｐ＝０．００６ｍｍ、Ｆ＝２２とし、タップ数を奇数とすると、７＜Ｔ＜３５となる。

また、以下の条件式（９）に示されるように、条件式（８）の上限を上げることにより、収差が支配的な撮影条件においてもＰＳＦの広がりに対するタップ数の不足を回避することができる。

１＜Ｔ・ｐ／（０．００１６・Ｆ）＜１２ … （９）
続いてステップＳ１５において、画像処理部は、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行い、回復画像を生成する。このとき、画像処理部は、画像回復処理とともに現像処理に関する種々の処理を行う。このコンボリューションでは、像高に応じて画像回復フィルタを切り替えることなく、画像全域に対して同一の画像回復フィルタを用いることができる。そしてステップＳ１６において、画像処理部は回復画像を出力画像として出力する。

このように本実施例において、画像処理装置または撮像装置（画像処理部）に予め保持されるデータは、絞り値が所定値以上の場合の画像回復フィルタのみで十分である。また、絞り値ごとの画像回復フィルタは、さらに複数の回復ゲイン（回復強度）を保持しても良い。

一方、ステップＳ１３で絞り値が所定値未満と判定された場合、画像処理手段は、ステップＳ１７で画像回復処理を含まない現像処理に関する種々の処理を行う。そしてステップＳ１６において、画像処理手段は各種処理後の画像を出力画像として出力する。言い換えれば、ステップＳ１３で絞り値が所定値未満と判定された場合、画像処理手段は、回復処理を行わない。

なお、本実施例においては、ステップＳ１３で絞り値が所定値未満と判定された場合、画像処理手段は、回復処理を行わない形態について説明したが、これに限られない。

次に、図６を参照して、本実施例における撮像装置について説明する。図６は、本実施例における撮像装置１００の構成図である。撮像装置１００は、図１を参照して説明した本実施例の画像処理方法（画像回復処理）を実行することにより、撮影画像から回復画像を生成可能である。

撮像装置１００において、被写体像（不図示）は、絞り１０１ａ（または遮光部材）およびフォーカスレンズ１０１ｂを含む撮像光学系１０１を介して撮像素子１０２に結像する。絞り値は、絞り１０１ａまたは遮光部材により決定される。撮像素子１０２は、撮像光学系１０１を介して形成された被写体像を光電変換して撮影画像を取得する。撮像素子１０２上に結像した被写体像は、電気信号に変換され、Ａ／Ｄコンバータ１０３に出力される。Ａ／Ｄコンバータ１０３は、入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号を画像処理部１０４に出力する。以上の処理により、撮影画像が取得される。

画像処理部１０４（画像処理手段）は、所定の処理と併せて画像回復処理を行う。まず、状態検知部１０７から撮像装置１００の撮影条件（撮影条件情報）を取得する。撮像条件情報は、絞り値、撮影距離、ズームレンズにおける焦点距離などを含む。状態検知部１０７は、システムコントローラ１１０から直接に撮像条件情報を取得可能であり、また、例えば撮像光学系１０１に関する撮像条件情報を撮像光学系制御部１０６から取得することもできる。記憶部１０８は、撮影画像内の位置に関して一定かつ絞りに応じて異なる複数の画像回復フィルタを記憶する。「撮影画像内の位置に関して一定の画像回復フィルタを記憶する」ということを言い換えると、次のように言える。記憶部１０８は、第１画素値に対して演算される画像回復フィルタと第２画素値に対して演算される画像回復フィルタとして共通の第３の画像回復フィルタを記憶する。ここで、第１画素値とは被写体像の第１像高に対応する画素値であり、第２画素値とは被写体像の第２像高に対応する画素値であり、第１像高と第２像高は互いに異なる像高である。また必要に応じて、光学伝達関数または光学伝達関数を生成するための係数データを記憶してもよい。

画像処理部１０４は、データ選択手段１０４ａ、画像処理手段１０４ｂ、および、判定手段１０４ｃを備える。データ選択手段１０４ａは、絞り値が所定値以上の場合に、複数の画像回復フィルタから絞り値に応じた一つの画像回復フィルタを選択する。画像処理手段１０４ｂは、絞り値が所定値以上の場合に、データ選択手段により選択された一つの画像回復フィルタを用いて、撮影画像から回復画像を生成する。判定手段１０４ｃは、撮像素子１０２により取得された撮影画像に関して、絞り値が所定値以上であるか否かを判定する。

画像処理部１０４で処理された出力画像（回復画像）は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。

撮像装置１００における一連の制御はシステムコントローラ１１０により行われる。また、撮像光学系１０１の機械的な駆動は、システムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。絞り１０１ａは、絞り値（Ｆナンバー）の撮影状態設定として、その開口径が制御される。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構（いずれも不図示）により、その位置が制御される。

撮像光学系１０１は、光学ローパスフィルタや赤外線カットフィルタなどの光学素子を含んでもよい。光学ローパスフィルタなどの光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合、画像回復フィルタを生成する際にその影響を考慮することが好ましい。この場合、画像回復フィルタは、更に、光学ローパスフィルタによる光学伝達関数（第２の光学伝達関数）に基づいて生成される。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを生成する際にその影響を考慮することが好ましい。また、画素開口の形状も光学伝達関数に影響を与えるため、その影響を考慮することがより好ましい。この場合、画像回復フィルタは、更に、画素開口による光学伝達関数に基づいて生成される。また本実施例において、絞り値が所定値以上の場合に用いられる画像回復フィルタは、像高に依存しない特性である、光学ローパスフィルタ、赤外カットフィルタ、画素開口などの要因を考慮して用意することが好ましい。

本実施例において、撮像光学系１０１（レンズ装置）は、撮像装置（撮像装置本体）と一体的に構成されているが、これに限定されるものではない。撮像光学系１０１は、一眼レフカメラなどの撮像装置本体に対して着脱可能に構成された交換レンズであってもよい。

《実施例２》
次に、図７を参照して、本発明の実施例２における画像処理システムについて説明する。図７は、本実施例における画像処理システム２００の構成図である。なお、本実施例の画像回復処理の処理フロー（画像処理方法）は、図１を参照して説明した実施例１と同様であるため、その説明は省略する。

図７において、画像処理装置２０１は、本実施例の画像処理方法をコンピュータ（情報処理装置）に実行させるための画像処理ソフトウェア２０６を搭載したコンピュータ機器である。撮像機器２０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体２０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。

また、本実施例は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの各種記憶媒体２０７を介してシステム或いは装置に供給して格納する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵなど）がプログラムを読み出して実行する。

画像処理装置２０１は、撮像機器２０２または記憶媒体２０３から撮影画像データを取得し、所定の画像処理を行った画像データを出力機器２０５、撮像機器２０２、記憶媒体２０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置２０１に内蔵された記憶部に保存することもできる。出力機器２０５は、例えばプリンタである。

画像処理装置２０１には、モニタである表示機器２０４が接続されている。このため、ユーザは表示機器２０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア２０６は、実施例１の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。

本実施例において、画像処理を行うためのデータの内容と機器間におけるデータの受け渡し（まとめて「補正情報」という。）については、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施例の画像処理装置を搭載した機器であれば、補正処理（画像回復処理）を適切に行うことができる。

上記各実施例によれば、絞り値（Ｆナンバー）が大きい場合に絞り値に応じた適切な画像回復フィルタを選択して画像回復を行うことにより、回折現象に伴う画像の鮮鋭度の劣化を効果的に低減することができる。このため各実施例によれば、データ量および演算量を削減しつつ高精度な画像回復処理が可能な撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１：撮像光学系
１０２：撮像素子
１０４：画像処理部
１０７：撮影条件検知部
１０８：記憶部

Claims (20)

1. 撮影画像から回復画像を生成可能な撮像装置であって、
   撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
   前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
   前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする撮像装置。
2. 撮影画像から回復画像を生成可能な撮像装置であって、
   撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
   前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
   前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする撮像装置。
3. 撮影画像から回復画像を生成可能な撮像装置であって、
   撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
   前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
   前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする撮像装置。
4. 絞り値に応じて２次元のフィルタ値の分布が異なる複数の画像回復フィルタを記憶する記憶手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記画像回復フィルタは、前記絞り値に応じて発生する回折ぼけによる光学伝達関数に基づいて生成されることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記画像回復フィルタのタップ数をＴ、前記撮像素子の画素ピッチをｐ、前記絞り値をＦとするとき、
   前記画像回復フィルタは、
   １＜Ｔ・ｐ／（０．００１６・Ｆ）＜６
   を満足することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記絞り値をＦ、前記撮像素子の画素ピッチをｐ、可視光の波長帯域のうちの所定の波長をλとするとき、
   前記絞り値の前記所定値は、
   Ｆ＝ｐ／λ
   を満たすことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記撮像光学系は、前記絞り値を決定する絞りまたは遮光部材を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 撮影画像から回復画像を生成可能な画像処理装置であって、
   前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、
   前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
   前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする画像処理装置。
10. 撮影画像から回復画像を生成可能な画像処理装置であって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、
    前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
    前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする画像処理装置。
11. 撮影画像から回復画像を生成可能な画像処理装置であって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得する取得手段と、
    前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
    前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成する画像処理手段と、を有することを特徴とする画像処理装置。
12. 撮影画像から回復画像を生成する画像処理方法であって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、
    前記絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含むことを特徴とする画像処理方法。
13. 撮影画像から回復画像を生成する画像処理方法であって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、
    前記絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含むことを特徴とする画像回復処理方法。
14. 撮影画像から回復画像を生成する画像処理方法であって、
    前記撮影画像および該撮影画像の撮影条件を取得するステップと、
    前記撮影条件の絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を含むことを特徴とする画像処理方法。
15. 撮影画像から回復画像を生成する画像処理プログラムであって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、
    前記絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させることを特徴とする画像処理プログラム。
16. 撮影画像から回復画像を生成する画像処理プログラムであって、
    前記撮影画像および該撮影画像を撮影した際の絞り値を取得するステップと、前記絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値以上の場合に、互いに異なる第１の像高と第２の像高に対して共通する画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させることを特徴とする画像処理プログラム。
17. 撮影画像から回復画像を生成する画像処理プログラムであって、
    前記撮影画像および該撮影画像の撮影条件を取得するステップと、
    前記撮影条件の絞り値が所定値以上であるか否かを判定するステップと、
    前記絞り値が所定値未満の場合に、画像回復処理を含まない現像処理を行い、前記絞り値が所定値以上の場合に、２次元のフィルタ値の分布が該撮影画像内の位置に関して一定の画像回復フィルタを用いて、前記撮影画像から前記回復画像を生成するステップと、を情報処理装置に実行させることを特徴とする画像処理プログラム。
18. 請求項１５乃至１７のいずれか１項に記載の画像処理プログラムを格納していることを特徴とする記憶媒体。
19. 撮影画像から回復画像を生成可能な撮像装置であって、
    撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
    前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
    前記絞り値が所定値以上の場合に、前記被写体像の第１像高に対応する第１画素値を補正するために該第１画素値に対して演算される画像回復フィルタと前記被写体像の第２像高に対応する第２画素値を補正するために該第２画素値に対して演算される画像回復フィルタとして、共通の画像回復フィルタを記憶する記憶手段と、を有することを特徴とする撮像装置。
20. 撮影画像から回復画像を生成可能な撮像装置であって、
    撮像光学系を介して形成された被写体像を光電変換して前記撮影画像を取得する撮像素子と、
    前記撮影画像を撮影した際の絞り値が所定値以上であるか否かを判定する判定手段と、
    前記撮影画像を光学伝達関数に基づいて生成された画像回復フィルタを用いて回復する画像処理手段と、
    前記画像回復フィルタを記憶する記憶手段と、を有し、
    前記画像処理手段は、絞り値が所定値以上の場合、前記記憶手段に記憶された回復フィルタを用いて回復画像を生成し、前記絞り値が所定値未満の場合、回復画像を生成しないことを特徴とする撮像装置。

Images