JP6239985B2 - 画像処理装置、画像処理プログラム及び撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム及び撮像装置に関し、特に、パンフォーカス画像を生成する技術に関する。

従来の撮像装置では、パンフォーカス画像を撮影するために、レンズのＦ値の大きい状態（絞り込んだ状態）または広角レンズを使用して被写体を撮影し、被写界深度を深くとることが行われている。

また、従来のパンフォーカス画像を生成する画像処理装置では、焦点合わせの異なる画像を複数取得し、それらの中で最も合焦に近いものを選択しつつ、画像を合成する手法が行われている（特許文献１）。

具体的には、画像処理装置は、被写体を撮影し、撮像画像から被写体の写った領域を抽出し、抽出した領域毎に合焦して再度撮影を行う。そして、例えば、再度撮影した３枚の画像について対応する複数の領域から、最もコントラストの高い領域を抽出し、これらを接合する。これにより、３つの領域が合焦したパンフォーカス画像が生成される。

さらに、撮像画像から焦点ぼやけの程度を表した点拡がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）を仮定または推定し、撮像画像に対してＰＳＦの逆畳込みを行うことで合焦状態の画像を生成する手法もある。

特開２０１２−１９５７９７号公報

しかしながら、レンズのＦ値の大きい状態（絞り込んだ状態）または広角レンズを使用して被写体を撮影する手法では、光量が不足したり、光の回折により鮮鋭度が低下したりする等画質劣化を伴う。

また、特許文献１に記載されているような、焦点を合わせた異なる画像を複数合成する手法では、焦点位置調整に伴う像の大きさの変化または歪を補正する必要がある他、いずれの画像が合焦しているかの判定が必要になる。また、広い距離範囲に合焦させるためには、複数の画像の各被写界深度の範囲にギャップ（被写界深度の抜け）を生じないようにする必要があり、多くの枚数の画像を要することがある。

また、ＰＳＦの逆畳込みを行う手法では、画像の場所毎にどの程度のぼやけが生じているかを推定する必要がある。元々の被写体がぼやけているのか、または焦点はずれによってぼやけているのかは必ずしも分離できないため、正確な逆畳込みを行うことは難しい。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、画像に含まれるぼやけを確実にキャンセルし、鮮鋭な画像を生成可能な画像処理装置、画像処理プログラム及び撮像装置を提供することにある。

前記課題を解決するため、本発明の請求項１に係る画像処理装置は、撮像装置により撮像された画像から、焦点ぼやけの程度を表した点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する画像処理装置において、前記撮像装置に備えた絞りの開口を変化させて撮像された複数の画像を入力し、前記複数の画像のそれぞれをフーリエ変換し、前記複数の画像におけるフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて前記点拡がり関数のパラメータを算出し、前記点拡がり関数を推定する点拡がり関数推定手段と、前記複数の画像のうちの少なくとも１つの画像に対し、前記点拡がり関数推定手段により推定された点拡がり関数の逆畳込みを行い、合焦画像を生成する逆畳込手段と、を備えたことを特徴とする。

これにより、複数の画像から点拡がり関数が推定されるから、安定した点拡がり関数を得ることができる。また、安定した点拡がり関数を用いて逆畳込みが行われるから、画像に含まれるぼやけを確実にキャンセルすることができ、鮮鋭な合焦画像を得ることができる。

請求項２に係る画像処理装置は、請求項１に記載の画像処理装置において、前記複数の画像を、前記撮像装置に備えた絞りの開口を変化させて撮像された２つの画像とし、前記点拡がり関数推定手段が、前記２つの画像のそれぞれを、前記画像の部分領域毎にフーリエ変換し、前記部分領域毎のフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて、前記部分領域毎に点拡がり関数のパラメータを算出し、前記部分領域毎の点拡がり関数を推定し、前記逆畳込手段が、前記２つの画像のうちのいずれか一方の画像における前記部分領域に対し、前記点拡がり関数推定手段により推定された部分領域毎の点拡がり関数の逆畳込みを行い、合焦画像を生成する、ことを特徴とする。

これにより、２つ画像から部分領域毎の点拡がり関数が推定されるから、簡易な演算にて安定した点拡がり関数を得ることができる。また、安定した点拡がり関数を用いて１つの画像に対し逆畳込みが行われるから、画像に含まれるぼやけを確実にキャンセルすることができ、簡易な演算にて鮮鋭な合焦画像を得ることができる。

請求項３に係る画像処理装置は、請求項１または２に記載の画像処理装置において、前記複数の画像が、前記絞りの開口形状が前記絞り面内における所定の軸方向に所定の倍率だけ拡大または縮小して撮像された画像である、ことを特徴とする。

これにより、絞りの開口を絞り面内で任意に変化させて撮像された複数の画像から、点拡がり関数を推定することができ、合焦画像を生成することができる。

請求項４に係る画像処理プログラムは、コンピュータを、請求項１から３までのいずれか一項に記載の画像処理装置として機能させることを特徴とする。

請求項５に係る撮像装置は、撮像した画像から、焦点ぼやけの程度を表した点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する撮像装置において、開口を制御可能な絞りと、前記絞りの開口を変化させて複数の画像を撮像する制御手段と、前記制御手段により撮像された複数の画像に基づいて点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する演算手段と、を備え、前記演算手段が、前記制御手段により撮像された複数の画像をそれぞれ記憶する記憶手段と、前記記憶手段から複数の画像を読み出し、前記複数の画像のそれぞれをフーリエ変換し、前記複数の画像におけるフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて前記点拡がり関数のパラメータを算出し、前記点拡がり関数を推定する点拡がり関数推定手段と、前記複数の画像のうちの少なくとも１つの画像に対し、前記点拡がり関数推定手段により推定された点拡がり関数の逆畳込みを行い、合焦画像を生成する逆畳込手段と、を備えたことを特徴とする。

以上のように、本発明によれば、画像に含まれるぼやけを確実にキャンセルし、鮮鋭な画像を生成することができる。

本発明の実施形態による画像処理装置の構成例を示すブロック図である。 ＰＳＦ推定手段の処理例を示すフローチャートである。 本発明の実施形態による撮像装置の構成例を示す概略図である。 絞りの開口形状の例を示す第１の図である。 絞りの開口形状の例を示す第２の図である。 演算手段の構成例を示すブロック図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔画像処理装置〕
まず、本発明の実施形態による画像処理装置について説明する。図１は、本発明の実施形態による画像処理装置の構成例を示すブロック図である。この画像処理装置１は、絞りの開口を任意に変化させて撮像された複数の画像を入力し、画像の全体または局所的なＰＳＦを推定し、複数の画像またはそのうちの１つの画像に対してＰＳＦの逆畳込みを行い、合焦画像であるパンフォーカス画像を推定して出力する。

以下、画像処理装置１が２つの画像ｐ１，ｐ２を入力する例を挙げて説明する。画像処理装置１は、ＰＳＦ推定手段２及び逆畳込手段３を備えており、２つの画像ｐ１，ｐ２を入力し、合焦画像ｑの推定値ｑ＾を生成しパンフォーカス画像として出力する。

ＰＳＦ推定手段２は、絞りの開口を任意に変化させて撮像された２つの画像ｐ１，ｐ２を入力し、２つの画像ｐ１，ｐ２のそれぞれについて部分領域Ｂ毎にフーリエ変換し、部分領域Ｂ毎のフーリエ変換結果比Ｐ１／Ｐ２またはＰ２／Ｐ１若しくはその両方（以下、「フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１」と表記する）から周期パターンを特定し、部分領域Ｂ毎のＰＳＦを推定する。そして、ＰＳＦ推定手段２は、推定した部分領域Ｂ毎のＰＳＦを逆畳込手段３に出力する。ＰＳＦ推定手段２の詳細については後述する。

逆畳込手段３は、画像ｐ１を入力すると共に、ＰＳＦ推定手段２から部分領域Ｂ毎のＰＳＦを入力し、画像ｐ１に対し、部分領域Ｂ毎のＰＳＦの逆畳込みを行い、合焦画像ｑの推定値ｑ＾を生成して出力する。これにより、パンフォーカス画像が合焦画像ｑの推定値ｑ＾として出力される。

〔ＰＳＦ推定手段の処理〕
次に、図１に示したＰＳＦ推定手段２について詳細に説明する。前述のとおり、ＰＳＦ推定手段２は、２つの画像ｐ１，ｐ２のそれぞれについて部分領域Ｂ毎にフーリエ変換し、部分領域Ｂ毎のフーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１から周期パターンを特定し、部分領域Ｂ毎のＰＳＦを推定する。

図２は、ＰＳＦ推定手段２の処理例を示すフローチャートである。まず、ＰＳＦ推定手段２は、２つの画像ｐ１，ｐ２を入力する（ステップＳ２０１）。

ここで、画像ｐ１，ｐ２は、絞りの開口を任意に変化させて撮像された異なる画像、すなわち絞りの開口を、絞り面内における所定の軸方向に所定の倍率だけ拡大または縮小した画像である。例えば、後述する図４に示すように、画像ｐ１は、絞りの開口形状が広開口の正方形のときに撮影された画像であり、画像ｐ２は、絞りの開口形状が狭開口の正方形のときに撮影された画像である。また、例えば、後述する図５に示すように、画像ｐ１は、絞りの開口形状が縦長開口の長方形のときに撮影された画像であり、画像ｐ２は、絞りの開口形状が横長開口の長方形のときに撮影された画像である。

ＰＳＦ推定手段２は、画像ｐ１，ｐ２の部分領域Ｂについてそれぞれフーリエ変換し、フーリエ変換結果Ｐ１，Ｐ２を生成する（ステップＳ２０２）。このとき、例えば、絞りの第１の開口形状と第２の開口形状とを長方形（正方形を含む）とし、その短辺同士の比が１：２または２：１とし、長辺同士の比が１：２または２：１（順序を問わず）とすることにより、ステップＳ２０２のフーリエ変換処理、及び後述するステップＳ２０３〜ステップＳ２０５の処理を容易に行うことができる。

以下、レンズ１０には収差がなく、ぼやける際には、絞りの開口形状と相似（かつ一様）なＰＳＦが画像ｐ１，ｐ２に畳み込まれるものとする。また、画像ｐ１，ｐ２は、絞りの開口形状を長方形とし、後述する図５に示すように、第１の開口形状を横１：縦２の縦長開口、及び第２の開口形状を横２：縦１の横長開口としたときに撮像された画像であるものとする。

このとき、画像ｐ１の部分領域Ｂが、横ｒ：縦２ｒ（ｒは非負の実数、合焦時にはｒ＝０、焦点はずれが大きいほどｒの値は大きい、単位は例えば画素単位）のＰＳＦによりぼやけている場合、画像ｐ２の同部分領域Ｂは、横２ｒ：縦ｒのＰＳＦによりぼやけているはずである。

画像ｐの画像座標（ｘ，ｙ）における画素値をｐ（ｘ，ｙ）とし、ＰＳＦを関数ｈとし、合焦画像をｑとすると、以下の式が成立する。

前記式（１）において、

は２次元畳込演算を示し、上付きのＴはベクトルまたは行列の転置を示す。また、ＰＳＦである関数ｈは、パラメータａ，ｂにより規定される関数であり、画像ｐ１，ｐ２におけるそれぞれのＰＳＦは、ぼやけパラメータｒにて規定される。

前記式（１）を２次元フーリエ変換すると、以下に示すフーリエ変換結果Ｐ１，Ｐ２が得られる。

前記式（２）において、ｕは水平周波数、ｖは垂直周波数を示す。Ｐ１，Ｐ２及びＱは、画像ｐ１、画像ｐ２及び合焦画像ｑをそれぞれフーリエ変換した結果のスペクトルを示し、Ｈは、ＰＳＦであるインパルス応答の関数ｈをフーリエ変換した周波数応答を示す。また、Ｐ１（Ｂ；ｕ，ｖ）及びＰ２（Ｂ；ｕ，ｖ）は、画像ｐ１及び画像ｐ２のうち、部分領域Ｂ内だけをフーリエ変換したそれぞれの結果を示す。

ＰＳＦ推定手段２は、ステップＳ２０２の後に、フーリエ変換結果の比Ｐ１／Ｐ２，Ｐ２／Ｐ１を算出する（ステップＳ２０３）。フーリエ変換結果のスペクトルＰ２とスペクトルＰ１の比は、以下の式で表される。

ＰＳＦ推定手段２は、ステップＳ２０３にて算出したフーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１の周期パターン（周期特性）を特定する（ステップＳ２０４）。具体的には、ＰＳＦ推定手段２は、前記式（３）に示したフーリエ変換結果比Ｐ２／Ｐ１に対して水平周波数ｕ＝０を設定し、垂直周波数ｖの軸に対するフーリエ変換結果比Ｐ２／Ｐ１の周期パターンとして、コサイン関数の周期特性を特定する。同様に、ＰＳＦ推定手段２は、前記（３）式のＰ２，Ｐ１を入れ替えた新たな式が示すフーリエ変換結果比Ｐ１／Ｐ２に対して垂直周波数ｖ＝０を設定し、水平周波数ｕの軸に対するフーリエ変換結果比Ｐ１／Ｐ２の周期パターンとして、コサイン関数の周期特性を特定する。

前記式（３）のＰ２，Ｐ１を入れ替えた新たな式に垂直周波数ｖ＝０を設定すると、以下の式が導出される。

この式（４）は、フーリエ変換結果比Ｐ１／Ｐ２の軸、水平周波数ｕの軸及び垂直周波数ｖの軸からなる３軸空間において、フーリエ変換結果比Ｐ１／Ｐ２が、水平周波数ｕの軸に対して、コサイン関数の周期パターンを有していることを示している。

また、前記式（３）に水平周波数ｕ＝０を設定すると、以下の式が導出される。

この式（５）は、フーリエ変換結果比Ｐ２／Ｐ１の軸、水平周波数ｕの軸及び垂直周波数ｖの軸からなる３軸空間において、フーリエ変換結果比Ｐ２／Ｐ１が、垂直周波数ｖの軸に対して、コサイン関数の周期パターンを有していることを示している。

ここで、前述のとおり、画像ｐ１が、第１の開口形状Ａ１を横１：縦２の縦長開口としたときの画像であり、画像ｐ２が、第２の開口形状Ａ２を横２：縦１の横長開口としたときの画像である場合には、前記式（３）（４）（５）が導出される。そして、この場合のフーリエ変換結果比Ｐ１／Ｐ２は、水平周波数ｕの軸に対して、コサイン関数の周期パターンを有し、フーリエ変換結果比Ｐ２／Ｐ１は、垂直周波数ｖの軸に対して、コサイン関数の周期パターンを有している。

尚、絞りの開口形状が前述の長方形以外の任意の形状であったとしても、画像ｐ１，ｐ２が絞りの開口を任意に変化させて撮像された異なる画像である場合には、フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１は、水平周波数ｕの軸及び垂直周波数ｖの軸に対して、絞りの開口及びその変化に応じた所定の周期パターンを有することになる。

ＰＳＦ推定手段２は、ステップＳ２０４にて特定した周期パターンに基づいて、ＰＳＦのぼやけパラメータｒの推定値ρ（Ｂ）を算出する（ステップＳ２０５）。具体的には、ＰＳＦ推定手段２は、周期パターンを示した前記式（４）、前記式（５）または両式を用いる。フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１の周期パターンからＰＳＦのぼやけパラメータｒを推定できるのは、この周期パターンがぼやけパラメータｒに比例するからである。

例えば前記式（４）を用いる場合には、ＰＳＦ推定手段２は、以下に示す関数ｆ_Ｂの値を複数の水平周波数ｕについて求め、これに対して、例えば最小二乗法を用いることで余弦曲線を当てはめ、部分領域Ｂに対するぼやけパラメータｒの推定値ρ（Ｂ）を算出する。

尚、ＰＳＦ推定手段２は、前記式（６）に示す関数ｆ_Ｂ（ｕ）をフーリエ変換し、そのスペクトルのピークを求めることで、周期性のあるｆ_Ｂ（ｕ）の周波数φ_Ｂを求め、ρ（Ｂ）＝１／（２φ_Ｂ）なる演算により、部分領域Ｂに対するぼやけパラメータｒの推定値ρ（Ｂ）を算出するようにしてもよい。

ＰＳＦ推定手段２は、ステップＳ２０５にて算出したぼやけパラメータｒの推定値ρ（Ｂ）を用いて、部分領域ＢのＰＳＦを推定し逆畳込手段３に出力する（ステップＳ２０６）。

〔逆畳込手段の処理〕
次に、図１に示した逆畳込手段３について詳細に説明する。前述のとおり、逆畳込手段３は、画像ｐ１に対し、部分領域Ｂ毎のＰＳＦの逆畳込みを行い、合焦画像ｑの推定値ｑ＾を生成して出力する。

逆畳込手段３は、画像ｐ１に対し、部分領域Ｂ毎に、ぼやけパラメータｒの推定値ρ（Ｂ）に応じたＰＳＦ、すなわち関数ｈ（２ρ（Ｂ），ρ（Ｂ））を逆畳込みし、合焦画像ｑの推定値ｑ＾を算出する。尚、逆畳込手段３は、画像ｐ２に対して逆畳込みを行うようにしてもよい。

例えば、逆畳込手段３は、部分領域Ｂ毎のフーリエ変換結果のスペクトルＰ１（Ｂ；ｕ，ｖ）に対して以下の演算を行い、演算結果のスペクトルＱ＾を逆フーリエ変換することで、合焦画像ｑの推定値ｑ＾を算出する。

しかし、実際には雑音または演算誤差の影響によって、ＰＳＦである関数ｈのフーリエ変換結果Ｈ（ρ（Ｂ），２ρ（Ｂ）；ｕ，ｖ）の零点が悪影響を及ぼし、前記式（７）の演算結果が不安定になることがある。

このような問題を解決するために、逆畳込手段３は、例えば、以下の式に示すウィーナフィルタ（Ｗｉｅｎｅｒ Ｆｉｌｔｅｒ）を構成してスペクトルＱ＾を演算し、演算結果のスペクトルＱ＾を逆フーリエ変換することで、合焦画像ｑの推定値ｑ＾を算出する。

ここで、

は、Ｈの複素共役を示す。また、ｎ（ｕ，ｖ）は、周波数（ｕ，ｖ）毎のノイズ量（仮定する信号対雑音比（Ｓ／Ｎ）のパワーの逆数）を示し、所定の値が設定される。例えば、ｎ（ｕ，ｖ）として、全周波数（ｕ，ｖ）に対して定数値ｎ_０≧０が設定される。

以上のように、本発明の実施形態による画像処理装置１によれば、ＰＳＦ推定手段２は、絞りの開口を任意に変化させて撮像された２つの画像ｐ１，ｐ２について、画像の部分領域Ｂ毎にフーリエ変換し、フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１から周期パターンを特定し、特定した周期パターンに基づいてＰＳＦのぼやけパラメータｒを算出し、部分領域Ｂ毎のＰＳＦを推定するようにした。そして、逆畳込手段３は、画像ｐ１に対し、部分領域Ｂ毎のＰＳＦの逆畳込みを行い、合焦画像ｑをパンフォーカス画像として推定するようにした。

これにより、パンフォーカス画像を生成するために、レンズを絞り込んだ状態等にて被写体を撮影する必要がなく、光量不足等に伴う画質劣化は生じない。また、従来は１つの画像からＰＳＦを推定するが、本発明の実施形態では２つの画像ｐ１，ｐ２からＰＳＦを推定するから、安定したＰＳＦを求めることができる。したがって、画像に含まれるぼやけを確実にキャンセルすることができ、鮮鋭な画像を生成することが可能となる。

また、本発明の実施形態による画像処理装置１によれば、絞りの第１の開口形状と第２の開口形状とを長方形（正方形を含む）とし、その短辺同士の比が１：２または２：１とし、長辺同士の比が１：２または２：１（順序を問わず）としたときに撮像された画像ｐ１，ｐ２を用いるようにした。これにより、前記式（３）（４）（５）に示したように、ＰＳＦ推定手段２により特定される周期パターンを簡易な式で表すことができるから、演算負荷を低減することができる。

尚、本発明の実施形態による画像処理装置１のハードウェア構成としては、通常のコンピュータを使用することができる。画像処理装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。画像処理装置１に備えたＰＳＦ推定手段２及び逆畳込手段３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

〔撮像装置〕
次に、本発明の実施形態による撮像装置について説明する。図３は、本発明の実施形態による撮像装置の構成例を示す概略図である。この撮像装置５は、レンズ１０、絞り３０、撮像素子４０、制御手段５０、絞り駆動手段６０、画像取得手段７０及び演算手段８０を備えて構成される。図３に示す演算手段８０は、図１に示した画像処理装置１の処理を行う。

レンズ１０は、図示しない被写体を撮像素子４０に結像させるためのレンズである。絞り３０は、レンズ１０の光学的開口を変化させるための手段、すなわち絞り面内（光軸２０に垂直な面、画像平面に平行な面）における所定の軸（例えば、直交する２軸、所定角度で交差する２軸）方向に所定の倍率だけ拡大または縮小させる手段であり、絞り駆動手段６０によって光学的開口の形状が変化する。

絞り３０は、制御手段５０からの制御信号に従って、絞り駆動手段６０によりその光学的開口を変化させるものであれば、電気的手段、電磁的手段、電気化学的手段、光学的手段等のように手段を問わない。例えば、絞り３０は、可動絞り羽根によって機械的にその光学的開口を変化させるものであっても構わないし、液晶及び偏光板を用いて電気的に透過及び不透過を制御することで光学的開口を変化させるものであっても構わない。

絞り３０の開口形状は、例えば長方形（正方形を含む）とし、その長辺及び短辺のいずれか一方または両方の長さが絞り駆動手段６０によって制御されるものとする。

図４は、絞り３０の開口形状の例を示す第１の図である。図４に示す絞り３０の開口形状は正方形であり、その大きさは、広開口の絞り３０−１または狭開口の絞り３０−２のように、絞り駆動手段６０によって制御される。

図５は、絞り３０の開口形状の例を示す第２の図である。図５に示す絞り３０の開口形状は長方形であり、その大きさは、縦長開口の絞り３０−３または横長開口の絞り３０−４のように、絞り駆動手段６０によって制御される。

尚、絞り３０の開口形状は、図４及び図５に示した形状の他、円形であってもよいし、３角形等の多角形であってよい。また、絞り３０は、例えば、図４に示した広開口の絞り３０−１の形状と図５に示した縦長開口の絞り３０−３の形状とが切り替わるように制御されるようにしてもよい。

撮像素子４０は、レンズ１０によって得られた像を取り込み、取り込んだ像の光信号を演算手段８０において信号処理可能な電気信号に変換する。例えば、撮像素子４０は、２次元状に感光素子を配列した素子である、各感光素子が捉えた光を、その光量に応じて電気信号に変換する。具体的には、撮像素子４０として、電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）または相補型金属酸化膜半導体（ＣＭＯＳ：Ｃｏｍｐｌｉｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｙｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等による固体撮像素子を用いることができる。

制御手段５０は、絞り駆動手段６０及び撮像素子４０を制御する。例えば、制御手段５０は、撮像装置５が撮影者から撮像の指示を受けたときに、以下に示す（ａ）〜（ｄ）の一連の制御を行う。
（ａ）絞り３０が第１の開口形状Ａ１をとるように、第１の制御信号を絞り駆動手段６０に出力する。
（ｂ）画像取得手段７０が撮像素子４０から第１の画像ｐ１（絞り３０が第１の開口形状Ａ１のときの画像ｐ１）を取得するように、第１のトリガ信号を画像取得手段７０に出力する。
（ｃ）絞り３０が第２の開口形状Ａ２をとるように、第２の制御信号を絞り駆動手段６０に出力する。
（ｄ）画像取得手段７０が撮像素子４０から第２の画像ｐ２（絞り３０が第２の開口形状Ａ２のときの画像ｐ２）を取得するように、第２のトリガ信号を画像取得手段７０に出力する。

絞り駆動手段６０は、制御手段５０から制御信号を入力し、絞り３０の開口形状を変化させる。前記例では、絞り駆動手段６０は、制御手段５０から第１の制御信号を入力すると、絞り３０の開口形状を第１の開口形状Ａ１に変化させる。また、絞り駆動手段６０は、制御手段５０から第２の制御信号を入力すると、絞り３０の開口形状を第２の開口形状Ａ２に変化させる。

絞り３０が可動絞り羽根により構成される場合には、絞り駆動手段６０は、サーボモータのようなアクチュエータにて構成することができる。また、絞り３０が液晶及び偏光板により構成される場合には、絞り駆動手段６０は、液晶の配向を変化させるための電気信号を発生し、液晶に印加する。

画像取得手段７０は、制御手段５０からトリガ信号を入力し、撮像素子４０から画像を取得し、取得した画像を演算手段８０に出力する。前記例では、画像取得手段７０は、制御手段５０から第１のトリガ信号を入力すると、撮像素子４０から第１の画像ｐ１を取得して演算手段８０に出力する。また、制御手段５０から第２のトリガ信号を入力すると、撮像素子４０から第２の画像ｐ２を取得して演算手段８０に出力する。

演算手段８０は、画像取得手段７０から複数の画像を入力し、画像の全体または局所的なＰＳＦを算出し、当該ＰＳＦの畳込みをキャンセルするための演算を、入力した画像に対して行い、ぼやけをキャンセルした合焦画像ｑを生成し、これをパンフォーカス画像として出力する。

図６は、図３に示した演算手段８０の構成例を示すブロック図である。この演算手段８０は、記憶手段８１、ＰＳＦ推定手段８２及び逆畳込手段８３を備えている。

記憶手段８１は、絞りの開口を任意に変化させて撮像された複数の画像を記憶するメモリであり、画像取得手段７０から複数の画像を入力して記憶する。ＰＳＦ推定手段８２及び逆畳込手段８３は、図１に示したＰＳＦ推定手段２及び逆畳込手段３にそれぞれ相当するから、ここでは詳細な説明を省略する。

以上のように、本発明の実施形態による撮像装置５によれば、制御手段５０は、絞り３０の開口を変化させるための制御信号を絞り駆動手段６０に出力し、絞り３０の開口を変化させて撮像された画像を撮像素子４０から取得するためのトリガ信号を画像取得手段７０に出力し、演算手段８０の記憶手段８１は、絞りの開口を任意に変化させて撮像された２つの画像ｐ１，ｐ２を記憶するようにした。そして、ＰＳＦ推定手段８２は、記憶手段８１に記憶された２つの画像ｐ１，ｐ２について、画像の部分領域Ｂ毎にフーリエ変換し、フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１から周期パターンを特定し、特定した周期パターンに基づいてＰＳＦのぼやけパラメータｒを算出し、部分領域Ｂ毎のＰＳＦを推定するようにした。そして、逆畳込手段８３は、画像ｐ１に対し、部分領域Ｂ毎のＰＳＦの逆畳込みを行い、合焦画像ｑをパンフォーカス画像として推定するようにした。

これにより、前述の画像処理装置１と同様に、画像に含まれるぼやけを確実にキャンセルすることができ、鮮鋭な画像を生成することが可能となる。

ここで、絞り３０の第１の開口形状Ａ１における面積と第２の開口形状Ａ２における面積とが異なる場合には、両者の光量が異なることから、同程度の画質の画像ｐ１，ｐ２を得ることができず、正確なＰＳＦを推定することができない場合があり得る。そこで、画像ｐ１，ｐ２のそれぞれが適正画質になるように、露光時間または感度が調整される。

尚、本発明の実施形態による撮像装置５に備えた演算手段８０のハードウェア構成としては、通常のコンピュータを使用することができる。演算手段８０は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。演算手段８０に備えたＰＳＦ推定手段８２及び逆畳込手段８３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施形態では、図１及び図２において、ＰＳＦ推定手段２は、２つの画像ｐ１，ｐ２を入力し、画像の部分領域Ｂ毎にフーリエ変換し、フーリエ変換結果比Ｐ１／Ｐ２，Ｐ２／Ｐ１から周期パターンを特定し、周期パターンに基づいて部分領域Ｂ毎のＰＳＦを推定するようにした。これに対し、ＰＳＦ推定手段２は、画像の部分領域Ｂ毎ではなく、画像全体をフーリエ変換して周期パターンを特定し、画像全体のＰＳＦを推定するようにしてもよい。

また、ＰＳＦ推定手段２は、３以上の画像を入力し、３以上の画像のそれぞれについて、全体または局所的にフーリエ変換し、フーリエ変換結果比から周期パターンを特定し、ＰＳＦを推定するようにしてもよい。例えば、ＰＳＦ推定手段２は、３以上の画像のうちの２つの画像の組み合わせを決定し、その組み合わせ毎のフーリエ変換比から周期パターンを特定し、全ての組み合わせの平均を算出することで、ＰＳＦを推定するようにしてもよい。図６に示したＰＳＦ推定手段８２についても同様である。

また、図１において、逆畳込手段３は、画像ｐ１に対し、部分領域Ｂ毎のＰＳＦの逆畳込みを行い、合焦画像ｑの推定値ｑ＾を生成するようにした。これに対し、逆畳込手段３は、画像ｐ１に対し、画像全体のＰＳＦを用いて逆畳込みを行うようにしてもよい。また、逆畳込手段３は、画像ｐ２を入力し、画像ｐ２に対しＰＳＦの逆畳込みを行うようにしてもよいし、画像ｐ１，ｐ２を入力し、画像ｐ１，ｐ２に対しＰＳＦの逆畳込みを行うようにしてもよい。

また、ＰＳＦ推定手段２が３以上の画像を用いてＰＳＦを推定した場合には、逆畳込手段３は、３以上の画像を入力し、３以上の画像のうち少なくとも１つの画像に対しＰＳＦの逆畳込みを行うようにしてもよい。図６に示した逆畳込手段８３についても同様である。

１ 画像処理装置
２，８２ ＰＳＦ推定手段
３，８３ 逆畳込手段
５ 撮像装置
１０ レンズ
２０ 光軸
３０ 絞り
４０ 撮像素子
５０ 制御手段
６０ 絞り駆動手段
７０ 画像取得手段
８０ 演算手段
８１ 記憶手段

Claims (5)

1. 撮像装置により撮像された画像から、焦点ぼやけの程度を表した点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する画像処理装置において、
   前記撮像装置に備えた絞りの開口を変化させて撮像された複数の画像を入力し、前記複数の画像のそれぞれをフーリエ変換し、前記複数の画像におけるフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて前記点拡がり関数のパラメータを算出し、前記点拡がり関数を推定する点拡がり関数推定手段と、
   前記複数の画像のうちの少なくとも１つの画像に対し、前記点拡がり関数推定手段により推定された点拡がり関数の逆畳込みを行い、合焦画像を生成する逆畳込手段と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記複数の画像を、前記撮像装置に備えた絞りの開口を変化させて撮像された２つの画像とし、
   前記点拡がり関数推定手段は、
   前記２つの画像のそれぞれを、前記画像の部分領域毎にフーリエ変換し、前記部分領域毎のフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて、前記部分領域毎に点拡がり関数のパラメータを算出し、前記部分領域毎の点拡がり関数を推定し、
   前記逆畳込手段は、
   前記２つの画像のうちのいずれか一方の画像における前記部分領域に対し、前記点拡がり関数推定手段により推定された部分領域毎の点拡がり関数の逆畳込みを行い、合焦画像を生成する、ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記複数の画像は、前記絞りの開口形状が前記絞り面における所定の軸方向に所定の倍率だけ拡大または縮小して撮像された画像である、ことを特徴とする画像処理装置。
4. コンピュータを、請求項１から３までのいずれか一項に記載の画像処理装置として機能させるための画像処理プログラム。
5. 撮像した画像から、焦点ぼやけの程度を表した点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する撮像装置において、
   開口を制御可能な絞りと、
   前記絞りの開口を変化させて複数の画像を撮像する制御手段と、
   前記制御手段により撮像された複数の画像に基づいて点拡がり関数を推定し、前記画像に対して前記点拡がり関数の逆畳込みを行い、合焦画像を生成する演算手段と、を備え、
   前記演算手段は、
   前記制御手段により撮像された複数の画像をそれぞれ記憶する記憶手段と、
   前記記憶手段から複数の画像を読み出し、前記複数の画像のそれぞれをフーリエ変換し、前記複数の画像におけるフーリエ変換結果の比についての周期パターンを特定し、前記周期パターンに基づいて前記点拡がり関数のパラメータを算出し、前記点拡がり関数を推定する点拡がり関数推定手段と、
   前記複数の画像のうちの少なくとも１つの画像に対し、前記点拡がり関数推定手段により推定された点拡がり関数の逆畳込みを行い、合焦画像を生成する逆畳込手段と、
   を備えたことを特徴とする撮像装置。

Images