JP6516045B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関する。

従来、１回の撮影で得られたデータから任意の像面にピントの合った画像を合成する撮像装置が知られている。例えば特許文献１に記載されている撮像装置は、撮影光学系を通過して複数のマイクロレンズの中心に入射する光線を受光する画素の出力値に基づいて画像データを合成する。

日本国特開２００７−４４７１号公報

従来技術には、合成画像データの分解能を高めるために仮想画素の幅をマイクロレンズのピッチより狭くすると、合成画像データのコントラストが低下するという問題があった。

本発明の１の態様によると、画像処理装置は、複数のマイクロレンズ毎に複数設けられた受光部の出力データに対してハイパスフィルタ処理を行う処理部と、前記処理部で前記ハイパスフィルタ処理が行われた前記出力データを合成し、任意の焦点面の画像を生成する画像生成部と、を備える。

本発明によれば、コントラストの高さと分解能の高さを両立した画像データを合成することができる。

第１の実施の形態に係るデジタルカメラの構成を示す図である。 撮像ユニット１００の斜視図である。 撮影レンズＬ１と撮像ユニット１００とを模式的に示した断面図である。 合成対象の像面上の光点からの光束と撮像ユニット１００とを模式的に示した断面図である。 それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを示した模式図である。 撮像素子１３の撮像面のうち、図５（ｂ）に示す２５個のマイクロレンズ１２０に被覆された部分を光軸方向から見た平面図である。 １つの光点からの光束が多数のマイクロレンズ１２０に入射する場合の、撮像面上の各入射領域の決定方法を説明する図である。 図５に示した像面Ｓ５について、光点Ｐ５の位置から左にｐだけずれた位置の光点Ｐ７を示す図である。 各光点からの光束が重なり合う様子を示す模式図である。 合成画素の出力分布の一例を示す図である。 ＰＳＦの一例を示す図である。 第２の実施の形態に係るマイクロレンズアレイ１２を光軸方向から見た平面図である。 ハイパスフィルターを加えることにより低下するコントラストを補完する内容を説明する概念図である。 変形例４を実施するための制御回路１０１Ａの構成を示す図である。

（第１の実施の形態）
本実施の形態のデジタルカメラは、マイクロレンズアレイを介して撮影することにより取得された画像信号が奥行き情報等の波面情報を有することを利用して、数値処理によってユーザが所望する焦点位置を有する画像データを生成する。撮影レンズを介して入射した被写体光束は、マイクロレンズアレイの近傍に結像する。このとき、被写体の位置に応じて光束が結像する位置は撮影レンズの光軸方向に異なるものとなり、さらに被写体が三次元物体であれば被写体光束は同一平面上には結像しない。本実施の形態のデジタルカメラは、ユーザが所望する光軸方向の結像位置に結像する被写体の像を再現した画像データを生成（合成）する。以下、この生成された画像データを合成画像データと称する。合成画像データは、結像光学系の焦点があたかも当該結像位置（実際の結像位置ではなくユーザが所望する位置）にあるように見える。そこで、以下の説明において、この結像位置のことを焦点位置と呼ぶこととする。

さらに、本実施の形態のデジタルカメラは、マイクロレンズアレイに含まれるマイクロレンズの数よりも大きな解像度を有する合成画像データを生成可能に構成されている。デジタルカメラは多数のマイクロレンズを備えると共に、個々のマイクロレンズに対応して、複数個の撮像画素（受光素子）を備えている。そして、デジタルカメラは、ユーザが選択した焦点位置の合成画像データとなるように、１つのマイクロレンズに対応する撮像画素から出力された画像信号のみならず、その周辺に配置されているマイクロレンズに対応する撮像画素から出力された画像信号を用いて、合成画像データの１画素分の結像領域に相当する合成画像信号を生成し、焦点位置が可変な合成画像データを作成する。以下、詳細に説明する。

図１は、第１の実施の形態に係るデジタルカメラの構成を示す図である。デジタルカメラ１は、例えばバヨネット式のレンズマウント機構等により、撮影レンズＬ１を有する交換レンズ２の着脱が可能に構成されている。デジタルカメラ１は、撮像ユニット１００、制御回路１０１、Ａ／Ｄ変換回路１０２、メモリ１０３、操作部１１２、表示器１０９、ＬＣＤ駆動回路１１０およびメモリカードインタフェース１１１を備える。撮像ユニット１００は、多数のマイクロレンズ１２０が二次元状に配列されたマイクロレンズアレイ１２および撮像素子１３を備える。なお、以下の説明においては、Ｚ軸が撮影レンズＬ１の光軸に平行となるように設定され、Ｚ軸と直交する平面内でＸ軸とＹ軸とが互いに直交する方向に設定されているものとする。

撮影レンズＬ１は、複数の光学レンズ群から構成され、被写体からの光束をその焦点面近傍に結像する。撮影レンズＬ１には、入射光量を調節する絞り１１が設けられている。なお、図１では撮影レンズＬ１を説明の都合上１枚のレンズで代表して表している。撮影レンズＬ１の予定結像面近傍に、マイクロレンズアレイ１２と撮像素子１３とが順に配置される。撮像素子１３は、複数の光電変換素子を備えたＣＣＤやＣＭＯＳイメージセンサによって構成される。撮像素子１３は、撮像面上に結像されている被写体像を撮像し、制御回路１０１により制御されて被写体像に応じた光電変換信号（画像信号）をＡ／Ｄ変換回路１０２へ出力する。なお、撮像ユニット１００の詳細については説明を後述する。

Ａ／Ｄ変換回路１０２は、撮像素子１３が出力する画像信号にアナログ的な処理をしてからデジタル画像信号に変換する回路である。制御回路１０１は、ＣＰＵやメモリその他の周辺回路によって構成される。制御回路１０１は、不図示のＲＯＭ等に予め格納されている制御プログラムを読み出して実行する。この制御プログラムにより、制御回路１０１は、デジタルカメラ１を構成する各部から入力される信号を用いて所定の演算を行い、デジタルカメラ１の各部に対する制御信号を送出して、撮影動作を制御する。また、制御回路１０１は、後述するように焦点位置入力ボタン１１２ａの操作に応じて操作部１１２から入力した操作信号に基づいて合成画像データの焦点位置を決定する。

制御回路１０１は、画像合成部１０５、フーリエ変換部１０６、除算部１０７、および逆フーリエ変換部１０８を機能的に備える。画像合成部１０５は、撮影レンズＬ１の予定焦点面とは異なる任意の焦点面の合成画像データを合成する。フーリエ変換部１０６は、画像合成部１０５により合成された合成画像データをフーリエ変換する。除算部１０７は、フーリエ変換の結果を、後述するポイントスプレッドファンクションのフーリエ像で実効的に除算する。逆フーリエ変換部１０８は、除算部１０７による除算の結果を逆フーリエ変換し、目的画像データを作成する。なお、画像合成部１０５、フーリエ変換部１０６、除算部１０７、および逆フーリエ変換部１０８については詳細を後述する。

メモリ１０３は、Ａ／Ｄ変換回路１０２によりデジタル変換された画像信号や、画像処理、画像圧縮処理および表示用画像データ作成処理の途中や処理後のデータを一時的に格納するために使用される揮発性の記憶媒体である。メモリカードインタフェース１１１は、メモリカード１１１ａの着脱が可能なインタフェースである。メモリカードインタフェース１１１は、制御回路１０１の制御に応じて、画像データをメモリカード１１１ａに書き込んだり、メモリカード１１１ａに記録されている画像データを読み出すインタフェース回路である。メモリカード１１１ａは、例えばコンパクトフラッシュ（登録商標）やＳＤカードなどの半導体メモリカードである。

ＬＣＤ駆動回路１１０は、制御回路１０１の命令に基づいて表示器１０９を駆動する回路である。表示器１０９は液晶パネル等により構成され、再生モードにおいてメモリカード１１１ａに記録されている画像データに基づいて制御回路１０１で作成された表示データの表示を行う。また、表示器１０９には、デジタルカメラ１の各種動作を設定するためのメニュー画面が表示される。

操作部１１２は、ユーザの操作を受け付けて、操作内容に応じた各種の操作信号を制御回路１０１へ出力する。操作部１１２は、焦点位置入力ボタン１１２ａ，電源ボタン，レリーズボタン，その他の設定メニューの表示切換ボタン、設定メニュー決定ボタン等を含む。焦点位置入力ボタン１１２ａは合成画像データの焦点位置ｙを入力する際にユーザにより操作される。ユーザにより焦点位置入力ボタン１１２ａが操作され焦点位置ｙが選択されると、操作部１１２はその焦点位置ｙを含む操作信号を制御回路１０１へ出力する。

次に、撮像ユニット１００の構成について、図２に示した撮像ユニット１００の斜視図を用いて詳細に説明する。撮像ユニット１００はマイクロレンズアレイ１２と撮像素子１３とを有する。マイクロレンズアレイ１２は、ＸＹ平面上に二次元状に正方配列された複数のマイクロレンズ１２０を有する。撮像素子１３には、各マイクロレンズ１２０を通過した光を受光する光電変換素子１３０（以下、撮像画素１３０と呼ぶ）が、マイクロレンズ１２０に対応した配置パターンで二次元状に配列されている。撮像素子１３は、マイクロレンズアレイ１２から、マイクロレンズ１２０の焦点距離ｆだけ離れた位置に配置されている。つまり、各マイクロレンズ１２０について、当該マイクロレンズ１２０に対応する（被覆される）複数の撮像画素１３０が、当該マイクロレンズ１２０の焦点距離ｆだけ離れた位置に設けられている。

なお図２には、マイクロレンズアレイ１２に設けられた複数のマイクロレンズ１２０と、撮像素子１３に設けられた複数の撮像画素１３０のうち、その一部のみを図示している。実際には、より多数のマイクロレンズ１２０および撮像画素１３０が存在している。例えば、１つのマイクロレンズ１２０によっておよそ１００程度の撮像画素１３０が被覆されており、従ってマイクロレンズアレイ１２は撮像素子１３が有する撮像画素１３０の数のおよそ１００分の１程度の数のマイクロレンズ１２０を有している。

例えば撮影レンズＬ１の焦点距離が５０ミリメートルとすると、マイクロレンズ１２０の焦点距離ｆは数百マイクロメートル程度（撮影レンズＬ１の焦点距離の１００分の１程度）であるため、撮像素子１３から見ると、撮影レンズＬ１のいわゆる射出瞳の位置は、マイクロレンズ１２０にとってほぼ無限遠と見なすことができる。つまり、撮影レンズＬ１の射出瞳の位置と撮像素子１３の撮像面は、光学的に共役とすることができる。

図３は、撮影レンズＬ１と撮像ユニット１００とを模式的に示した断面図である。図３の左側に示した撮影レンズＬ１の予定結像面Ｓ１の近傍にマイクロレンズアレイ１２が設けられ、マイクロレンズ１２０の焦点位置Ｓ２の近傍に撮像素子１３が設けられている。

撮影レンズＬ１によりマイクロレンズアレイ１２の近傍に結像された被写体像は、マイクロレンズアレイ１２が備える各マイクロレンズ１２０により圧縮され撮像素子１３に畳み込まれる。例えば、撮影レンズＬ１の像倍率が５０分の１、すなわち撮影レンズＬ１が被写体像を実際の５０分の１の大きさで予定結像面Ｓ１に結像させる場合、奥行き方向で見ると被写体像はその二乗である２５００分の１の倍率で結像される。つまり、撮影レンズＬ１は、三次元空間にある被写体を奥行き方向に圧縮した立体像を予定結像面Ｓ１に結像させる。

図４は、合成対象の像面上の光点からの光束と撮像ユニット１００とを模式的に示した断面図である。図４において、合成対象の像面Ｓ３上に設けた光点Ｐ１を考える。この光点Ｐ１から撮像ユニット１００に向かう光の広がり角θ１は、撮影レンズＬ１の瞳の大きさ（すなわち撮影レンズＬ１のＦ値）により制限を受ける。マイクロレンズ１２０のＦ値が撮影レンズＬ１のＦ値と同じかそれより小さければ、この光点Ｐ１から出射し、あるマイクロレンズ１２０に入射した光束は、そのマイクロレンズ１２０により被覆されている領域の外には広がらない。

ここで、図４に示すように、光点Ｐ１からの光束が５つのマイクロレンズ１２０ａ〜１２０ｅに入射するとすれば、これらのマイクロレンズ１２０ａ〜１２０ｅに入射した光束３０ａ〜３０ｅの撮像面上における入射光量（撮像画素群１３０ａ〜１３０ｅの受光出力）を積算することにより、光点Ｐ１からの瞳に制限された全輻射量が得られることになる。

以上をまとめると、合成画像データを構成する特定の合成画素を作成するためには、その合成画素の座標に対応する撮像面上の光断面の全光量を演算すればよい。画像合成部１０５はこの演算を行うために、まず（１）合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ１２０を特定し、その後、（２）特定した各マイクロレンズ１２０について、光点からの光束がどの撮像画素に入射するかを特定する。

（１）合成対象の像面上のある光点について、その光点からの光束が入射するマイクロレンズ１２０を特定するには、その光点からの光束の広がり方がわかればよい。前述の通り、光点から広がる光の角度は撮影レンズＬ１の瞳により特定することができる。以下の説明では、撮影レンズＬ１のＦ値がマイクロレンズ１２０のＦ値と同じであると仮定する。

図５（ａ）は、それぞれ異なる像面上の光点Ｐ４と光点Ｐ５について、その光の広がりを模式的に示した断面図であり、図５（ｂ）はこれを撮影レンズＬ１側から見た平面図である。マイクロレンズ１２０の焦点距離ｆだけマイクロレンズ１２０から離れた位置の像面Ｓ４の上に存在する光点Ｐ４からの光束は、ちょうど１つ分のマイクロレンズ１２０の大きさ３１に広がってマイクロレンズアレイ１２に入射する。

他方、マイクロレンズ１２０の焦点距離ｆの２倍、すなわち２ｆだけマイクロレンズ１２０から離れた位置の像面Ｓ５の上に存在する光点Ｐ５からの光束は、図５（ａ）、（ｂ）の各々に示す通り、１つ分のマイクロレンズ１２０を超える大きさ３２に広がる。

以上のように、ある光点からの光束が入射するマイクロレンズ１２０は、その光点からマイクロレンズ１２０までの距離（すなわち合成対象の像面からマイクロレンズ１２０までの距離）に基づいて特定することができる。なお、実際には撮影レンズＬ１のＦ値も考慮してこれらのマイクロレンズ１２０を特定する必要がある。例えば、撮影レンズＬ１のＦ値がマイクロレンズ１２０のＦ値より大きい（撮影レンズＬ１がマイクロレンズ１２０より暗い）場合には、光点からの光束の広がりは小さくなる。

画像合成部１０５は次に、（２）特定した各マイクロレンズ１２０について、光点からの光束がどの撮像画素に入射するかを特定する。例えば図５の光点Ｐ４のように、光点がマイクロレンズ１２０からマイクロレンズ１２０の焦点距離ｆだけ離れた位置にある場合には、その直下のマイクロレンズ１２０に被覆された領域全体に円形開口の光が広がる。従って、この場合には、１つのマイクロレンズ１２０に被覆された全ての撮像画素１３０を選択すればよい。また、光点がマイクロレンズ１２０から焦点距離ｆより近い位置にある場合には、マイクロレンズ１２０で光が収束せずに広がるが、入射光束の広がり角の制限を受けているため、その広がりは１つのマイクロレンズ１２０に被覆された領域に留まる。

他方、光点が焦点距離ｆよりも離れた位置にある場合、光点からの光束は複数のマイクロレンズ１２０に渡って入射するため、複数のマイクロレンズ１２０に被覆された多数の撮像画素１３０から合成画素を作成するために必要な撮像画素１３０を選択する必要がある。以下、光点が焦点距離ｆよりも離れた位置にある場合について、図５の光点Ｐ５、すなわち光点がマイクロレンズ１２０から２ｆだけ離れた位置にある場合を例に挙げて説明する。

光点が２ｆだけ離れた位置にある場合、図５（ｂ）に示すように、その光点からの光束は、その光点の直下にあるマイクロレンズ１２０と、それに隣接する８つのマイクロレンズ１２０とを合わせた、計９個のマイクロレンズ１２０に入射する。

図６は、撮像素子１３の撮像面のうち、図５（ｂ）に示す２５個のマイクロレンズ１２０に被覆された部分を光軸方向から見た平面図である。なお図６では、図５（ｂ）の各マイクロレンズ１２０の位置を、撮像素子１３の撮像面上に重畳して破線で図示している。

図５（ａ）に示した光点Ｐ５からの光束は、図６に示した９つの領域３３ａ〜３３ｉに入射する。図６から明らかな通り、これらの領域３３ａ〜３３ｉは、１つのマイクロレンズ１２０に被覆される領域を９つに分割した形状を有している。このように、どのような位置の光点であっても、その光点からの光束が入射する撮像面上の領域の大きさ（光断面の大きさ）は、１つのマイクロレンズ１２０に被覆される領域の大きさと常に一致する。

以下、図７を用いて、図６のように１つの光点からの光束が多数のマイクロレンズ１２０に入射する場合の、撮像面上の各入射領域の決定方法を説明する。図７（ａ）はマイクロレンズアレイ１２の一部を光軸方向から見た平面図である。制御回路１０１は、まず、図７（ａ）の中央に図示した光点Ｐ６からの光束が広がる範囲を特定する。ここでは９つのマイクロレンズ１２０ａ〜１２０ｉに跨がる領域３４が、光点Ｐ６からの光束が広がる範囲である。

次に、図７（ｂ）に示すように、その領域３４を各マイクロレンズ１２０の大きさの格子で分割する。図７（ｂ）では、図７（ａ）に示した９つのマイクロレンズ１２０ａ〜１２０ｉの各々に対応するように配置された、各マイクロレンズ１２０の直径の大きさを持った正方形３５ａ〜３５ｉの格子で、光点Ｐ６からの光束が広がる領域３４を分割している。

最後に、図７（ｃ）に示すように、分割された各領域３４ａ〜３４ｉを、それぞれ対応するマイクロレンズ１２０ａ〜１２０ｉに被覆される領域に配置する。各被覆領域内における分割領域３４ａ〜３４ｉの相対位置は、図７（ｂ）に示した９つの正方形３５ａ〜３５ｉの相対位置と同一である。例えば、３行３列に配置された正方形３５ａ〜３５ｉのうち、左上隅の正方形３５ａに対応する分割領域３４ａは、対応する被覆領域３６ａの左上隅に配置される。

以上のように、光点の高さをｈ、マイクロレンズ１２０の焦点距離をｆ、マイクロレンズ１２０の径をｄとおいたとき、その光点からの光束が広がる領域をｄ／（ｈ／ｆ）の幅の格子で分割することにより、光点からの光束が入射する撮像画素を特定することができる。なお、（ｈ／ｆ）は負の値となることもあり、この場合はマイクロレンズ１２０より撮像素子１３側に光点があるものとする。

以上、特定のマイクロレンズ１２０のレンズ中心軸上に光点がある例を挙げて、合成画素の作成方法を説明したが、この合成画素の作成方法はそれ以外の位置に光点がある場合にも適用することが可能である。マイクロレンズ１２０のレンズ中心軸上の光点のみを合成してしまうと、作成される合成画像データの画素数はマイクロレンズ１２０の数に制限されてしまうことになり、低画素数の合成画像データしか作成することができない。そこで、本実施形態の画像合成部１０５は、合成対象の像面上により多数の光点を設定し、それらの光点について前述した合成方法で合成画素を作成することで、より高画素数の合成画像データを作成する。

図８は、図５に示した像面Ｓ５について、光点Ｐ５の位置から左にｐだけずれた位置の光点Ｐ７を示す図である。このとき、光束の広がる範囲３７も左にｐだけずれるので、このずれた範囲３７について図７と同様に分割領域を設定することで、光点Ｐ７に相当する合成画素を作成することができる。例えば、１つのマイクロレンズ１２０について、縦横それぞれについてｄ／４ずつずらした位置に光点を設定し、それぞれの光点について合成画素の作成を行えば、１つのマイクロレンズ１２０から１６個の合成画素を作成することができる。この場合、合成画像データはマイクロレンズ１２０の数の１６倍の画素数を有することになる。

ところで、上述のように、１つのマイクロレンズ１２０上に複数の光点を設けて画像合成を行う場合、１つの撮像画素１３０の出力が複数の合成画素の作成に用いられることになる。実際には、合成対象の像面上には三次元的に多数の光点が連続的に存在し、それらの光点からの光が撮像素子１３の撮像面上に重畳されている。従って、マイクロレンズ１２０上にある光点を設けた場合の、その光点からの光束が入射する撮像画素１３０の受光出力には、当該光点以外の光点からの光束に対応する出力が含まれていることになる。

図９は、各光点からの光束が重なり合う様子を示す模式図であり、図９（ａ）が合成対象の像面Ｓ４、マイクロレンズアレイ１２、および撮像素子１３のＹＺ平面による断面図、図９（ｂ）が撮像素子１３の撮像面を光軸方向から見た平面図である。ここでは、マイクロレンズ１２０からマイクロレンズ１２０の焦点距離ｆだけ離れた像面Ｓ４の上に、一列に並んだ５つの光点Ｐ８〜Ｐ１２を考える。

これら５つの光点Ｐ８〜Ｐ１２は、それぞれマイクロレンズ１２０の幅ｄの半分、すなわちｄ／２ずつ離れた位置に設けられている。具体的には光点Ｐ８、Ｐ１０、Ｐ１２はそれぞれ異なるマイクロレンズ１２０の中心軸上の位置に設定されており、光点Ｐ９、Ｐ１１は隣り合う２つのマイクロレンズ１２０の間に設定されている。このとき、光点Ｐ８〜Ｐ１２からの光束４０〜４４は、それぞれ重なり合って撮像素子１３の撮像面の領域４５〜４９に入射する。

例えば光点Ｐ９からの光束４１は、図９（ｂ）に示した領域４６に入射するが、この領域４６は、光点Ｐ８からの光束４０が入射する領域４５および光点Ｐ１０からの光束４２が入射する領域４７と重なり合っている。つまり、領域４５と領域４６の重なり合った領域に相当する撮像画素１３０からの受光出力には、光点Ｐ８からの光束４０に相当する出力と、光点Ｐ９からの光束４１に相当する出力とが重畳されている。

このとき、ｉ番目の光点の真の強度をａｉと置くと、ｉ番目の光点に対応する合成画素の出力Ｐｉは次式（１）により演算することができる。

制御回路１０１は、１つのマイクロレンズ１２０を縦横４分割し、１６個の光点を設ける。この場合には、横方向に並んだ４つの光点について同様に、次式（２）を用いて合成画素の出力Ｐｉを演算することができる。

このときの合成画素の出力分布を図１０に示す。図１０の縦軸は画素出力であり、横軸は画素位置である。図１０から明らかな通り、合成画素は三角形のコンボリューション積分がなされた画素出力である。このような出力分布から、マイクロレンズ１２０による光点からの光束の広がり方を表すポイントスプレッドファンクション（ＰＳＦ）を求めることができる。

ＰＳＦは、複数のマイクロレンズ１２０の配列と、画像合成部１０５が合成する画素の配列とから決定される。本実施形態では、ＰＳＦの大きさを、１つのマイクロレンズ１２０が被覆する領域の大きさと等しいものとする。また、ＰＳＦの要素数は、１つのマイクロレンズ１２０が被覆する複数の撮像画素１３０の数に等しいものとする。

なお、図１０では合成画素の出力分布を一次元的に図示しているが、ＰＳＦを求める場合はこれを二次元的に演算する必要がある。すなわち、左右の光点からの光束の重畳のみならず、周囲の全光点からの光束の重畳を考慮して演算を行うことにより、ＰＳＦを求めることができる。

図１１（ａ）は導出されたＰＳＦの値を示す図であり、図１１（ｂ）はＰＳＦを３次元座標にプロットした図である。図１１では、１つのマイクロレンズ１２０内の８１点についてＰＳＦの値を示している。

除算部１０７は、以上のようにして導出したＰＳＦを用いて、図１０に示した画素出力の重畳を解く。画素出力の重畳は次式（３）のように表現できる。なお、ここでは簡単のため、一次元での表現としている。

上式（３）において、ｐｓｆ（ｔ）はＰＳＦを、ｆ（ｘ）は真の光強度を、ｉ（ｘ）は重畳された画素出力を表している。ｐｓｆ（ｔ）は上述の方法により既知であり、重畳された画素出力ｉ（ｘ）も既知であるので、真の光強度ｆ（ｘ）を求めることが可能である。ここでｉ（ｘ）をフーリエ変換すれば、上式（３）はＰＳＦのフーリエ変換像ＰＳＦ（ｕ）と真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）の積で表されることになる。すなわち、ｉ（ｘ）のフーリエ変換像Ｉ（ｕ）は次式（４）のように表される。

上式（４）より、真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）は次式（５）のように表すことができる。

関数ｉ（ｘ）、ｐｓｆ（ｘ）ならびにそれらのフーリエ変換像Ｉ（ｕ）、ＰＳＦ（ｕ）は既知であるので、上式（５）より真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）を得ることができる。その後、このフーリエ変換像Ｆ（ｕ）をフーリエ逆変換すれば、真の光強度ｆ（ｘ）を求めることができる。

ただし、実際にこの演算を行い真の光強度ｆ（ｘ）を求めると、演算誤差により発生する高周波ノイズが合成画像データ全体に現れ、明瞭な画像が得られない。そこで、本実施形態の除算部１０７は、周知のウィナーフィルタを用いてこの高周波ノイズを抑制する。上式（５）にウィナーフィルタを適用すると、次式（６）のようになる。除算部１０７は上式（５）ではなく次式（６）により真の光強度ｆ（ｘ）のフーリエ変換像Ｆ（ｕ）を求めることで、高周波ノイズが抑制された明瞭な合成画像データを作成する。なお、次式（６）において、ＰＳＦ＊（ｕ）はＰＳＦ（ｕ）の複素共役を意味する。

以上の流れを図１に示したブロック図で簡単に説明する。撮像素子１３から出力された撮像信号はＡ／Ｄ変換回路１０２によりデジタル画像信号に変換され、メモリ１０３に記憶される。制御回路１０１には、操作部１１２から合成対象の焦点位置と被写界深度を決める絞り値とが入力される。画像合成部１０５は、入力された焦点位置および絞り値の二次元画像を合成する。

一方、フーリエ変換部１０６は、マイクロレンズアレイ１２におけるマイクロレンズ１２０の配列と、画像合成部１０５の合成画素の位置とから、１つの光点に対するポイントスプレッドファンクション（ＰＳＦ）を決定し、このＰＳＦと画像合成部１０５による合成画像とをフーリエ変換する。除算部１０７は、上式（６）のように、ウィナーフィルタを用いて画像合成部１０５による合成画像のフーリエ像をＰＳＦのフーリエ像で実効的に除算し、真の光強度ｆ（ｘ）のフーリエ像Ｆ（ｕ）を得る。最後に逆フーリエ変換部１０８が、このフーリエ像Ｆ（ｕ）を逆フーリエ変換し、元の合成画像データから改善された目的画像データを得る。この画像は、マイクロレンズ１２０による入射光束の重畳が解かれた、コントラストの高い画像である。

上述した第１の実施の形態によるデジタルカメラによれば、次の作用効果が得られる。
（１）デジタルカメラ１は、撮影レンズＬ１を透過した光束が入射するよう二次元状に配置された複数のマイクロレンズ１２０から成るマイクロレンズアレイ１２と、複数のマイクロレンズ１２０の各々に対応して当該マイクロレンズ１２０の後側に配置された複数の撮像画素１３０を有する撮像素子１３とを備える。制御回路１０１は、複数のマイクロレンズ１２０の各々に対応する複数の撮像画素１３０の出力に基づいて、撮影レンズＬ１の任意の像面における像の画像データを合成する画像合成部１０５と、画像合成部１０５により合成された画像データをフーリエ変換するフーリエ変換部１０６と、複数のマイクロレンズ１２０に入射した光束の光学的な広がりを表すポイントスプレッドファンクションのフーリエ像でフーリエ変換の結果を実効的に除算する除算部１０７と、除算部１０７による除算の結果を逆フーリエ変換し、目的画像データを作成する逆フーリエ変換部１０８と、を備える。このようにしたので、コントラストの高さと分解能の高さを両立した画像データを合成することができる。

（２）除算部１０７は、ポイントスプレッドファンクションのフーリエ像に基づくウィナーフィルタをフーリエ変換部１０６によるフーリエ変換の結果に適用することにより、フーリエ変換部１０６によるフーリエ変換の結果を実効的に除算する。このようにしたので、高周波ノイズが抑制されたクリアな画像を得ることができる。

（第２の実施の形態）
以下、図面を用いて、本発明の第２の実施の形態であるデジタルカメラについて説明する。なお、第１の実施の形態と同一の箇所には第１の実施の形態と同一の符号を付し、説明を省略する。

図１２は、第２の実施の形態に係るマイクロレンズアレイ１２を光軸方向から見た平面図である。図１２に示すように、本実施形態ではハニカム構造を構成する六角形のマイクロレンズ１２０を用いている。このような形状のマイクロレンズ１２０についても、第１の実施の形態と同様に本発明を適用することができる。

なお、第１の実施の形態とマイクロレンズ１２０の配列が異なっているため、本実施形態で利用されるＰＳＦは、第１の実施の形態とは異なるものとなる。その導出方法自体は第１の実施の形態と同様である。つまり、図１０のような周辺の光点からの光束の重畳を、二次元的に演算すればよい。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。

（変形例１）
レンズ交換可能なデジタルカメラに本発明を適用した実施形態について上述したが、本発明はこのような実施の形態に限定されない。例えばレンズ一体型のカメラ等についても本発明を適用することが可能である。

（変形例２）
マイクロレンズ１２０の配列および形状は、第１および第２の実施の形態で述べたものに限定されない。また、撮像素子１３の撮像面における各撮像画素の配列および形状についても同様である。例えば、各マイクロレンズ１２０により被覆される撮像画素１３０が、マイクロレンズ１２０毎に分離していてもよい。

（変形例３）
ウィナーフィルタを用いずに真の光強度ｆ（ｘ）を求めてもよい。すなわち、上式（５）ではなく（４）を用いてＦ（ｕ）を求めるように除算部１０７を構成してもよい。

（変形例４）
上記実施の形態では、画像合成部１０５により合成された合成画像に対して、フーリエ変換部１０６、除算部１０７、逆フーリエ変換部１０８の処理により、マイクロレンズ１２０による入射光束の重畳を解き、コントラストの高い画像を求めるようにした。しかし、合成前の画像の空間周波数成分が高い部分にハイパスフィルターを加え、低下するコントラストをあらかじめ補完しておくようにしてもよい。

以下、合成画像ではなく、合成前の元画像に対してハイパスフィルターが有効かどうかについて説明をする。

説明を簡単にするため、画像をマイクロレンズの焦点位置付近にある像とし、その１次元的な位置に対する強度変化をf(x)とする。マイクロレンズの径をSとすると、この位置から光出力はSだけ広がるので、撮像素子での強度はf(x)/Sである。ある撮像素子面の位置x₀はこうした光を重畳したものだから

とあらわすことができる。

隣接したピクセルとの差分は、これを微分したものに相当し

と考えることができる。

この式の右辺はf(x)に他ならないから、差分値を増大させるハイパスフィルターは元画像f(x)のゲインを増大させることに他ならない。したがって、撮像素子の元画像にハイパスフィルターを導入すると、表示画像のコントラスト低下が補完されることになる。

図１３は、ハイパスフィルターを加えることにより低下するコントラストを補完する内容を説明する概念図である。マイクロレンズ密度より低い空間周波数であれば合成画像のコントラストには特に問題は生じない。しかし、マイクロレンズ密度より高い空間周波数であれば重畳の影響により合成画像のコントラストが低下する。そこで、合成前の元画像に対してハイパスフィルター処理を行うことにより、予め空間周波数が高い部分を強調しておく。これにより、本願のような任意の像面の画像合成を行っても、空間周波数が高い部分のコントラストの低下が補完される。

図１４は、本変形例を実施するための制御回路１０１Ａの構成を示す図である。制御回路１０１Ａは、ハイパスフィルター部２０１と画像合成部１０５からなる。図１の制御回路１０１のフーリエ変換部１０６、除算部１０７、逆フーリエ変換部１０８は削除され、その代わりにハイパスフィルター部２０１が設けられている。画像合成部１０５は、上記実施の形態の画像合成部１０５と同様であるので同じ符号を付している。

メモリ１０３から画像合成前の元画像データが制御回路１０１Ａに入力されると、最初にハイパスフィルター部２０１に入力され、ハイパスフィルター処理が施される。その後、画像合成部１０５に入力され、上記実施の形態と同様に、操作部１１２により指示された焦点位置および絞り値の二次元画像を合成する。その後、合成後の合成画像を出力する。

以上のように、合成前の元画像にハイパスフィルター処理を行うような簡単な構成でも、コントラストの低下が補完された合成画像を生成することができる。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１２年第１５６９４０号（２０１２年７月１２日出願）

１…デジタルカメラ、２…交換レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１０１…制御回路、１０５…画像合成部、１０６…フーリエ変換部、１０７…除算部、１０８…逆フーリエ変換部、１２０…マイクロレンズ、１３０…撮像画素、Ｌ１…撮影レンズ

Claims (2)

1. 複数のマイクロレンズ毎に複数設けられた受光部の出力データに対してハイパスフィルタ処理を行う処理部と、
   前記処理部で前記ハイパスフィルタ処理が行われた前記出力データを合成し、任意の焦点面の画像を生成する画像生成部と、
   を備える画像処理装置。
2. 前記ハイパスフィルタ処理は、マイクロレンズ密度より空間周波数が高い部分を強調する処理である請求項１に記載の画像処理装置。

Images