JP5187145B2 - 画像合成装置および方法 - Google Patents

Description

本発明は画像合成装置および画像合成方法に関する。

撮影光学系と、この撮影光学系の背後に配置され、複数のマイクロレンズを配列したマイクロレンズアレイと、このマイクロレンズアレイの背後に配置され、前記マイクロレンズ各々に対し複数の光電変換素子を配列した光電変換素子アレイと、を用いて撮影光学系の光軸方向の任意の位置に焦点の合った画像を合成するようにした画像合成カメラが知られている（例えば、特許文献１参照）。
特開２００７−００４４７１号公報

この明細書において、“画素”とはデジタル画像を構成する最小単位であり、色調や階調などの色情報を有する最小の“点”（ピクセル；pixel）をいう。したがって、画像は多くの画素が二次元状に配列されたものである。なお、画素は通常は正方形に形成されるが、まれに長方形とされることもある。

一般的な従来のデジタルカメラでは、光電変換素子を二次元状に配列した撮像素子を用いており、撮影光学系により撮像素子（光電変換素子アレイ）上に被写体像を結像し、光電変換素子アレイにより被写体像を光電変換してデジタル画像データを生成している。したがって、この種のデジタルカメラでは、撮像画像が光電変換素子の大きさの画素を有することになり、画像の最小分解能は光電変換素子の大きさ、厳密には光電変換素子の受光面すなわち光電変換面の大きさになる。

一方、上述した従来の画像合成カメラでは、マイクロレンズアレイと光電変換素子アレイとからなる撮像素子を用いており、撮影光学系によりマイクロレンズアレイの略マイクロレンズ頂点面に被写体像を結像し、各マイクロレンズからの光をそのほぼ焦点位置に配列した光電変換素子上で受光し、デジタル画像データを生成する。その結果、上述した従来の画像合成カメラでは、撮像画像がマイクロレンズの大きさの画素を有することになり、画像の最小分解能はマイクロレンズの大きさになる。

また、上述した従来の画像合成カメラは、撮像画像の奥行き方向の画像合成面の位置、つまり撮影光学系の光軸と垂直に交わる画像合成面の位置は、マイクロレンズアレイ上の各マイクロレンズに対応する光電変換素子の数が多いほど微調整が可能になる。しかし、光電変換素子アレイ上の各光電変換素子の大きさを縮小してマイクロレンズ１個当たりの光電変換素子数を多くするには限界があり、かといってマイクロレンズ自体を大きくして対応する光電変換素子数を多くすると、画素が大きくなるために画像が粗くなって画質が低下する。

(１) 請求項１の発明は、撮影光学系と、撮影光学系の背後に配置され、複数のマイクロレンズを配列したマイクロレンズアレイと、マイクロレンズアレイの背後に配置され、マイクロレンズ各々に対し複数の光電変換素子を配列した光電変換素子アレイと、マイクロレンズ各々に対して光電変換素子アレイ上の複数の所定位置各々を中心とした所定範囲の信号を所定の強度分布で取り出すフィルターを所定位置毎に有し、光電変換素子アレイの出力にフィルターを作用させて、マイクロレンズ毎に撮影光学系による所定の結像面における複数の画素情報を作成するデータ作成手段と、データ作成手段の出力に基づいて撮影光学系の光軸方向の任意の位置における画像を合成する画像合成手段とを有する。
(２) 請求項２の発明は、請求項１に記載の画像合成装置において、データ作成手段における複数の所定位置は、撮影光学系の光軸方向の結像面の位置に応じて選択され、所定位置に応じてフィルターの特性が異なる。
(３) 請求項３の発明は、請求項１または請求項２に記載の画像合成装置において、撮影光学系は所定の結像面に合焦させる光軸方向の位置を変えるために焦点調節機能を有している。
(４) 請求項４の発明は、請求項１または請求項２に記載の画像合成装置において、強度分布は所定位置を中心としたガウス分布をなしている。
(５) 請求項５の発明は、請求項１に記載の画像合成装置において、画像合成手段は、所定位置で規定される撮影光学系の結像位置を変化させる結像位置可変手段を有し、データ作成手段は、撮影光学系の結像位置毎に所定位置を移動し、それに合わせて二次元フィルターが取り出す強度分布を異ならせる。
(６) 請求項６の発明は、撮影光学系と、撮影光学系の背後に配置され、複数のマイクロレンズを配列したマイクロレンズアレイと、マイクロレンズアレイの背後に配置され、マイクロレンズ各々に対し複数の光電変換素子を配列した光電変換素子アレイとにより撮像した画像を処理する画像処理方法であって、マイクロレンズ各々に対して光電変換素子アレイ上の複数の所定位置各々を中心とした所定範囲の信号を所定の強度分布で取り出すフィルターを所定位置毎に有し、光電変換素子アレイの出力にフィルターを作用させて、マイクロレンズ毎に撮影光学系による所定の結像面における複数の画素情報を作成するとともに、複数の画像情報に基づいて撮影光学系の光軸方向の任意の位置における画像を合成する。

本発明によれば、一枚の撮像画像のデータに基づいて撮影光学系の任意の焦点面における分解能の高い高精細な画像を合成することができる。

本発明の画像合成装置をデジタルカメラに適用した一実施の形態を説明する。図１は一実施の形態のデジタルカメラの構成を示す図であり、この図により一実施の形態の構成を説明する。なお、図１では本発明に直接関係のあるカメラの装置および機器のみを図示する。

一実施の形態のデジタルカメラ１には、カメラボディ２に撮影レンズ３が装着されている。カメラボディ２は撮像素子４、駆動制御装置５、メモリ６などを備えている。撮像素子４は、微小なマイクロレンズを平面上に稠密に配列したマイクロレンズアレイ４ａと、微小な光電変換素子を平面上に稠密に配列した光電変換素子アレイ４ｂとから構成される。

一実施の形態のマイクロレンズアレイ４ａでは、微小なマイクロレンズが二次元状に稠密に正方格子配列されている。なお、マイクロレンズの配列は正方配列に限定されず、千鳥状配列やハニカム状配列（六方稠密配列）としてもよい。

図２は、マイクロレンズアレイ４ａの一つのマイクロレンズの外周を光電変換素子アレイ４ｂ上に投影した図である。一実施の形態の光電変換素子アレイ４ｂでは、微小な光電変換素子がマイクロレンズの焦点距離の位置にある受光面に正方格子状に配列されている。マイクロレンズアレイ４ａの各マイクロレンズは、図２に示すように光電変換素子アレイ４ｂの複数の光電変換素子をその外周範囲内に包含している。すなわち、マイクロレンズを通った光束は複数の光電変換素子で受光される。

この一実施の形態では、マイクロレンズの直径を光電変換素子１１個分の長さとし、マイクロレンズ１個に対し縦１１個、横１１個の正方格子状に配列された光電変換素子マトリクスを対応させている。なお、１個のマイクロレンズに対応する光電変換素子の個数はこの一実施の形態の１１×１１個に限定されない。また、図２の中に記載した“右瞳”、“左瞳”および“マイクロレンズ光軸”については後述する。

図１において、駆動制御装置５は、図示しないマイクロコンピューターとメモリ、Ａ／Ｄコンバーター、駆動回路などの周辺部品から構成され、カメラ１の種々の演算制御やシーケンス制御、およびレンズ駆動制御、絞り駆動制御、ミラー駆動制御などを実行する。駆動制御装置５には、マイクロコンピューターのソフトウエア形態により瞳データ抽出部５ａ、データ列形成部５ｂ、焦点演算部５ｃ、画像合成部５ｄ、レンズ駆動制御部５ｅなどが構成されている。これらの各部５ａ〜５ｅの詳細については後述する。

メモリ６は種々のデータや画像を記憶する。画像メモリ６ａは撮像素子４により撮像された画像を記憶する。光軸データメモリ６ｂは、図２に示すように、マイクロレンズアレイ４ａを構成する各マイクロレンズ光軸の、光電変換素子アレイ４ｂ上における位置データを記憶するメモリである。このマイクロレンズの光軸位置データは、光電変換素子アレイ４ｂの光電変換素子位置の座標を小数レベルまで展開したものである。つまり、光電変換素子１個を１とした単位よりも小さい値、例えば光電変換素子０．５個を０．５というように光軸位置を正確に表したものである。

なお、この一実施の形態では、図２に示すように、縦１１個、横１１個の正方格子配列の光電変換素子マトリクスの中心（図２中の×印位置）、すなわちマトリクス中央の光電変換素子の中心を各マイクロレンズの光軸との交点とする例を示すが、実際にはマイクロレンズの光軸が光電変換素子の中心に位置するようにマイクロレンズアレイ４ａと光電変換素子アレイ４ｂを製作することは困難である。

そこで、光軸データメモリ６ｂに記憶されている各マイクロレンズの光軸位置データに基づいて、各マイクロレンズに対応する光電変換素子の出力から、マイクロレンズの光軸が光電変換素子の中心を通る仮想的な光電変換素子の出力を演算により求め、これらの仮想的な光電変換素子出力を有する縦１１個、横１１個の正方格子配列の仮想的な光電変換素子出力のマトリクスを作成し、後述する一実施の形態の画像合成に用いる。なお、こうして求めた仮想的な光電変換素子出力のマトリクスを以下では単に光電変換素子マトリクスと呼ぶ。

フィルターメモリ６ｃは、マイクロレンズアレイ４ａのレンズ頂点面から距離ｙの位置にある、撮影レンズ３の光軸に対して垂直な面において画像を合成する際に、光電変換素子マトリクスに作用させるための二次元フィルターを記憶するメモリである。この二次元フィルターについては後述する。

《高分解能な画像を合成する原理》
上述したように、従来の画像合成カメラでは、合成画像がマイクロレンズの大きさの画素を有し、画像の最小分解能はマイクロレンズの大きさになっていた。この一実施の形態では、マイクロレンズの大きさよりも小さい画素を有し、最小分解能がマイクロレンズよりも小さい高精細な画像を合成する。

図３は、マイクロレンズアレイ４ａと光電変換素子アレイ４ｂの一部分を、撮影レンズ３の光軸を含む面で切った断面図である。図３において、撮影レンズ３の焦点面Ｓがマイクロレンズアレイ４ａのマイクロレンズ頂点面から距離ｙの位置にある場合を示す。この例では、距離ｙがマイクロレンズアレイ４ａのマイクロレンズの焦点距離ｆよりわずかに長い距離（ｙ＞ｆ）とした場合を示す。この一実施の形態では、焦点面Ｓに結像された撮影レンズ３による被写体像を、光電変換素子アレイ４ｂの出力に基づいて合成する。なお、焦点面Ｓに結像された被写体像は、焦点面Ｓにおいて二次元的な広がりを有するが、図３では撮影レンズ３の光軸を含む一つの面上においてのみ、一実施の形態の画像合成法を概念的に説明する。

焦点面Ｓと各マイクロレンズの光軸Ｌとが交わる点をＰ１とすると、各点Ｐ１を通り各マイクロレンズを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上において各マイクロレンズごとにボケ像を結ぶ。このボケ像は各マイクロレンズの光軸位置Ｐ１’（マイクロレンズの光軸Ｌが光電変換素子アレイ４ｂの受光面と交わる位置）の光電変換素子を中心とした光量分布を有し、光電変換素子アレイ４ｂは各マイクロレンズごとに光量分布に応じた画像信号を出力する。上述した従来の画像合成カメラでは、各マイクロレンズごとの画像信号により焦点面Ｓ上に結像された各点Ｐ１の像を合成する。これにより、焦点面Ｓ上の各点Ｐ１を中心としたマイクロレンズ単位の画素を有する被写体像が合成される。

これに対しこの一実施の形態では、図３に示すように焦点面Ｓ上に複数の点、ここでは２個の点Ｐ２、Ｐ３を等間隔に、かつ、各マイクロレンズの光軸Ｌに対して対象な位置に配置する。また、この一実施の形態では、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面(不図示)において、焦点面Ｓ上に複数の点、ここでは２個の点Ｐ４、Ｐ５(いずれも不図示)を等間隔に、かつ、各マイクロレンズの光軸Ｌに対して対象な位置に配置する。そして、これらの点Ｐ２、Ｐ３、Ｐ４、Ｐ５を仮想的な画素とし、マイクロレンズごとに複数の画素、ここでは４個の画素を有する被写体像を合成する。

上述した従来の画像合成カメラでは、マイクロレンズごとに１個の点Ｐ１を画素とする画像を合成するのに対し、この一実施の形態では、マイクロレンズごとに４個の点Ｐ２、Ｐ３、Ｐ４、Ｐ５（Ｐ４、Ｐ５は不図示）を仮想的な画素とする画像を合成する。したがって、この一実施の形態によれば、従来の画像合成カメラに比べ画素数が４倍になり、４倍の分解能の画像を合成することができる。なお、以下では、図３に示す平面における画像合成法を説明するが、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面における画像合成法も同様である。

図３において、焦点面Ｓ上の点Ｐ２を通り各マイクロレンズを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上の位置Ｐ２’に各マイクロレンズごとにボケ像を結ぶ。また、焦点面Ｓ上の点Ｐ３を通り各マイクロレンズを介して光電変換素子アレイ４ｂへ導かれた光束は、光電変換素子アレイ４ｂ上の位置Ｐ３’に各マイクロレンズごとにボケ像を結ぶ。これらのボケ像は位置Ｐ２’、Ｐ３’を中心とした光量分布を有し、光電変換素子アレイ４ｂは各マイクロレンズごとにこれらの光量分布に応じた画像信号を出力する。

各マイクロレンズにより光電変換素子アレイ４ｂ上に投影される点Ｐ２、Ｐ３のボケ像の光量分布は、マイクロレンズの曲面の状態により異なる点像分布を示すが、この一実施の形態では説明を解りやすくするためにガウス分布の光量分布を有するボケ像とみなして説明する。

焦点面Ｓが、例えばマイクロレンズの頂点面からマイクロレンズの焦点距離ｆだけ離れた位置までの間にある場合には（０＜ｙ＜ｆ）、焦点面Ｓが図３に示したよりもマイクロレンズアレイ４ａに近づいてくる。その結果、点Ｐ２、Ｐ３を出た光束の中心のなす角度αが図３に示したよりの徐々に大きくなる。したがって、点Ｐ２、Ｐ３のボケ像は図２に示す各マイクロレンズに対応する光電変換素子範囲、すなわち縦１１個、横１１個の光電変換素子マトリクスの範囲を超えて、隣接するマイクロレンズの光電変換素子範囲まで拡散するため、点Ｐ２、Ｐ３のボケ像を合成することが困難になる。

一方、焦点面Ｓが、マイクロレンズの頂点面からマイクロレンズの焦点距離ｆ以上、撮影レンズ３側に離れた位置にある場合には（ｙ≧ｆ）離れる量（ｙ）が大きくなるにつれ、点Ｐ２、Ｐ３を出た光束の中心のなす角度αは図３に示したよりも徐々に小さくなる。したがって、点Ｐ２、Ｐ３のボケ像は縮小し、光電変換素子アレイ４ｂ上で近づいてくる。すなわち、図２に示す各マイクロレンズに対応する光電変換素子範囲、すなわち縦１１個、横１１個の光電変換素子マトリクスの範囲内に収まり、点Ｐ２、Ｐ３のボケ像を合成することが可能になる。離れ量（ｙ）がさらに大きくなると、点Ｐ２、Ｐ３のボケ像は光電変換素子アレイ４ｂ上で近づきすぎ、両者を分離できなくなる。このようにして、焦点面Ｓの位置には合成できる最適な範囲がある。この点については詳細を後述する。

さて、マイクロレンズのピッチをｄとすると、点Ｐ２、Ｐ３の光電変換素子アレイ４ｂ上のボケ像の光量分布中心Ｐ２’、Ｐ３’から、マイクロレンズの光軸位置Ｐ１’までの距離ｘは、
ｘ＝ｄ・ｆ／(４・ｙ) ・・・(１)
で表される。例えば、マイクロレンズ頂点面から焦点面Ｓまでの距離ｙがマイクロレンズの焦点距離ｆに等しい場合には（ｙ＝ｆ）、(１)式から距離ｘは(ｄ／４)になる。

つまり、撮影レンズ３により焦点面Ｓ上の点Ｐ２、Ｐ３に結像された像は、各マイクロレンズによって光電変換素子アレイ４ｂ上のマイクロレンズの光軸位置Ｐ１’から距離ｘの位置Ｐ２’、Ｐ３’を中心とする光量分布のボケ像として投影される。換言すれば、撮像素子４により撮像された被写体像の画像データの内の、各マイクロレンズに対応する光電変換素子出力マトリクスから、各マイクロレンズの光軸位置Ｐ１’から距離ｘの位置Ｐ２’，Ｐ３’を中心とするガウス分布に相当する画像データを抽出すれば、その画像データはマイクロレンズの頂点面から距離ｙの位置にある焦点面Ｓ上の点Ｐ２、Ｐ３に結像された像に対応する画像データとなる。

ここで、マイクロレンズの頂点面から焦点面Ｓまでの距離ｙ、すなわち焦点位置の取り得る範囲について考察する。上述したように、距離ｙがマイクロレンズの焦点距離ｆより小さい場合には、点Ｐ２、Ｐ３のボケ像が各マイクロレンズに対応する光電変換素子マトリクスの範囲を超えて拡散するため、画像合成が不可能になる。逆に、距離ｙを焦点距離ｆより大きくしていくと、点Ｐ２、Ｐ３のボケ像が小さくなって各マイクロレンズの光軸付近の光電変換素子上に重なり、ボケ像の光量分布が光軸付近に集中して光電変換素子による分離と解析が困難になる。したがって、一実施の形態による画像合成法は、距離ｙがマイクロレンズの焦点距離ｆを単位とする略(ｆ〜３ｆ)の範囲内にある場合に有効である。

なお、この範囲(ｆ〜３ｆ)は必ずしも一義的に決定されるものではなく、マイクロレンズの径や曲率などの仕様、撮影レンズ３の仕様などに応じて決定されるものである。

マイクロレンズの頂点面から焦点面Ｓまでの距離ｙが略(ｆ〜３ｆ)の範囲内にある場合には、各マイクロレンズに対応する光電変換素子マトリクスの範囲内において、マイクロレンズの光軸位置Ｐ１’から点Ｐ２、Ｐ３のボケ像の光量分布中心Ｐ２’、Ｐ３’までの距離ｘを上記(１)式により決定し、各マイクロレンズに対応する光電変換素子出力マトリクスから位置Ｐ２’，Ｐ３’を中心とするガウス分布に相当する画像データを抽出すれば、焦点面Ｓ上の点Ｐ２、Ｐ３の像を合成することができる。

しかし、焦点面Ｓの位置が上記範囲ｙ≒ｆ〜３ｆを超える場合には、撮影レンズ３を駆動して焦点面Ｓが上記範囲ｙ≒ｆ〜３ｆ内に入るようにしなければならない。なお、光電変換素子アレイ４ｂの光電変換素子出力に基づいて撮影画面内の任意の位置の撮影レンズ３の焦点調節状態を検出する方法については、詳細を後述する。

《画像合成の具体的な方法》
次に、図１に示す画像合成部５ｄによる画像合成の具体的な方法について説明する。ここでは、ある一つのマイクロレンズとそのマイクロレンズに対応する光電変換素子マトリクスに対する画像合成処理を説明するが、他のマイクロレンズと対応する光電変換素子マトリクスに対する処理も同様である。

この一実施の形態では、一つのマイクロレンズに対応する光電変換素子出力マトリクスに対して二次元フィルター処理を施し、図３に示すような光量分布に相当する出力マトリクスを抽出する。二次元フィルターには、例えば図４に示すように、中心から周辺に向かって各要素の値がガウス分布に沿って斬減するマトリクスであって、要素の最大値が２５６に正規化されたマトリクスを用いる。上述したように、各マイクロレンズに対応する光電変換素子出力マトリクスは縦１１個、横１１個の要素から構成されているので、二次元フィルターのマトリクスも縦１１個、横１１個の要素を有するものを用いる。

このような二次元フィルターのマトリクスを、一つのマイクロレンズに対応する光電変換素子出力マトリクスに作用させ、要素ごとに積算した後、画素の出力レベルに正規化すれば、焦点面Ｓ上の対応する点、すなわち仮想的な画素の像を合成することができる。

例えば図４に示す二次元フィルターのマトリクスは、図３に示すマイクロレンズの光軸位置Ｐ１’にボケ像の光量分布中心があり、このフィルター・マトリクスをマイクロレンズごとの光電変換素子出力マトリクスに作用させると、焦点面Ｓ上の点Ｐ１の像を合成することができる。つまり、上述した従来の画像合成カメラによる合成画像を得ることができる。

この一実施の形態では、図３に示す焦点面Ｓ上の点Ｐ２を仮想的な画素とする合成画像を生成するために、図５(ａ)に示す二次元フィルター・マトリクスを用いる。また、図３に示す焦点面Ｓ上の点Ｐ３を仮想的な画素とする合成画像を生成するために、図５(ｂ)に示す二次元フィルター・マトリクスを用いる。一方、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面(不図示)において、焦点面Ｓ上の点Ｐ４(不図示)を仮想的な画素とする合成画像を生成するために、図６(ａ)に示す二次元フィルター・マトリクスを用いる。また、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転した平面において、焦点面Ｓ上の点Ｐ５(不図示)を仮想的な画素とする合成画像を生成するために、図６(ｂ)に示す二次元フィルター・マトリクスを用いる。

図５(ａ)、(ｂ)に示す二次元フィルターは、図３において光電変換素子アレイ４ｂ上のマイクロレンズの光軸位置Ｐ１’から距離ｘだけ離れた位置Ｐ２’、Ｐ３’に対応する要素が最大値２５６を有し、位置Ｐ２’、Ｐ３’から周辺に遠ざかるにしたがって各要素の値がガウス分布に沿って斬減するマトリクスのフィルターである。ちなみに、図５(ｂ)に示すマトリクスは、マイクロレンズの光軸位置Ｐ１’を中心に図５(ａ)に示すマトリクスを１８０度回転させたものである。

同様に、図６(ａ)、(ｂ)に示す二次元フィルターは、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面(不図示)おいて、光電変換素子アレイ４ｂ上のマイクロレンズの光軸位置Ｐ１’から距離ｘだけ離れた位置Ｐ４’、Ｐ５’(ともに不図示)に対応する要素が最大値２５６を有し、位置Ｐ４’、Ｐ５’から周辺に遠ざかるにしたがって各要素の値がガウス分布に沿って斬減するマトリクスのフィルターである。ちなみに、図６(ｂ)に示すマトリクスは、マイクロレンズの光軸位置Ｐ１’を中心に図６(ａ)に示すマトリクスを１８０度回転させたものである。

この一実施の形態では、各マイクロレンズに対して４個の仮想的な画素を均等に配置しているので、互いに対照的な４個の二次元フィルター・マトリクスが必要になる。つまり、一実施の形態の二次元フィルター・マトリクスは、１つのマトリクスを図５(ａ)→図６(ｂ)→図５(ｂ)→図６(ａ)の順にマイクロレンズの光軸位置Ｐ１’を中心にして９０度ずつ回転させたものである。マトリクスの要素が最大値２５６になる位置、つまりボケ像分布の中心になる位置は、焦点面の位置、すなわちマイクロレンズ頂点面から焦点面までの距離ｙに応じて上記(１)式により求められる。

換言すれば、仮想的な画素の配置と個数、および焦点面の位置ごとに二次元フィルター・マトリクスが異なることになり、予め仮想的な画素の配置と個数、および焦点面の位置ごとの二次元フィルターをフィルターメモリ６ｃ（図１参照）に記憶させておく必要がある。これにより、上述した距離ｙが略(ｆ〜３ｆ)の範囲内において、焦点の位置を想定するとそれに応じた画素出力が得られ、その焦点位置における高精細な、つまり高分解能な画像を合成することができる。

なお、この一実施の形態では、各マイクロレンズに対して任意の焦点面Ｓ上に４個の仮想的な画素を均等に配置する例を示すが、仮想画素の個数と配置はこの一実施の形態に限定されるものではない。

図１において、駆動制御装置５の画像合成部５ｄは、撮像素子４により撮像され画像メモリ６ａに記憶された画像データを読み出し、各マイクロレンズごとに対応する光電変換素子の出力マトリクスを作成する。一方、駆動制御装置５の瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃは、撮像画像の中の手動または自動で設定された焦点検出位置における撮影レンズ３の焦点調節状態を検出する。

なお、この焦点検出位置はカメラ背面のモニター(不図示)に写し出された上記撮像画像を見ながら、撮影者が操作部材を操作してピントを合わせたい任意の被写体位置にカーソルを移動して手動で設定してもよいし、あるいは撮像画像を処理して画像内から人物の顔の部分を認識し、顔の部分をピントを合わせたい位置として自動で設定するものであってもよい。

画像合成部５ｄは、画像内の焦点検出位置における焦点検出結果に基づいて、焦点面の位置すなわちマイクロレンズ頂点面からの距離ｙを検出し、距離ｙがマイクロレンズの焦点距離ｆの略(ｆ〜３ｆ)の範囲内にあるか否かを判別する。当該範囲内にない場合には、駆動制御装置５のレンズ駆動制御部５ｅにより撮影レンズ３の焦点調節を行い、焦点検出位置の焦点面が上記範囲内に入るようにする。

設定された焦点検出位置の焦点面の位置が上記範囲内にある場合には、フィルターメモリ６ｃに記憶されている二次元フィルターの中から、仮想的な画素と焦点面の位置に対応するフィルターを検索する。そして、各マイクロレンズごとに対応する光電変換素子出力マトリクスに対して二次元フィルター・マトリクスを作用させ、要素ごとの積を積算した後、積算値を画素出力にふさわしいレベルに正規化する。

画像合成部５ｄは、以上の処理を各マイクロレンズの仮想画素ごとに行い、マイクロレンズごとに４個の仮想画素出力を得る。最後に、これらのマイクロレンズごとの４個の仮想画素出力をマイクロレンズと仮想画素の配置にしたがって二次元平面上に展開し、合成画像を生成する。

マイクロレンズごとの４個の仮想画素出力を平面上に展開して合成画像を生成する際には、次のような仮想画素出力の整列処理を行う。図３に示すように、焦点面Ｓ上の点Ｐ２、Ｐ３と、マイクロレンズアレイ４ｂ上の位置Ｐ２’、Ｐ３’に投影されるボケ像とは、マイクロレンズごとに位置関係が反転しているため、図７(ａ)に示す光電変換素子アレイ４ｂ上の位置Ｐ２’、Ｐ３’，Ｐ４’，Ｐ５’のボケ像の配列を、図７(ｂ)に示すように焦点面Ｓ上の点Ｐ２、Ｐ３、Ｐ４、Ｐ５の配列に合わせて整列させる。なお、図７において、Ｐ４、Ｐ４’、Ｐ５、Ｐ５’は、図３に示す平面を撮影レンズ３の光軸を中心にして９０度回転させた平面上における点である。

《焦点検出方法》
次に、図１に示す瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃによる焦点検出方法を説明する。図２において、マイクロレンズの光軸位置に対して左右対象位置にあるそれぞれ３個の光電変換素子は、対応するマイクロレンズにより撮影レンズ３の射出瞳上に投影され、射出瞳上に一対の投影領域を形成する。撮影レンズ３の射出瞳上のこの一対の投影領域を通過する一対の光束は、撮影レンズ３およびマイクロレンズを介してマイクロレンズ光軸位置を中心とする左右対象位置にあるそれぞれ３個の光電変換素子へ導かれ、それぞれ３個の光電変換素子上に一対の像が結像される。

この一対の像の位相差すなわち像ずれ量は撮影レンズ３の焦点調節状態に応じて変化するため、それぞれ３個の光電変換素子から出力される一対の像に対応する一対の画像データに基づいて像ずれ量を演算すれば、いわゆる瞳分割位相差検出方式により撮影レンズ３の焦点調節状態、つまり予定焦点面からの焦点の外れ量を検出することができる。

なお、左右一対の瞳データを抽出する光電変換素子の位置および個数は、図２に示す一実施の形態の位置および個数に限定されない。また、一対の瞳データの上記抽出例では左右対象位置の光電変換素子から画像データを抽出する例を示したが、焦点検出方向に応じて上下対象位置の光電変換素子、あるいは斜め対象位置の光電変換素子などから画像データを抽出することができる。

駆動制御装置５のデータ列形成部５ｂは、左右方向に配列されている所定数のマイクロレンズに対応する左右一対の瞳データを、右瞳データと左瞳データに分けてマイクロレンズの順に並べ、右瞳データ列と左瞳データ列を構成する。

駆動制御装置５の焦点演算部５ｃは、画像メモリ６ａから左右一対の瞳データ列を読み出し、上述した瞳分割位相差検出方式により焦点検出演算（相関演算）を行い、撮影レンズ３の焦点調節状態を検出する。

一対のデータ列に基づく焦点検出演算については周知であるが、ここでその概要を説明する。上述した左右一対の瞳データ列をＡ{ａi}、Ｂ{ｂi}とし、データの個数をそれぞれＮ個（ｉ＝１,２，・・,Ｎ）とする。一対のデータ列Ａ、Ｂのずらし量をｋとしたとき、データ列ＡとＢの差分Ｄは次式で表される。
Ｄk＝Σ｜ａi+k−ｂi｜ ・・・（２）
(２)式により差分Ｄが最も小さくなるずらし量ｋを求める。一対のデータ列Ａ、Ｂは離散的な数列であるから、マイクロレンズの間隔以上の分解能で差分Ｄが最小値となる真のずらし量ｋを得ることはできない。

ここで、一対のデータ列Ａ、Ｂを正弦波の合成とみなすことができ、その内のある空間周波数ωを持つ正弦波信号に注目すると、（２）式は次式とみなすことができる。
Ｄ(θ)＝Ｋ∫｜sin(ωｘ＋θ)−sinωｘ｜dx ・・・（３）
さらに(３)式を変形すると次式が得られる。
Ｄ(θ)＝Ｋ’｜sin(θ／２)・sin(ωｘ＋φ)｜ ・・・（４）
(４)式は他の空間周波数にも適用でき、これらもすべてθに関する項が独立に乗ぜられていることから、差分式は正弦波の絶対値で変化することがわかる。また、θが０付近では正弦波は線形であるから、図８に示すように左右同じ傾きの直線に挟まれた、谷間の底が最小値であると見なせる。

以下の三点内挿演算により差分Ｄが最小となる真のずらし量ｋを求める。まず、(２)式により差分Ｄの最小値Ｄiとその時のずらし量ｋを求める。次に、最小値Ｄiを与えるずらし量ｋに隣接するずらし量(ｋ−１)と(ｋ＋１)の内、差分Ｄが大きい方Ｄi-1を選び、二点(ｋ,Ｄi)と(ｋ−１,Ｄi-1)を結ぶ直線を引く。そして、この直線の傾きをａとすると、二番目に小さい差分Ｄi+1を与えるずらし量ｋ＋１の点(ｋ＋１,Ｄi+1)を通る傾き(−ａ)の直線を引き、２本の直線の交点を差分Ｄの真の最小値Ｄminとし、その真の最小差分Ｄminを与えるずらし量ｋを真のずらし量ｋminとする。

この真のずらし量ｋminに所定の変換係数ｍを乗じ、撮影レンズ３による被写体像面の予定焦点面（マイクロレンズ頂点面）からの焦点外れ量、すなわちデフォーカス量ＤEFを求める。
ＤEF＝ｍ・ｋmin ・・・（５）

以上の方法により、撮像画像の中の手動または自動で設定された焦点検出位置における撮影レンズ３の焦点調節状態を検出することができる。

《仮想的な画素に対するボケ像ついての考察》
図３に示すように、焦点面Ｓの位置すなわちマイクロレンズ頂点面から焦点面Ｓまでの距離ｙに応じて、光電変換素子アレイ４ｂ上のマイクロレンズ光軸位置Ｐ１’から仮想画素のボケ像の中心位置Ｐ２’、Ｐ３’までの距離ｘと、二次元フィルター・マトリクスの要素の最大値の位置とが変化する。この一実施の形態では、仮想的な画素（Ｐ２、Ｐ３、Ｐ４、Ｐ５）と焦点面Ｓの位置に応じた二次元フィルターをフィルターメモリ６ｃ（図１参照）に予め記憶しておく例を示したが、仮想的な画素と焦点面の位置に応じてその都度演算により求めてもよい。

ところで、焦点面Ｓの位置が移動すると、仮想画素のボケ像のボケ状態が変化する。焦点面Ｓがマイクロレンズアレイ４ａから遠ざかる、つまり距離ｙが大きくなるほど、各マイクロレンズにより光電変換素子アレイ４ｂ上に投影される点Ｐ２、Ｐ３、Ｐ４、Ｐ５の像はボケが小さくなって結像状態に近づいていく。したがって、二次元フィルター・マトリクスの要素の最大値の位置をマイクロレンズの光軸位置Ｐ１’に近づくように変えると同時に、ガウス分布に応じて設定された要素の値の分布の大きさを小さくする必要がある。二次元フィルター・マトリクス上のガウス分布に応じた要素の値の分布の大きさは、マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０とみなされる焦点面の位置、すなわちマイクロレンズ頂点面から焦点面Ｓまでの距離ｙが無限とみなされる焦点面の位置において最小になる。

ボケ像の径Ｄは回折限界で決まると考え、光の波長を５４０ｎｍ、マイクロレンズのＦナンバーをＦ／２．８とすると、ボケ像の径Ｄは、
Ｄ＝２．４４・λ・Ｆ ・・・(６)
となるから、最小の径Ｄは３．７μｍとなり、想定している光電変換素子アレイ４ｂの光電変換素子程度の大きさになる。マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０とみなされる焦点位置においてボケがなくなるとし、このときの二次元フィルターのマトリクスは、値が２５６の要素が分布の中心に一つあって残りの要素はすべて０とすることができる。つまり、マイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが０のときのボケ像の径Ｄを０とし、距離ｘが大きくなるにしたがってボケ像の径Ｄを大きくすれば、より正確な仮想画素出力を得る二次元フィルターを設定することができ、このような二次元フィルターを用いて合成画像の画質を向上させることができる。

なお、もちろんマイクロレンズ光軸位置Ｐ１’から分布中心Ｐ２’、Ｐ３’までの距離ｘが変化してもボケ像の径Ｄを変えずに一定とするか、あるいは、さらに簡略化してボケがないものとしても、ある程度の画質の合成画像を得ることができる。つまり、図３において点Ｐ２、Ｐ３がマイクロレンズにより投射される位置Ｐ２’、Ｐ３’の光電変換素子出力のみを点Ｐ２、Ｐ３に対応する仮想画素出力としてもよい。この場合、図９(ａ)、(ｂ)に示すようなマトリクス、つまり点Ｐ２、Ｐ３がマイクロレンズにより投射される位置Ｐ２’、Ｐ３’に対応する要素のみ０以外の値を持ち、他の要素の値をすべて０としたマトリクスの二次元フィルターとする。

《マイクロレンズの外径形状とマトリクスとの整合についての考察》
マイクロレンズの光学的に有効な形状は円形であり、一方、マトリクスは矩形（正方形または長方形）であるから、マイクロレンズに対応する光電変換素子マトリクスを考える場合に両者の間の形状は一致しない。マイクロレンズを正方配列とした場合には、マイクロレンズと光電変換素子マトリクスとを半ば強引に対応づけても大きな問題はないと考えられる。

しかし、マイクロレンズをハニカム状配列（六方稠密配列）とする場合には、マイクロレンズと光電変換素子との対応関係によっては、あるマイクロレンズに対応する光電変換素子マトリクスが、隣接するマイクロレンズに対応する光電変換素子マトリクスの要素を含んでしまうことがある。このような不具合をなくすために、各マイクロレンズに対応する光電変換素子の範囲を、図１０に示すようなマイクロレンズを包含する六角形の枠内に外接する範囲とし、図１１に示すようなマスク・マトリクスを光電変換素子出力マトリクスに作用させる。図１１に示すマスク・マトリクスでは、値が１の要素の領域がマイクロレンズの光学的な有効領域を示す。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、撮影レンズ３と、複数のマイクロレンズを平面上に配列したマイクロレンズアレイ４ａと、複数の光電変換素子を平面上に配列した光電変換素子アレイ４ｂとからなる撮像素子４であって、撮影レンズ３を透過した被写体からの光束をマイクロレンズアレイ４ａを介して光電変換素子アレイ４ｂにより受光し、光電変換素子アレイ４ｂにより画像を撮像する撮像素子４と、撮像素子４により撮像した画像データに基づいて、撮影レンズ３の任意の焦点面Ｓにおける画像を合成する画像合成部５ｄとを備え、焦点面Ｓにマイクロレンズごとに複数の仮想画素Ｐ２〜Ｐ４を設定するとともに、画像合成部５ｄによって焦点面Ｓにマイクロレンズごとに設定された複数の仮想画素Ｐ２〜Ｐ４のそれぞれに対する二次元フィルターを設定し、それぞれのマイクロレンズに対応する複数の光電変換素子の出力マトリクスに対して二次元フィルターによるフィルター処理を施し、それぞれの仮想画素Ｐ２〜Ｐ４の出力を算出して焦点面Ｓにおける画像を合成するようにしたので、一枚の撮像画像のデータに基づいて撮影レンズ３の任意の焦点面Ｓにおける分解能の高い高精細な画像を合成することができる。

次に、一実施の形態によれば、二次元フィルターは、焦点面Ｓごとにマトリクスの要素分布が異なり、マトリクス上の要素分布の中心位置と光電変換素子アレイ４ｂ上のマイクロレンズの光軸位置との距離ｘを焦点面Ｓに応じて変えるようにしたので、任意の焦点面Ｓ上における各仮想画素Ｐ２〜Ｐ４の光電変換素子アレイ４ｂ上の投影像を正確に求めることができ、分解能の高い高精細な画像を正確に合成することができる。

一実施の形態によれば、それぞれのマイクロレンズに対応する複数の光電変換素子の内の一対の光電変換素子の出力に基づいて、撮影レンズ３の瞳を通過した一対の光束による一対の像のズレ量を検出し、撮像素子４により撮像された画像の中の任意の位置における撮影レンズ３の焦点面Ｓの位置を検出する瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃを備え、画像合成部５ｄは、瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃにより検出された画像の中の任意の位置における焦点面Ｓの画像を合成するようにしたので、１枚の撮像画像のデータに基づいて画像中の任意の位置における撮影レンズ３の焦点面Ｓの画像を合成することができる。

一実施の形態によれば、瞳データ抽出部５ａ、データ列形成部５ｂおよび焦点演算部５ｃによる焦点検出結果に基づいて撮影レンズ３の焦点調節を行うレンズ駆動制御部５ｅを備え、画像合成部５ｄによって上記焦点検出により検出された焦点面Ｓの位置が所定範囲(例えばマイクロレンズの焦点距離ｆのｆ〜３ｆ)にない場合には、レンズ駆動制御部５ｅにより焦点面Ｓが所定範囲内に入るように撮影レンズ３の焦点調節を行うようにしたので、１枚の撮像画像のデータに基づいて撮影レンズ３の任意の焦点面Ｓの高分解能な画像を合成することができる。

一実施の形態によれば、二次元フィルターは、それぞれの仮想画素Ｐ２〜Ｐ４のマイクロレンズによる光電変換素子アレイ４ｂ上の投影位置を中心とするガウス分布の要素値を有するマトリクスとしたので、任意の焦点面Ｓ上における各仮想画素Ｐ２〜Ｐ４の光電変換素子アレイ４ｂ上における投影像を正確に求めることができ、分解能の高い高精細な画像を正確に合成することができる。

一実施の形態によれば、二次元フィルターは、それぞれの仮想画素Ｐ２〜Ｐ４のマイクロレンズによる光電変換素子アレイ４ｂ上の投影位置の要素のみ１以上の値を有し、他の要素の値を０とするマトリクスとしたので、フィルター処理を簡略化して合成時間の短縮を図りながら、高分解能な画像を合成することができる。

一実施の形態によれば、画像合成部５ｄは、それぞれのマイクロレンズの光学的な有効領域内の光電変換素子に対応する要素を１とし、有効領域外の光電変換素子に対応する要素を０とするマトリクスのマスクフィルターを有し、二次元フィルターによるフィルター処理に先立ち、それぞれのマイクロレンズに対応する複数の光電変換素子の出力マトリクスに対してマスクフィルターによるフィルター処理を施すようにしたので、マイクロレンズの外径形状に拘わらず、マイクロレンズの光学的な有効領域内の光電変換素子を正確に抽出して光電変換素子出力マトリクスを得ることができ、任意の焦点面Ｓ上における各仮想画素Ｐ２〜Ｐ４の光電変換素子アレイ４ｂ上の投影像を正確に求めることができる。

一実施の形態によれば、二次元フィルターを記憶するフィルターメモリ６ｃを設けたので、焦点面Ｓと仮想画素Ｐ２〜Ｐ４ごとに二次元フィルターを演算により求める必要がなく、画像合成処理の簡略化を図ることができる。

一実施の形態のデジタルカメラの構成を示す図 マイクロレンズアレイの一つのマイクロレンズの外周を光電変換素子アレイ上に投影した図 マイクロレンズアレイと光電変換素子アレイの一部分を、撮影レンズの光軸を含む面で切った断面図 二次元フィルター・マトリクスの一例を示す図 二次元フィルター・マトリクスの一例を示す図 二次元フィルター・マトリクスの一例を示す図 焦点面上の仮想画素とマイクロレンズを介して光電変換素子アレイ上に投影される投影像との位置関係を示す図 焦点検出演算における三点内挿処理の原理を説明する図 変形例の二次元フィルター・マトリクスの一例を示す図 六方稠密配列のマイクロレンズアレイのマイクロレンズと、マイクロレンズに対応する光電変換素子との関係を示す図 六方稠密配列のマイクロレンズアレイを用いた場合の、マイクロレンズに対応する光電変換素子出力マトリクスを求めるマスク・マトリクスの一例を示す図

符号の説明

１；デジタルカメラ、３；撮影レンズ、４；撮像素子、４ａ；マイクロレンズアレイ、４ｂ；光電変換素子アレイ、５；駆動制御装置、５ａ；瞳データ抽出部、５ｂ；データ列形成部、５ｃ；焦点演算部、５ｄ；画像合成部、５ｅ；レンズ駆動制御部、６ｃ；フィルターメモリ

Claims (6)

1. 撮影光学系と、
   前記撮影光学系の背後に配置され、複数のマイクロレンズを配列したマイクロレンズアレイと、
   前記マイクロレンズアレイの背後に配置され、前記マイクロレンズ各々に対し複数の光電変換素子を配列した光電変換素子アレイと、
   前記マイクロレンズ各々に対して前記光電変換素子アレイ上の複数の所定位置各々を中心とした所定範囲の信号を所定の強度分布で取り出すフィルターを前記所定位置毎に有し、前記光電変換素子アレイの出力に前記フィルターを作用させて、前記マイクロレンズ毎に前記撮影光学系による所定の結像面における複数の画素情報を作成するデータ作成手段と
   前記データ作成手段の出力に基づいて前記撮影光学系の光軸方向の任意の位置における画像を合成する画像合成手段と、
   を有することを特徴とする画像合成装置。
2. 請求項１に記載の画像合成装置において、
   前記データ作成手段における前記複数の所定位置は、前記撮影光学系の光軸方向の結像面の位置に応じて選択され、前記所定位置に応じて前記フィルターの特性が異なることを特徴とする画像合成装置。
3. 請求項１または請求項２に記載の画像合成装置において、
   前記撮影光学系は前記所定の結像面に合焦させる光軸方向の位置を変えるために焦点調節機能を有していることを特徴とする画像合成装置。
4. 請求項１または請求項２に記載の画像合成装置において、
   前記強度分布は前記所定位置を中心としたガウス分布をなしていることを特徴とする画像合成装置。
5. 請求項１に記載の画像合成装置において、
   前記画像合成手段は、前記所定位置で規定される前記撮影光学系の結像位置を変化させる結像位置可変手段を有し、
   前記データ作成手段は、前記撮影光学系の前記結像位置毎に前記所定位置を移動し、それに合わせて前記二次元フィルターが取り出す強度分布を異ならせることを特徴とする画像合成装置。
6. 撮影光学系と、前記撮影光学系の背後に配置され、複数のマイクロレンズを配列したマイクロレンズアレイと、前記マイクロレンズアレイの背後に配置され、前記マイクロレンズ各々に対し複数の光電変換素子を配列した光電変換素子アレイとにより撮像した画像を処理する画像処理方法であって、
   前記マイクロレンズ各々に対して前記光電変換素子アレイ上の複数の所定位置各々を中心とした所定範囲の信号を所定の強度分布で取り出すフィルターを前記所定位置毎に有し、前記光電変換素子アレイの出力に前記フィルターを作用させて、前記マイクロレンズ毎に前記撮影光学系による所定の結像面における複数の画素情報を作成するとともに、前記複数の画像情報に基づいて前記撮影光学系の光軸方向の任意の位置における画像を合成することを特徴とする画像合成方法。

Images