JP4995002B2 - 撮像装置、合焦装置、撮像方法および合焦方法 - Google Patents
撮像装置、合焦装置、撮像方法および合焦方法 Download PDFInfo
- Publication number
- JP4995002B2 JP4995002B2 JP2007214650A JP2007214650A JP4995002B2 JP 4995002 B2 JP4995002 B2 JP 4995002B2 JP 2007214650 A JP2007214650 A JP 2007214650A JP 2007214650 A JP2007214650 A JP 2007214650A JP 4995002 B2 JP4995002 B2 JP 4995002B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- microlens
- pixels
- light receiving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
このような山登り方式以外に、三角測距方式や位相差方式が既に知られている。
従来の三角測距方式は、撮像装置の撮像レンズとは別途に設けられた光学系で三角測量を行って測距する方式であり、主レンズを動かすことをせずに、被写体の測距情報から主レンズのピント位置を求めるので、主レンズを合焦位置へ高速に駆動することができる。この三角測距方式は、具体的には、例えば左右別々の光学系で被写体像をそれぞれ、左右の受光センサアレイに結像させ、それら左右像の結像位置のずれを合焦情報として求め、それに基づいて被写体の距離を求めるものである。測距センサについては、このような三角測距方式で撮像視野の複数の領域の測距を行う製品が商品化されている。
このようにして、三角測距方式においては、実際に撮像レンズを動かすことなく被写体のフォーカス位置を判定することができる。しかしながら、三角測距方式は、原理的に遠距離側で精度が低下するので、ズーム倍率の大きな撮像装置には向いていないという問題があった。
すなわち、具体的には、図23に示すように、合焦時に撮像レンズ(図では主レンズで代表して示している)の周辺部を通る2つの光束は撮像位置等価面で結像し、分離してコンデンサレンズを経てそれぞれセパレータレンズに入射し、これらのセパレータレンズによってAF用のラインセンサ、例えば一次元CCD固体撮像素子、に結像する。合焦時には、図23(a)のように一定間隔を存した2つの像を形成する。撮像面よりも前方に結像した状態、いわゆる前ピンでは図23(b)のように2つの像の間隔が合焦時よりも狭い状態、撮像面よりも後方に結像した状態、いわゆる後ピンでは図23(c)のように2つの像の間隔が合焦時よりも狭い状態となり、これらのような像間隔とその差に基づいて、ピントがずれている方向およびずれ量を検出する。ところが、合焦点を判定したい画像撮影用の撮像素子上には、これらAF用のコンデンサレンズおよびセパレータレンズ等を配置することができないため、主レンズと撮像素子との間に、撮像光束の一部を反射ミラー等によってAF用光束として分離偏向してAF用のラインセンサに入力させるための光学系部材を配置している。
しかしながら、このような位相差方式は、AF用のコンデンサレンズおよびセパレータレンズを設け、主レンズと撮像素子との間に、撮像光束の一部を分離偏向する反射ミラー等の光学系部材を配置するなど構成が複雑化して装置が大きくなり、コンパクトな撮像装置を作ることができないという問題がある。
また、例えば、特許文献2(特開2004−279683号)等には、山登り方式と三角測距方式を組み合わせたAF方式が開示されており、特許文献3(特開2002−328293号)等には、山登り方式と位相差方式を組み合わせたAF方式が開示されている。しかしながら、これらのAF方式は、ピント合わせ用の主レンズとは別途に光学系および測定用素子等が必要であり、高価で、しかも撮像装置を小型化することができないという問題があった。
このような特許文献4(特開2002−165126号)の撮像装置では、特殊な構成の撮像素子によって、被写体像の撮像と位相差方式によるAFを行うことが可能となる。しかしながら、位相差方式が撮像レンズの射出瞳位置を通過した光による一次元像の位置ずれによってピントずれを検出するものであるために、ピントずれ検出に用いられる射出瞳位置が絞りによって遮られてしまっては適切なピントずれ検出を行うことができなくなる。そこで、この特許文献4(特開2002−165126号)の撮像装置においては、撮像レンズの異なる絞り値に対応するために、例えば異なる射出瞳を通過した光を受光する第一の光電変換部と第二の光電変換部との間隔が異なる画素を予め用意しておいて、絞り値に応じてこれらを使い分けるなどしている。
本発明は、上述した事情に鑑みてなされたもので、被写界像を撮像する撮像素子を合焦制御にも用いる簡単な構成でさまざまな撮像条件に応じて正確に且つ高精度に自動合焦制御することを可能とする撮像装置、合焦装置、撮像方法および合焦方法を提供することを目的としている。
本発明の請求項1の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用する簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項3の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項4の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像装置を提供することにある。
本発明の請求項6の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用する簡単な構成で、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項7の目的は、特に、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いる簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項8の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項10の目的は、特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦装置を提供することにある。
本発明の請求項11の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用して、簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項13の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項14の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項15の目的は、特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することを可能とする撮像方法を提供することにある。
本発明の請求項16の目的は、特に、測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用して、簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項18の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項19の目的は、特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
本発明の請求項20の目的は、特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することを可能とする合焦方法を提供することにある。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴としている。
前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことを特徴としている。
請求項3に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項4に記載した本発明に係る撮像装置は、請求項1の撮像装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことを特徴としている。
請求項6に記載した本発明に係る合焦装置は、上述した目的を達成するために、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
合焦装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことを特徴としている。
請求項8に記載した本発明に係る合焦装置は、請求項6の合焦装置であって、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴としている。
請求項10に記載した本発明に係る合焦装置は、請求項6〜請求項9のいずれか1項の合焦装置であって、
前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴としている。
前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことを特徴としている。
請求項13に記載した本発明に係る撮像方法は、請求項11の撮像方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
請求項15に記載した本発明に係る撮像方法は、請求項11〜請求項14のいずれか1項の撮像方法であって、
前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことを特徴としている。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴としている。
前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことを特徴としている。
請求項18に記載した本発明に係る合焦方法は、請求項16の合焦方法であって、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴としている。
請求項20に記載した本発明に係る合焦方法は、請求項16〜請求項19のいずれか1項の合焦方法であって、
前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことを特徴としている。
すなわち、本発明の請求項1の撮像装置によれば、
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用する簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことによって、
特に、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いる簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項3の撮像装置によれば、請求項1または請求項2の撮像装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項5の撮像装置によれば、請求項1〜請求項4のいずれか1項の撮像装置において、
前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことによって、
特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
合焦装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用する簡単な構成で、特に、ピントずれの方向および量の判別が容易になり、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことによって、
特に、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いる簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項8の合焦装置によれば、請求項6の合焦装置において、
前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いてしかもより高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好な被写界像を撮像することが可能となる。
前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡単な構成で種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項10の合焦装置によれば、請求項6〜請求項9のいずれか1項の合焦装置において、
前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことによって、
特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用して、特に、ピントずれの方向および量の判別が容易になり、簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことによって、
特に、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、さらに簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項13の撮像方法によれば、請求項11の撮像方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項15の撮像方法によれば、請求項11〜請求項14のいずれか1項の撮像方法において、
前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことによって、
特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることによって、
測距合焦のために特別な受光素子を設けることなく、被写界像を撮像する撮像素子の一部を合焦検知に利用して、特に、ピントずれの方向および量の判別が容易になり、簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことによって、
特に、被写界像を撮像する撮像素子の微少な一部を合焦検知に用いて、さらに簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
本発明の請求項18の合焦方法によれば、請求項16の合焦方法において、
前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知に用いて、より簡易に、種々の撮像条件に応じて正確に且つ高精度に自動合焦制御して一層良好で高精細な被写界像を撮像することが可能となる。
前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことによって、
特に、被写界像を撮像する撮像素子の一部を合焦検知および被写界像の撮像に共用して、より高精細な被写界画像を得ることができ、簡易に種々の撮像条件に応じて正確に且つ高精度に自動合焦制御してさらに良好な被写界像を撮像することが可能となる。
本発明の請求項20の合焦方法によれば、請求項16〜請求項19のいずれか1項の合焦方法において、
前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことによって、
特に、簡単な構成でさらに多くの撮像条件に対してもさらに正確に且つさらに高精度に自動合焦制御して良好な被写界像を撮像することが可能となる。
図1〜図5は、本発明の第1の実施の形態に係る撮像装置の要部の構成を示している。図1は、撮像装置の要部の構成を模式的に示す概念図、図2は、図1の撮像装置に使用される撮像用の光学系である撮像レンズの具体的な構成の一例を示す模式的な断面図、図3は、図1の撮像装置に使用されるマイクロレンズアレイの具体的な構成の一例を示す模式的な斜視図、図4は、図1の撮像装置に使用されるマイクロレンズアレイを構成する個々のマイクロレンズの仕様の一例を説明するための模式図、そして図5は、図1の撮像装置におけるメインレンズと、マイクロレンズアレイのマイクロレンズと、撮像素子の画素群との関係を説明するための模式図である。
図1〜図5に示す撮像装置は、撮像レンズ1、絞り2、撮像素子3およびマイクロレンズアレイ4を具備している。
図2に示す撮像レンズ1は、例えば焦点距離を所望に応じて変更し得るズームレンズとして構成され、図示のように物体側から、順次、第1レンズ群G1、第2レンズ群G2、第3レンズ群G3および第4レンズ群G4を配置して構成されている。第1レンズ群G1は、物体側に凸面を向けた負メニスカスレンズおよび物体側に凸面を向けた正メニスカスレンズを互いに密着させてなる接合レンズと、物体側に凸面を向けた正メニスカスレンズとを物体側から順次配置して構成され、第1のズーム群として機能する。第2レンズ群G2は、物体側に凸面を向けた負メニスカスレンズと、像面側に凸面を向けた平凸レンズからなる正レンズおよび像面側に凸面を向けた負メニスカスレンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、第2のズーム群として機能する。第3レンズ群G3は、両凸レンズからなる正レンズと、両凸レンズからなる正レンズおよび両凹レンズからなる負レンズを互いに密着させてなる接合レンズとを物体側から順次配置して構成され、フォーカス調整用のフォーカス群として機能する。第4レンズ群G4は、像面側に強い曲率の凸面を向けた単一の両凸レンズからなる正レンズで構成される。第2レンズ群G2と第3レンズ群G3との間に絞り2が介挿配置され、第4レンズ群G4の物体から遠い面側に像面、すなわち撮像素子による撮像面が形成される。
図1においては、絞り2は、撮像レンズ1の光軸(主光軸)とほぼ平行な絞りターレット軸を中心として回転可能に設けられる円盤状の遮光板に口径の異なる開口を同一円周上に複数個配置しており、回転操作により撮像レンズ1の光軸(主光軸)上に所要の口径の開口を挿入することによって絞り開口をターレット形式で選択する方式の、いわゆる絞りターレットとして模式的に示している。ここでは、絞り2は、模式的に絞りターレットとして示したが、もちろん、絞り2は、複数の絞り羽根の開閉操作により絞り開口を調整する一般的な絞り機構によって構成しても良い。
撮像素子3は、CMOS(相補型金属酸化物半導体)およびCCD(電荷結合素子)等からなるイメージセンサとしての固体撮像素子であり、その前面にマイクロレンズアレイ4が配置される。
撮像素子3の画素ピッチを2μmとし、マイクロレンズアレイ4の1つのマイクロレンズに対応する画素を10画素とし、撮像レンズ1のF値はF2.8とする。
1つのマイクロレンズに対応する撮像素子3の画素数が10画素であるので、対応する画素列の長さは、
2μm×10=20μm
となる。1つのマイクロレンズの焦点距離をfとすれば、
f/20μ=2.8
であるから、
f=56μm
となる。
なお、AF処理に際しては、撮像レンズ1のF値はF2.8であっても、撮像レンズ1の外周近傍の両端は像性能があまり良好でない場合があるので、AF処理に供される撮像素子3の画素群としては、内側のF4に相当する範囲を見込む領域に対応する画素を使用する。
次に、このような構成における本発明の第1の実施の形態に係る撮像装置の原理について詳細に説明する。
まず、図5を参照して、この実施の形態の撮像装置の基本的な構成について説明する。
図5には、メインレンズとして代表して示される撮像レンズ1と、マイクロレンズアレイ4のうちの1つのマイクロレンズMLαおよび他の1つのマイクロレンズMLβと、撮像素子3のうちのマイクロレンズMLαおよびマイクロレンズMLβに対応する一部の画素部分とを模式的に示している。この図5のように、レンズ系を模式的に示す場合には、その断面形状にかかわらず、複数のレンズからなる撮像レンズ1もマイクロレンズアレイ4を構成する個々の平凸レンズ状のマイクロレンズも、それぞれ楕円として示している。
マイクロレンズMLαおよびMLβ以外のマイクロレンズについても、点aからの光を受光する画素があるので、それらの画素データを適切に選択して配列すれば、撮像レンズ1の点aを通る光による被写界の像を構成することができる。同様に、各マイクロレンズに対応して、撮像レンズ1の該当位置を通る光を受光する各画素の画素データを選択して配列することによって、撮像レンズの各位置を通る光による被写界の像を構成することができる。
このように、撮像レンズ1からの光をマイクロレンズアレイ4の各マイクロレンズに対応して受光する画素の画素データから撮像レンズ1の射出瞳位置に応じた被写界の像を作り出すことを、像の再構成と表現することにする。
図6に模式的に示すように、CMOSイメージセンサやCCDイメージセンサに代表される撮像素子3は、マトリクス状に配置された受光素子によって各画素を構成している。ここで、図示Aラインを構成する画素列に沿って複数画素にまたがったマイクロレンズ(図6においても模式的に楕円形状に示している)が複数個配列されてなるマイクロレンズアレイ4で撮像素子3を覆うようにする。なお、CMOSイメージセンサやCCDイメージセンサ等の撮像素子の受光素子には、各画素毎に個々に集光用のマイクロレンズが設けられているものがあり、これら画素毎のマイクロレンズは、高解像度つまり高画素数化に伴い、1画素あたりの受光面積が小さくなったことによる光量不足を補うために設けられるものである。本発明に係るマイクロレンズアレイ4は、このような各画素毎のマイクロレンズとは別のものである。
図7(a)および図8(a)に示すように、撮像素子3の前面(受光面)に近接して、複数のマイクロレンズM1,M2…Mxを稠密に配列して形成したマイクロレンズアレイ4を配置している。このマイクロレンズアレイ4のマイクロレンズM1〜Mxの各々は、それぞれ撮像素子3の複数の画素をカバーしている。なお、ここでは、理解を容易にするために撮像素子3の画素の寸法は限りなく小さいものとして説明する。
マイクロレンズアレイ4がない場合には、撮像素子3の各画素には、撮像レンズ1の(射出瞳)全面からの光が照射されるはずであるが、この場合、マイクロレンズアレイ4があるので、各マイクロレンズにより、図7(a)においては、撮像レンズ(メインレンズ)1とマイクロレンズアレイ4との間の距離fmにおいて、撮像素子3の画素Na1,Na2,…Naxは、撮像レンズ1の点aからの光線を受光する。図7(b)には、点aからの光を受光するマイクロレンズM1〜Mxと画素Na1〜Naxとの対応関係を示している。つまり、撮影素子3から画素Na1〜Naxのみの画像データを抽出して、画像を再構成すれば、撮像レンズ1の点aから被写界を覗き込んだ画像のマイクロレンズアレイ4の配列方向に沿う一次元情報が得られる。
以上のように、距離fmにおいて、予め定めた画素Na1,Na2,…Naxと、Nb1,Nb2,…Nbxと、Nc1,Nc2,…Ncxとでそれぞれ画像を再構成すると、それぞれ撮像レンズ1の点aと、点bと、点cとから見た互いに視差のある被写界画像を得ることができ、このような視差のある像からは、原理的に、被写体の合焦状況(合焦、前ピンおよび後ピン等)に応じた合焦情報を求めることができる。
ここでは、TTL方式でない、例えば超音波を用いた測距方式や撮像光学系を通さない三角測距方式等の測距合焦システムにおいては、被写体距離に対応する情報が得られるので、これを測距情報と称するのに対して、上述したように撮像光学系を通して得られるTTL方式の測距合焦システムにおいては、被写体に対して合焦、前ピン、後ピンおよびそれらの程度等の合焦状況に対応する情報を合焦情報と称する。
上述した本発明の第1の実施の形態に係る合焦装置におけるAF方式の原理について、一般的な被写体における合焦判定を示す図9、図10および図11を参照して、さらに詳細に説明する。
被写体のX点からの光のうち、撮像レンズ(メインレンズ)1の点aおよび点bを通る光をそれぞれaX光線およびbX光線とする。同様に、Y点ならびにZ点からの光のうちの点aおよび点bを通る光もそれぞれaY光線およびbY光線ならびにaZ光線およびbZ光線とする。また、X点、Y点およびZ点からの主光線をそれぞれX主光線、Y主光線およびZ主光線とし、これらX主光線、Y主光線およびZ主光線は、それぞれマイクロレンズアレイ4の異なるマイクロレンズに入射する。
ここで、被写体はマイクロレンズアレイ4上でピントが合っている状態であるので、X主光線が入射したマイクロレンズには、aX光線およびbX光線も入射し、このマイクロレンズ下の異なった画素で受光される。なお、点aおよび点bからの光を受光するこれらの画素は、撮像レンズ1とマイクロレンズアレイ4との距離がfmである場合において、点aおよび点bからの光を受光するものとして、予め装置のシステムに認知されているものである。同様に、Y主光線ならびにZ主光線が入射するマイクロレンズについても、点aおよび点bからの光が入射して、それぞれ異なる画素で受光される。
以上のようにして、点a像および点b像の位置で撮像レンズ1がマイクロレンズアレイ4上にピントが合っていることを知ることができる。
この場合、aX光線とbX光線、aY光線とbY光線およびaZ光線とbZ光線は、それぞれ交差する前に異なる別々のマイクロレンズに入射する。その結果として、点a像と点b像は、相互間に像ずれを発生する。また、図11は、被写体のピントが、マイクロレンズアレイ4よりも前方(すなわち物体側)にずれている場合を示している。
この場合、aX光線とbX光線、aY光線とbY光線およびaZ光線とbZ光線は、それぞれ交差した後に異なる別々のマイクロレンズに入射する。その結果として、点a像と点b像は、相互間に像ずれを発生する。
なお、図10の場合と、図11の場合とで、像ずれの方向は互いに逆の方向であり、このことによって、撮像レンズ1によるピントが、マイクロレンズアレイ4の後方および前方のいずれにあるかをも知ることができる。したがって、この像ずれを、合焦状態およびピントずれ状況等を示す合焦情報として利用することができる。
次に図12および図13を参照して、具体的な合焦判定の例について説明する。
図12(a)に示すように、撮像レンズ1の点a、点bおよび点cを通る光による像は、合焦被写界点にある被写体が、マイクロレンズアレイ4上に結像され、合焦被写界点よりも近いニア被写界点(Near被写界点)にある被写体は、撮像レンズ1からマイクロレンズアレイ4よりも遠い箇所に結像され、そして合焦被写界点よりも遠いファー被写界点(Far被写界点)にある被写体は、撮像レンズ1とマイクロレンズアレイ4との中間位置に結像される。
ここで、点c像の中央部近傍で相関評価ウィンドウを定義する。点c像の中央領域であるので、その像は、撮影レンズ1が垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像と強い相関を示す、つまりほぼ一致する、像位置を、点a像および点b像内で検索する。
すなわち、求め方は、点c像で設定した相関を評価するための相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関つまり一致度の高い像位置を求める。一致度は、比較するウィンドウ同士の画素データの差分の積算を計算し、その値が小さければ、一致度が高いといえる。
なお、図12(b)〜図12(d)に示した、点a像および点b像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求めるようにしても、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。
この場合も、点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図13(b)のように、この場合やや右寄りに位置する点c像の像位置に対して、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近い被写界点(ニア被写界点)にピントが合っている前ピン状態と判定することができる。そして、図13(c)のように、やや右寄りの位置において、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定することができる。また、もしも、図13(d)のように、やや右寄りに位置する点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があれば、対象被写体よりも遠い被写界点(ファー被写界点)にピントが合っている後ピン状態と判定することができる。
このように、撮像レンズ1の主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点a像および点b像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズ(メインレンズ)1を動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズ(メインレンズ)1とマイクロレンズアレイ4との間の距離fmおよび点a像と点b像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
上述において、撮像素子3は、モノクローム、すなわち単色の撮像素子等のように、単一の輝度情報を画素データとする場合について説明している。このような場合に、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成するには、上述したように単に該当位置の画素を抽出するだけでよい。
しかしながら、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子の場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成する場合には、同一色の画素データを抽出する必要がある。
あるいは、図14に示すように、R(赤)、B(青)およびG(緑)の画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、AF用のマイクロレンズアレイ4の各マイクロレンズで、カラー撮像素子の2段(2列)分の画素列を覆い、例えば上下2段のGの画素データをAFのための抽出対象とすることによって、像再構成の分解能を確保するようにしてもよい。
さらに、R、BおよびGの画素が、いわゆるベイヤ配列で分布されたカラー撮像素子において、AF用のマイクロレンズアレイ4の各マイクロレンズで、カラー撮像素子の1段(1列)分の画素列を覆う場合には、図15に示すように、例えばR+Gの画素データを単位として、AFのための抽出対象として、像再構成を行うようにしてもよい。
近年においては撮像素子3が高画素数化しているので、ディジタルカメラ等の撮像装置におけるモニタリング等のように画像性能がさほど要求されない場合には、全ての画素データを使用する必要はなく、例えばAラインの画素データ等のマイクロレンズ群を通った画素データを使用せずに、画像データ生成してもよい。また、撮像素子3が高画素数化していることを考慮して、AF用の光学系であるマイクロレンズアレイ4のマイクロレンズ群を通った部分に相当する画素の画素値は、その近傍の、例えば図16のBラインおよびCライン等の周辺画素値から補間処理等によって求めるようにしてもよい。
すなわち、本発明においては、撮像装置としての撮像画像を生成するために、解像度上かならずしも必要とされないAラインを使用しないで画像を生成することも、近傍のBラインおよびCラインに基づく補間演算において補間係数をゼロとした場合と同等であり、本発明に係る撮像装置の実施の形態である。
また、先に触れたように、Aラインは、R、GおよびB等の色フィルタを設ける必要もなく、色フィルタを設けなければ光電変換効率がよくなるので、このAラインの部分だけ画素のサイズを小さくすることもできる。このような場合、Aラインを、画像生成に際して、無視することも可能であり、このような実施の形態も本発明の範囲内である。
ここでは、撮像素子3とマイクロレンズアレイ4を位置合わせして固定したまま一体として位置をずらせる場合について具体的に説明する。すなわち、図16に示したように、AF用のマイクロレンズアレイ4のマイクロレンズ群がAライン上に配置された撮像素子3を、例えば図18に示すように2画素分下方に移動させる。このようにすると、元のAラインの位置にAラインの2ライン上方のラインが対応し、このラインによって元のAライン上のGおよびRの画素データを得ることができる。このとき、Aラインの1ライン上方のBラインが、元のAラインの1ライン下方のCラインに対応し、Aラインが、元のAラインの2ライン下方のDラインに対応する。
また、AF用の光学系であるマイクロレンズアレイ4を撮像素子3に対して相対的に移動可能な構成とし、AF動作中は、撮像素子3上のAライン上にAF用のマイクロレンズアレイ4を配置し、AF用のデータを取得した後に、そのAF用のマイクロレンズアレイ4をAラインの位置からBラインの位置に移動させることによって、AラインのGおよびRの画素データを得て、画像生成に使用するようにしてもよい。
次に、上述したような合焦の原理をディジタルカメラ等の撮像装置に適用した本発明の第2の実施の形態について説明する。
図19は、本発明の第2の実施の形態に係る撮像装置としてのディジタルカメラのシステム構成を示している。
図19に示すディジタルカメラは、撮像レンズ101、絞り−シャッタユニット102、マイクロレンズアレイ付き撮像素子103、CDS(相関二重サンプリング)−AD(A/D(アナログ−ディジタル)変換)部104、DSP(ディジタル信号処理)部105、メカニカルドライバ部106、撮像素子駆動回路107、CPU(中央処理部)108、メモリ部109、通信ドライバ110、メモリカード111、表示部112、操作部113、AF(自動合焦制御)処理部114、ストロボ発光部115、ストロボ電源部116およびストロボ受光部117を具備している。
マイクロレンズアレイ付き撮像素子103は、CMOS撮像素子またはCCD撮像素子等のような固体撮像素子を用いて構成した撮像素子であり、その受光面側に、先に述べた通り、例えば図3に示すマイクロレンズアレイ4のような本発明に係るAF用のマイクロレンズアレイを備えている。
CDS−AD部104は、撮像素子103から得られる画像信号を相関二重サンプリングし、さらにA/D変換してディジタルデータに変換する。DSP部105は、A/D変換されだディジタル信号を処理するディジタル信号処理装置であり、例えばRGBから、輝度Y、色差Uおよび色差VのYUVデータに変換したり、そのYUVデータを、例えばJPEG(Joint Photographic Experts Group)方式により圧縮したりするなどのディジタル信号処理を行う。
メモリ部109は、例えば撮像した画像データおよびファイルから読み出した画像データを一時保持すると共に、DSP部105およびCPU108の作動に関連してワークメモリとして使用されるメモリである。通信ドライバ110は、本ディジタルカメラの外部との通信を行わせるための通信駆動部である。
ストロボ発光部115は、CPU108から、ストロボ光の発光開始/発光停止を制御することが可能なストロボ発光部である。ストロボ電源部116は、例えばストロボ発光用のメインコンデンサ等を含むストロボ発光用の電源部であり、その充電電圧をCPU108から検出することが可能である。ストロボ受光部117は、受光光学系および光センサを含むストロボ受光部であり、CPU108からの受光開始を受けて、ストロボ発光部115の発光を開始させ、それ以後の受光積分量が、CPU8により予め設定された設定値に達したらストロボ発光部115へ発光停止信号を与え、発光を停止させる。
図20は、ディジタルカメラにおける撮像記録時の制御を行うメイン処理を示している。なお、明確には図示していないが、操作部の状態の読み込みなどは、このメイン処理の起動中にメイン処理と並行して行われる並行処理によって処理される。この並行処理は、メイン処理の状態にかかわらず、例えば定期的なタイマ割り込みによって起動され処理される。ここでは、静止画を記録する場合を例にとって詳細に説明する。
撮像記録モードにおいては、カメラの電源がオンとされると、図20には示していないが、カメラ内部のハードウェアの初期化や、メモリカード111内のファイル情報を、メモリ109内に作成するなどの初期処理を行う。その後に、図20の撮像記録のメイン処理が開始される。
上述した並行処理におけるモニタリング処理は、カメラのスルー画像を表示している際のAE(自動露出)およびAWB(自動ホワイトバランス)の追尾処理を実行させるものであり、このようにすることにより、カメラの表示装置に表示している画像を、いつも 適正な明るさ、自然な色合いに保つことができる。
具体的には、撮像素子103からCDS−AD部104を介して得られる画像データからDSP部105においてAEおよびAWBそれぞれに対する評価値をCPU108で取得し、その値が所定値となるように、撮像素子駆動回路107に電子シャッタ秒時をセットする。撮像素子103の電子シャッタには、設定可能な最長秒時および最短時間の限界があり、被写体の輝度に応じて、限界以上の露光アンダーまたは露光オーバーがある場合には、CPU108は絞り−シャッタユニット102の絞り開口径、つまりF値、を変更したり、撮像信号の撮像素子103部分における増幅率を変更したりする。また、DSP部105における画像処理色パラメータを調節したりするためのフィードバック制御も行う。
メイン処理におけるステップS11においてモニタリング状態がオンであると判定された場合、ステップS13において充電が不要であると判定された場合、そしてステップS14で充電が開始された場合には、操作部113のスイッチ等の操作状態を判定する操作判定処理が行われる(ステップS15)。
メイン処理のステップS15の操作判定処理は、上述した20ms毎の定期タイマ割り込み処理で、入力されるスイッチ等の操作情報を確定して、操作されたスイッチ等に対応する処理を行う。
ステップS15において、有効な操作情報が検知されなければ、何もせずにステップS11に戻り、再びステップS15の操作判定処理に戻るループを繰り返す。先に述べた通り、この例では、静止画のみについて述べている。
静止画の撮像時は、シャッタボタンの半押し、つまり第1段を押下したときに作動する第一スイッチがオンとなると、モニタリングを停止して(ステップS16)、AE処理を行う(ステップS17)。ステップS17のAE処理においては、撮像データをDSP部105で評価し、撮影露出時に対応して撮像素子駆動回路107に設定する撮像素子の露光時間値および撮像素子103の増幅率を決定する。
次にAF処理を行う(ステップS18)。ここでは、後述する本発明方式によるAF操作を含むAF操作を行うが、最初に一般的な山登り方式を例にとって説明する。
CPU108は、メカニカルドライバ部106により撮像レンズ101のフォーカスを移動させながら、合焦評価値として撮像データの先鋭度(鮮明度)を検出し、その検出量がピークとなるフォーカス位置に撮像レンズ1を移動させてレンズを停止させる山登り方式によるAF操作を行い(ステップS19)、ステップS11に戻る。
なお、操作部113において、その他の操作が行われ、それがステップS15において検出判定されたときは、当該操作に対応する処理が行われて、ステップS11に戻る。
上述においては、ステップS18におけるAF処理について、山登り方式を例にとって説明したが、本発明に係るこの実施の形態のディジタルカメラにおいては、本発明に係るAF操作を含むAF処理を行う。このAF処理について説明する。
本発明に係るAF方式の原理については、既に図1〜図18に関連して説明してあるので、ここでは、概略のみを簡単に説明する。
撮像素子103の受光面には、所定の画素列(Aライン)に沿って複数のマイクロレンズを配列したマイクロレンズアレイ4が設けられている(図3および図6参照)。
図7および図8のように撮像素子の前面に近接してマイクロレンズアレイを配置しており、マイクロレンズアレイは、所定の画素列に対応して、複数のマイクロレンズM1〜Mxが密接して直線状に配列され、各マイクロレンズは、撮像素子の隣接する複数の画素を覆っている。
同様に、図8のように、画素Nb1〜Nbxのみを抽出して、画像を再構成すれば、撮像レンズの点bから被写界を覗き込んだ画像が得られる。
さらに、図示していないが、撮像レンズの中心点cから被写界を覗き込んだ画像を作るための、画素Nc1〜Ncxをも定めておいてもよい。
このようにして、撮像レンズとマイクロレンズアレイとの間の距離fmにおいて、CPU108の機能として実現される合焦情報取得手段によって、予め定めたNa1〜Nax、Nb1〜Nbx、Nc1〜Ncxの画素でそれぞれ画像を再構成すると、撮像レンズの点a、点bおよび点cから見た互いに視差のある被写界画像を得ることができ、視差のある像からは、原理的に被写体の距離情報を求めることが可能である。
上述のようにして、点a、点bおよび点cを通る光による像、すなわち、点a像、点b像および点c像を再構成により形成すれば、それぞれ、ニア被写界点については、図12(b)、合焦被写界点については、図12(c)、そしてファー被写界点については、図12(d)に示すような点a像、点b像および点c像が形成される。
点c像の中央部近傍で相関評価ウィンドウを定義すれば、その像は、撮影レンズが垂直に真っ直ぐに貫かれる主光軸上の被写体像である。この相関評価ウィンドウ内のコントラスト像とほぼ一致する像位置を、点a像および点b像内で検索する。具体的には、点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、相関性、つまり一致度、の高い像位置を求める。
図12(b)〜図12(d)に示した、点a像および点b像のみを用いて、各像の中央から相関評価ウィンドウを逆方向にずらしながら、逐次ウィンドウ内の像の一致度を評価して、相関の高い像位置を求め、ピントずれを検出することができる。しかしながら、図示のように点c像を加えることによって、3つの像の相関を評価し、より正確な像一致を検出することができる。
点c像で設定した相関評価ウィンドウ内の像と、点a像または点b像とを同じウィンドウ幅で像位置をシフトしながら比較し、一致度の高い像位置を求める。もしも、図13(b)のように、図示やや右寄りに位置する点c像の像位置に対して、左側の位置に点a像、右側の位置に点b像があったとすると、対象被写体よりも近いニア被写界点にピントが合っている(前ピン状態)と判定する。そして、図13(c)のように、やや右寄りの位置において、点c像と点a像と点b像の像位置が全て一致していれば、合焦状態と判定する。また、もしも、図13(d)のように、やや右寄りに位置する点c像の位置を中央に、右側の位置に点a像、左側の位置に点b像があれば、対象被写体よりも遠いファー被写界点にピントが合っている(後ピン状態)と判定する。
このように、撮像レンズの主光軸以外の被写体に対する合焦状態を検出することができるばかりでなく、ならびに後ピンおよび前ピンの各ピントずれ状態をも検出することができ、後ピンと前ピンにおける点a像および点b像のずれ方向が逆であることから、ピントのずれ方向も判別することができる。このようなピントずれ状態が、検出された場合には、ピントずれの方向とは逆に撮像レンズを動かすなどして、合焦状態が得られるまで制御すればピントのあった状態とすることができる。また、撮像レンズとマイクロレンズアレイとの間の距離fmおよび点a像と点b像の像位置の差から計算して、概略的な被写体の距離を求めることも可能である。
図20のステップS18におけるAF処理においては、上述した本発明に係るAF方式に従ったAF処理に加えて、いわゆるコントラスト情報を用いたAF処理を併用している。なお、図20のステップS18におけるAF処理は、上述した本発明に係るAF方式に従ったAF処理のみを行うようにしてもよい。
撮像素子103が、画素フィルタを介するなどして複数の色情報が分布配置されるカラーの撮像素子である場合には、色による影響を受けないようにするために、同一色の画素データ、または同一の組み合わせの複数色の画素データを用いなければならない。すなわち、このようなカラー撮像素子において、マイクロレンズを通した画素データを抽出して点a像や点b像を再構成する場合には、同一色の画素データを抽出する必要がある。
このため、複数の色情報が分布配置される通常のカラー撮像素子をそのまま使う場合には、特定の色情報の画素データを抽出することになり、全画素数をAF用に利用することができず、高い分解能が得られない。そこで、このような場合、例えば、AF用のマイクロレンズアレイの各マイクロレンズに対応する画素列については、色フィルタを除去して、モノクローム化すれば、全画素を抽出対象とすることができるため、高い分解能を得ることができる。
このようにして、自動合焦を行った場合、マイクロレンズアレイの各マイクロレンズに対応する部分以外の撮像素子103の画素部分は、撮像レンズ1によって結像された被写界像を、撮像された画像として表示および記録の少なくとも一方に供するようにしなければならない。ところが、図6に示すAラインのように、AF用の光学系であるマイクロレンズアレイ4のマイクロレンズ群を通った画素については、他の通常の画素と異なり、画像の生成に利用することができない。そこで、CPU108の機能として実現される画像生成手段は、例えば、マイクロレンズアレイ付き撮像素子103を移動させて、AF用の光学系であるマイクロレンズアレイのマイクロレンズ群を通った部分に相当する画素の画素値を求めるようにしてもよい。
このように、撮像素子を移動させる方式としては、例えばコイル付き基板に保持した撮像素子と、その撮像素子の基板を縦横に移動可能とした磁石付きステージとからなる構成を用いることができる。このとき、撮像素子の基板に、位置検出用としてホール素子を設けておく。撮像素子の基板上のコイルに電流を流すことによって、ステージ側の磁石との間で電磁力を作用させ、ステージ上で撮像素子を移動させることができる。その移動量はホール素子で検出することができるので、その移動画素数を制御することが可能となる。また、やや雑に撮像素子を移動した場合でも、生成される2つの画像の間で画素毎の相関が強くなるようにして、これら2つの画素を重ね合わせれば、AF用の光学系であるマイクロレンズアレイの部分に対応する位置の画素データを、両画像間で補間し合うようにすることができる。
もちろん、CPU108の機能として実現される画像生成手段は、上述したように、Aラインに相当する部分の画素データを周辺の画素データから補間によって求めるなどしてもよい。
図21において、露光については、電子シャッタ閉と露光とを周期的に繰り返す。
まず、期間f−1で露光をする。この露光は、図16の状態で行われるものとする。
期間f−2の最初に、撮像素子103を移動させ、図18のように撮像素子をずらして露光する。
この期間f−2において、f−1で露光したAラインの画素データを読み出し、光束角度演算でピントずれを計算し、ずれを補正する方向に撮像レンズ(フォーカスレンズ)を駆動開始する。
期間f−3において、期間f−2での露光による撮像データを読み出し、モニタリング中であれば、読み出した撮像データから、AE処理およびAWB処理の計算をする。
期間f−2での露光は、図16に対応する期間f−1での露光とは2画素ずらした位置、即ち図18の状態での露光である。
期間f−3で読み出された図18の状態での全画素のデータと、不足しているAラインのデータについて、既に期間f−1または期間f−3で図16の状態で露光され期間f−2または期間f−4で得ているDラインを使用して、画像を生成する。
その画像を期間f−5において、表示に供する。
また、撮像レンズの駆動の開始に合わせて、図22に示すように、Aライン部分Aaとは別の、撮像素子103の撮像画像生成用の画素部の一部を、コントラストエリアAcとして読み出し、コントラスト情報を得る。
撮像レンズの駆動に同期させてコントラスト情報も得て、最もコントラスト値の大きい撮像データを得たレンズ位置に最終レンズ位置を合わせる。
撮像レンズ101と撮像素子103に付設されたマイクロレンズアレイとの光学性能の違いによって焦点の合う位置が異なったり、また、それらの差が装置の個体差によってばらついている場合に、上述したコントラスト情報を併用することによって、画像撮像用の撮像エリアに正確にピント合わせされたレンズ位置に撮像レンズ101を制御することができる。
以上の操作を繰り返すことによって、モニタリング中のピント合わせの追尾処理やユーザ観察用の表示画像の生成を実現することができる。
また、モニタリング中に1ショットのAF動作において、AF動作中の表示画像をフリーズ表示させるようにすれば、(画像表示の更新が不要であるので)特に期間f−3以後の撮像素子の移動は行わなくてもよい。
また、上述において説明したように、画像生成用の画素データとして、Aラインに対応する画素データを無視することができる場合、またはAラインに対応する画素データを、周辺画素による補間で求めることができる場合には、撮像素子103の移動は行わなくてもよい。
上述においては、マイクロレンズアレイ付きの撮像素子103のように、AF用のマイクロレンズアレイと撮像素子との位置関係が一定である場合について説明したが、撮像素子を移動させずにAF用のマイクロレンズアレイを可動とすることによっても、Aラインの画素データの取得を実現することができる。
2 絞り
3 撮像素子
4 マイクロレンズアレイ
101 撮像レンズ(撮像光学系)
102 絞り−シャッタユニット
103 マイクロレンズアレイ付き撮像素子
104 CDS(相関二重サンプリング)−AD(A/D変換)部
105 DSP(ディジタル信号処理)部
106 メカニカルドライバ部
107 撮像素子駆動回路
108 CPU(中央処理部)
109 メモリ部
110 通信ドライバ
111 メモリカード
112 表示部
113 操作部
114 AF(自動合焦制御)処理部
115 ストロボ発光部
116 ストロボ電源部
117 ストロボ受光部
G1 第1レンズ群
G2 第2レンズ群
G3 第3レンズ群
G4 第4レンズ群
MLα,MLβ,M1〜Mx マイクロレンズ
fm 撮像レンズとマイクロレンズアレイとの間の距離
Na1〜Nax,Nb1〜Nbx,Nc1〜Ncx 撮像素子の画素
Claims (20)
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
撮像装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記画像生成手段を用いて被写界画像を得ることを特徴とする撮像装置。 - 前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことを特徴とする請求項1に記載の撮像装置。
- 前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項1に記載の撮像装置。 - 前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項1項に記載の撮像装置。 - 前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことを特徴とする請求項1〜請求項4のいずれか1項に記載の撮像装置。
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有するマイクロレンズアレイと、
前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成手段と、
を具備し、
前記マイクロレンズアレイの各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導く
合焦装置であって、
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む所定の射出瞳位置に対応する画素を選択する画素選択手段と、
前記画素選択手段により選択された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置についての被写体像のずれに基づく被写体の合焦情報を得る合焦情報取得手段と、
を備え、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦装置。 - 前記画像生成手段は、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求める手段を含むことを特徴とする請求項6に記載の合焦装置。
- 前記マイクロレンズアレイは、前記撮像素子受光部と一体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項6に記載の合焦装置。 - 前記マイクロレンズアレイは、前記撮像素子受光部と別体的に設けられ、且つ
前記画像生成手段は、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得る手段を含むことを特徴とする請求項6に記載の合焦装置。 - 前記合焦情報取得手段は、前記画像生成手段により得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得る手段をさらに含むことを特徴とする請求項6〜請求項9のいずれか1項に記載の合焦装置。
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における撮像方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させ、前記前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて被写界画像を得ることを特徴とする撮像方法。 - 前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことを特徴とする請求項11に記載の撮像方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項11に記載の撮像方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項11に記載の撮像方法。
- 前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことを特徴とする請求項11〜請求項14のいずれか1項に記載の撮像方法。
- それぞれ光電変換を行う複数の画素を有してなる受光部を備える撮像素子と、
被写界像を前記撮像素子の前記受光部に結像させる撮像光学系と、
前記撮像素子の画素から得られる画素データを用いて、被写界画像を生成する画像生成手段と、
を具備する撮像装置における合焦方法において、
前記撮像装置は、前記撮像素子の前記受光部の被写体側に配置され、前記撮像素子の前記受光部の一部の画素のみを覆って配列される複数のマイクロレンズを有し、各マイクロレンズは、それぞれ前記撮像素子の前記受光部の複数の画素を覆い、該複数の画素に前記撮像光学系の射出瞳位置に応じて光を導くマイクロレンズアレイを備え、且つ
前記マイクロレンズアレイの各マイクロレンズ毎に、前記複数の画素のうち、少なくとも前記撮像光学系の中心点を含む前記撮像光学系の所定の複数の射出瞳位置について、各射出瞳位置に対応する画素を複数のマイクロレンズにわたって選択的に抽出する抽出ステップと、
前記抽出ステップにて選択的に抽出された画素の画素データを用いて、前記撮像光学系の中心点についての被写体像を基準とした異なる複数の射出瞳位置に応じた複数の被写界画像を再構成する再構成ステップと、
前記再構成ステップにて得られる複数の被写界画像を比較して、異なる複数の射出瞳位置についての被写界画像のずれに基づく被写体の合焦情報を得る合焦情報取得ステップと、
前記画像生成手段が、前記撮像素子の前記マイクロレンズにより覆われていない画素の画素データを用いて、被写界画像を生成する画像生成ステップと、
を有し、
前記合焦情報を用いて前記撮像光学系を被写体に合焦させることを特徴とする合焦方法。 - 前記画像生成ステップは、前記撮像素子の画素のうち、前記マイクロレンズにより覆われた画素に対応する画素データを、前記マイクロレンズアレイに覆われていない周囲の画素データより補間して求めるステップを含むことを特徴とする請求項16に記載の合焦方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイと前記撮像素子受光部とを一体的に前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項16に記載の合焦方法。
- 前記画像生成ステップは、撮像時に前記マイクロレンズアレイを前記撮像素子受光部に対して前記マイクロレンズの配列に交差する方向に移動させて少なくとも2回異なる位置で撮像し、前記マイクロレンズにより覆われた画素に対応する画素データを含む被写界画像を得るステップを含むことを特徴とする請求項16に記載の合焦方法。
- 前記合焦情報取得ステップは、前記画像生成ステップにより得られる画像データのコントラスト情報を取得し、このコントラスト情報に基づいて被写体の合焦情報を得るステップをさらに含むことを特徴とする請求項16〜請求項19のいずれか1項に記載の合焦方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007214650A JP4995002B2 (ja) | 2007-08-21 | 2007-08-21 | 撮像装置、合焦装置、撮像方法および合焦方法 |
EP08252773.0A EP2028843B1 (en) | 2007-08-21 | 2008-08-21 | Focusing device and imaging apparatus using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007214650A JP4995002B2 (ja) | 2007-08-21 | 2007-08-21 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011142394A Division JP5240591B2 (ja) | 2011-06-27 | 2011-06-27 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009047978A JP2009047978A (ja) | 2009-03-05 |
JP4995002B2 true JP4995002B2 (ja) | 2012-08-08 |
Family
ID=40500242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007214650A Active JP4995002B2 (ja) | 2007-08-21 | 2007-08-21 | 撮像装置、合焦装置、撮像方法および合焦方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4995002B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5475384B2 (ja) * | 2009-09-29 | 2014-04-16 | 富士フイルム株式会社 | 撮像装置及び撮像方法 |
JP2012054867A (ja) * | 2010-09-03 | 2012-03-15 | Olympus Imaging Corp | 撮像装置 |
JP5549545B2 (ja) * | 2010-11-02 | 2014-07-16 | 株式会社ニコン | プロジェクタ |
JP5834398B2 (ja) * | 2010-11-22 | 2015-12-24 | 株式会社ニコン | 撮像素子及び撮像装置 |
JP5769455B2 (ja) * | 2011-03-11 | 2015-08-26 | オリンパス株式会社 | 撮像装置 |
US8602308B2 (en) * | 2011-12-22 | 2013-12-10 | Symbol Technologies, Inc. | Imaging device having light field sensor |
JP6477630B2 (ja) * | 2016-08-17 | 2019-03-06 | 株式会社ニコン | 撮像装置 |
JP7050432B2 (ja) * | 2017-07-05 | 2022-04-08 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004191893A (ja) * | 2002-12-13 | 2004-07-08 | Canon Inc | 撮像装置 |
JP2005092085A (ja) * | 2003-09-19 | 2005-04-07 | Canon Inc | 焦点検出及び調節方法並びに焦点検出及び調節装置 |
JP4788481B2 (ja) * | 2005-05-30 | 2011-10-05 | 株式会社ニコン | 結像状態検出装置、カメラ、及び受光ユニット |
JP4910366B2 (ja) * | 2005-11-09 | 2012-04-04 | 株式会社ニコン | 焦点検出装置、光学システムおよび焦点検出方法 |
JP4835136B2 (ja) * | 2005-12-06 | 2011-12-14 | 株式会社ニコン | 焦点検出用信号の生成機能を有する固体撮像装置、および電子カメラ |
-
2007
- 2007-08-21 JP JP2007214650A patent/JP4995002B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009047978A (ja) | 2009-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5034556B2 (ja) | 焦点検出装置および撮像装置 | |
JP5388544B2 (ja) | 撮像装置およびそのフォーカス制御方法 | |
US8730373B2 (en) | Image forming apparatus | |
JP5207797B2 (ja) | 撮像装置およびその制御方法 | |
JP4995002B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
US6377305B2 (en) | Image sensing apparatus | |
JP5211714B2 (ja) | 撮像装置 | |
JP6045214B2 (ja) | 焦点調節装置及びその制御方法 | |
JP7264192B2 (ja) | 撮像素子、および撮像装置 | |
JP2009075407A (ja) | 撮像装置 | |
JP5206292B2 (ja) | 撮像装置および画像記録方法 | |
JP6529387B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP5240591B2 (ja) | 撮像装置、合焦装置、撮像方法および合焦方法 | |
JP2009092909A (ja) | 撮像装置、フォーカス制御方法、プログラムおよび集積回路 | |
JP2013113857A (ja) | 撮像装置及びその制御方法 | |
EP2028843A2 (en) | Focusing device and imaging apparatus using the same | |
JP2010060771A (ja) | 撮像装置 | |
JP6561437B2 (ja) | 焦点調節装置および撮像装置 | |
JP2015043026A (ja) | 撮像装置及びその制御方法 | |
JP4954834B2 (ja) | 撮像装置、合焦情報取得装置、撮像方法および合焦情報取得方法 | |
JP2017118212A (ja) | 撮像装置 | |
JP6845912B2 (ja) | 撮像装置及びその制御方法 | |
JP2006023653A (ja) | 光学機器 | |
JP2009081522A (ja) | 撮像装置 | |
JP2016099432A (ja) | 焦点検出装置及び方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100305 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110428 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120509 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150518 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4995002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |