JP6974599B2 - 撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体 - Google Patents

Description

本発明は撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体に係り、特に被写体の距離を精度よく計測する技術に関する。

近年、複数視点画像の距離を計測する撮像装置が提案されている（特許文献１）。

特許文献１に記載の撮像装置は、カラー開口撮像により被写体の距離を計測するもので、図２０に示すように色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃが設けられた撮像レンズ１と、イメージセンサ２とを有している。

色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃは、それぞれ黄色（Ｙ）及びシアン色（Ｃ）のフィルタであり、図２１に示すように撮像レンズ１を左右に２分割する領域にそれぞれ設けられている。色補正フィルタＣＣ−Ｙは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長域のうちのＲ、Ｇの波長域の光を透過させ、Ｂの波長域の光を減衰させる。また、色補正フィルタＣＣ−Ｃは、Ｒ、Ｇ、Ｂの波長域のうちのＢ，Ｇの波長域の光を透過させ、Ｒの波長域の光を減衰させる。

イメージセンサ２は、Ｒ、Ｇ、Ｂのカラーフィルタが画素毎に配置された、通常のカラーイメージセンサである。

特許文献１に記載の発明の距離計測の原理は、以下の通りである。

図２０に示すように被写体３の１点から発せられる光は、撮像レンズ１を介してイメージセンサ２に入射する。図２０に示す例では、被写体３の距離が、撮像レンズ１の合焦距離よりも近い（前ピンである）ため、１点から発せられる光は、円形のボケ像４としてイメージセンサ２に入射する。

いま、図２１にモデル化したようにスリット状の入力像が、色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃを有する撮像レンズ１を介してイメージセンサ２に入射するが、入力像は、入力像の距離が撮像レンズ１の合焦距離と異なる場合にボケ像として撮像される。

ここで、イメージセンサ２のＲのカラーフィルタが配置された画素（Ｒ画素）から出力されるボケ像は、色補正フィルタＣＣ−ＹによりＢの波長域の光の減衰を受けている領域と、色補正フィルタＣＣ−ＣによりＢの波長域の光の減衰を受けていない領域とにより、非対称な形状を有するボケ（非対称ボケ）となって撮像される。また、イメージセンサ２のＢのカラーフィルタが配置された画素（Ｂ画素）から出力されるボケ像は、色補正フィルタＣＣ−ＹによりＲの波長域の光の減衰を受けていない領域と、色補正フィルタＣＣ−ＣによりＲの波長域の光の減衰を受けている領域とにより、非対称な形状を有するボケ（非対称ボケ）となって撮像される。

一方、イメージセンサ２のＧのカラーフィルタが配置された画素（Ｇ画素）から出力されるボケ像は、色補正フィルタＣＣ−Ｙ、ＣＣ−ＣによりＧの波長域の光の減衰を受けないため、対称な形状を有するボケ（対称ボケ）となって撮像される。

特許文献１に記載の発明は、ぼけ関数が非点対称に表された対象画像（例えば、非対称ボケとなるＲ画素から得られる画像）と、ぼけ関数が点対称に表された基準画像（例えば、対称ボケとなるＧ画素から得られる画像）との相関に応じて、画像に写る被写体までの距離を算出する。

具体的には、非対称ボケを有する対象画像に対して、対称ボケに修復するための補正フィルタをかけ、修復した対象画像のボケ形状と、対称ボケを有する基準画像のボケ形状との相関が最大になるときの、補正フィルタ（ぼけ補正カーネル）を求めることで、画像に写る被写体までの距離を算出している。

特開２０１７−４０６４２号公報

特許文献１に記載の撮像装置は、通常のイメージセンサを使用することができるものの、撮像レンズに色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃを設置する必要がある。また、イメージセンサのＲ画素又はＢ画素から得られる画像（非対称ボケを有する画像）と、イメージセンサのＧ画素から得られる画像（対称ボケを有する画像）とのボケ形状に基づいて被写体の距離を計測するため、色が着いた対象物の距離の計測精度が低くなり、対策を施す必要があるという問題がある。

本発明はこのような事情に鑑みてなされたもので、被写体の色に依存せずに被写体の距離を精度よく測定することができる撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る撮像装置は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサと、イメージセンサの第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得する第１画像取得部と、イメージセンサの第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得する第２画像取得部と、イメージセンサの第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得する第３画像取得部と、イメージセンサの第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する第４画像取得部と、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、を備える。

本発明の一の態様によれば、撮像レンズとしては、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズを使用する。イメージセンサは、瞳分割手段による指向性を有し、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有している。このイメージセンサから一対の位相差画素に相当する第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得し、第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第２画像を取得する。また、一対の位相差画素に相当する第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第３画像を取得し、第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する。そして、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出し、同様に第２画像と第４画像とに基づいて画像内の被写体の距離を算出する。一対の位相差画素に相当する第１画素及び第２画素と、第３画素及び第４画素とは、一般に同じ色（ホワイトを含む）のカラーフィルタを有するものであるため、第１画像及び第３画像と、第２画像及び第４画像とは、被写体の色に依存しないボケ形状を有することになり、被写体の色に依存せずに被写体の距離を精度よく測定することができる。更に、第１画像及び第３画像と、第２画像及び第４画像とは、多焦点の撮像レンズにおける合焦距離が異なる領域を通過した画像であるため、合焦距離が１つの撮像レンズに比べて、精度の高い被写体の距離の計測範囲を広くすることができる。

本発明の他の態様に係る撮像装置は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、イメージセンサの第１画素から非対称ボケを有する第１画像を取得する第１画像取得部と、イメージセンサの第３画素から非対称ボケを有する第２画像を取得する第２画像取得部と、イメージセンサの第１基準画素から対称ボケを有する第３画像を取得する第３画像取得部と、イメージセンサの第２基準画素から対称ボケを有する第４画像を取得する第４画像取得部と、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、を備える。

本発明の他の態様に係る撮像装置は、イメージセンサが、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有する点で、本発明の一の態様に係る撮像装置のイメージセンサと相違する。このイメージセンサによれば、第１基準画素及び第２基準画素から対称ボケを有する第２画像及び第４画像を取得することができる。したがって、本発明の他の態様は、本発明の一の態様のように一対の位相差画素に相当する第１画素と第２画素とを加算して対称ボケを有する第３画像を取得し、第２画素と第４画素とを加算して対称ボケを有する第４画像を取得する必要がない点で、本発明の一の態様と相違するが、その他の点では共通する。

本発明の更に他の態様に係る撮像装置において、イメージセンサは、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第２画素であって、第１画素とは瞳分割方向が異なる第２画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第４画素であって、第３画素とは瞳分割方向が異なる第４画素とを有することが好ましい。即ち、第１基準画素及び第２基準画素を有するイメージセンサは、第１画素の他に瞳分割方向が異なる第２画素を有し、第３画素とは瞳分割方向が異なる第４画素とを有することが好ましい。

本発明の更に他の態様に係る撮像装置において、撮像レンズは、撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる第１領域と、撮像レンズの第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる第２領域とを有し、イメージセンサは、撮像レンズの第１方向及び第２方向に隣接する４つの第１画素、第２画素、第３画素及び第４画素に１つのマイクロレンズが配置され、撮像レンズの第１サブ領域、第２サブ領域、第３サブ領域及び第４サブ領域を介して入射する光束が、マイクロレンズによりそれぞれ瞳分割されて第１画素、第２画素、第３画素、及び第４画素に入射する。即ち、第１サブ領域及び第２サブ領域からなる第１領域と、第３サブ領域及び第４サブ領域からなる第２領域とを有する撮像レンズを介して各マイクロレンズに入射する光束は、各マイクロレンズによりそれぞれ瞳分割されて第１画素及び第２画素と、第３画素及び第４画素とに入射する。

本発明の更に他の態様に係る撮像装置において、撮像レンズは、撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる第１領域と、撮像レンズの第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる第２領域とを有し、イメージセンサは、第１画素、第２画素、第３画素及び第４画素にそれぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズの第１サブ領域、第２サブ領域、第３サブ領域及び第４サブ領域を介して入射する光束が、遮光マスクによりそれぞれ瞳分割されて第１画素、第２画素、第３画素、及び第４画素に入射する。即ち、第１サブ領域及び第２サブ領域からなる第１領域と、第３サブ領域及び第４サブ領域からなる第２領域とを有する撮像レンズを介して第１画素、第２画素、第３画素、及び第４画素に入射する光束は、第１画素、第２画素、第３画素、及び第４画素にそれぞれ設けられた瞳分割用の４種類の遮光マスク（それぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を有する４種類の遮光マスク）により瞳分割されて第１画素、第２画素、第３画素、及び第４画素にて受光される。

本発明の更に他の態様に係る撮像装置において、撮像レンズは、それぞれ同一の光軸上に配置された中央光学系からなる第１領域と、中央光学系の周辺部の環状光学系からなる第２領域とを有し、イメージセンサは、第１画素、第２画素、第３画素及び第４画素にそれぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズの中央光学系を介して入射する光束が、遮光マスクにより瞳分割されて第１画素及び第２画素に入射し、撮像レンズの環状光学系を介して入射する光束が、遮光マスクにより瞳分割されて第３画素及び第４画素に入射する。

本発明の更に他の態様に係る撮像装置において、イメージセンサの複数の画素の各画素には、３原色の３つのカラーフィルタを含む複数のカラーフィルタが所定のフィルタ配列で配置され、第１画像取得部及び第２画像取得部が取得する第１画像及び第２画像と、第３画像取得部及び第４画像取得部が取得する第３画像及び第４画像とは、それぞれ同じ色のカラーフィルタが配置された画素から取得した画像であることが好ましい。これにより、第１画像及び第２画像の非対称ボケの形状と、第３画像及び第４画像の対称ボケの形状とが、被写体の色により変化せず、被写体の色に依存しない距離を計測することができる。

本発明の更に他の態様に係る撮像装置において、第１距離算出部は、第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正する第１フィルタ処理部と、第１補正フィルタにより補正された第１局所画像と、第３画像の局所領域の第３局所画像であって、第１局所画像と同じ局所領域の第３局所画像とを比較し、比較した第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する第１補正フィルタ探索部と、を含み、探索した第１補正フィルタに基づいて被写体の距離である局所領域の距離を算出し、第２距離算出部は、第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正する第２フィルタ処理部と、第２補正フィルタにより補正された第２局所画像と、第４画像の局所領域の第４局所画像であって、第２局所画像と同じ局所領域の第４局所画像とを比較し、比較した第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する第２補正フィルタ探索部と、を含み、探索した第２補正フィルタに基づいて被写体の距離である局所領域の距離を算出することが好ましい。第１局所画像の非対称ボケを補正し、対称ボケを有する第３局所画像との相関を最大にする第１補正フィルタは、第１局所画像の非対称ボケの大きさ及び形状（第１局所画像の距離）に対応する。したがって、補正後の第１局所画像と第３局所画像との相関を最大にする第１補正フィルタを探索することで、探索した第１補正フィルタにより第１の局所画像の距離を算出することができる。同様に、第２局所画像の非対称ボケを補正し、対称ボケを有する第４局所画像との相関を最大にする第２補正フィルタは、第２局所画像の非対称ボケの大きさ及び形状（第２局所画像の距離）に対応する。したがって、補正後の第２局所画像と第４局所画像との相関を最大にする第２補正フィルタを探索することで、探索した第２補正フィルタにより第２局所画像の距離を算出することができる。

本発明の更に他の態様に係る撮像装置において、第１距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタを記憶する第１補正フィルタ記憶部を含み、第１フィルタ処理部は、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタのうちの１つの第１補正フィルタを読み出し、第１局所画像と読み出した第１補正フィルタとの畳み込み演算を行うことにより第１補正フィルタにより補正された第１局所画像を生成し、第１補正フィルタ探索部は、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタの中から相関が最大になるときの第１補正フィルタを探索し、第２距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタを記憶する第２補正フィルタ記憶部を含み、第２フィルタ処理部は、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタのうちの１つの第２補正フィルタを読み出し、第２局所画像と読み出した第２補正フィルタとの畳み込み演算を行うことにより第２補正フィルタにより補正された第２局所画像を生成し、第２補正フィルタ探索部は、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタの中から相関が最大になるときの第２補正フィルタを探索することが好ましい。

被写体の距離に応じて第１、第２局所画像の非対称ボケの大きさ及び形状が異なるため、非対称ボケを有する第１、第２局所画像を、対称ボケに補正するための第１、第２補正フィルタのフィルタサイズ及びフィルタ係数も被写体の距離に応じて異なるものとなる。したがって、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１、第２補正フィルタを第１、第２補正フィルタ記憶部に記憶させておき、第１、第２補正フィルタ記憶部に記憶された複数の第１、第２補正フィルタから第１、第２局所画像の対称ボケを適切に補正する第１、第２補正フィルタを探索することで、探索した第１、第２補正フィルタにより第１、第２局所画像の距離を算出する。ここで、非対称ボケを有する第１、第２局所画像と第１、第２補正フィルタ記憶部から読み出された第１、第２補正フィルタとの畳み込み演算を行うことで、第１、第２局所画像のボケ形状が補正されるが、ボケ形状が補正された第１、第２局所画像と、対称ボケを有する第３、第４局所画像との相関が最大になる場合の、第１、第２補正フィルタを探索することで、探索した第１、第２補正フィルタにより第１、第２局所画像の距離を算出することができる。

本発明の更に他の態様に係る撮像装置において、第１距離算出部により算出される被写体の距離及び第２距離算出部により算出される被写体の距離のうちの一方の被写体の距離を、画像内の被写体の距離として選択する選択部を備えることが好ましい。例えば、第１距離算出部により算出される被写体の距離と、第２距離算出部により算出される被写体の距離とが重複しないように、被写体の距離に応じて探索可能な第１補正フィルタと第２補正フィルタとを区分することで選択することができる。

本発明の更に他の態様に係る撮像装置において、撮像レンズの光軸中心から周辺部分に向かって光透過率を連続的に変化させるアポダイジングフィルタを設けることが好ましい。アポダイジングフィルタにより、非対称ボケを有する第１、第２画像及び対称ボケを有する第３、第４画像のボケ形状を、それぞれ滑らかに変化させることができる。これにより、第１、第２画像の非対称ボケの非対称性と第３、第４画像の対称ボケの対称性とをそれぞれ明瞭にすることができ、距離測定の精度をより向上させることができる。

更に他の態様に係る発明は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサとを備えた撮像装置による距離計測方法であって、イメージセンサの第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得するステップと、イメージセンサの第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得するステップと、イメージセンサの第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得するステップと、イメージセンサの第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得するステップと、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、を含む。

更に他の態様に係る発明は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、を備えた撮像装置による距離計測方法であって、イメージセンサの第１画素から非対称ボケを有する第１画像を取得するステップと、イメージセンサの第３画素から非対称ボケを有する第２画像を取得するステップと、イメージセンサの第１基準画素から対称ボケを有する第３画像を取得するステップと、イメージセンサの第２基準画素から対称ボケを有する第４画像を取得するステップと、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、を含む。

本発明の更に他の態様に係る距離計測方法において、第１距離算出ステップは、第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正するステップと、第１補正フィルタにより補正された第１局所画像と、第３画像の局所領域の第３局所画像であって、第１局所画像と同じ局所領域の第３局所画像とを比較し、比較した第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する第１探索ステップと、を含み、探索した第１補正フィルタに基づいて被写体の距離である局所領域の距離を算出し、第２距離算出ステップは、第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正するステップと、第２補正フィルタにより補正された第２局所画像と、第４画像の局所領域の第４局所画像であって、第２局所画像と同じ局所領域の第４局所画像とを比較し、比較した第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する第２探索ステップと、を含み、探索した第２補正フィルタに基づいて被写体の距離である局所領域の距離を算出する。

本発明の更に他の態様に係る距離計測方法において、第１距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタを記憶する第１補正フィルタ記憶部から、複数の第１補正フィルタのうちの１つの第１補正フィルタを読み出し、第１局所画像と読み出した第１補正フィルタとの畳み込み演算を行うことにより第１補正フィルタにより補正された第１局所画像を生成し、第１探索ステップは、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタの中から相関が最大になるときの第１補正フィルタを探索し、第２距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタを記憶する第２補正フィルタ記憶部から、複数の第２補正フィルタのうちの１つの第２補正フィルタを読み出し、第２局所画像と読み出した第２補正フィルタとの畳み込み演算を行うことにより第２補正フィルタにより補正された第２局所画像を生成し、第２探索ステップは、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタの中から相関が最大になるときの第２補正フィルタを探索することが好ましい。

本発明の更に他の態様に係る距離計測プログラムは、上述の距離計測方法をコンピュータに実行させる。

本発明の更に他の態様に係る記録媒体は、上述の距離計測方法をコンピュータに実行させる距離計測プログラムが記録されたものである。

本発明によれば、被写体の色に依存せずに被写体の距離を精度よく測定することができる。

図１は本発明に係る第１実施形態の撮像装置の外観斜視図である。 図２は図１に示した撮像装置１０の内部構成の実施形態を示すブロック図である。 図３は撮像レンズ１２の第１実施形態を示す正面図である。 図４は主として撮像レンズ１２及びイメージセンサ１６の作用を示す要部拡大図である。 図５はイメージセンサ１６の正面図である。 図６は主として撮像範囲内の被写体の距離を計測する計測部として機能するＣＰＵ４０及びＲＯＭ４９の機能ブロック図である。 図７は画像Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄ及び第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）のボケ形状（ＰＳＦ形状）、及び画像Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄに適用される補正フィルタＦ_Ａｉ、Ｆ_Ｂｉ、Ｆ_Ｃｉ、Ｆ_Ｄｉの形状を模式的に示した図である。 図８は被写体３Ａ，３Ｂの距離差Δｄと非対称ボケＢ_Ａ１、Ｂ_Ａ２との関係を示す図である。 図９は被写体３Ａ，３Ｂの距離差Δｄと非対称ボケＢ_Ａ３、Ｂ_Ａ４との関係を示す図である。 図１０は横軸に被写体の距離に関連付けられている第１補正フィルタＦ_Ａを示し、縦軸に各第１補正フィルタＦ_Ａにより補正された画像Ｉ_Ａの、ある第１局所画像と第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の第２局所画像との相関を示す評価値Ｅを示したグラフである。 図１１は第２実施形態のイメージセンサ１６−２の正面図である。 図１２は、図４に示した瞳像分離方式による第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄに対応する第３画素Ｓ_Ｃ２及び第４画素Ｓ_Ｄ２の構成を示す要部拡大図である。 図１３は第３実施形態のイメージセンサ１６−３の要部正面図である。 図１４は撮像レンズ１２−２の第２実施形態を示す正面図である。 図１５はイメージセンサの第４実施形態を示す平面図である。 図１６はアポダイジングフィルタ１３を示す正面図である。 図１７は被写体の距離に応じた点光源５のボケ像を示す図である。 図１８は撮像レンズ１２にアポダイジングフィルタ１３を設けた場合の被写体の距離に応じた点光源５のボケ像を示す図である。 図１９は本発明に係る距離計測方法の実施形態を示すフローチャートである。 図２０はカラー開口撮像を行う従来の撮像装置の要部拡大図である。 図２１はカラー開口撮像による距離計測の原理を説明するために用いた図である。

以下、添付図面に従って本発明に係る撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体の好ましい実施形態について説明する。

［撮像装置の外観］
図１は本発明に係る第１実施形態の撮像装置の外観斜視図である。図１に示すように、撮像装置１０の前面には、撮像レンズ１２、フラッシュ光発光部１９、光学ファインダのファインダ窓２０等が配置され、上面にはシャッタボタン３８−１が設けられている。尚、図１において、Ｌ１は撮像レンズ１２の光軸を表す。

［撮像装置の内部構成］
図２は、図１に示した撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した画像と、画像内の被写体の距離であって、撮像シーン（撮像範囲）における被写体の距離分布を示す距離マップとを関連付けてメモリカード５４に記録するもので、主として被写体の距離を計測する距離計測部に特徴がある。

図２に示すように、撮像装置１０は、主として撮像レンズ１２、イメージセンサ１６、画像入力コントローラ２２、デジタル信号処理部２４、圧縮伸張処理部２６、ビデオエンコーダ２８、液晶モニタ３０、センサ制御部３２、操作部３８、中央処理装置（ＣＰＵ：Central Processing Unit）４０、ＡＥ（Automatic Exposure：自動露出）検出部４４、ＡＦ（Auto Focus：自動焦点）検出部４６、メモリ(SDRAM：Synchronous Dynamic Random Access Memory)４８、ＲＯＭ(Read Only Memory)４９、ＶＲＡＭ(Video Random Access Memory)５０、及びメディアコントローラ５２等から構成されている。

＜撮像レンズの第１実施形態＞
図３は、撮像レンズ１２の第１実施形態を示す正面図である。

図３に示す撮像レンズ１２は、多焦点（本例では２焦点）の撮像レンズであり、撮像レンズ１２の第１方向（垂直方向）に区分される点対称の第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂからなる第１領域と、撮像レンズ１２の第１方向と直交する第２方向（水平方向）に区分される点対称の第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄからなる第２領域とを有している。

第１サブ領域Ｌ_Ａ、第２サブ領域Ｌ_Ｂ、第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄの間には、遮光部１１が設けられ、各領域間で光が混入しないようにされている。

撮像レンズ１２の垂直方向（Ｖ方向）の第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂからなる第１領域と、水平方向（Ｈ方向）の第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄからなる第２領域とは、それぞれ合焦距離が異なり、本例では第１領域は、第２領域よりも合焦距離が遠いものとする。

＜イメージセンサの第１実施形態＞
第１実施形態のイメージセンサ１６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

図４は、主として撮像レンズ１２及びイメージセンサ１６の作用を示す要部拡大図であり、撮像レンズ１２の垂直断面に現れる撮像レンズ１２の第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂからなる第１領域の合焦距離は、被写体３Ａの被写体距離Ｄ１に対応し、撮像レンズ１２の水平断面に現れる撮像レンズ１２の第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄからなる第２領域の合焦距離は、被写体３Ｂの被写体距離Ｄ２に対応している。

図５はイメージセンサ１６の正面図である。

図５に示すようにイメージセンサ１６は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に２次元状に配列された光電変換素子（受光セル）により構成された複数の画素を有するイメージセンサであって、撮像レンズ１２を介して入射する光束を、以下に示す瞳分割手段により瞳分割して選択的に受光する第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄ含んで構成されている。

図４及び図５に示すようにイメージセンサ１６は、瞳分割手段として瞳結像レンズ（マイクロレンズ）１６Ａによる瞳像分離方式が適用されている。

瞳像分離方式は、１つのマイクロレンズ１６Ａに対して複数（本例では４つ）の画素（第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄ第）が割り当てられており、１つのマイクロレンズ１６Ａに入射する瞳像は、マイクロレンズ１６Ａにより瞳分割され、４つの第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄにより受光される。従って、マイクロレンズ１６Ａへの光の入射角度に応じて瞳像が分離され、それぞれ対応する第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄにより受光される。

また、図４に示すように、撮像レンズ１２の垂直方向の第１領域であって、第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂからなる第１領域の合焦距離は、被写体３Ａの距離に対応し、撮像レンズ１２の水平断面に現れる撮像レンズ１２の第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄからなる第２領域の合焦距離は、被写体３Ｂの距離に対応している。

撮像レンズ１２の垂直方向の一方の第１サブ領域Ｌ_Ａを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第１画素Ｓ_Ａにより受光され、撮像レンズ１２の垂直方向の他方の第２サブ領域Ｌ_Ｂを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第２画素Ｓ_Ｂにより受光される。

同様に、撮像レンズ１２の水平方向の一方の第３サブ領域Ｌ_Ｃを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第３画素Ｓ_Ｃにより受光され、撮像レンズ１２の水平方向の他方の第４サブ領域Ｌ_Ｄを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第４画素Ｓ_Ｄにより受光される。

また、図５に示すようにイメージセンサ１６の１つのマイクロレンズ１６Ａに対応する４つの第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄには、Ｒ、Ｇ、Ｂの３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）のうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置されている。図５に示すカラーフィルタ配列は、一般的なベイヤー配列であるが、カラーフィルタ配列はこれに限定されるものではない。

図２に戻って、撮像装置１０は、図３で説明した第１実施形態の撮像レンズ１２と、図４及び図５で説明した第１実施形態のイメージセンサ１６とを備えている。装置全体の動作は、ＣＰＵ４０によって統括制御される。

操作部３８は、前述したシャッタボタン３８−１の他、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号及びＲＯＭ４９に格納された制御プログラムに従い、メモリ４８を作業領域として撮像装置１０の各部を制御し、例えば、撮像動作制御、画像処理制御、画像データ及び距離マップの記録／再生制御、液晶モニタ３０の表示制御などを行う。

また、ＣＰＵ４０は、後述するようにＲＯＭ４９に格納された距離計測プログラムにより被写体の距離を計測する距離算出部、撮像範囲における被写体の距離分布を示す距離マップの作成部として機能する。

シャッタボタン３８−１（図１）は、撮像開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを切り替える選択手段である。また、モードダイヤルは、距離マップを作成する距離マップ作成モードの選択が可能である。距離マップ作成モードでは、距離マップの作成と同時に画像（静止画又は動画）の撮像を実行し、距離マップと画像とを関連付けて記録することが可能である。

再生ボタンは、撮像記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。

撮影モード又は距離マップ作成モードが選択されると、被写体光は、撮像レンズ１２を介してイメージセンサ１６の受光面に入射する。イメージセンサ１６に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタで蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択により画素値として読み出される。

これにより、イメージセンサ１６から２次元状に配置された第１画素Ｓ_Ａに対応する第１画素群２２Ａからなる画像Ｉ_Ａ（第１画像）、第２画素Ｓ_Ｂに対応する第２画素群２２Ｂからなる画像Ｉ_Ｂ（第１画像）、第３画素Ｓ_Ｃに対応する第３画素群２２Ｃからなる画像Ｉ_Ｃ（第２画像）、及び第４画素Ｓ_Ｄに対応する第４画素群２２Ｄからなる画像Ｉ_Ｄ（第２画像）を示す画像信号を読み出すことができる。

ライブビュー画像（動画を含む）の撮像又は静止画の撮像が行われると、センサ制御部３２によりイメージセンサ１６から画像信号（電圧信号）が読み出され、読み出された画像信号は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、センサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ（Analog-to-digital）変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１６から直接Ｒ、Ｇ、Ｂのデジタル信号が出力される。

イメージセンサ１６の画素位置を選択して画素データを読み出すことにより、第１画素群２２Ａ（画像Ｉ_Ａ）、第２画素群２２Ｂ（画像Ｉ_Ｂ）、第３画素２２Ｃ（画像Ｉ_Ｃ）、及び第４画素群２２Ｄ（画像Ｉ_Ｄ）を示す画像信号を選択的に読み出すことができるが、イメージセンサ１６から全ての画素データを読み出し、SDRAMにより構成されるメモリ４８に一時的に記憶し、メモリ４８から画像Ｉ_Ａ、画像Ｉ_Ｂ、画像Ｉ_Ｃ、及び画像Ｉ_Ｄの４つの画像データを抽出するようにしてもよい。

デジタル信号処理部２４は、画像処理を行う場合、まず、画像入力コントローラ２２を介して取得した第１画素群２２Ａ（画像Ｉ_Ａ）及び第２画素群２２Ｂ（画像Ｉ_Ｂ）のそれぞれ対応する一対の（隣接する）第１画素Ｓ_Ａ，第２画素Ｓ_Ｂを加算し、加算した画素群からなる第２画像（対称画像（Ｉ_Ａ＋Ｉ_Ｂ））を作成し、同様に画像入力コントローラ２２を介して取得した第３画素群２２Ｃ（画像Ｉ_Ｃ）及び第４画素群２２Ｄ（画像Ｉ_Ｄ）のそれぞれ対応する一対の（隣接する）第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄを加算し、加算した画素群からなる第４画像（対称画像（Ｉ_Ｃ＋Ｉ_Ｄ））を作成する。

図２０で説明したように、被写体の１点から発せられる光は、撮像レンズを介してイメージセンサに入射する。被写体の距離が、撮像レンズの合焦距離よりも近い場合（前ピンの場合）、又は遠い場合（後ピンの場合）、１点から発せられる光は、合焦距離から遠ざかる程、ボケ像が大きくなる。

また、第１画素Ｓ_Ａには、撮像レンズ１２の第１サブ領域Ｌ_Ａを通過する光束が入射し、第２画素Ｓ_Ｂには、撮像レンズ１２の第２サブ領域Ｌ_Ｂを通過する光束が入射するため、第１画素Ｓ_Ａからなる第１画素群２２Ａの画像Ｉ_Ａに現れるボケ像は、非対称ボケＢ_Ａとなり、第２画素Ｓ_Ｂからなる第２画素群２２Ｂの画像Ｉ_Ｂに現れるボケ像も非対称ボケＢ_Ｂとなる。

但し、非対称ボケＢ _Ａ と非対称ボケＢ_Ｂとは互いに点対称になっており、画像Ｉ_Ａと画像Ｉ_Ｂとを加算した第２画像（第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ））に現れるボケ像は対称形（対称ボケＢ_Ｒ１）になる。

同様に、第３画素Ｓ_Ｃには、撮像レンズ１２の第３サブ領域Ｌ_Ｃを通過する光束が入射し、第４画素Ｓ_Ｄには、撮像レンズ１２の第４サブ領域Ｌ_Ｄを通過する光束が入射するため、第３画素Ｓ_Ｃからなる第３画素群２２Ｃの画像Ｉ_Ｃに現れるボケ像は、非対称ボケＢ_Ｃとなり、第４画素Ｓ_Ｄからなる第４画素群２２Ｄの画像Ｉ_Ｄに現れるボケ像も非対称ボケＢ_Ｄとなる。

但し、非対称ボケＢ_Ｃと非対称ボケＢ_Ｄとは互いに点対称になっており、画像Ｉ_Ｃと画像Ｉ_Ｄとを加算した第３画像（第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ））に現れるボケ像は対称形（対称ボケＢ_Ｒ２）になる。

尚、図７には、画像Ｉ_Ａ、画像Ｉ_Ｂ、画像Ｉ_Ｃ、画像Ｉ_Ｄの非対称ボケＢ_Ａ、Ｂ_Ｂ、Ｂ_Ｃ、Ｂ_Ｄのボケ形状（ＰＳＦ：Point Spread Function）、及び第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）の対称ボケＢ_Ｒ１、Ｂ_Ｒ２のボケ形状が模式的に示されている。

デジタル信号処理部２４は、上記のように第１画素群２２Ａ（画像Ｉ_Ａ）及び第２画素群２２Ｂ（画像Ｉ_Ｂ）のそれぞれ対応する一対の第１画素Ｓ_Ａ，第２画素Ｓ_Ｂを加算し、加算した画素群からなる第２画像（第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ））と、第３画素群２２Ｃ（画像Ｉ_Ｃ）及び第４画素群２２Ｄ（画像Ｉ_Ｄ）のそれぞれ対応する一対の第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄを加算し、加算した画素群からなる第４画像（第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ））とを作成することで、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）に対して通常の画像の信号処理と同様の処理を行う。

デジタル信号処理部２４は、生成した第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＲＧＢ信号から輝度信号Ｙ，色差信号Ｃｒ、Ｃｂに変換するＲＧＢ／ＹＣ変換処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。

また、操作部３８のシャッタボタン３８−１の半押し（Ｓ１ＯＮ）があると、ＣＰＵ４０は、ＡＦ制御及びＡＥ制御などの撮像準備処理を実行し、シャッタボタン３８−１の全押し（Ｓ２ＯＮ）があると、画像の撮像処理及び記録処理を実行させる。

ＡＥ検出部４４では、イメージセンサ１６から出力されるＲＧＢの色信号のうちのＧ信号を画面全体にわたって積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２を介してイメージセンサ１６での電荷蓄積時間を制御する。

ＡＦ検出部４６は、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて撮像レンズ１２の光軸方向の位置を制御し、主要被写体に焦点を合わせる合焦制御を行う。

ここで、位相差ＡＦの制御に必要なデフォーカス量は、イメージセンサ１６のＡＦ領域内の第１画素Ｓ_Ａ及び第２画素Ｓ_Ｂからそれぞれ第１画素値及び第２画素値を取得し、これらの第１画素値及び第２画素値に基づいて位相差を検出する。位相差は、第１画素Ｓ_Ａの複数の第１画素値と第２画素Ｓ_Ｂの複数の第２画素値の相関が最大になるとき（複数の第１画素値と複数第２の画素値の差分絶対値の積算値が最小になるとき）の第１画素値と第２画素値との間の瞳分割方向のシフト量から算出することができる。また、デフォーカス量は、検出された位相差と、撮像レンズ１２の現在のＦ値（光線角度）に対応する係数とを乗算することにより算出することができる。

シャッタボタン３８−１の押下に応答してＡ／Ｄ変換器２１から出力される画像データは、画像入力コントローラ２２からメモリ４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像データは、前述したようにデジタル信号処理部２４により読み出されて所定の信号処理が行われ、ＲＧＢ信号から生成された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂは、再びメモリ４８に記憶される。

メモリ４８に記憶された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂは、それぞれ圧縮伸張処理部２６に出力され、JPEG (Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、メディアコントローラ５２を介してメモリカード５４に記録される。

＜被写体の距離計測＞
図６は、主として撮像範囲内の被写体の距離を計測する計測部として機能するＣＰＵ４０及びＲＯＭ４９の機能ブロック図である。

ＣＰＵ４０は、モードダイヤルにより距離マップ作成モードが選択されると、メモリ４８を作業領域として、ＲＯＭ４９に格納された距離計測プログラムを実行することにより、第１画像取得部４１−１、第２画像取得部４１−２、第３画像取得部４３−１、第４画像取得部４３−２、及び第１距離算出部４５−１、第２距離算出部４５−２として機能する。また、ＲＯＭ４９は、被写体の距離計測に使用する補正フィルタであって、少なくとも被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の補正フィルタＦ_Ａを記憶する第１補正フィルタ記憶部４５−１Ｄ、及び複数の補正フィルタＦ_Ｃを記憶する第２補正フィルタ記憶部４５−２Ｄとして機能する。

距離マップ作成モードが選択され、撮像レンズ１２及びイメージセンサ１６により撮像された第１画素群２２Ａ、第２画素群２２Ｂ、第３画素群２２Ｃ及び第４画素群２２Ｄは、メモリ４８に一時的に記憶される。

第１画像取得部４１−１は、メモリ４８から第１画素群２２Ａを読み出すことで、第１画素群２２Ａからなる第１画像（画像Ｉ_Ａ）を取得する。

第２画像取得部４１−２は、メモリ４８から第３画素群２２Ｃを読み出すことで、第３画素群２２Ｃからなる第２画像（画像Ｉ_Ｃ）を取得する。

第３画像取得部４３−１は、メモリ４８から第１画素群２２Ａ及び第２画素群２２Ｂを読み出し、第１画素群２２Ａ及び第２画素群２２Ｂのそれぞれ対応する一対の第１画素Ｓ_Ａ，第２画素Ｓ_Ｂの画素値を加算することで、加算した画素群からなる第３画像（第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ））を取得する。

第４画像取得部４３−２は、メモリ４８から第３画素群２２Ｃ及び第４画素群２２Ｄを読み出し、第３画素群２２Ｃ及び第４画素群２２Ｄのそれぞれ対応する一対の第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄの画素値を加算することで、加算した画素群からなる第４画像（第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ））を取得する。

尚、図７に示したように、画像Ｉ_Ａ、画像Ｉ_Ｃは、非対称ボケＢ_Ａ，Ｂ_Ｃを有する画像であり、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）は、対称ボケＢ_Ｒ１、Ｂ_Ｒ２を有する画像である。

第１距離算出部４５−１は、主として第１フィルタ処理部４５−１Ａ、第１比較部４５−１Ｂ、第１補正フィルタ探索部４５−１Ｃ及び第１補正フィルタ記憶部４５−１Ｄから構成されている。

第１フィルタ処理部４５−１Ａは、第１画像である画像Ｉ_Ａの被写体の位置（画素位置）を中心とする局所領域の第１局所画像の非対称ボケＢ_Ａを、第１補正フィルタＦ_Ａｉを使用して対称ボケ（第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の同じ画素位置における対称ボケＢ_Ｒ１）に補正（修復）する部分である。

第１フィルタ処理部４５-１Ａは、第1補正フィルタ記憶部４５-１Ｄに記憶された複数の第１補正フィルタ（Ｆ_Ａ１，Ｆ_Ａ２、…、Ｆ_{Ａ（ｉ−１）}、Ｆ_Ａｉ、Ｆ_{Ａ（ｉ＋１）}、…）のうちの１つの第１補正フィルタＦ_Ａｉを第１補正フィルタ探索部４５-１Ｃから取得し、非対称ボケＢ_Ａを有する第１局所画像と、取得した第１補正フィルタＦ_Ａｉとの畳み込み演算を行うことで、第１補正フィルタＦ_Ａｉにより補正された第１局所画像を生成する。

第１比較部４５-１Ｂは、第１補正フィルタＦ_Ａｉにより補正された第１局所画像と、第３画像取得部４３−１により生成された第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の、第１局所画像と同じ局所領域の第３局所画像（対称ボケＢ_Ｒ２を有する第３局所画像）とを比較し、補正された第１局所画像と第３局所画像との相関を示す評価値Ｅ（本例では、完全に一致した場合の評価値Ｅを０とし、相関が小さい程、大きい値となる評価値）を第１補正フィルタ探索部４５−１Ｃに出力する。

第１補正フィルタ探索部４５−１Ｃは、第１補正フィルタ記憶部４５−１Ｄに記憶された複数の第１補正フィルタの中から、非対称ボケが補正された第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する部分である。

即ち、第１補正フィルタ探索部４５−１Ｃは、第１比較部４５−１Ｂでの比較結果を示す評価値Ｅに基づいて、非対称ボケが補正された第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを、第１補正フィルタ記憶部４５−１Ｄに記憶された複数の補正フィルタの中から探索する。

第１補正フィルタ記憶部４５−１Ｄは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタ（Ｆ_Ａ１，Ｆ_Ａ２、…、Ｆ_{Ａ（ｉ−１）}、Ｆ_Ａｉ、Ｆ_{Ａ（ｉ＋１）}、…）を記憶している。

本例では、距離マップ作成モードでの撮像時には、図示しない絞りは、予め設定された固定絞りとし、また、図４に示したように撮像レンズ１２は、第１領域（第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂ）のレンズが、予め設定された被写体距離Ｄ１の被写体に合焦するレンズ位置に設定されているものとする。この場合、撮像レンズ１２の第２領域（第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄ）のレンズは、被写体距離Ｄ１よりも近距離の被写体距離Ｄ２の被写体に合焦するレンズ位置に設定されることになる。

予め設定された被写体距離に位置する点光源は、イメージセンサ１６の受光面上で最小になる。理想的な撮像レンズ１２であれば、点光源は、点として撮像されるが、撮像レンズ１２の第１領域及び第２領域の点拡がり関数（ＰＳＦ：Point Spread Function）に基づいて点拡がりをもつ。点光源が、予め設定された被写体距離から遠ざかるにしたがって徐々にボケ像が拡がり、その被写体距離とボケ像のボケ形状とは相関関係がある。

画像Ｉ_Ａの被写体の位置（画素位置）を中心とする局所領域の第１局所画像は、その被写体の距離に応じた非対称ボケＢ_Ａを有している。この非対称ボケＢ_Ａの非対称性を修復する第１補正フィルタＦ_Ａｉであって、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の第１局所画像と同じ局所領域の第３局所画像の対称ボケＢ_Ｒ１と一致させる第１補正フィルタＦ_Ａｉを探索することができれば、その探索された第１補正フィルタＦ_Ａｉに関連付けている被写体の距離を、第１局所画像に対応する被写体の距離とすることができる。

第１補正フィルタ記憶部４５−１Ｄは、画像Ｉ_Ａの非対称ボケＢ_Ａを、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の対称ボケＢ_Ｒ１に修復するための複数の第１補正フィルタ（Ｆ_Ａ１，Ｆ_Ａ２、…、Ｆ_{Ａ（ｉ−１）}、Ｆ_Ａｉ、Ｆ_{Ａ（ｉ＋１）}、…）を被写体の距離に応じて記憶している。

第１補正フィルタ探索部４５−１Ｃは、第１比較部４５−１Ｂでの比較結果を示す評価値に基づいて、ある第１補正フィルタＦ_Ａｉにより非対称ボケＢ_Ａが補正された第１局所画像と対称ボケＢ_Ｒ１を有する第２局所画像との相関が最大になるときの第１補正フィルタＦ_Ａｉを、第１補正フィルタ記憶部４５−１Ｄに記憶された多数の第１補正フィルタの中から探索することで、探索した第１補正フィルタＦ_Ａｉに関連付けられた被写体の距離を、非対称ボケＢ_Ａを有する第１局所画像に対応する被写体の距離として取得する。

第１距離算出部４５−１は、このようにして取得した被写体の距離を、距離マップを作成するために画像Ｉ_Ａ内の位置情報とともに出力する。

そして、画像Ｉ_Ａ内の全ての画素位置において、被写体の距離を計測することで、撮像範囲における被写体の距離分布を示す距離マップを作成することができる。尚、距離に応じて色や濃度を変えることで、被写体の距離分布を視認できる距離画像を作成することもできる。

第２距離算出部４５−２は、主として第２フィルタ処理部４５−２Ａ、第２比較部４５−２Ｂ、第２補正フィルタ探索部４５−２Ｃ及び第２補正フィルタ記憶部４５−２Ｄから構成されており、第１距離算出部４５−１と同様の距離計測を行う。

第２フィルタ処理部４５−２Ａは、第２画像である画像Ｉ_Ｃの被写体の位置（画素位置）を中心とする局所領域の第２局所画像の非対称ボケＢ_Ｃを、第２補正フィルタＦ_Ｃｉを使用して対称ボケ（第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）の同じ画素位置における対称ボケＢ_Ｒ２）に補正（修復）する部分である。

第２フィルタ処理部４５-２Ａは、第２補正フィルタ記憶部４５-２Ｄに記憶された複数の第２補正フィルタ（Ｆ_Ｃ１，Ｆ_Ｃ２、…、Ｆ_{Ｃ（ｉ−１）}、Ｆ_Ｃｉ、Ｆ_{Ｃ（ｉ＋１）}、…）のうちの１つの第２補正フィルタＦ_Ｃｉを第２補正フィルタ探索部４５−２Ｃから取得し、非対称ボケＢ_Ｃを有する第２局所画像と、取得した第２補正フィルタＦ_Ｃｉとの畳み込み演算を行うことで、第２補正フィルタＦ_Ｃｉにより補正された第２局所画像を生成する。

第２比較部４５-２Ｂは、第２補正フィルタＦ_Ｃｉにより補正された第２局所画像と、第４画像取得部４３−２により生成された第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）の、第１局所画像と同じ局所領域の第４局所画像（対称ボケＢ_Ｒ２を有する第２局所画像）とを比較し、補正された第２局所画像と第４局所画像との相関を示す評価値Ｅを第２補正フィルタ探索部４５−２Ｃに出力する。

第２補正フィルタ探索部４５−２Ｃは、第２補正フィルタ記憶部４５−２Ｄに記憶された複数の第２補正フィルタの中から、非対称ボケが補正された第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する部分である。

即ち、第２補正フィルタ探索部４５−２Ｃは、第２比較部４５−２Ｂでの比較結果を示す評価値Ｅに基づいて、非対称ボケが補正された第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを、第２補正フィルタ記憶部４５−２Ｄに記憶された複数の補正フィルタの中から探索する。

第２補正フィルタ記憶部４５−２Ｄは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタ（Ｆ_Ｃ１，Ｆ_Ｃ２、…、Ｆ_{Ｃ（ｉ−１）}、Ｆ_Ｃｉ、Ｆ_{Ｃ（ｉ＋１）}、…）を記憶している。

即ち、第２補正フィルタ記憶部４５−２Ｄは、画像Ｉ_Ｃの非対称ボケＢ_Ｃを、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）の対称ボケＢ_Ｒ２に修復するための複数の第２補正フィルタ（Ｆ_Ｃ１，Ｆ_Ｃ２、…、Ｆ_{Ｃ（ｉ−１）}、Ｆ_Ｃｉ、Ｆ_{Ｃ（ｉ＋１）}、…）を被写体の距離に応じて記憶している。

第２補正フィルタ探索部４５−２Ｃは、第２比較部４５−２Ｂでの比較結果を示す評価値に基づいて、ある第２補正フィルタＦ_Ｃｉにより非対称ボケＢ_Ｃが補正された第２局所画像と対称ボケＢ_Ｒ２を有する第４局所画像との相関が最大になるときの第２補正フィルタＦ_Ｃｉを、第２補正フィルタ記憶部４５−２Ｄに記憶された多数の第２補正フィルタの中から探索することで、探索した第２補正フィルタＦ_Ｃｉに関連付けられた被写体の距離を、非対称ボケＢ_Ｃを有する第２局所画像に対応する被写体の距離として取得する。

第２距離算出部４５−２は、このようにして取得した被写体の距離を、距離マップを作成するために画像Ｉ_Ｃ内の位置情報とともに出力する。

そして、画像Ｉ_Ｃ内の全ての画素位置において、被写体の距離を計測することで、撮像範囲における被写体の距離分布を示す距離マップを作成することができる。

図７は、画像Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄ及び第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）のボケ形状（ＰＳＦ形状）、及び画像Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄに適用される補正フィルタＦ_Ａｉ、Ｆ_Ｂｉ、Ｆ_Ｃｉ、Ｆ_Ｄｉの形状を模式的に示した図である。

図７に示すように、画像Ｉ_Ａは、非対称ボケＢ_Ａを有し、画像Ｉ_Ｂは、非対称ボケＢ_Ａと点対称の非対称ボケＢ_Ｂを有し、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）は、対称ボケＢ_Ｒ１を有している。また、非対称ボケＢ_Ａを修復する補正フィルタＦ_Ａｉの形状と、非対称ボケＢ_Ｂを修復する補正フィルタＦ_Ｂｉの形状とは点対称である。

補正フィルタＦ_Ａｉにより修復された非対称ボケＢ_ＡのＰＳＦ形状が、第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の対称ボケＢ_Ｒ１のボケ形状（ＰＳＦ形状）と一致する場合の、補正フィルタＦ_Ａｉに関連付けられた被写体の距離を、非対称ボケＢ_Ａを有する第１局所画像に対応する被写体の距離として求めることができる。

同様に、画像Ｉ_Ｃは、非対称ボケＢ_Ｃを有し、画像Ｉ_Ｄは、非対称ボケＢ_Ｃと点対称の非対称ボケＢ_Ｄを有し、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）は、対称ボケＢ_Ｒ２を有している。また、非対称ボケＢ_Ｃを修復する補正フィルタＦ_Ｃｉの形状と、非対称ボケＢ_Ｄを修復する補正フィルタＦ_Ｄｉの形状とは点対称である。

補正フィルタＦ_Ｃｉにより修復された非対称ボケＢ_ＣのＰＳＦ形状が、第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）の対称ボケＢ_Ｒ２のボケ形状（ＰＳＦ形状）と一致する場合の、補正フィルタＦ_Ｃｉに関連付けられた被写体の距離を、非対称ボケＢ_Ｃを有する第１局所画像に対応する被写体の距離として求めることができる。

次に、第１距離算出部４５−１が、画像Ｉ_Ａと第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）とに基づいて距離計測を行い、第２距離算出部４５−２が画像Ｉ_Ｃと第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）とに基づいて距離計測を行う理由について説明する。

図８に示すように被写体３Ｂと被写体３Ａとの距離差をΔｄとし、被写体３Ｂの非対称ボケをＢ_Ａ１、被写体３Ａの非対称ボケをＢ_Ａ２とする。非対称ボケＢ_Ａ１と非対称ボケＢ_Ａ２とのボケサイズの変化率をΔbrsとする。

一方、図９に示すように被写体３Ｂと被写体３Ａとの距離差をΔｄとし、被写体３Ｂの非対称ボケをＢ_Ａ３、被写体３Ａの非対称ボケをＢ_Ａ４とする。非対称ボケＢ_Ａ３と非対称ボケＢ_Ａ４とのボケサイズの変化率をΔbrＬとする。

図８及び図９に示すようにボケの大きさと変形は、合焦位置からの距離に比例する。したがって、ある距離差Δｄに対して、ボケの変化する度合い（変化率）は、合焦位置の近くでは大きく、合焦位置から離れた場所では小さくなる。ということは、ボケの形状一致度の検出能力が同じ場合、距離差Δｄの検出力は、合焦位置の近くでは大きく、合焦位置から離れた場所では小さくなる。つまり、合焦位置から離れると、ボケが大きくなっているために、ボケの大きさの変化率は小さくなり、距離の検出力（距離分解能）は下がってしまう。

図８及び図９に示した例では、距離差Δｄは同じでも、図８に示したボケサイズの変化率Δbrsは、図９に示したボケサイズの変化率ΔbrＬよりも大きくなる（Δbrs＞ΔbrＬ）。被写体３Ａ、３Ｂの距離が合焦位置に近い図８の方が、被写体３Ａ、３Ｂの距離が合焦位置から離れている図９の場合よりも同じ距離差Δｄに対する距離の検出力が高くなる。

そこで、本実施形態では、遠い被写体（被写体距離Ｄ１の被写体）に合焦する合焦距離を有する第１領域（第１サブ領域Ｌ_Ａ及び第２サブ領域Ｌ_Ｂ）と、近い被写体（被写体距離Ｄ２の被写体）に合焦する合焦距離を有する第２領域（第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄ）との２焦点の撮像レンズ１２を使用し、この撮像レンズ１２及びイメージセンサ１６により同時に撮像が可能な第１画像（画像Ｉ_Ａ）と第１対称画像とに基づく距離計測と、第２画像（画像Ｉ_Ｃ）と第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）とに基づく距離計測とを行い、被写体距離に応じて距離の検出力（距離分解能）が高い方の距離を選択部により選択することで、より精度の高い距離計測を可能にしている。

具体的には、図６に示した第１距離算出部４５−１により算出される被写体の距離と、第２距離算出部４５−２により算出される被写体の距離とが重複しないように、被写体の距離に応じて探索可能な第１補正フィルタＦ_Ａと第２補正フィルタＦ_Ｃとを区分することで選択することができる。

尚、図６に示した実施形態では、画像Ｉ_Ａの非対称ボケＢ_Ａを対称ボケＢ_Ｒ１に修復する第１補正フィルタＦ_Ａｉを、複数の補正フィルタＦ_Ａから探索することで被写体の距離を計測しているが、第１画像としての画像Ｉ_Ｂの非対称ボケＢ_Ｂを対称ボケＢ_Ｒに修復する補正フィルタＦ_Ｂｉを、複数の補正フィルタＦ_Ｂから探索することで被写体の距離を計測してもよい。また、画像Ｉ_Ｃの非対称ボケＢ_Ｃを対称ボケＢ_Ｒ２に修復する第２補正フィルタＦ_Ｃｉを、複数の補正フィルタＦ_Ｃから探索することで被写体の距離を計測しているが、第２画像としての画像Ｉ_Ｄの非対称ボケＢ_Ｄを対称ボケＢ_Ｒ２に修復する第２補正フィルタＦ_Ｄｉを、複数の第２補正フィルタＦ_Ｄから探索することで被写体の距離を計測してもよい。

図１０は、横軸に被写体の距離に関連付けられている第１補正フィルタＦ_Ａを示し、縦軸に各第１補正フィルタＦ_Ａにより補正された画像Ｉ_Ａの、ある第１局所画像と第１対称画像（Ｉ_Ａ＋Ｉ_Ｂ）の第２局所画像との相関を示す評価値Ｅを示したグラフである。尚、前述したように相関が高い程、評価値Ｅは小さい値をとる。

図１０において、評価値Ｅが最も小さい値（相関が最大）になる第１補正フィルタＦ_Ａは、第１補正フィルタＦ_Ａｉであるが、複数の第１補正フィルタＦ_Ａに関連付けられている被写体の距離は、第１補正フィルタ毎の離散的な距離であるため、第１補正フィルタＦ_Ａｉに対応付けられている被写体の距離をそのまま距離の計測値とすると、精度が低くなる。

そこで、評価値Ｅが最も小さい値になる第１補正フィルタＦ_Ａｉを含む、前後の複数の第１補正フィルタ（Ｆ_{Ａ（ｉ−２）}、Ｆ_{Ａ（ｉ−１）}、Ｆ_Ａｉ、Ｆ_{Ａ（ｉ＋１）}）に対応する被写体の距離と、複数の評価値（Ｅ_{（ｉ−２）}、Ｅ_{（ｉ−１）}、Ｅ_ｉ、Ｅ_{（ｉ＋１）}）とに基づいて評価値Ｅが最小になる第１補正フィルタＦ_Ｉを推定し、推定した第１補正フィルタＦ_Ｉに対応する距離を計測値とすることが好ましい。

図１０では、２つの評価値（Ｅ_{（ｉ−２）}、Ｅ_{（ｉ−１）}）を通る直線と、２つの評価値（Ｅ_ｉ、Ｅ_{（ｉ＋１）}）を通る直線とが交わる点から、評価値Ｅが最小になる補正フィルタＦ_Ｉを推定している。尚、評価値Ｅが最小になる第１補正フィルタＦ_Ｉの推定は、図１０に示した例に限らず、評価値Ｅ_ｉを含む前後の３点以上の複数の評価値から、これらの評価値を通る近似曲線を求め、その近似曲線の最小値から、評価値Ｅが最小になる第１補正フィルタＦ_Ｉを推定することができる。

尚、第２画像である画像Ｉ_Ｃと第２対称画像（Ｉ_Ｃ＋Ｉ_Ｄ）に基づいて被写体の距離を算出する場合も上記と同様に算出することが好ましい。

＜イメージセンサの第２実施形態＞
図１１は、第２実施形態のイメージセンサ１６−２の正面図である。

第２実施形態のイメージセンサ１６−２は、瞳分割手段として遮光マスクを使用した遮光マスク方式が適用されている。

図１１には、図４に示した瞳像分離方式による第１画素Ｓ_Ａ、第２画素Ｓ_Ｂ、第３画素Ｓ_Ｃ、及び第４画素Ｓ_Ｄに対応する第１画素Ｓ_Ａ２、第２画素Ｓ_Ｂ２、第３画素Ｓ_Ｃ２、及び第４画素Ｓ_Ｄ２が示されている。第１画素Ｓ_Ａ２、第２画素Ｓ_Ｂ２、第３画素Ｓ_Ｃ２、及び第４画素Ｓ_Ｄ２には、それぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズ１２の第１サブ領域Ｌ_Ａ、第２サブ領域Ｌ_Ｂ、第３サブ領域Ｌ_Ｃ及び第４サブ領域Ｌ_Ｄを介して入射する光束が、遮光マスクによりそれぞれ瞳分割されて第１画素Ｓ_Ａ２、第２画素Ｓ_Ｂ２、第３画素Ｓ_Ｃ２、及び第４画素Ｓ_Ｄ２に入射する。

図１２は、図４に示した瞳像分離方式による第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄに対応する第３画素Ｓ_Ｃ２及び第４画素Ｓ_Ｄ２の構成を示す要部拡大図である。

図１２に示すように第３画素Ｓ_Ｃ２のフォトダイオードＰＤの前面側（マイクロレンズＭＬ側）には、開口（第３開口）を有する瞳分割用の遮光マスクＭＡが配設され、一方、第４画素Ｓ_Ｄ２のフォトダイオードＰＤの前面側には、第３開口とは開口位置が異なる開口（第４開口）を有する瞳分割用の遮光マスクＭＢが配設される。マイクロレンズＭＬ及び遮光マスクＭＡ、ＭＢは瞳分割機能を有している。

そのため、図１２に示すように第３画素Ｓ_Ｃ２には、撮像レンズ１２の４分割された領域のうちの第３サブ領域Ｌ_Ｃを通過する光束のみが選択的に受光され、第４画素Ｓ_Ｄ２には、撮像レンズ１２の第４サブ領域Ｌ_Ｄを通過する光束のみが選択的に受光される。

＜イメージセンサの第３実施形態＞
図１３は、第３実施形態のイメージセンサ１６−３の要部正面図である。

図１３に示す第３実施形態のイメージセンサ１６−３は、図１１に示した第２実施形態の変形例であり、第１画素Ｓ_Ａ２、第２画素Ｓ_Ｂ２、第３画素Ｓ_Ｃ２、及び第４画素Ｓ_Ｄ２の他に、第１画素Ｓ_Ａ２と第２画素Ｓ_Ｂ２とが瞳分割されずに一体化されている第１基準画素Ｓ_Ｒ１と、第３画素Ｓ_Ｃ２と第４画素Ｓ_Ｄ２とが瞳分割されずに一体化されている第２基準画素Ｓ_Ｒ２とが混在して配置されている。

この第３実施形態のイメージセンサ１６−３によれば、対称ボケを有する第１対称画像及び第２対称画像を作成する際に、第１画素Ｓ_Ａ２と第２画素Ｓ_Ｂ２とを加算して生成し、又は第３画素Ｓ_Ｃ２と第４画素Ｓ_Ｄ２とを加算する必要がなく、第１基準画素Ｓ_Ｒ１及び第２基準画素Ｓ_Ｒ２から対称ボケを有する第３画像及び第４画像を取得することができる。

＜撮像レンズの第２実施形態＞
図１４は、撮像レンズ１２−２の第２実施形態を示す正面図である。

図１４に示す撮像レンズ１２−２は、それぞれ同一の光軸上に配置された中央光学系Ｌ_Ｏからなる第１領域と、中央光学系Ｌ_Ｏの周辺部の環状光学系Ｌ_Ｒからなる第２領域とを有している。尚、中央光学系Ｌ_Ｏと環状光学系Ｌ_Ｒとの間には、遮光部１１が設けられている。

撮像レンズ１２−２は、中央光学系Ｌ_Ｏと環状光学系Ｌ_Ｒとで合焦距離が異なる２焦点の撮像レンズである。尚、中央光学系Ｌ_Ｏと環状光学系Ｌ_Ｒとの間には、リング状の遮光部１１が設けられている。

図１５は、イメージセンサの第４実施形態を示す平面図であり、特に図１４に示した第２実施形態の撮像レンズ１２−２に適用されるイメージセンサである。

図１５に示す第４実施形態のイメージセンサ１６−４は、瞳分割手段として遮光マスクを使用した遮光マスク方式が適用されており、それぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口、第４開口、第５開口及び第６開口を形成する瞳分割用の６種類の遮光マスクが設けられている。

撮像レンズ１２−２の中央光学系Ｌ_Ｏを通過する光束は、第１開口及び第２開口が形成された遮光マスクにより左右方向に瞳分割され、第１画素Ｓ_Ａ３，第２画素Ｓ_Ｂ３に入射し、撮像レンズ１２−２の環状光学系Ｌ_Ｒを通過する光束は、第３開口及び第４開口が形成された遮光マスクにより左右方向に瞳分割され、第３画素Ｓ_Ｃ３，第４画素Ｓ_Ｄ３に入射する。

また、撮像レンズ１２−２の中央光学系Ｌ_Ｏを通過する光束は、第５開口が形成された遮光マスクにより第１基準画素Ｓ_Ｒ３に入射し、撮像レンズ１２−２の環状光学系Ｌ_Ｒを通過する光束は、第６開口が形成された遮光マスクにより第２基準画素Ｓ_Ｒ４に入射する。

＜アポダイジングフィルタ＞
図１６は、アポダイジングフィルタ１３を示す正面図であり、撮像レンズ１２の外径に対応する有効範囲Ｒを有している。

図１７は、被写体の距離に応じた点光源５のボケ像を示す図である。

図１７において、点光源５の距離が、撮像レンズ１２の合焦距離にある場合、合焦位置Ｆ_０で最も小さい点像（ボケ像）Ｂ_０となり、撮像レンズ１２の合焦距離よりも前ピンＦ_１に対応する距離又は後ピンＦ_２に対応する距離にある場合には、合焦距離からの距離に応じた大きさのボケ像Ｂ_１，Ｂ_２になる。

これらのボケ像Ｂ_１，Ｂ_２は、合焦距離からの距離に応じて大きさが異なるが、ボケ像の輝度分布は、例えば正規分布のように分布せずに、テーブル状に分布する傾向にある。

そこで、図１８に示すように撮像レンズ１２に、図１６に示したアポダイジングフィルタ１３を設ける。

アポダイジングフィルタ１３は、撮像レンズ１２の光軸中心から周辺部分に向かって光透過率を連続的に変化させる光学フィルタであり、本例のアポダイジングフィルタ１３は、中心部分から周辺部分に向かって光透過率が低くなる、リバースブルズアイタイプの光学フィルタである。

撮像レンズ１２にアポダイジングフィルタ１３を設けることにより、ボケ像Ｂ_１，Ｂ_２の濃度分布を、その中心から周辺に向かって積極的に変化させることができる。これにより、第１画像、第２画像における非対称ボケの形状（非対称性）、及び第３画像、第４画像における対称ボケの形状（対称性）を明瞭にすることができ、距離推定精度を向上させることができる。

尚、アポダイジングフィルタには、中心部分から周辺部分に向かって光透過率が高くなるブルズアイタイプ、中心部分から周辺部分に向かって光透過率が低下する本例のリバースブルズアイタイプなどがあるが、いずれのタイプのものでもよい。

［距離計測方法］
図１９は、本発明に係る距離計測方法の実施形態を示すフローチャートである。以下、主として図６に示した各部の機能を有するＣＰＵ４０による距離計測動作について説明する。

図１９において、ＣＰＵ４０は、イメージセンサ１６により撮像された第１画素群２２Ａ及び第２画素群２２Ｂのうちの第１画素群２２Ａからなる第１画像（画像Ｉ_Ａ）と、イメージセンサ１６により撮像された第３画素群２２Ｃ及び第４画素群２２Ｄのうちの第３画素群２２Ｃからなる第２画像（画像Ｉ_Ｃ）とを取得する（ステップＳ１０）。

また、ＣＰＵ４０は、第１画素群２２Ａ及び第２画素群２２Ｂのそれぞれ対応する一対の第１画素Ｓ_Ａ，第２画素Ｓ_Ｂの画素値を加算した、第３画像（第１対称画像）と、第３画素群２２Ｃ及び第４画素群２２Ｄのそれぞれ対応する一対の第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄの画素値を加算した、第４画像（第２対称画像）とを取得する（ステップＳ１２）。

ここで、画像Ｉ_Ａ、Ｉ_Ｃは、非対称ボケを有する画像であり、第１、第２対称画像は、対称ボケを有する画像である。尚、図５に示したイメージセンサ１６の代わりに、図１３に示したイメージセンサ１６−３を使用してもよい。イメージセンサ１６−３を使用する場合には、第１画素Ｓ_Ａ，第２画素Ｓ_Ｂの画素値の加算により生成される第３画像（第１対称画像）の代わりに、イメージセンサ１６−３の第１基準画素Ｓ_Ｒ１に対応する画素群からなる対称ボケを有する画像（第３画像）を取得し、第３画素Ｓ_Ｃ，第４画素Ｓ_Ｄの画素値の加算により生成される第４画像（第２対称画像）の代わりに、イメージセンサ１６−３の第２基準画素Ｓ_Ｒ２に対応する画素群からなる対称ボケを有する画像（第４画像）を取得する。

次に、第１補正フィルタＦ_Ａｉ、第２補正フィルタＦ_Ｃｉを特定するパラメータｉを１にし、また、画像Ｉ_Ａ内の画素Ｐ_ｊｋを特定するパラメータｊ，ｋをそれぞれ１にセットする（ステップＳ１４）。尚、画素Ｐ_１１は、画像内の左上隅の画素を示し、画素Ｐ_ＭＮは、画像内の右下隅の画素を示すものとする。

続いて、ＣＰＵ４０は、第１補正フィルタ記憶部４５−１Ｄ、第２補正フィルタ記憶部４５−２Ｄから第１補正フィルタＦ_Ａｉ、第２補正フィルタＦ_Ｃｉを取得する（ステップＳ１６）。尚、パラメータｉは、例えば、１≦Ｐ≦Ｑの範囲で変化するものとし、第２補正フィルタＦ_Ｃ１は、測距可能な範囲内で最も至近距離に対応する被写体の非対称ボケを復元する補正フィルタであり、第２補正フィルタＦ_ＣＰは、第２補正フィルタＦ_Ｃｉの中で最大の被写体距離に対応する補正フィルタであり、第１補正フィルタＦ_{Ａ（Ｐ＋１）}は、第２補正フィルタＦ_ＣＰの次の被写体距離に対応する補正フィルタであり、第１補正フィルタＦ_ＡＱは、測距可能な範囲内で最大の被写体距離に対応する補正フィルタである。

ＣＰＵ４０は、画素Ｐ_ｊｋを中心とする画像Ｉ_Ａの第１局所画像と第１補正フィルタＦ_Ａｉとを畳み込み演算し、第１局所画像の非対称ボケを補正し、又は画素Ｐ_ｊｋを中心とする画像Ｉ_Ｃの第２局所画像と第２補正フィルタＦ_Ｃｉとを畳み込み演算し、第２局所画像の非対称ボケを補正する（ステップＳ１８）。尚、１≦ｉ≦Ｐの場合には、画像Ｉ_Ｃの第２局所画像と第２補正フィルタＦ_Ｃｉとを畳み込み演算し、第２局所画像の非対称ボケを補正し、Ｐ＋１≦ｉ≦Ｑの場合には、画像Ｉ_Ａの第１局所画像と第１補正フィルタＦ_Ａｉとを畳み込み演算し、第１局所画像の非対称ボケを補正する。

補正後の第１局所画像と、第１対称画像の画素Ｐ_ｊｋを中心とする第３局所画像とを比較し、両画像の相関を示す評価値を求め、又は補正後の第２局所画像と、第２対称画像の画素Ｐ_ｊｋを中心とする第４局所画像とを比較し、両画像の相関を示す評価値を求める（ステップＳ２０）。

そして、補正後の第１局所画像と第３局所画像とが一致した（両画像の相関が最大になった）か否か、又は補正後の第２局所画像と第４局所画像とが一致した（両画像の相関が最大になった）か否かを評価値から判別し（ステップＳ２２）、一致しない場合には、パラメータｉを１だけインクリメントし（ステップＳ２４）、ステップＳ１６に戻る。これにより、第１補正フィルタＦ_Ａｉ、第２補正フィルタＦ_Ｃｉを順次変更し、第１探索ステップ及び第２探索ステップであるステップＳ１６からステップＳ２４の処理を繰り返す。即ち、非対称ボケを有する第１局所画像を、対称ボケを有する第３局所画像に補正する第１補正フィルタＦ_Ａｉ、又は非対称ボケを有する第２局所画像を、対称ボケを有する第４局所画像に補正する第２補正フィルタＦ_Ｃｉを探索する。

ステップＳ２２により両画像が一致したと判別されると、一致したときの第１補正フィルタＦ_Ａｉ又は第２補正フィルタＦ_Ｃｉ（第１補正フィルタＦ_Ａｉ又は第２補正フィルタＦ_Ｃｉに対応する被写体の距離）を、画素Ｐ_ｊｋの位置と関連付けて記憶させる（ステップＳ２６）。尚、ステップＳ１６からステップＳ２６の第１距離算出ステップ及び第２距離算出ステップに相当する。

１画素毎の距離算出が終了すると、続いて、パラメータｊがＭと一致したか否かを判別する（ステップＳ２８）。尚、Ｍは、画像Ｉ_Ａ、画像Ｉ_Ｃのｘ方向の画素数である。

ステップＳ２８において、ｊ≠Ｍと判別されると、パラメータｊを１だけインクリメントし（ステップＳ３０）、ステップＳ１４に戻る。これにより、画素Ｐ_ｊｋの位置を、ｘ方向に１画素分移動させた画素における距離計測に移行させる。

ステップＳ２８において、ｊ＝Ｍと判別されると、ステップＳ３２に遷移させる。ステップＳ３２では、パラメータｋがＮと一致したか否かを判別する。尚、Ｎは、画像Ｉ_Ａ、画像Ｉ_Ｃのｙ方向の画素数である。

ステップＳ３２において、ｊ≠Ｎと判別されると、パラメータｋを１だけインクリメントし（ステップＳ３４）、ステップＳ１４に戻る。これにより、画素Ｐ_ｊｋの位置を、ｙ方向に１画素分移動させた画素における距離計測に移行させる。

ステップＳ３２において、ｊ＝Ｎと判別されると、画像Ｉ_Ａ、画像Ｉ_Ｃの全画素に対応した画素毎の距離計測が終了したことになるため、本距離計測の処理を終了させる。

［その他］
本実施形態の撮像装置１０は、撮像範囲における被写体の距離分布を示す距離マップの生成に使用可能な被写体の距離を計測するとともに、同じ撮像範囲のカラー画像を撮像及び記録することができるが、同じ撮像範囲のモノクロ画像を撮像記録するものや、記録用の画像を撮像しない、被写体の距離計測専用の撮像装置であってもよい。また、撮像装置１０を車載カメラとして使用し、生成可能な距離マップを自動運転システム等の一部として使用したり、撮像装置１０をドローンに搭載し、生成可能な距離マップをドローンの飛行制御に使用することが可能である。

また、本実施形態では、距離マップ作成用の画像の撮像時の絞りは、予め設定された固定絞りとしたが、絞りの開口径（絞り値）を任意に変化させてもよい。この場合、絞り値によりボケ形状が変化するため、絞り値に応じて第１、第２補正フィルタを準備するか、第１、第２補正フィルタを拡縮することが考えられる。

また、本実施形態において、例えば、ＣＰＵ４０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

更にまた、本発明は、撮像装置内のコンピュータにインストールされることにより、本発明に係る撮像装置として機能させる距離計測プログラム、及びこの距離計測プログラムが記録された記録媒体を含む。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０ 撮像装置
１１ 遮光部
１２、１２−２ 撮像レンズ
１３ アポダイジングフィルタ
１６、１６−２、１６−３、１６−４ イメージセンサ
１６Ａ マイクロレンズ
１９ フラッシュ光発光部
２０ ファインダ窓
２１ Ａ／Ｄ変換器
２２ 画像入力コントローラ
２２Ａ 第１画素群
２２Ｂ 第２画素群
２２Ｃ 第３画素群
２２Ｄ 第４画素群
２４ デジタル信号処理部
２６ 圧縮伸張処理部
２８ ビデオエンコーダ
３０ 液晶モニタ
３２ センサ制御部
３８ 操作部
３８−１ シャッタボタン
４０ ＣＰＵ
４１−１ 第１画像取得部
４１−２ 第２画像取得部
４３−１ 第３画像取得部
４３−２ 第４画像取得部
４４ ＡＥ検出部
４５−１ 第１距離算出部
４５−１Ａ 第１フィルタ処理部
４５−１Ｂ 第１比較部
４５−１Ｃ 第１補正フィルタ探索部
４５−１Ｄ 第１補正フィルタ記憶部
４５−２ 第２距離算出部
４５−２Ａ 第２フィルタ処理部
４５−２Ｂ 第２比較部
４５−２Ｃ 第２補正フィルタ探索部
４５−２Ｄ 第２補正フィルタ記憶部
４６ ＡＦ検出部
４８ メモリ
４９ ＲＯＭ
５０ ＶＲＡＭ
５２ メディアコントローラ
５４ メモリカード
ＡＦ 位相差
Ｂ_１、Ｂ _２ ボケ像
Ｂ_Ａ、Ｂ_Ａ１、Ｂ_Ａ２、Ｂ_Ａ３、Ｂ_Ａ４、Ｂ_Ｂ、Ｂ_Ｃ、Ｂ_Ｄ 非対称ボケ
Ｂ_Ｒ、Ｂ_Ｒ１、Ｂ_Ｒ２ 対称ボケ
Ｆ_Ａ、Ｆ_Ａｉ、Ｆ_Ｂｉ 第１補正フィルタ
Ｆ_Ｃ、Ｆ_Ｃｉ、Ｆ_Ｄｉ 第２補正フィルタ
Ｉ_Ａ、Ｉ_Ｂ、Ｉ_Ｃ、Ｉ_Ｄ 画像
Ｌ_Ａ 第１サブ領域
Ｌ_Ｂ 第２サブ領域
Ｌ_Ｃ 第３サブ領域
Ｌ_Ｄ 第４サブ領域
Ｌ_Ｏ 中央光学系
Ｌ_Ｒ 環状光学系
Ｓ１０〜Ｓ３４ ステップ
Ｓ_Ａ、Ｓ_Ａ２、Ｓ_Ａ３ 第１画素
Ｓ_Ｂ、Ｓ_Ｂ２、Ｓ_Ｂ３ 第２画素
Ｓ_Ｃ、Ｓ_Ｃ２、Ｓ_Ｃ３ 第３画素
Ｓ_Ｄ、Ｓ_Ｄ２、Ｓ_Ｄ３ 第４画素
Ｓ_Ｒ１、Ｓ_Ｒ３ 第１基準画素
Ｓ_Ｒ２、Ｓ_Ｒ４ 第２基準画素

Claims (17)

1. 第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、
   ２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、前記撮像レンズの前記第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサと、
   前記イメージセンサの前記第１画素及び前記第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得する第１画像取得部と、
   前記イメージセンサの前記第３画素及び前記第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得する第２画像取得部と、
   前記イメージセンサの前記第１画素及び前記第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得する第３画像取得部と、
   前記イメージセンサの前記第３画素及び前記第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する第４画像取得部と、
   前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、
   前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、
   を備えた撮像装置。
2. 第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、
   ２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第１画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第３画素と、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、
   前記イメージセンサの前記第１画素から非対称ボケを有する第１画像を取得する第１画像取得部と、
   前記イメージセンサの前記第３画素から非対称ボケを有する第２画像を取得する第２画像取得部と、
   前記イメージセンサの前記第１基準画素から対称ボケを有する第３画像を取得する第３画像取得部と、
   前記イメージセンサの前記第２基準画素から対称ボケを有する第４画像を取得する第４画像取得部と、
   前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、
   前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、
   を備えた撮像装置。
3. 前記イメージセンサは、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第２画素であって、前記第１画素とは瞳分割方向が異なる第２画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第４画素であって、前記第３画素とは瞳分割方向が異なる第４画素とを有する請求項２に記載の撮像装置。
4. 前記撮像レンズは、前記撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる前記第１領域と、前記撮像レンズの前記第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる前記第２領域とを有し、
   前記イメージセンサは、前記撮像レンズの前記第１方向及び前記第２方向に隣接する４つの前記第１画素、前記第２画素、前記第３画素及び前記第４画素に１つのマイクロレンズが配置され、前記撮像レンズの前記第１サブ領域、前記第２サブ領域、前記第３サブ領域及び前記第４サブ領域を介して入射する光束が、前記マイクロレンズによりそれぞれ瞳分割されて前記第１画素、前記第２画素、前記第３画素、及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
5. 前記撮像レンズは、前記撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる前記第１領域と、前記撮像レンズの前記第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる前記第２領域とを有し、
   前記イメージセンサは、前記第１画素、前記第２画素、前記第３画素及び前記第４画素にそれぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、前記撮像レンズの前記第１サブ領域、前記第２サブ領域、前記第３サブ領域及び前記第４サブ領域を介して入射する光束が、前記遮光マスクによりそれぞれ瞳分割されて前記第１画素、前記第２画素、前記第３画素、及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
6. 前記撮像レンズは、それぞれ同一の光軸上に配置された中央光学系からなる前記第１領域と、前記中央光学系の周辺部の環状光学系からなる前記第２領域とを有し、
   前記イメージセンサは、前記第１画素、前記第２画素、前記第３画素及び前記第４画素にそれぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、前記撮像レンズの前記中央光学系を介して入射する光束が、前記遮光マスクにより瞳分割されて前記第１画素及び前記第２画素に入射し、前記撮像レンズの前記環状光学系を介して入射する光束が、前記遮光マスクにより瞳分割されて前記第３画素及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
7. 前記イメージセンサの前記複数の画素の各画素には、３原色の３つのカラーフィルタを含む複数のカラーフィルタが所定のフィルタ配列で配置され、
   前記第１画像取得部及び前記第２画像取得部が取得する前記第１画像及び前記第２画像と、前記第３画像取得部及び前記第４画像取得部が取得する前記第３画像及び前記第４画像とは、それぞれ同じ色の前記カラーフィルタが配置された画素から取得した画像である請求項１から６のいずれか１項に記載の撮像装置。
8. 前記第１距離算出部は、前記第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正する第１フィルタ処理部と、前記第１補正フィルタにより補正された前記第１局所画像と、前記第３画像の局所領域の第３局所画像であって、前記第１局所画像と同じ局所領域の第３局所画像とを比較し、前記比較した前記第１局所画像と前記第３局所画像との相関が最大になるときの前記第１補正フィルタを探索する第１補正フィルタ探索部と、を含み、前記探索した前記第１補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出し、
   前記第２距離算出部は、前記第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正する第２フィルタ処理部と、前記第２補正フィルタにより補正された前記第２局所画像と、前記第４画像の局所領域の第４局所画像であって、前記第２局所画像と同じ局所領域の第４局所画像とを比較し、前記比較した前記第２局所画像と前記第４局所画像との相関が最大になるときの前記第２補正フィルタを探索する第２補正フィルタ探索部と、を含み、前記探索した前記第２補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出する請求項１から７のいずれか１項に記載の撮像装置。
9. 前記第１距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第１補正フィルタを記憶する第１補正フィルタ記憶部を含み、
   前記第１フィルタ処理部は、前記第１補正フィルタ記憶部に記憶された前記複数の前記第１補正フィルタのうちの１つの第１補正フィルタを読み出し、前記第１局所画像と前記読み出した第１補正フィルタとの畳み込み演算を行うことにより前記第１補正フィルタにより補正された前記第１局所画像を生成し、
   前記第１補正フィルタ探索部は、前記第１補正フィルタ記憶部に記憶された前記複数の第１補正フィルタの中から前記相関が最大になるときの前記第１補正フィルタを探索し、
   前記第２距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第２補正フィルタを記憶する第２補正フィルタ記憶部を含み、
   前記第２フィルタ処理部は、前記第２補正フィルタ記憶部に記憶された前記複数の前記第２補正フィルタのうちの１つの第２補正フィルタを読み出し、前記第２局所画像と前記読み出した第２補正フィルタとの畳み込み演算を行うことにより前記第２補正フィルタにより補正された前記第２局所画像を生成し、
   前記第２補正フィルタ探索部は、前記第２補正フィルタ記憶部に記憶された前記複数の第２補正フィルタの中から前記相関が最大になるときの前記第２補正フィルタを探索する請求項８に記載の撮像装置。
10. 前記第１距離算出部により算出される前記被写体の距離及び前記第２距離算出部により算出される前記被写体の距離のうちの一方の被写体の距離を、前記画像内の被写体の距離として選択する選択部を備えた請求項１から９のいずれか１項に記載の撮像装置。
11. 前記撮像レンズの光軸中心から周辺部分に向かって光透過率を連続的に変化させるアポダイジングフィルタを設けた請求項１から１０のいずれか１項に記載の撮像装置。
12. 第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、前記撮像レンズの前記第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサとを備えた撮像装置による距離計測方法であって、
    前記イメージセンサの前記第１画素及び前記第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得するステップと、
    前記イメージセンサの前記第３画素及び前記第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得するステップと、
    前記イメージセンサの前記第１画素及び前記第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得するステップと、
    前記イメージセンサの前記第３画素及び前記第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得するステップと、
    前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、
    前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、
    を含む距離計測方法。
13. 第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第１画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第３画素と、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、を備えた撮像装置による距離計測方法であって、
    前記イメージセンサの前記第１画素から非対称ボケを有する第１画像を取得するステップと、
    前記イメージセンサの前記第３画素から非対称ボケを有する第２画像を取得するステップと、
    前記イメージセンサの前記第１基準画素から対称ボケを有する第３画像を取得するステップと、
    前記イメージセンサの前記第２基準画素から対称ボケを有する第４画像を取得するステップと、
    前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、
    前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、
    を含む距離計測方法。
14. 前記第１距離算出ステップは、
    前記第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正するステップと、
    前記第１補正フィルタにより補正された前記第１局所画像と、前記第３画像の局所領域の第３局所画像であって、前記第１局所画像と同じ局所領域の第３局所画像とを比較し、前記比較した前記第１局所画像と前記第３局所画像との相関が最大になるときの前記第１補正フィルタを探索する第１探索ステップと、を含み、
    前記探索した前記第１補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出し、
    前記第２距離算出ステップは、
    前記第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正するステップと、
    前記第２補正フィルタにより補正された前記第２局所画像と、前記第４画像の局所領域の第４局所画像であって、前記第２局所画像と同じ局所領域の第４局所画像とを比較し、前記比較した前記第２局所画像と前記第４局所画像との相関が最大になるときの前記第２補正フィルタを探索する第２探索ステップと、を含み、
    前記探索した前記第２補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出する請求項１２又は１３に記載の距離計測方法。
15. 前記第１距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第１補正フィルタを記憶する第１補正フィルタ記憶部から、前記複数の前記第１補正フィルタのうちの１つの第１補正フィルタを読み出し、前記第１局所画像と前記読み出した第１補正フィルタとの畳み込み演算を行うことにより前記第１補正フィルタにより補正された前記第１局所画像を生成し、
    前記第１探索ステップは、前記第１補正フィルタ記憶部に記憶された前記複数の第１補正フィルタの中から前記相関が最大になるときの前記第１補正フィルタを探索し、
    前記第２距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第２補正フィルタを記憶する第２補正フィルタ記憶部から、前記複数の前記第２補正フィルタのうちの１つの第２補正フィルタを読み出し、前記第２局所画像と前記読み出した第２補正フィルタとの畳み込み演算を行うことにより前記第２補正フィルタにより補正された前記第２局所画像を生成し、
    前記第２探索ステップは、前記第２補正フィルタ記憶部に記憶された前記複数の第２補正フィルタの中から前記相関が最大になるときの前記第２補正フィルタを探索する請求項１４に記載の距離計測方法。
16. 請求項１２から１５のいずれか１項に記載の距離計測方法をコンピュータに実行させる距離計測プログラム。
17. 請求項１２から１５のいずれか１項に記載の距離計測方法をコンピュータに実行させる距離計測プログラムが記録された記録媒体。

Images