JP5217880B2

JP5217880B2 - 撮像装置

Info

Publication number: JP5217880B2
Application number: JP2008262736A
Authority: JP
Inventors: 洋介日下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-10-09
Filing date: 2008-10-09
Publication date: 2013-06-19
Anticipated expiration: 2028-10-09
Also published as: JP2010093619A

Description

本発明は、結像光学系を通過する１対の光束が形成する１対の像に対応した１対の像信号を複数個の焦点検出用画素の配列により生成し、一対の像信号のズレ量に基づいて結像光学系の焦点調節状態を検出するとともに、焦点検出画素と混在する撮像画素により画像生成を行う撮像装置に関する。

結像光学系を通過する１対の光束が形成する１対の像に対応した１対の像信号を生成する複数個の焦点検出用画素の配列を、焦点検出画素と同じ画素サイズの撮像画素中に混在させたイメージセンサーを備え、撮像画素の出力により画像信号を生成するとともに、焦点検出用画素が生成する一対の像信号のズレ量に基づいて、結像光学系の焦点調節状態を検出する、いわゆる瞳分割位相差検出方式の焦点検出機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
特開２００７−１８９３１２号公報

しかしながら、上述した従来の撮像装置では、撮像素子の高画素化やチップサイズ縮小化のために撮像画素および焦点検出画素の画素サイズを縮めていくと、マイクロレンズの開口径が可視光の波長オーダーに近づくにつれて回折効果が急激に増大するため、焦点検出画素による瞳分割作用が不完全になり、焦点検出性能の低下や焦点検出不能を引き起こしてしまう。そこで、撮像画素よりも焦点検出画素を大きくすると、焦点検出画素位置の画像信号を生成する補間処理が困難になるという問題がある。

請求項１の発明による撮像装置は、結像光学系を通過した光束が形成する像に応じた出力信号を生成する撮像画素であって、異なる分光感度特性を有する複数種類の撮像画素と、前記結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とを二次元状に配列した撮像素子と、前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段とを備える撮像装置において、前記複数種類の撮像画素を所定の配置規則にしたがって配列し、前記焦点検出画素を前記撮像画素の略複数個分の大きさに形成するとともに、前記焦点検出画素の周囲を前記複数種類の撮像画素で取り囲むように配列し、前記焦点検出画素の出力信号と前記焦点検出画素の周囲の前記撮像画素の出力信号とに基づいて、前記焦点検出画素の位置に点像が存在するか否かを判定する点像判定手段と、前記焦点検出画素の位置に前記所定の配置規則にしたがって前記複数種類の撮像画素を配置したと仮定した場合に、該複数種類の撮像画素が生成する出力信号を、前記点像判定手段の判定結果に応じて前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間する補間手段とを備え、前記撮像画素は１つの光電変換部を備えるとともに、前記焦点検出画素は互いに隣接する一対の光電変換部を備え、前記撮像素子上に二次元状に配列された前記光電変換部へ接続される信号線を、前記焦点検出画素の互いに隣接する一対の光電変換部の間を通さず、前記一対の光電変換部の外側を迂回して配線することを特徴とする。
請求項２の発明による撮像装置は、所定の配置規則に従って配列され、異なる分光感度特性を有する複数種類の撮像画素と、前記撮像画素の略複数個分の大きさを有し、前記複数種類の撮像画素によって周囲を取り囲まれた焦点検出画素であって、結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが二次元状に配列された撮像素子と、前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記焦点検出画素の出力信号に基づいて算出される第１の輝度値と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づいて算出される第２の輝度値との差の絶対値が所定の閾値を越える場合には、前記焦点検出画素の位置に点像が存在すると判定する点像判定手段と、前記焦点検出画素の位置に前記所定の配置規則に従って前記複数種類の撮像画素を配置したと仮定した場合に、当該複数種類の撮像画素が生成する出力信号を、前記点像判定手段の判定結果に応じて前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間する補間手段とを備えることを特徴とする。
請求項３の発明による撮像装置は、所定の配置規則に従って配列され、異なる分光感度特性を有する複数種類の撮像画素と、前記撮像画素の略複数個分の大きさを有し、前記複数種類の撮像画素によって周囲を取り囲まれた焦点検出画素であって、結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが二次元状に配列された撮像素子と、前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、前記焦点検出画素の位置に前記所定の配置規則に従って前記複数種類の撮像画素を配置したと仮定した場合に、当該複数種類の撮像画素が生成する出力信号を前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間して、補間信号を出力する補間手段と、前記焦点検出画素の出力信号に基づいて算出される第１の輝度値と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づいて算出される第２の輝度値との差の絶対値が所定の閾値を越える場合には、前記焦点検出画素の位置に点像が存在すると判定する点像判定手段と、前記点像判定手段が前記焦点検出画素の位置に点像が存在すると判定した場合に、前記補間信号を前記焦点検出画素の出力信号と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号とに基づき、補正する補正手段と、を備えることを特徴とする。

本発明によれば、焦点検出画素位置の画像信号を生成する補間処理が容易になり、撮像画素の縮小と焦点検出画素の瞳分割作用の維持を両立させながら、補間による良好な画像生成機能と良好な焦点検出機能を備えた撮像装置を提供することができる。

一実施の形態の撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下、左右の５箇所に焦点検出エリア１０１〜１０５が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。

撮像素子２１２の詳細な構成について説明する前に、図３により瞳分割型位相差検出方式の焦点検出原理を説明する。なお、図３に示す焦点検出エリアは、図２に示す撮影画面１００の左右の焦点検出エリア１０４、１０５を例に挙げて説明するが、撮影画面１００の中央および上下の焦点検出エリア１０１〜１０３についても９０度回転した位置関係になるだけで焦点検出原理は同じである。

撮像面１１０上に焦点検出画素１１１が複数配列される。焦点検出画素１１１はマイクロレンズ１１２と一対の光電変換部１１３，１１４から構成される。一対の光電変換部１１３，１１４はマイクロレンズ１１２により撮像面１１０から前方の距離ｄにある測距瞳面１２０に投影され、測距瞳１２３，１２４が形成される。換言すれば、撮像面１１０から前方の距離ｄにある測距瞳面１２０上を通過する光束の内の測距瞳１２３の光束が、焦点検出画素１１１の光電変換部１１３により受光され、測距瞳面１２０上を通過する光束の内の測距瞳１２４の光束が、焦点検出画素１１１の光電変換部１１４により受光される。

焦点検出画素１１１の配列の光電変換部１１３の系列の像信号と、光電変換部１１４の系列の像信号との相対的なズレ量（位相差、像ズレ量）は、撮像面１１０上に像を形成する結像光学系の焦点調節状態に応じて変化するので、焦点検出画素が生成する一対の像信号を演算処理することによってズレ量を求めれば、結像光学系の焦点調節状態を検出することができる。

ところで、上述した一対の測距瞳１２３，１２４は、一対の光電変換部１１３，１１４を単純に投影した分布とはならず、マイクロレンズ１１１の開口径（画素サイズと略一致）に応じた光の回折効果によって、ボケを生じて裾野を引いた分布となる。図３において、一対の測距瞳１２３，１２４の並び方向と垂直な方向のスリットを用いて一対の測距瞳１２３，１２４を並び方向に走査すると、一対の測距瞳分布１３３，１３４が得られる。上述した回折効果により、一対の測距瞳分布１３３，１３４は隣接した部分で互いに重畳部１３５を有する。

測距瞳分布１３３あるいは１３４の全体に対して、重畳部１３５の割合が増えるほど、一対の測距瞳１２３，１２４の分離が不完全になり、焦点検出性能が低下する。特に光学系の絞り値Ｆ値が大きく、絞り開口径が小さくなってきた場合には、一対の測距瞳１２３，１２４が光軸近傍の開口内に制限されることによって、焦点検出に用いる一対の光束の分離が不完全になるので、焦点検出性能が低下したり、焦点検出不能になってしまう。

表１は、光学系の絞りＦ値と回折による点像分布の広がりの直径との関係を示したものであって、エアリーディスクの式（点像の直径＝１．２２×２×波長×Ｆ値とし、波長＝５００ｎｍとした場合）より求めたものである。明るい光学系（絞りＦ値が小さい）に対しては点像の直径が１μオーダーとなるために、撮像画素の画素サイズは点像の直径以下にすることによって、解像度の向上が期待できる。

一方、上述したように、画素サイズが小さくなると、回折の影響が増大して測距瞳の分離が不完全になるため、焦点検出性能が低下する。

表２は画素サイズ（マイクロレンズの開口径Ｄ）と図３の距離ｄを一対の測距瞳分布の重畳部１３５の寸法ｘで除して求めた重畳部１３５に対応するＦ値との関係を示したものであって、エアリーディスクの式（Ｆ＝Ｄ／（１．２２×２×波長）とし、波長＝５００ｎｍとした場合）より求めたものである。画素サイズ７μ以下においては重畳部１３５のＦ値が５．７以下となる。

多くのカメラ用交換レンズの開放Ｆ値がＦ５．６に設定されているので、これらの交換レンズを使用した場合には、焦点検出画素の画素サイズを７μ以下とすると、Ｆ５．６の開口を通る一対の焦点検出光束が全体に亘って重畳するため、焦点検出性能の低下が顕在化してくる。さらに焦点検出画素の画素サイズを４μ以下とすると、略Ｆ２．８の開口を通る一対の焦点検出光束が全体に亘って重畳するため、焦点検出性能の低下が顕著になる。

このように、画素サイズについては、撮像画素と焦点検出画素に対して相反する要求があり、撮像画素と焦点検出画素の画素サイズを揃えたままではこの課題を解決できない。

そこで、本実施の形態においては、撮像画素の画素サイズを縮小するとともに、焦点検出画素の画素サイズを撮像画素の複数個分の画素サイズとすることによって、焦点検出性能の低下が少ない画素サイズを維持する。

図４は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。なお、他の焦点検出エリア１０２〜１０５についても同様であり、図示と説明を省略する。撮像素子２１２には、撮像画素３１０が二次元正方格子状に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には撮像画素の略４個分の大きさの焦点検出用の焦点検出画素３１１が垂直方向の直線上に焦点検出画素１個分のギャップを隔てて配列され、このギャップには撮像画素３１０が配列されている。焦点検出画素３１１を連続的に配置せずに１画素おきに配置している理由は、後述する画素補間において、焦点検出画素３１１の間に撮像画素３１０が入っている方が高品質な画像が得られるからである。

これまでの説明では、マイクロレンズの開口径が画素サイズに略一致するとした。マイクロレンズの開口を通過して光電変換部へ到達する被写体光により撮像と焦点検出を行うわけであるから、マイクロレンズの開口サイズを画素サイズとするのが適当である。一実施の形態の撮像素子２１２は、図４に示すように撮像画素３１０と焦点検出画素３１１のマイクロレンズの開口径がともに円形であるから、マイクロレンズの開口径を画素サイズとした。

この一実施の形態の撮像素子２１２では、撮像画素３１０のマイクロレンズの開口径を例えば４μとし、焦点検出画素３１１のマイクロレンズの開口径を例えば８μとする。つまり、撮像画素３１０の画素サイズを４μ、焦点検出画素３１１の画素サイズを８μとする。撮像画素３１０と焦点検出画素３１１のマイクロレンズの開口はともに円形であるから、焦点検出画素３１１のマイクロレンズの開口面積は撮像画素３１０のマイクロレンズの開口面積の４倍になる。

ところで、撮像画素および焦点検出画素のマイクロレンズの開口形状は必ずしも円形とは限らず、正方形、長方形、楕円形などの種々の形状とすることができる。このような円形以外の開口形状においては、画素サイズをマイクロレンズの開口径で表すことは適当ではない。そこで、マイクロレンズの開口形状が円形の場合を含め、１個の焦点検出画素が撮像画素何個分の大きさに形成されているかによって、撮像画素と焦点検出画素のマイクロレンズ開口の大きさを比較してもよい。

図４に示す一実施の形態の撮像素子２１２では、焦点検出画素３１１は撮像画素３１０の４個分の大きさであり、撮像画素３１０の４個分のスペースを領有しているということになる。４個の撮像画素３１０の代わりに１個の焦点検出画素３１１を配置したのであるから、詳細を後述する焦点検出画素３１１の位置の画像信号を補間演算により推定する場合には、置換された４個分の撮像画素３１０のそれぞれの画像信号を補間により求めることになる。
また、この実施の形態の撮像素子２１２は、焦点検出画素３１１が横一行または縦一列に配列される。このように配列されると、複数行、複数列に配列されるよりも焦点検出の解像度が高くなる。

なお、上述したように、画素サイズの縮小にともなって回折効果が急激に増大し、焦点検出画素による瞳分割作用が不完全になって焦点検出性能の低下あるいは焦点検出不能を引き起こす。このことから、焦点検出画素を撮像画素の２個分あるいは３個分の大きさにするような場合は、焦点検出画素の配列方向すなわち焦点検出方向の２個または３個の撮像画素の代わりに１個の焦点検出画素を配置する。このようにすれば、焦点検出方向における焦点検出画素のマイクロレンズの開口が長くなって光の回折効果が低減され、良好な補間による画像生成機能と良好な焦点検出機能を両立させることが可能になる。

撮像画素３１０は、図５に示すようにマイクロレンズ１９、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図７に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。
また、図４に示すように、焦点検出画素３１１は、異なる分光感度特性を有する複数種類の撮像画素（ここでは赤の色フィルターを有する撮像画素、緑の色フィルターを有する撮像画素、青の色フィルターを有する撮像画素の３種類の撮像画素）で周囲を取り囲まれている。

焦点検出画素３１１は、図６に示すようにマイクロレンズ１０と一対の光電変換部１３，１４から構成される。焦点検出画素３１１にはＮＤフィルター（Neutral Density Filter；濃度フィルター）が配置されており、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター(不図示)の分光特性とを総合した分光特性(図８参照)となる。つまり、図７に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

撮像画素３１０の光電変換部１１は、マイクロレンズ１９によって最も明るい交換レンズの射出瞳径(例えばＦ１．０)を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１１の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の所定の領域(例えばＦ１．０)を通過する光束をすべて受光するような形状に設計される。

図９は、撮像画素３１０と焦点検出画素３１１の断面図を並べて示した図である。撮像画素３１０では撮像用の光電変換部１１の上方にマイクロレンズ１９が配置され、マイクロレンズ１９により光電変換部１１の形状が上方に投影される。光電変換部１１は半導体回路基板２９上に形成される。光電変換部１１の上には平坦化層３０，３１が形成され、平坦化層３１の上に色フィルター３３が形成される。さらに、色フィルター３３の上に平坦化層３２が形成され、その上にマイクロレンズ１７が形成される。

焦点検出画素３１１において、光電変換部１３、１４の上方にインナーレンズ３５と上層レンズ３６からなるマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３、１４の形状が上方に投影される。光電変換部１３、１４は半導体回路基板２９上に形成される。光電変換部１３，１４の上には平坦化層３０が形成され、平坦化層３０の上にインナーレンズ３５が形成される。また、インナーレンズ３５の上には平坦化層３１が形成され、平坦化層３１の上にＮＤフィルター３４が形成される。さらに、ＮＤフィルター３４の上に平坦化層３２が形成され、その上に上層レンズ３６が形成される。

焦点検出画素３１１のマイクロレンズを上層レンズ３６とインナーレンズ３５とに分割して形成している理由は、撮像画素３１０と焦点検出画素の光入射面（マイクロレンズ１９と上層レンズ３６とが形成される面である平坦化層３２の上面）と光電変換面（光電変換部１１，１３，１４が形成される半導体回路基板２９の上面）との距離を同一にしたほうが製造上有利であるが、撮像画素３１０のマイクロレンズ１９をそのまま画素サイズ（マイクロレンズの開口径）を２倍にした焦点検出画素３１１に適用することができないためである。

そもそも上記光入射面と光電変換面の間の距離は、隣接画素からの斜入射迷光を防止するためになるべく短くなるように設定されている。それに合わせて撮像画素３１０のマイクロレンズ１９のレンズ曲率半径は、レンズの焦点距離が概略前記光入射面と光電変換面の間の距離となるように小さく作られており、マイクロレンズ１９のレンズ周辺部ではかなり傾斜を持った形状となる。したがって、焦点検出画素３１１のマイクロレンズに撮像画素３１０のマイクロレンズ１９と同じ焦点距離を持たせるために、マイクロレンズ１９と同じレンズ曲率半径を持つレンズを採用しても、撮像画素３１０の２倍の画素サイズを持つ焦点検出画素３１１の光入射面の全域をカバーできないのである。

そこで、概略前記光入射面と光電変換面の間の距離が合成焦点距離になるように、レンズを上層レンズ３６とインナーレンズ３５に分割し、上層レンズ３６のレンズ曲率半径を大きくして、撮像画素３１０の２倍の画素サイズを持つ焦点検出画素３１１の光入射面の全域をカバーできるようにしたのである。

焦点検出画素３１１にＮＤフィルター３４を設置している理由は、後述するようなライブビュー動作を行う場合に、１回の露光動作において、ライブビュー用の画像データと焦点検出用のデータが良好に得られるように、同一の露光量条件において焦点検出画素の出力が撮像画素の出力と略等しいか、それ以下になるように調整するためである。

白色光を仮定するとＮＤフィルター３４がない場合には、焦点検出画素３１１の出力は撮像画素３１０の出力に対し、色フィルターの有無により約２倍（撮像画素３１０の内、白色でも最も出力が高い緑色の撮像画素の出力に対して無色撮像画素の出力は約２倍になる）、画素サイズの違いにより約４倍、光電変換部の受光領域の広さの違いにより約１／２（焦点検出画素３１１の光電変換部は２分割されている）となり、合計で約４倍となり、このままでは撮像画素３１０の出力レベルが適切なレベルとなるような露光条件（電荷蓄積時間）では、焦点検出画素３１１の出力が飽和してしまう危険性が高い。

そこで、焦点検出画素３１１に光量を１／４〜１／８に減光するＮＤフィルター３４を設置して、撮像画素３１０と同一露光条件でも焦点検出画素の出力が飽和しないようにしたのである。

ここで、ＮＤフィルター３４の減光率を１／４〜１／８としたのは、結像光学系の口径蝕の状態によっては、焦点検出画素３１１への入射光が２つの光電変換部の一方に集中する場合があるからである。

図１０は、図４に示す撮像素子２１２の焦点検出画素３１１による瞳分割位相差検出方式の焦点検出原理を説明するための図である。図において、９０は、交換レンズ２０２(図１参照)の予定結像面に配置された焦点検出画素の前方ｄの距離に設定された射出瞳である。ここで、距離ｄは、マイクロレンズの曲率半径、屈折率、マイクロレンズと光電変換部の間の距離などに応じて決まる距離であって、以下では測距瞳距離と呼ぶ。９１は交換レンズの光軸、５０、６０はマイクロレンズ、(５３，５４)、(６３，６４)は焦点検出画素の対の光電変換部、７３，７４、８３，８４は焦点検出用光束である。

さらに、９３はマイクロレンズ５０、６０により投影された光電変換部５３，６３の領域であり、以下では測距瞳と呼ぶ。同様に、９４はマイクロレンズ５０、６０により投影された光電変換部５４，６４の領域であり、以下では測距瞳と呼ぶ。図１０では、光軸９１上にある焦点検出画素（マイクロレンズ５０と一対の光電変換部５３、５４を有する）と、隣の焦点検出画素（マイクロレンズ６０と一対の光電変換部６３、６４を有する）を模式的に例示しているが、撮像面上の周辺に配置された焦点検出用画素においても、一対の光電変換部はそれぞれ一対の測距瞳９３、９４から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向と一致させる。

マイクロレンズ５０、６０は光学系の予定結像面近傍に配置されており、光軸９１上に配置されたマイクロレンズ５０によって、その背後に配置された一対の光電変換部５３、５４の形状がマイクロレンズ５０、６０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。またマイクロレンズ６０によって、その背後に配置された一対の光電変換部６３、６４の形状が測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３，９４を形成する。すなわち、測距瞳距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各画素のマイクロレンズと光電変換部の位置関係が決定されている。

光電変換部５３は、測距瞳９３を通過してマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。また、光電変換部５４は、測距瞳９４を通過してマイクロレンズ５０へ向う焦点検出光束７４によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部６３は、測距瞳９３を通過してマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。また、光電変換部６４は、測距瞳９４を通過してマイクロレンズ６０へ向う焦点検出光束８４によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。

このような焦点検出用画素を直線状に多数配置し、各画素の一対の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に所定の変換処理を施すことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

図１１は、図４に示す撮像素子２１２の撮像画素３１１が受光する撮影光束の様子を図１０と比較して説明するための図であって、図１０と重複する部分の説明は省略する。撮像画素はマイクロレンズ５９とその背後に配置された光電変換部５１から構成され、光電変換部５１の形状がマイクロレンズ５９から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９３、９４に略外接する領域９２を形成する。光電変換部５１は、領域９２を通過してマイクロレンズ５９へ向う撮影光束７１によってマイクロレンズ５１上に形成される像の強度に対応した信号を出力する。

撮像素子２１２をＣＭＯＳイメージセンサーを用いて構成した場合の回路構成について説明する。図１２に、撮像画素および焦点検出画素における１つの光電変換部に対する基本回路構成を示す。光電変換部はフォトダイオード（ＰＤ）で構成される。ＰＤで蓄積された電荷は浮遊拡散層（フローティングディフュージョン：ＦＤ）に蓄積される。ＦＤは増幅ＭＯＳトランジスタ（ＡＭＰ）のゲートに接続されており、ＡＭＰはＦＤに蓄積された電荷の量に応じた信号を発生する。

ＦＤ部はリセットＭＯＳトランジスタＳＷ１を介し、電源電圧Ｖｄｄに接続されており、制御信号ΦＲｎによりリセットＭＯＳトランジスタＳＷ１がオンすることによって、ＦＤおよびＰＤに溜まった電荷がクリアされリセット状態となる。ＡＭＰの出力は行選択ＭＯＳトランジスタＳＷ２を介して垂直出力線Ｖｏｕｔに接続されており、制御信号ΦＳｎにより行選択ＭＯＳトランジスタＳＷ２がオンすることによって、ＡＭＰの出力が垂直出力線Ｖｏｕｔに出力される。

図１３は、中央に焦点検出画素が配置された撮像画素単位で６行６列の領域に対応する半導体基板上の回路配線レイアウトを示した図であって、ＰＤは撮像画素の光電変換部、ＰＤ１とＰＤ２は焦点検出画素の一対の光電変換部、ＣＭは撮像画素の画素回路（図１２のＣＭで示す領域の回路に相当）、ＣＭ１、ＣＭ２は焦点検出画素の一対の画素回路、Ｖｏｕｔ１〜Ｖｏｕｔ６は１列〜６列の画素に対応する垂直出力線、Ｈ１〜Ｈ６は１行〜６行の画素に対応する水平制御信号線（図１２のＨで示す領域の制御信号線）を示す。

焦点検出画素の一対の光電変換部ＰＤ１、ＰＤ２はＦ値が暗い交換レンズにも対応して焦点検出を行うために極めて狭い分離帯を隔てて隣接させる必要がある。垂直出力線Ｖｏｕｔ３と水平制御信号線Ｈ３は、その他の垂直信号線および水平制御信号線と同様にレイアウトすると、焦点検出画素の光電変換部ＰＤ１、ＰＤ２と干渉してしまうため、焦点検出画素の光電変換部ＰＤ１、ＰＤ２の周囲を迂回して配線される。これにより、焦点検出画素がない撮像画素のみの撮像素子と同様な画素信号読み出し動作により、焦点検出画素の信号を読み出すことができる。なお、図１３の３行目３列目、４行目３列目の画素信号は無効データとして取り扱う。

図１４は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出しし、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材(不図示)を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。図４のように焦点検出画素の大きさを撮像画素の複数個分の大きさとした場合、焦点検出画素上に点像が形成される確率が高くなるので、このような処理が必要となる。

ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。

ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。

図１４のステップ１３０における像ズレ検出演算処理（相関演算処理）の詳細について説明する。焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対して(１)式に示す相関演算を行い、相関量Ｃ(k)を演算する。
Ｃ(k)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜・・・（１）
(１)式において、Σ演算はｎについて累積され、ｎのとる範囲は像ずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

(１)式の演算結果は、図１５(ａ)に示すように、一対のデータの相関が高いシフト量（図１５(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が極小（小さいほど相関度が高い）になる。下記(２)式〜(５)式による３点内挿の手法を用い、連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ・・・(２)，
Ｃ(ｘ)＝Ｃ(ｋj)−｜Ｄ｜・・・(３)，
Ｄ＝｛Ｃ(ｋj-1)-Ｃ(ｋj+1)｝／２・・・(４)，
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝・・・(５)

(２)式で算出されたずらし量ｘの信頼性があるかどうかは、次のようにして判定される。図１５(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。

図１５(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

算出されたずらし量ｘの信頼性があると判定された場合は、(６)式により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・ｘ・・・(６)
(６)式において、ＰＹは検出ピッチである。(６)式で算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ｋ・ｓｈｆｔ・・・(７)

図１４のステップ１８０における補間処理、すなわち焦点検出画素位置の画像データを補間演算により求める方法を図１６および図１７を参照して説明する。なお、以下の説明ではある焦点検出画素に注目した処理について説明するが、同様な処理をすべての焦点検出画素位置の画像データ算出に適用する。

図１６は、中央に焦点検出画素が配置された撮像画素単位で６行６列の領域ににおいて、この領域内の撮像画素のデータ（Ｂ１１〜Ｒ６６）と焦点検出画素の一対のデータ（Ａ１、Ａ２）とを画素のレイアウトに対応して示したものである。Ｂ３３ａ、Ｇ３４ａ、Ｇ４３ａ、Ｒ４４ａは、焦点検出画素位置に撮像画素が４個配置されているとした場合の各撮像画素のデータ（補間すべき撮像画素データ）である。

図１４のステップ１６より図１７のステップ１８１へ進み、焦点検出画素周辺の撮像画素データに基づいて色ごとに画像の連続性の高い方向の判定を次のようにして行う。緑色に対する垂直方向評価値Ｓｇｖは、図１６において垂直方向に離れた緑色の画素データの差の絶対値を図１６に示す範囲で積算し、この積算値を所定の規格化定数ｋｇｖで除した値である。差分を取る２個の緑色画素どうしの間隔はすべての場合について積算する。緑色画素で垂直方向の評価値Ｓｇｖの場合には、差分をとる２個の画素は１画素置きまたは３画素置き間隔があり、当然、焦点検出画素を挟んだ緑色画素間の差分も積算する。
Ｓｇｖ＝（｜Ｇ２１−Ｇ４１｜＋｜Ｇ４１−Ｇ６１｜＋｜Ｇ３２−Ｇ５２｜＋｜Ｇ２３−Ｇ６３｜＋｜Ｇ１４−Ｇ５４｜＋｜Ｇ２５−Ｇ４５｜＋｜Ｇ４５−Ｇ６５｜＋｜Ｇ１６−Ｇ３６｜＋｜Ｇ３６−Ｇ５６｜）／ｋｇｖ・・・(８)

なお、緑色の撮像画素に対する規格化定数ｋｇｖは、積算個数、差分を取る画素データ間の間隔、色などに応じて定められた値であり、積算値が積算個数、差分を取る画素データ間の間隔、色などに応じて変動しないように規格化するための定数である。なお、後述する赤色および青色の撮像画素に対する規格化定数についても同様である。

同様にして緑色に対する水平方向評価値Ｓｇｈ、右上がり斜め４５度方向評価値Ｓｇｃ、左上がり斜め４５度方向評価値Ｓｇｄが求まる。
Ｓｇｈ＝（｜Ｇ１２−Ｇ１４｜＋｜Ｇ１４−Ｇ１６｜＋｜Ｇ２１−Ｇ２３｜＋｜Ｇ２３−Ｇ２５｜＋｜Ｇ３２−Ｇ３６｜＋｜Ｇ４１−Ｇ４５｜＋｜Ｇ５２−Ｇ５４｜＋｜Ｇ５４−Ｇ５６｜＋｜Ｇ６１−Ｇ６３｜＋｜Ｇ６３−Ｇ６５｜）／ｋｇｈ・・・(９)，
Ｓｇｃ＝（｜Ｇ１２−Ｇ２１｜＋｜Ｇ１４−Ｇ２３｜＋｜Ｇ２３−Ｇ３２｜＋｜Ｇ３２−Ｇ４１｜＋｜Ｇ１６−Ｇ２５｜＋｜Ｇ２５−Ｇ５２｜＋｜Ｇ５２−Ｇ６１｜＋｜Ｇ３６−Ｇ４５｜＋｜Ｇ４５−Ｇ５４｜＋｜Ｇ５４−Ｇ６３｜＋｜Ｇ５６−Ｇ６５｜）／ｋｇｃ・・・(１０)，
Ｓｇｄ＝（｜Ｇ１４−Ｇ２５｜＋｜Ｇ２５−Ｇ３６｜＋｜Ｇ１２−Ｇ２３｜＋｜Ｇ２３−Ｇ４５｜＋｜Ｇ４５−Ｇ５６｜＋｜Ｇ２１−Ｇ３２｜＋｜Ｇ３２−Ｇ５４｜＋｜Ｇ５４−Ｇ６５｜＋｜Ｇ４１−Ｇ５２｜＋｜Ｇ５２−Ｇ６３｜）／ｋｇｄ・・・(１１)

赤色に対する垂直方向評価値Ｓｒｖは、図１６において垂直方向に離れた赤色の撮像画素データの差の絶対値を図１６の範囲で積算し、この積算値を所定の規格化定数ｋｒｖで除した値である。なお、赤色画素に対する各方向の評価値の計算方法は上述した緑色の場合と同様であり、詳細な計算式の記載を省略する。
Ｓｒｖ＝（｜Ｒ２２−Ｒ４２｜＋｜Ｒ４２−Ｒ６２｜＋・・）／ｋｒｖ・・・(１２)

同様にして赤色に対する水平方向評価値Ｓｒｈ、右上がり斜め４５度方向評価値Ｓｒｃ、左上がり斜め４５度方向評価値Ｓｒｄが求まる。
Ｓｒｈ＝（｜Ｒ２２−Ｒ２４｜＋｜Ｒ２４−Ｒ２６｜＋・・）／ｋｒｈ・・・(１３)，
Ｓｒｃ＝（｜Ｒ４２−Ｒ２４｜＋｜Ｒ６４−Ｒ４６｜＋・・）／ｋｒｃ・・・(１４)，
Ｓｒｄ＝（｜Ｒ２４−Ｒ４６｜＋｜Ｒ４２−Ｒ６４｜＋・・）／ｋｒｄ・・・(１５)

同様にして青色の撮像画素に対する垂直方向評価値Ｓｂｖ、水平方向評価値Ｓｂｈ、右上がり斜め４５度方向評価値Ｓｂｃ、左上がり斜め４５度方向評価値Ｓｂｄが求まる。なお、青色画素に対する各方向の評価値の計算方法は上述した緑色および赤色の場合と同様であり、詳細な計算式の記載を省略する。
Ｓｂｖ＝（｜Ｂ１１−Ｂ３１｜＋｜Ｂ３１−Ｂ５１｜＋・・）／ｋｂｈ・・・(１６)，
Ｓｂｈ＝（｜Ｂ１１−Ｂ１３｜＋｜Ｂ１３−Ｂ１５｜＋・・）／ｋｂｖ・・・(１７)，
Ｓｂｃ＝（｜Ｂ３１−Ｂ１３｜＋｜Ｂ５３−Ｂ３５｜＋・・）／ｋｂｃ・・・(１８)，
Ｓｂｄ＝（｜Ｂ３１−Ｂ５３｜＋｜Ｂ１３−Ｒ３５｜＋・・）／ｋｂｄ・・・(１９)

各色の連続性の高い方向の判定は次のようにして行われる。緑色の場合、評価値Ｓｇｖ、Ｓｇｈ、Ｓｇｃ、Ｓｇｄの中で最も小さい値の評価値に対応する方向を連続性の高い方向と判定する。ただし、最も小さい評価値が所定のしきい値以上の場合には、緑色の撮像画素の画素データには方向性がないと判定する。同様にして赤色画素の評価値Ｓｒｖ、Ｓｒｈ、Ｓｒｃ、Ｓｒｄと青色画素の評価値Ｓｂｖ、Ｓｂｈ、Ｓｂｃ、Ｓｂｄに基づいて、赤色画素データの連続性が高い方向と青色画素データの連続性が高い方向が判定される。

ステップ１８２では、各色の方向性判定結果に基づいて焦点検出画素位置の画像データＧ３４ａ、Ｇ４３ａ、Ｒ４４ａ、Ｂ３３ａに対応する第１補間画素データが次のように求められる。まず、緑色の第１補間画像データＧ３４ａは、
垂直方向に連続性あり・・・Ｇ３４ａ＝（Ｇ１４＋Ｇ５４）／２，
水平方向に連続性あり・・・Ｇ３４ａ＝（Ｇ３２＋Ｇ３６）／２，
右上がり４５度方向に連続性あり・・・Ｇ３４ａ＝（Ｇ２５＋Ｇ５２）／２，
左上がり４５度方向に連続性あり・・・Ｇ３４ａ＝（Ｇ２３＋Ｇ４５）／２，
連続性なし・・・Ｇ３４ａ＝（Ｇ１４＋Ｇ５４＋Ｇ３２＋Ｇ３６＋Ｇ２５＋Ｇ５２＋Ｇ２３＋Ｇ４５）／８・・・(２０)

もう一つの緑色の第１補間画素データＧ４３ａは、
垂直方向に連続性あり・・・Ｇ４３ａ＝（Ｇ２３＋Ｇ６３）／２，
水平方向に連続性あり・・・Ｇ４３ａ＝（Ｇ４１＋Ｇ４５）／２，
右上がり４５度方向に連続性あり・・・Ｇ４３ａ＝（Ｇ２５＋Ｇ５２）／２，
左上がり４５度方向に連続性あり・・・Ｇ４３ａ＝（Ｇ３２＋Ｇ５４）／２，
連続性なし・・・Ｇ４３ａ＝（Ｇ２３＋Ｇ６３＋Ｇ４１＋Ｇ４５＋Ｇ２５＋Ｇ５２＋Ｇ３２＋Ｇ５４）／８・・・(２１)

赤色の第１補間画素データＲ４４ａは、
垂直方向に連続性あり・・・Ｒ４４ａ＝（Ｒ２４＋Ｒ６４）／２，
水平方向に連続性あり・・・Ｒ４４ａ＝（Ｒ４２＋Ｒ４６）／２，
右上がり４５度方向に連続性あり・・・Ｒ４４ａ＝（Ｒ２６＋Ｒ６２）／２，
左上がり４５度方向に連続性あり・・・Ｒ４４ａ＝（Ｒ２２＋Ｒ６６）／２，
連続性なし・・・Ｒ４４ａ＝（Ｒ２４＋Ｒ６４＋Ｒ４２＋Ｒ４６＋Ｒ２６＋Ｒ６２＋Ｒ２２＋Ｒ６６）／８・・・(２２)

青色の第１補間画素データＢ３３ａは、
垂直方向に連続性あり・・・Ｂ３３ａ＝（Ｂ１３＋Ｂ５３）／２，
水平方向に連続性あり・・・Ｂ３３ａ＝（Ｂ３１＋Ｂ３５）／２，
右上がり４５度方向に連続性あり・・・Ｂ３３ａ＝（Ｂ１５＋Ｂ５１）／２，
左上がり４５度方向に連続性あり・・・Ｂ３３ａ＝（Ｂ１１＋Ｂ５５）／２，
連続性なし・・・Ｂ３３ａ＝（Ｂ１３＋Ｂ５３＋Ｂ３１＋Ｂ３５＋Ｂ１５＋Ｂ５１＋Ｂ１１＋Ｂ５５）／８・・・(２３)

以上のように、ステップ１８２では画像の連続性を前提にして第１補間画素データを４つの方向に対して焦点検出画素を挟む撮像画素のデータから補間することが可能になり、良好な補間結果が得られる。焦点検出画素を連続的に配置した場合には焦点検出画素の配列方向には撮像画素が存在しないため、この方向に画像が連続している場合（例えば焦点検出画素上に細線画像が形成された場合）には、良好な補間結果を得ることが困難であるが、図４に示す撮像素子２１２のように焦点検出画素間にギャップを設け、このギャップに撮像画素を配置することによって、上記のようなすべての方向の撮像画素データを用いた補間処理が可能になるわけである。

ステップ１８３では、焦点検出画素位置に点像が存在するか否か判定する。ステップ１８２では画像の連続性を前提にして第１補間画素データを算出したが、もし焦点検出画素位置に孤立的に点像が存在した場合には、算出した第１補間画素データが正確な補間画素データといえず、第１補間画素データをさらに補正する必要がある。

点像判定は、焦点検出画素の一対のデータＡ１とＡ２の和が焦点検出画素位置の輝度を表しており、ステップ１８２で求めたＲＧＢの第１補間データの線型和も同様に輝度を表しているので、２つの輝度値を比較し、両者の差が大きい場合は焦点検出画素位置に点像が存在すると判定する。例えば点像判定評価値Ｐは以下の式で定められる。
Ｐ＝Ｐ１−Ｐ２，
Ｐ１＝（Ａ１＋Ａ２）・ｋａ，
Ｐ２＝Ｇ３４ａ・ｋｇ＋Ｇ４３ａ・ｋｇ＋Ｒ４４ａ・ｋｒ＋Ｂ３３ａ・ｋｂ・・・(２４)
(２４)式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態において、焦点検出画素の一対のデータＡ１とＡ２の和と第１補間画素データ（Ｇ３４ａ、Ｇ４３ａ、Ｒ４４ａ、Ｂ３３ａ）の線型和が略等しくなるように実験的に求めたものである。

点像判定評価値Ｐの絶対値が所定のしきい値より大きい場合は点像があると判定し、小さい場合は点像なしと判定する。

ステップ１８４で点像の有無によって分岐し、点像がない場合にはステップ１８５で第１補間画素データを焦点検出画素位置に撮像画素が４個配置されているとした場合の各撮像画素の補間画素データとし、図１４のステップ１９０へ進む。

一方、点像ありと判定された場合はステップ１８６へ進み、次のようにして第１補間画素データに対し補正を施し、最終的な補間画素データとした後、図１４のステップ１９０へ進む。
Ｇ３４ａ＝Ｇ３４ａ・Ｐ１／Ｐ２，
Ｇ４３ａ＝Ｇ４３ａ・Ｐ１／Ｐ２，
Ｒ４４ａ＝Ｒ４４ａ・Ｐ１／Ｐ２，
Ｂ３３ａ＝Ｂ３３ａ・Ｐ１／Ｐ２・・・(２５)

以上のような補正を施すことによって、第１補間画素データ（Ｇ３４ａ、Ｇ４３ａ、Ｒ４４ａ、Ｂ３３ａ）の線型和から求めた輝度が、焦点検出画素の一対のデータＡ１とＡ２の和から求めた輝度と一致するので、点像が存在した場合でも良好な補間結果が得られる。

上記補正により点像に色味がついていた場合には、補間結果に多少違和感が残るので、点像が焦点検出画素の位置から光学的ローパスフィルターの効果により多少滲み出していると仮定し、焦点検出画素の周囲の撮像画素のデータに基づいて求めた色成分の比に応じて次のようにして第１補間画素データに対して補正を施してもよい。

Ｇｚ＝（Ｇ１２＋Ｇ１４＋Ｇ１６＋Ｇ２１＋Ｇ２３＋Ｇ２５＋Ｇ３２＋Ｇ３６＋Ｇ４１＋Ｇ４５＋Ｇ５２＋Ｇ５４＋Ｇ５６＋Ｇ６１＋Ｇ６３＋Ｇ６５）／８，
Ｒｚ＝（Ｒ２２＋Ｒ２４＋Ｒ２６＋Ｒ４２＋Ｒ４６＋Ｒ６２＋Ｒ６４＋Ｒ６６）／８，
Ｂｚ＝（Ｂ１１＋Ｂ１３＋Ｂ１５＋Ｂ３１＋Ｂ３５＋Ｂ５１＋Ｂ５３＋Ｂ５５）／８，
Ｇ３４ａ＝（Ｇ３４ａ・Ｐ１／Ｐ２）・ｋｇ・Ｇｚ／（ｋｇ・Ｇｚ＋ｋｒ・Ｒｚ＋ｋｂ・Ｂｚ），
Ｇ４３ａ＝Ｇ４３ａ・Ｐ１／Ｐ２・ｋｇ・Ｇｚ／（ｋｇ・Ｇｚ＋ｋｒ・Ｒｚ＋ｋｂ・Ｂｚ），
Ｒ４４ａ＝Ｒ４４ａ・Ｐ１／Ｐ２・ｋｒ・Ｒｚ／（ｋｇ・Ｇｚ＋ｋｒ・Ｒｚ＋ｋｂ・Ｂｚ），
Ｂ３３ａ＝Ｂ３３ａ・Ｐ１／Ｐ２・ｋｂ・Ｂｚ／（ｋｇ・Ｇｚ＋ｋｒ・Ｒｚ＋ｋｂ・Ｂｚ）・・・(２６)
このような補正を施すことによって、点像に色味が付いていた場合にも良好な補間結果が得られる。

《発明の他の実施の形態》
図１７に示す補間処理フローにおいて、点像ありと判定された場合は焦点検出画素の周囲の撮像画素のデータによって求められた第１補間画素データを補正し、最終的な補間画素データとしているが、点像ありと判定された場合には連続性の方向の判定に関わらず、連続性なしとして求めた第１補間画素データに対して補正を行って最終的な補間画素データとするようにしてもよい。

図１７に示す補間処理フローにおいて、いったん焦点検出画素の周囲の撮像画素のデータによって第１補間画素データを求め、この第１補間画素データと焦点検出画素のデータを比較することによって点像の有無判定を行っているが、焦点検出画素の周囲の撮像画素データと焦点検出画素のデータを直接比較することによって、次のようにして点像の有無判定を行うようにしてもよい。

焦点検出画素の一対のデータＡ１とＡ２の和が焦点検出画素位置の輝度を表しており、焦点検出画素の周囲の３色の撮像画素のデータの線型和が焦点検出画素の周囲の輝度を表しているので、２つの輝度値を比較することによって、その違いが大きい場合には点像が存在すると判定することにより行われ、例えば点像判定評価値Ｐは以下の式で定められる。
Ｐ＝Ｐ１−Ｐ２，
Ｐ１＝（Ａ１＋Ａ２）・ｋａ，
Ｐ２＝Ｇｗ・ｋｇ＋Ｒｗ・ｋｒ＋Ｂｗ・ｋｂ・・・(２７)

(２７)式において、Ｇｗは図１６に示す範囲に含まれる１６個の緑の撮像画素のデータの和を８で割ったものであり、Ｒｗは図１６に示す範囲に含まれる８個の赤の撮像画素のデータの和を８で割ったものであり、Ｂｗは図１６に示す範囲に含まれる８個の青の撮像画素のデータの和を８で割ったものである。

(２７)式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態において、焦点検出画素の一対のデータＡ１とＡ２の和と焦点検出画素の周囲の撮像画素のデータの線型和が略等しくなるように実験的に求めたものである。

点像判定評価値Ｐの絶対値が所定のしきい値より大きい場合は、焦点検出画素の位置にその周囲と輝度差がある点像があると判定し、小さい場合は点像なしと判定する。

上述した判定では、焦点検出画素位置の輝度と焦点検出画素の周囲の平均輝度との差だけに注目しているので、焦点検出画素の周囲の輝度が変動していた場合に間違った判定を行う危険性がある。そこで、さらに次のように焦点検出画素の周囲の輝度変動の有無を判定し、輝度変動があった場合には、点像有無判定を行わずに点像なしと判定し、輝度変動がない場合のみ点像有無判定を行うようにしてもよい。

焦点検出画素を取り囲む８方向において、２つの緑色の撮像画素のデータと、１つの赤色の撮像画素のデータと、１つの青色の撮像画素のデータから、焦点検出画素周囲の８方向における輝度値Ｗ１〜Ｗ８を算出する。
Ｗ１＝Ｇ１２・ｋｇ＋Ｇ２１・ｋｇ＋Ｒ２２・ｋｒ＋Ｂ１１・ｋｂ，
Ｗ２＝Ｇ１４・ｋｇ＋Ｇ２３・ｋｇ＋Ｒ２４・ｋｒ＋Ｂ１３・ｋｂ，
Ｗ３＝Ｇ１６・ｋｇ＋Ｇ２５・ｋｇ＋Ｒ２６・ｋｒ＋Ｂ１５・ｋｂ，
Ｗ４＝Ｇ３２・ｋｇ＋Ｇ４１・ｋｇ＋Ｒ４２・ｋｒ＋Ｂ３１・ｋｂ，
Ｗ５＝Ｇ３６・ｋｇ＋Ｇ４５・ｋｇ＋Ｒ４６・ｋｒ＋Ｂ３５・ｋｂ，
Ｗ６＝Ｇ５２・ｋｇ＋Ｇ６１・ｋｇ＋Ｒ６２・ｋｒ＋Ｂ５１・ｋｂ，
Ｗ７＝Ｇ５４・ｋｇ＋Ｇ６３・ｋｇ＋Ｒ６４・ｋｒ＋Ｂ５３・ｋｂ，
Ｗ８＝Ｇ５６・ｋｇ＋Ｇ６５・ｋｇ＋Ｒ６６・ｋｒ＋Ｂ５５・ｋｂ・・・(２８)
(２８)式において、係数ｋｇ、ｋｒ、ｋｂは、緑色の撮像画素のデータ、赤色の撮像画素のデータ、青色の撮像画素のデータの線型和から輝度値を算出するように定められた係数である。

８方向における輝度値Ｗ１〜Ｗ８において、隣接する方向の輝度値の差の絶対値の積和が所定値以上、あるいは隣接する方向の輝度値の差の絶対値の最大値が所定値以上、あるいは８つの輝度値の最大値と最小値との差が所定値以上というような判定基準により輝度変動ありと判定する。

上述した輝度変動の判定においては、緑色の撮像画素のデータ、赤色の撮像画素のデータ、青色の撮像画素のデータの線型和から算出した輝度値を用いているが、各色単独に輝度変動判定を行うようにしてもよい。各色のうち１つの色でも輝度変動ありと判定された場合には、最終的に輝度変動ありと判定する。

図１７に示す補間処理フローにおいて、いったん焦点検出画素の周囲の撮像画素のデータによって求められた第１補間画素データを点像の有無判定に応じて、点像ありの場合は補正して最終的な補間画素データとしているが、第１補間画素データを算出する前に上述したような点像有無判定を行い、点像がない場合にはそのまま第１補間画素データを算出して、これを最終的な補間画素データとし、点像がある場合には別途次のようにして補間画素データを算出するようにしてもよい。

すなわち、焦点検出画素に隣接する１２個の撮像画素のデータより焦点検出画素の最近傍の色味を求め、この色味を焦点検出画素のデータから求めた輝度値に調整することによって、最終的な補間画素データを求める。
Ｇｓ＝（Ｇ２３＋Ｇ２５＋Ｇ３２＋Ｇ４５＋Ｇ５２＋Ｇ５４）／６，
Ｒｓ＝（Ｒ２２＋Ｒ２４＋Ｒ４２）／３，
Ｂｓ＝（Ｂ３５＋Ｂ５３＋Ｂ５５）／３，
Ｇ３４ａ＝Ｇ４３ａ＝Ｇｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ），
Ｒ４４ａ＝Ｒｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ），
Ｂ３３ａ＝Ｂｓ・ｋａ・（Ａ１＋Ａ２）／（ｋｇ・Ｇｓ＋ｋｒ・Ｒｓ＋ｋｂ・Ｂｓ）・・・(２９)
(２９)式において、係数ｋａ、ｋｇ、ｋｒ、ｋｂは、予め白色およびその他の色の光源の一様照明状態において、焦点検出画素の一対のデータＡ１とＡ２の和と３色の撮像画素のデータの線型和が略等しくなるように実験的に求めたものである。

図９に示した焦点検出画素の構造においては、同一の露光条件において焦点検出画素の光電変換部の出力と撮像画素の光電変換部の出力が略等しくなるようにＮＤフィルターを設置しているが、ＮＤフィルターを設けずに、図１２に示す画素の基本回路構成において、焦点検出画素の増幅ＭＯＳトランジスタ（ＡＭＰ）と撮像画素の増幅ＭＯＳトランジスタ（ＡＭＰ）の増幅度を変更することにより、同一の露光条件において焦点検出画素の光電変換部の出力と撮像画素の光電変換部の出力が略等しくなるようにしてもよい。

撮像素子における焦点検出エリアの配置は図２に限定されることはなく、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。

図４に示す撮像素子２１２では、焦点検出画素３１１に一対の光電変換部を備える例を示したが、ひとつの焦点検出画素内にひとつの光電変換部を備えるようにしてもよい。図１８は、このような撮像素子２１２Ａの部分拡大図であり、焦点検出画素３１３と焦点検出画素３１４は焦点検出画素３１１の一対の光電変換部のおのおのに対応した光電変換部をそれぞれ備える。図に示す焦点検出画素３１３と焦点検出画素３１４のペアが、図４に示す焦点検出画素３１１に相当した機能を果たす。

図４および図１８に示す一実施の形態の撮像素子２１２、２１２Ａでは、焦点検出画素の画素サイズ（焦点検出画素のマイクロレンズの開口径）を撮像画素の画素サイズ（撮像画素のマイクロレンズの開口径）の２倍とする例を示した。換言すれば、１個の焦点検出画素を撮像画素４個分の大きさにする例を示した。焦点検出画素の画素サイズが大きいほど画素補間の欠陥が目立つため、図１９に示す変形例の撮像素子２１２Ｂおよび図２０に示す他の変形例の撮像素子２１２Ｃのように、１個の焦点検出画素を撮像画素の略２個分の大きさにし、撮像画素２個分のスペースを領有するようにしてもよい。

図１９および図２０において、焦点検出画素の配列方向（図面の上下方向）における焦点検出画素３２１、３２３、３２４のマイクロレンズの開口幅（楕円形のマイクロレンズ開口の長径）は、撮像画素３１０の円形のマイクロレンズの開口径の略２倍である。一方、焦点検出画素の配列方向に直交する方向（図面の左右方向）における焦点検出画素３２１、３２３、３２４のマイクロレンズの開口幅（楕円形のマイクロレンズ開口の短径）は、撮像画素の円形のマイクロレンズの開口径に等しい。

図１９において、焦点検出画素３２１は一対の光電変換部を備えている。図２０において、焦点検出画素３２３と焦点検出画素３２４は、焦点検出画素３２１の一対の光電変換部のおのおのに対応した光電変換部をそれぞれ備える。図２０に示す焦点検出画素３２３と焦点検出画素３２４のペアが、図１９に示す焦点検出画素３２１に相当した機能を果たす。焦点検出画素３２１、３２３、３２４の焦点検出画素の並び方向における構成は、図９に示す焦点検出画素の構成と同一である。ただし、焦点検出画素３２３、３２４の場合、光電変換部の数はそれぞれ１つになる。

一方、焦点検出画素の並び方向と垂直な方向における構成は、図９に示す焦点検出画素の構成のスケ−ルを１／２にしたものになる。すなわち、焦点検出画素３２１、３２３、３２４の焦点検出画素の並び方向における上層レンズおよびインナーレンズのレンズ曲率半径は、図９に示す上層レンズ３６およびインナーレンズ３５のレンズ曲率半径と同一となり、焦点検出画素３２１、３２３、３２４の焦点検出画素の並び方向と垂直な方向における上層レンズおよびインナーレンズのレンズ曲率半径は、図９に示す上層レンズ３６およびインナーレンズ３５のレンズ曲率半径の１／２となる。

なお、焦点検出画素３２１、３２３、３２４の焦点検出画素の並び方向と垂直な方向における上層レンズおよびインナーレンズのレンズ曲率半径は、瞳分割性能に大きな影響を与えないので、製造が容易となるように変更することも可能である。

図２１は、他の変形例の撮像素子２１２Ｄの十字型焦点検出エリア近傍を拡大した図である。この撮像素子２１２Ｄでは、１つの焦点検出画素３３１に４分割した光電変換部３３３，３３４、３３５、３３６を配置した例であって、焦点検出画素３３１は垂直方向ならびに水平方向に十字型に配列されている。

垂直方向において焦点検出（像ズレ検出）を行う場合には、光電変換部３３３と３３４の出力を加算したデータ系列と、光電変換部３３５と３３６の出力を加算したデータ系列との間で像ズレ検出が行われる。一方、水平方向において焦点検出（像ズレ検出）を行う場合には、光電変換部３３３と３３５の出力を加算したデータ系列と、光電変換部３３４と３３６の出力を加算したデータ系列との間で像ズレ検出が行われる。

図２２は、図２１に示す撮像素子２１２Ｄの図１３に対応した半導体基板上の回路配線レイアウトを示す図であって、図１３との重複部分は説明を省略する。ＰＤ１、ＰＤ２、ＰＤ３、ＰＤ４は焦点検出画素の４つの光電変換部、ＣＭ１、ＣＭ２、ＣＭ３、ＣＭ４は焦点検出画素の４つの画素回路である。

焦点検出画素の一対の光電変換部ＰＤ１、ＰＤ２、ＰＤ３、ＰＤ４はＦ値が暗い交換レンズにも対応して焦点検出を行うために極めて狭い分離帯を隔てて隣接させる必要がある。垂直出力線Ｖｏｕｔ３と水平制御信号線Ｈ３は、その他の垂直信号線および水平制御信号線と同様にレイアウトすると、焦点検出画素の光電変換部ＰＤ１、ＰＤ２、ＰＤ３、ＰＤ４と干渉してしまうため、焦点検出画素の光電変換部ＰＤ１、ＰＤ２、ＰＤ３、ＰＤ４の周囲を迂回して配線される。これにより、焦点検出画素がない撮像画素のみの撮像素子と同様な画素信号読み出し動作により、焦点検出画素の信号を読み出すことができる。

図１８、図１９、図２０および図２１に示した撮像素子２１２Ａ〜２１２Ｄにおいても、焦点検出画素位置における撮像画素データを、図１７で説明した思想に基づいて補間処理により求めることが可能である。すなわち、焦点検出画素の周囲の撮像画素のデータに基づいて、ＲＧＢ各色について垂直、水平、右上がり斜め４５度、左上がり斜め４５度方向の連続性を評価し、連続性に応じて第１画素補間データを算出することによって、焦点検出画素の並び方向に画像の連続性がある場合にも良好な画像補間結果を得ることができる。その上さらに、焦点検出画素位置において点像が存在するか否かを判定し、判定結果に応じて第１画素補間データを補正することによって、点像が存在した場合には、最終的な補間画素データの輝度と色味を点像の輝度と色味に近づけることが可能である。

ただし、図１９、図２０に示す撮像素子２１２Ｂ、２１２Ｃでは、一対となるべき光電変換部の一方しか各焦点検出画素に備えられていないので、点像判定評価値Ｐを求める際のＰ１＝Ａ１＋Ａ２の演算においてＡ１，Ａ２の一方は焦点検出画素の光電変換部のデータを用いるとともに、他方は該焦点検出画素を挟む２つの焦点検出画素の光電変換部のデータを平均したものを用いる。

上述した一実施の形態では、撮像素子と結像光学系（交換レンズ）の間に光学要素を何も配置していないが、適宜必要な光学要素を挿入することが可能である。例えば赤外カットフィルター、光学的ローパスフィルター、ハーフミラーなどを設置してもよい。

図２および図３に示すような撮像素子の構成の場合には、光学的ローパスフィルターの高周波カット効果が、焦点検出画素の並び方向と垂直な方向より焦点検出画素の並び方向に強く効くように、光学的ローパスフィルターの特性を設定することによって、高周波成分を持った像が焦点検出画素の間に入った場合の焦点検出精度に対する悪影響を緩和することができる。

上述した一実施の形態の撮像素子では、撮像画素がベイヤー配列の色フィルターを備えた例を示したが、色フィルターの構成や配列はこれに限定されることはなく、補色フィルター（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列やベイヤー配列以外の配列にも本発明を適用することができる。また、上述した実施形態における撮像素子では焦点検出画素に色フィルターを設けない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつのフィルター（例えば緑フィルター）を設けるようにした場合でも、本発明を適用することができる。

また、上述した一実施の形態における焦点検出画素では、光電変換部の形状を矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば焦点検出画素の光電変換部の形状を半円形や楕円や多角形にすることも可能である。

さらに、上述した一実施の形態における撮像素子では、撮像画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。この場合には例えば焦点検出画素を撮像画素４個分の大きさとすることができる。

なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えばレンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、一実施の形態によれば、交換レンズ２０２を通過した光束が形成する像に応じた出力信号を生成する撮像画素であって、異なる分光感度特性を有する複数種類の撮像画素と、交換レンズ２０２を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とを二次元状に配列した撮像素子２１２〜２１２Ｄを有し、焦点検出画素の配列により生成される一対の出力信号に基づいて交換レンズ２０２の焦点調節状態を検出する撮像装置において、複数種類の撮像画素を所定の配置規則にしたがって配列し、焦点検出画素を撮像画素の略複数個分の大きさに形成するとともに、焦点検出画素の周囲を複数種類の撮像画素で取り囲むように配列し、焦点検出画素の出力信号と焦点検出画素の周囲の撮像画素の出力信号とに基づいて、焦点検出画素の位置に点像が存在するか否かを判定し、焦点検出画素の位置に所定の配置規則にしたがって複数種類の撮像画素を配置したと仮定した場合に、該複数種類の撮像画素が生成する出力信号を、点像判定結果に応じて焦点検出画素の周囲の複数種類の撮像画素の出力信号に基づき補間するようにしたので、焦点検出画素位置の画像信号を生成する補間処理が容易になり、撮像画素の縮小と焦点検出画素の瞳分割作用の維持を両立させながら、補間による良好な画像生成機能と良好な焦点検出機能を備えた撮像装置を提供することができる。

次に、一実施の形態によれば、焦点検出画素の周囲の複数種類の撮像画素の出力信号に基づいて、焦点検出画素の近傍における像の連続性の高い方向を判定し、焦点検出画素の位置に所定の配置規則にしたがって複数種類の撮像画素を配置したと仮定した場合に、該複数種類の撮像画素が生成する出力信号を、点像判定結果と方向判定結果に応じて焦点検出画素の周囲記複数種類の撮像画素の出力信号と焦点検出画素の出力信号とに基づき補間するようにしたので、上記効果に加え、焦点検出画素位置に点像が存在する場合でも、あるいは焦点検出画素の配列上に線像が存在する場合でも、補間により焦点検出画素位置の画像信号を生成することができる。

一実施の形態のカメラの構成を示すカメラの横断面図交換レンズの撮影画面上における焦点検出位置を示す図瞳分割型位相差検出方式の焦点検出原理を説明するための図撮像素子の詳細な構成を示す正面図撮像画素の構成を示す正面図焦点検出画素の構成を示す正面図撮像画素の分光特性を示す図焦点検出画素の分光特性を示す図撮像画素と焦点検出画素の断面図を並べて示した図図４に示す撮像素子の焦点検出画素による瞳分割位相差検出方式の原理を説明するための図図４に示す撮像素子の撮像画素が受光する撮影光束の様子を図１０と比較して説明するための図撮像画素および焦点検出画素における１つの光電変換部に対する基本回路構成を示す図中央に焦点検出画素が配置された撮像画素単位で６行６列の領域に対応する半導体基板上の回路配線レイアウトを示した図一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート像ズレ検出演算結果（相関演算結果）の信頼性を説明するための図焦点検出画素位置の画像データを補間演算により求める方法を説明するための図焦点検出画素位置の画像データを求める補間処理フローを示すフローチャート変形例の撮像素子の部分拡大図他の変形例の撮像素子の部分拡大図他の変形例の撮像素子の部分拡大図他の変形例の撮像素子の部分拡大図図２１に示す撮像素子の半導体基板上の回路配線レイアウトを示す図

符号の説明

２０１；カメラ、２０２；交換レンズ、２１２、２１２Ａから２１２Ｄ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像素子、３１１、３１３、３１４、３２１、３２３、３２４、３３１；焦点検出画素

Claims

結像光学系を通過した光束が形成する像に応じた出力信号を生成する撮像画素であって、異なる分光感度特性を有する複数種類の撮像画素と、前記結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とを二次元状に配列した撮像素子と、
前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段とを備える撮像装置において、
前記複数種類の撮像画素を所定の配置規則にしたがって配列し、
前記焦点検出画素を前記撮像画素の略複数個分の大きさに形成するとともに、前記焦点検出画素の周囲を前記複数種類の撮像画素で取り囲むように配列し、
前記焦点検出画素の出力信号と前記焦点検出画素の周囲の前記撮像画素の出力信号とに基づいて、前記焦点検出画素の位置に点像が存在するか否かを判定する点像判定手段と、
前記焦点検出画素の位置に前記所定の配置規則にしたがって前記複数種類の撮像画素を配置したと仮定した場合に、該複数種類の撮像画素が生成する出力信号を、前記点像判定手段の判定結果に応じて前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間する補間手段とを備え、
前記撮像画素は１つの光電変換部を備えるとともに、前記焦点検出画素は互いに隣接する一対の光電変換部を備え、
前記撮像素子上に二次元状に配列された前記光電変換部へ接続される信号線を、前記焦点検出画素の互いに隣接する一対の光電変換部の間を通さず、前記一対の光電変換部の外側を迂回して配線することを特徴とする撮像装置。
所定の配置規則に従って配列され、異なる分光感度特性を有する複数種類の撮像画素と、前記撮像画素の略複数個分の大きさを有し、前記複数種類の撮像画素によって周囲を取り囲まれた焦点検出画素であって、結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが二次元状に配列された撮像素子と、
前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記焦点検出画素の出力信号に基づいて算出される第１の輝度値と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づいて算出される第２の輝度値との差の絶対値が所定の閾値を越える場合には、前記焦点検出画素の位置に点像が存在すると判定する点像判定手段と、
前記焦点検出画素の位置に前記所定の配置規則に従って前記複数種類の撮像画素を配置したと仮定した場合に、当該複数種類の撮像画素が生成する出力信号を、前記点像判定手段の判定結果に応じて前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間する補間手段とを備えることを特徴とする撮像装置。
所定の配置規則に従って配列され、異なる分光感度特性を有する複数種類の撮像画素と、前記撮像画素の略複数個分の大きさを有し、前記複数種類の撮像画素によって周囲を取り囲まれた焦点検出画素であって、結像光学系を通過した一対の光束が形成する一対の像に対応した一対の出力信号を生成する複数の焦点検出画素とが二次元状に配列された撮像素子と、
前記焦点検出画素の配列により生成される一対の出力信号に基づいて、前記結像光学系の焦点調節状態を検出する焦点検出手段と、
前記焦点検出画素の位置に前記所定の配置規則に従って前記複数種類の撮像画素を配置したと仮定した場合に、当該複数種類の撮像画素が生成する出力信号を前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づき補間して、補間信号を出力する補間手段と、
前記焦点検出画素の出力信号に基づいて算出される第１の輝度値と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づいて算出される第２の輝度値との差の絶対値が所定の閾値を越える場合には、前記焦点検出画素の位置に点像が存在すると判定する点像判定手段と、
前記点像判定手段が前記焦点検出画素の位置に点像が存在すると判定した場合に、前記補間信号を前記焦点検出画素の出力信号と前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号とに基づき、補正する補正手段と、を備えることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、
前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号に基づいて、前記焦点検出画素の近傍における像の連続性の高い方向を判定する方向判定手段を備え、
前記補間手段は、前記焦点検出画素の位置に前記所定の配置規則にしたがって前記複数種類の撮像画素を配置したと仮定した場合に、該複数種類の撮像画素が生成する出力信号を、前記点像判定手段の判定結果と前記方向判定手段の判定結果に応じて、前記焦点検出画素の周囲の前記複数種類の撮像画素の出力信号と前記焦点検出画素の出力信号とに基づき補間することを特徴とする撮像装置。
請求項４に記載の撮像装置において、
前記焦点検出画素は、出力信号の増幅度を変更可能な増幅手段を備えることを特徴とする撮像装置。
請求項１〜５のいずれか一項に記載の撮像装置において、
前記焦点検出画素はマイクロレンズと、光電変換部と、前記マイクロレンズと前記光電変換部との間に配置されるインナーレンズとから構成されるとともに、前記撮像画素はマイクロレンズと光電変換部とから構成され、
前記焦点検出画素の光電変換部と前記撮像画素の光電変換部は同一平面上に形成されるとともに、前記焦点検出画素のマイクロレンズと前記撮像画素のマイクロレンズはそれぞれ前記同一平面から略等しい距離に配置されることを特徴とする撮像装置。
請求項２〜５のいずれか一項に記載の撮像装置において、
前記撮像画素は１つの光電変換部を備えるとともに、前記焦点検出画素は互いに隣接する一対の光電変換部を備え、
前記撮像素子上に二次元状に配列された前記光電変換部へ接続される信号線を、前記焦点検出画素の互いに隣接する一対の光電変換部の間を通さず、前記一対の光電変換部の外側を迂回して配線することを特徴とする撮像装置。
請求項１〜７のいずれか一項に記載の撮像装置において、
前記撮像画素と前記焦点検出画素はそれぞれ開口形状が円形のマイクロレンズを有し、前記焦点検出画素のマイクロレンズの開口径を、前記撮像画素のマイクロレンズの開口径の複数倍とすることを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記撮像装置のマイクロレンズの開口径が７μ以下であることを特徴とする撮像装置。