JP4935161B2

JP4935161B2 - 撮像装置、カメラおよび画像処理方法

Info

Publication number: JP4935161B2
Application number: JP2006108954A
Authority: JP
Inventors: 洋介日下
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-04-11
Filing date: 2006-04-11
Publication date: 2012-05-23
Anticipated expiration: 2026-04-11
Also published as: JP2007282107A

Description

本発明は、撮像画素と焦点検出画素とを有する撮像素子を用いた撮像装置、その撮像装置を備えたカメラおよび撮像素子で撮像した画像の処理方法に関する。

同一基板上に撮像画素と焦点検出画素を混在させて配置した撮像素子を備え、撮像素子上に形成される像を撮像するとともにその像の焦点調節状態を検出するようにした撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２０００−３０５０１０号公報

しかしながら、上述した従来の撮像装置では、焦点検出画素周辺の撮像画素の出力を単純平均するか、もしくは焦点検出画素出力と焦点検出画素周辺の撮像画素出力とを単純平均して焦点検出画素位置における仮想の画像出力（仮想の撮像画素出力）を求めているので、焦点検出画素にエッジパターン画像や細線パターン画像が重畳した場合には、単純平均により求めた仮想撮像画素出力が本来その位置にあるべき撮像画素の出力からかけ離れてしまい、偽色や偽パターンが発生したり、パターンが消失することがあり、画像品質が低下するという問題がある。

請求項１の発明による撮像装置は、異なる分光感度特性を有する複数の撮像用画素を規則的に配列した画素ユニットを二次元状に複数配列するとともに、前記配列中の一部の領域において前記撮像画素に置き換えられて配置され、前記画素ユニットのすべての分光感度を包含する感度を有する焦点検出用画素を備えた撮像素子と、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記焦点検出用画素の位置において置き換えられた撮像用画素の分光感度の第１の出力成分を算出し、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記画素ユニットのすべての分光感度を包含する感度の第２の出力成分を算出し、前記第１の出力成分と前記第２の出力成分との色成分比を演算するとともに、前記焦点検出用画素の出力を前記色成分比により補正することにより、前記焦点検出用画素の位置において置き換えられた撮像用画素の出力を算出する演算手段とを備えることを特徴とする。
請求項７の発明は、異なる分光感度特性を有する複数の撮像用画素を規則的に配列した画素ユニットを二次元状に複数配列するとともに、前記配列中の一部の領域において前記撮像画素に置き換えられて配置され、前記画素ユニットのすべての分光感度を包含する感度を有する焦点検出用画素を備えた撮像素子の画像処理方法であって、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記焦点検出用画素の位置において置き換えられた撮像用画素の分光感度の第１の出力成分を算出し、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記画素ユニットのすべての分光感度を包含する感度の第２の出力成分を算出し、前記第１の出力成分と前記第２の出力成分との色成分比を演算するとともに、前記焦点検出用画素の出力を前記色成分比により補正することにより、前記焦点検出用画素の位置において置き換えられた撮像用画素の出力を算出する演算処理を備えることを特徴とする。
請求項８の発明による撮像装置は、第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に交互に配列された前記第１及び第２撮像用画素の一部を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子と、前記第１撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出する第１補間手段と、前記第２撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する第２補間手段と、前記第１及び第２撮像用画素の撮像信号と前記第１及び第２補間信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする。
請求項１６の発明は、第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に交互に配列された前記第１及び第２撮像用画素の一部を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子の画像処理方法であって、前記第１撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出する第１補間処理と、前記第２撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する第２補間処理と、前記第１及び第２撮像用画素の撮像信号と前記第１及び第２補間信号とに基づき画像データを生成する画像データ生成処理と、を備えることを特徴とする。
請求項１７の発明による撮像装置は、第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に配列された前記第１及び第２撮像用画素の少なくとも一方を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子と、前記焦点検出用画素によって置換された撮像用画素が前記第１撮像用画素である場合には、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出し、他方、前記焦点検出用画素によって置換された撮像用画素が前記第２撮像用画素である場合には、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する補間手段と、前記第１及び第２撮像用画素の撮像信号と前記第１または第２補間信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする。

本発明によれば、焦点検出用画素列に対して垂直な方向に画像が変化するエッジパターン画像や細線パターン画像が焦点検出画素に重畳した場合でも、偽色や偽パターンの発生、あるいはパターンの消失を抑えることができ、画像品質の低下を防ぐことができる。

本願発明を撮像装置としてのディジタルスチルカメラに適用した一実施の形態を説明する。図１は一実施の形態のディジタルスチルカメラの構成を示す図である。一実施の形態のディジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３とから構成され、交換レンズ２０２はカメラボディ２０３のマウント部２０４に装着される。

交換レンズ２０２はレンズ２０５〜２０７、絞り２０８、レンズ駆動制御装置２０９などを備えている。なお、レンズ２０６はズーミング用、レンズ２０７はフォーカシング用である。レンズ駆動制御装置２０９はＣＰＵとその周辺部品を備え、フォーカシング用レンズ２０７と絞り２０８の駆動制御、ズーミング用レンズ２０６、フォーカシング用レンズ２０７および絞り２０８の位置検出、カメラボディ２０３の制御装置との通信によるレンズ情報の送信とカメラ情報の受信などを行う。

一方、カメラボディ２０３は撮像素子２１１、カメラ駆動制御装置２１２、メモリカード２１３、ＬＣＤドライバー２１４、ＬＣＤ２１５、接眼レンズ２１６などを備えている。撮像素子２１１は交換レンズ２０２の予定結像面（予定焦点面）に配置され、交換レンズ２０２により結像された被写体像を撮像して画像信号を出力する。撮像素子２１１には撮像用画素（以下、単に撮像画素という）が二次元状に配置されており、その内の焦点検出位置に対応した部分には撮像画素に代えて焦点検出用画素（以下、単に焦点検出画素という）列が組み込まれている。

カメラ駆動制御装置２１２はＣＰＵとその周辺部品を備え、撮像素子２１１の駆動制御、撮像画像の処理、交換レンズ２０２の焦点検出および焦点調節、絞り２０８の制御、ＬＣＤ２１５の表示制御、レンズ駆動制御装置２０９との通信、カメラ全体のシーケンス制御などを行う。なお、カメラ駆動制御装置２１２は、マウント部２０４に設けられた電気接点２１７を介してレンズ駆動制御装置２０９と通信を行う。

メモリカード２１３は撮像画像を記憶する画像ストレージである。ＬＣＤ２１５は液晶ビューファインダー（ＥＶＦ：電子ビューファインダー）の表示器として用いられ、撮影者は接眼レンズ２１６を介してＬＣＤ２１５に表示された撮像画像を視認することができる。

交換レンズ２０２を通過して撮像素子２１１上に結像された被写体像は撮像素子２１１により光電変換され、画像出力がカメラ駆動制御装置２１２へ送られる。カメラ駆動制御装置２１２は、焦点検出画素の出力に基づいて焦点検出位置におけるデフォーカス量を演算し、このデフォーカス量をレンズ駆動制御装置２０９へ送る。また、カメラ駆動制御装置２１２は、撮像画素の出力に基づいて生成した画像信号をＬＣＤドライバー２１４へ送ってＬＣＤ２１５に表示するとともに、メモリカード２１３に記憶する。

レンズ駆動制御装置２０９は、ズーミングレンズ２０６、フォーカシングレンズ２０７および絞り２０８の位置を検出し、検出位置に基づいてレンズ情報を演算するか、あるいは予め用意されたルックアップテーブルから検出位置に応じたレンズ情報を選択し、カメラ駆動制御装置２１２へ送る。また、レンズ駆動制御装置２０９は、カメラ駆動制御装置２１２から受信したデフォーカス量に基づいてレンズ駆動量を演算し、レンズ駆動量に基づいてフォーカシング用レンズ２０７を駆動制御する。

図２は、交換レンズ２０２の予定結像面に設定した撮像画面Ｇ上の焦点検出領域を示す。撮像画面Ｇ上にＧ１〜Ｇ５の焦点検出領域を設定し、撮像素子２１１の焦点検出画素を撮像画面Ｇ上の各焦点検出領域Ｇ１〜Ｇ５の長手方向に直線状に配列する。つまり、撮像素子２１１上の焦点検出画素列は、撮影画面Ｇ上に結像された被写体像の内の焦点検出領域Ｇ１〜Ｇ５の像をサンプリングする。撮影者は撮影構図に応じて焦点検出領域Ｇ１〜Ｇ５の中から任意の焦点検出領域を手動で選択する。

図３は撮像素子２１１に設置する色フィルターの配列を示す。撮像素子２１１の基板上に二次元状に配列する撮像画素には、図３に示すベイヤー配列の色フィルターを設置する。なお、図３には４画素分（２×２）の撮像画素に対する色フィルターの配列を示すが、この４画素分の色フィルター配列を有する撮像画素ユニットを撮像素子２１１上に二次元状に展開する。ベイヤー配列ではＧ（緑）フィルターを有する２個の画素が対角位置に配置され、Ｂ（青）フィルターとＲ（赤）フィルターを有する一対の画素が上記Ｇフィルター画素と直交する対角位置に配置される。したがって、ベイヤー配列においては緑画素の密度が赤画素と青画素の密度より高くなる。

図４に示すグラフは各色フィルターの分光感度、光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した場合の緑画素、赤画素、青画素の分光特性を示す。緑画素、赤画素、青画素は色分解を行うため、それぞれの感度は異なる光波長領域となっており（異なる分光感度を有する）、緑画素の分光特性は図５に示す比視感度のピークに近い感度を持つ。

なお、焦点検出画素には光量をかせぐために色フィルターは配置されておらず、その分光特性は光電変換を行うフォトダイオードの分光感度、赤外カットフィルター（不図示）の分光特性を総合した図６に示す分光特性となる。つまり、図４に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素のすべての画素感度の光波長領域を包含している。

図７は撮像素子２１１の詳細な構成を示す正面図である。なお、図７は撮像素子２１１上のひとつの焦点検出領域の周囲を拡大した図である。撮像素子２１１は撮像画素３１０と焦点検出用の焦点検出画素３１１から構成される。

図８に示すように、撮像画素３１０はマイクロレンズ１０、光電変換部１１、不図示の色フィルターから構成される。また、図９に示すように、焦点検出画素３１１はマイクロレンズ１０、一対の光電変換部１２，１３から構成される。撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって明るい交換レンズの射出瞳（たとえばＦ１．０）を通過する光束をすべて受光するような形状に設計される。一方、焦点検出画素３１１の一対の光電変換部１２、１３は、マイクロレンズ１０によって交換レンズの特定の射出瞳（たとえばＦ２．８）を通過する光束をすべて受光するような形状に設計される。

図７に示すように、２次元状に配置された撮像画素３１０にはＲＧＢのベイヤー配列の色フィルターが備えられる。焦点検出画素３１１は、図２に示す焦点検出領域Ｇ１〜Ｇ５の撮像画素３１０のＢフィルターとＧフィルターが配置されるべき行（列）に、直線状に隙間なしに密に配置される。焦点検出画素３１１を撮像画素３１０のＢフィルターとＧフィルターが配置されるべき行（列）に配置することによって、後述する画素補間により焦点検出画素３１１の位置の画素信号を算出する場合に、多少誤差が生じても人間の眼には目立たなくすることができる。この理由は、人間の目は青より赤に敏感であることと、緑画素の密度が青画素と赤画素より高いので、緑画素の１画素の欠陥に対する画像劣化への寄与が小さいためである。

なお、色フィルターの配列は図３に示すベイヤー配列に限定されず、例えば図１０に示す補色フィルターＧ（緑）、黄（Ｙｅ）、マゼンダ（Ｍｇ）、シアン（Ｃｙ）を配列した撮像画素ユニットを二次元状に展開してもよい。この補色フィルターの撮像画素ユニットを二次元状に展開した撮像素子では、出力誤差が比較的目立たない青成分を含むシアンとマゼンダが配置されるべき画素位置に焦点検出画素３１１を配置する。

図１１は撮像画素３１０の断面図である。撮像画素３１０において、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成され、不図示の色フィルタはマイクロレンズ１０と光電変換部１１の中間に配置される。

図１２は焦点検出画素３１１の断面図である。焦点検出画素３１１において、焦点検出用の光電変換部１２、１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１２、１３が前方に投影される。光電変換部１２、１３は半導体回路基板２９上に形成される。

次に、図１３により瞳分割方式による焦点検出方法を説明する。図１３において、交換レンズ２０２の光軸９１上に配置される焦点検出画素３１１のマイクロレンズ５０と、そのマイクロレンズ５０の後方に配置される一対の光電変換部５２、５３、および交換レンズ２０２の光軸９１外に配置される焦点検出画素３１１のマイクロレンズ６０と、そのマイクロレンズ６０の後方に配置される一対の光電変換部６２、６３を例にあげて説明する。交換レンズ２０２の予定結像面に配置したマイクロレンズ５０、６０の前方の距離ｄ４の位置に、交換レンズ２０２の射出瞳９０を設定する。ここで、距離ｄ４は、マイクロレンズ５０、６０の曲率、屈折率、マイクロレンズ５０、６０と光電変換部５２、５３、６２、６３との間の距離などに応じて決まる値であって、この明細書では測距瞳距離と呼ぶ。

マイクロレンズ５０、６０は交換レンズ２０２の予定結像面に配置されており、光軸９１上のマイクロレンズ５０によって一対の光電変換部５２、５３の形状がマイクロレンズ５０から投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。一方、光軸９１外のマイクロレンズ６０によって一対の光電変換部６２、６３の形状が投影距離ｄ４だけ離間した射出瞳９０上に投影され、その投影形状は測距瞳９２，９３を形成する。すなわち、投影距離ｄ４にある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９２，９３）が一致するように、各画素の投影方向が決定される。

光電変換部５２は、測距瞳９２を通過しマイクロレンズ５０へ向う焦点検出光束７２によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部５３は、測距瞳９３を通過しマイクロレンズ５０へ向う焦点検出光束７３によってマイクロレンズ５０上に形成される像の強度に対応した信号を出力する。光電変換部６２は、測距瞳９２を通過しマイクロレンズ６０へ向う焦点検出光束８２によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。光電変換部６３は、測距瞳９３を通過しマイクロレンズ６０へ向う焦点検出光束８３によってマイクロレンズ６０上に形成される像の強度に対応した信号を出力する。なお、焦点検出画素３１１の配列方向は一対の瞳距離の分割方向と一致させる。

このような焦点検出用画素を直線状に多数配列し、各画素の一対の光電変換部の出力を測距瞳９２および測距瞳９３に対応した出力グループにまとめることによって、一対の測距瞳９２と９３を各々通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関する情報を得ることができる。さらに、この情報に対して後述する像ズレ検出演算処理（相関処理、位相差検出処理）を施すことによって、いわゆる瞳分割方式で一対の像の像ズレ量を検出することができる。そして、この像ズレ量に所定の変換係数を乗ずることによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）を算出することができる。

なお、図１３では、光軸９１上にある第一焦点検出画素（マイクロレンズ５０と一対の光電変換部５２，５３）と隣接する第一焦点検出画素（マイクロレンズ６０と一対の光電変換部６２，６３）を模式的に例示したが、その他の焦点検出用画素においても同様に、一対の光電変換部がそれぞれ一対の測距瞳から各マイクロレンズに到来する光束を受光する。

図１４は射出瞳面における投影関係を示す正面図である。焦点検出画素３１１から一対の光電変換部１２，１３をマイクロレンズ１０により射出瞳面９０に投影した測距瞳９２，９３の外接円は、結像面から見た場合に所定の開口Ｆ値（この明細書では測距瞳Ｆ値という。ここではＦ２．８）となる。撮像画素３１０の光電変換部１１をマイクロレンズ１０により射出瞳面９０に投影すると領域９４となり、測距瞳９２，９３を包含した広い領域となっている。

最も明るい絞り開口（Ｆ１）に対応した領域は９５、暗い絞り開口（Ｆ５．６）に対応した領域は９６である。領域９４は領域９５、９６よりも広い領域となっているので、撮像画素３１０の受光する光束は絞り開口により制限され、撮像画素３１０の出力は絞り開口値に応じて変化する。測距瞳９２、９３は領域９５より狭く、領域９６より広くなっている。したがって、絞り開口値がＦ２．８より明るい場合は、絞り開口値が変化しても焦点検出画素３１１の出力は変化せず、絞り開口値がＦ２．８より暗い場合は焦点検出画素３１１の出力は絞り開口値に応じて変化する。

撮像画素出力／焦点検出画素出力を出力比係数（絞り開口値Ｆ２．８の時に１になるとして規格化）としてグラフ化すると、図１５に示すように、開口値がＦ２．８より暗い場合には開口値に因らず一定値１であり、開口値がＦ２．８より明るい場合には、開口値が明るくなるにつれて増大する。

図１６は、一実施の形態のデジタルスチルカメラ（撮像装置）の動作を示すフローチャートである。カメラ駆動制御装置２１２はカメラの電源が投入されるとこの動作を繰り返し実行する。ステップ１００でカメラの電源がオンされると動作を開始し、ステップ１１０で撮像画素３１０のデータを間引き読み出しし、電子ビューファインダー（ＬＣＤ２１５）に表示させる。撮像画素３１０のデータを間引き読み出しする際には、焦点検出画素３１１がなるべく含まれないような設定で間引き読み出しをすることによって、表示品質を向上させることができる。逆に、焦点検出画素３１１を含むように間引き読み出しを行い、電子ビューファインダー（ＬＣＤ２１５）上に焦点検出画素出力を補正せずに表示させることによって、焦点検出位置をユーザーに識別可能に表示することもできる。

ステップ１２０では焦点検出画素列からデータを読み出す。なお、焦点検出領域は不図示の選択手段を用いて撮影者により選択されている。続くステップ１２０で焦点検出画素列に対応した一対の像データに基づいて像ズレ検出演算処理を行い、像ズレ量を演算してデフォーカス量を算出する。

ここで、図１７により像ズレ検出演算処理（相関アルゴリズム）について説明する。今、焦点検出画素列に対応する一対のデータをそれぞれｅｉ，ｆｉ（ただしｉ＝１〜ｍ）とすると、まず（１）式に示す差分型相関アルゴリズムによって相関量Ｃ（Ｌ）を求める。
Ｃ(Ｌ)＝Σ｜ｅ(ｉ＋Ｌ）−ｆｉ｜・・・（１）
（１）式において、Ｌは整数であり、一対のデータの検出ピッチを単位とした相対的シフト量である。また、Ｌのとる範囲はＬmin〜Ｌmax（図では−５〜＋５）である。さらに、Σはｉ＝ｐ〜ｑの範囲の総和演算を表し、ｐ、ｑは１≦ｐ＜ｑ≦ｍの条件を満足するように定める。さらにまた、ｐとｑの値によって焦点検出領域の大きさを設定する。

（１）式の演算結果は、図１７(ａ)に示すように、一対のデータの相関が高いシフト量Ｌ＝ｋj（図１７(ａ)ではｋj＝２）において相関量Ｃ（Ｌ）が最小になる。次に、（２）式〜（５）式による３点内挿の手法を用いて連続的な相関量に対する最小値Ｃ（Ｌ）min＝Ｃ（ｘ）を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ・・・（２），
Ｃ（ｘ）＝Ｃ（ｋj）-｜Ｄ｜・・・（３），
Ｄ＝｛Ｃ（ｋj-１）-Ｃ（ｋ j＋１）｝／２・・・（４），
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj＋１）-Ｃ（ｋ j），Ｃ（ｋj-１）-Ｃ（ｋ j）｝・・・（５）

また、（２）式で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを（６）式で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ・・・（６）
（６）式において、ＰＹは検出ピッチであり、ＫＸは一対の測距瞳の重心の開き角の大きさによって決まる変換係数である。

算出されたデフォーカス量ＤＥＦの信頼性があるかどうかは、次のようにして判定する。図１７(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の最小値Ｃ（Ｘ）の値が大きくなる。したがって、Ｃ（Ｘ）が所定値以上の場合は信頼性が低いと判定する。あるいは、Ｃ（Ｘ）をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ（Ｘ）を徐した値が所定値以上の場合は信頼性が低いと判定する。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたデフォーカス量ＤＥＦの信頼性が低いと判定する。

図１７(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲Ｌｍｉｎ〜Ｌｍａｘの間で相関量Ｃ（Ｌ）の落ち込みがない場合は、最小値Ｃ（Ｘ）を求めることができず、このような場合は焦点検出不能と判定する。

図１６に戻って動作説明を続ける。ステップ１４０において合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内か否かを判別し、合焦近傍でないときはステップ１５０へ進む。ステップ１５０ではデフォーカス量を交換レンズ２０２のレンズ駆動制御装置２０９へ送信し、交換レンズ２０２のフォーカシング用レンズ２０７を合焦位置に駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。なお、焦点検出不能な場合もこのステップ１５０に分岐し、交換レンズ２０２のレンズ駆動制御装置２０９にスキャン駆動命令を送信し、交換レンズ２０２のフォーカシング用レンズ２０７を無限〜至近間でスキャン駆動させ、ステップ１１０へ戻って上述した動作を繰り返す。

一方、ステップ１４０で合焦近傍にあると判別されたときはステップ１６０へ進み、レリーズボタン（不図示）の操作によりシャッターレリーズがなされたか否かを確認する。シャッターレリーズがなされていないときはステップ１１０へ戻って上述した動作を繰り返す。シャッターレリーズがなされたときはステップ１７０へ進み、交換レンズ２０２のレンズ駆動制御装置２０９へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（ユーザーまたは自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１１に撮像動作を行わせ、撮像素子２１１の撮像画素３１０および全ての焦点検出画素３１１から画像データを読み出す。

ステップ１８０において焦点検出画素列の各画素位置の画素データを焦点検出画素３１１のデータおよび周囲の撮像画素３１０のデータに基づいて補間する。この補間処理については詳細を後述する。ステップ１９０で撮像画素３１０のデータおよび焦点検出画素３１１の補間データからなる画像データをメモリーカード２１３に保存し、ふたたびステップ１１０へ戻って上述した動作を繰り返す。

図１８は補間処理を示すフローチャートである。説明を解りやすくするために、図１９に示すように、撮像画素３１０の緑画素の出力をＧｎ、赤画素の出力をＲｎ、青画素の出力をＢｎ、焦点検出画素３１１の出力をＡＦｎ（ｎ＝１、２、・・・）と定義する。なお、以下の説明では特定画素に注目して補間処理の流れを説明するが、すべての焦点検出画素３１１に対して同様な処理が施される。ここでは、青画素に配置された焦点検出画素Ｘ（出力ＡＦ３）の位置における画像データ（焦点検出画素Ｘの位置の仮想撮像画素出力）と、緑画素に配置された焦点検出画素Ｙ（出力ＡＦ２）の位置における画像データ（焦点検出画素Ｙの位置の仮想撮像画素出力）とを補間する例を説明する。

ステップ２００で補間処理を開始し、ステップ２１０で焦点検出画素列の周辺の画像特性に関する情報を算出する。焦点検出画素列の上側および下側の各色の平均値を示すパラメータ（Ｇａｕ、Ｇａｄ、Ｒａｕ、Ｒａｄ、Ｂａｕ、Ｂａｄ）および上側および下側の各色のバラツキ度合いを示すパラメータ（Ｇｎｕ、Ｇｎｄ、Ｒｎｕ、Ｒｎｄ、Ｂｎｕ、Ｂｎｄ）および焦点検出画素周辺の色構成比（Ｋｇ、Ｋｒ、Ｋｂ）を算出する。
Ｇａｕ＝（Ｇ１＋Ｇ２＋Ｇ３＋Ｇ４＋Ｇ５）／５，
Ｇａｄ＝（Ｇ６＋Ｇ７＋Ｇ８＋Ｇ９＋Ｇ１０）／５，
Ｒａｕ＝（Ｒ１＋Ｒ２）／２，
Ｒａｄ＝（Ｒ３＋Ｒ４）／２，
Ｂａｕ＝（Ｂ１＋Ｂ２＋Ｂ３）／３，
Ｂａｄ＝（Ｂ４＋Ｂ５＋Ｂ６）／３，
Ｇｎｕ＝（｜Ｇ３−Ｇ１｜＋｜Ｇ１−Ｇ４｜＋｜Ｇ４−Ｇ２｜＋｜Ｇ２−Ｇ５｜）／（４＊Ｇａｕ），
Ｇｎｄ＝（｜Ｇ６−Ｇ９｜＋｜Ｇ９−Ｇ７｜＋｜Ｇ７−Ｇ１０｜＋｜Ｇ１０−Ｇ８｜）／（４＊Ｇａｄ），
Ｒｎｕ＝｜Ｒ１−Ｒ２｜／Ｒａｕ，
Ｒｎｄ＝｜Ｒ３−Ｒ４｜／Ｒａｄ，
Ｂｎｕ＝（｜Ｂ１−Ｂ２｜＋｜Ｂ２−Ｂ３｜）／（２＊Ｂａｕ），
Ｂｎｄ＝（｜Ｂ４−Ｂ５｜＋｜Ｂ５−Ｂ６｜）／（２＊Ｂａｄ），
Ｋｇ＝（Ｇａｕ＋Ｇａｄ）／（Ｇａｕ＋Ｇａｄ＋Ｒａｕ＋Ｒａｄ＋Ｂａｕ＋Ｂａｄ），
Ｋｒ＝（Ｒａｕ＋Ｒａｄ）／（Ｇａｕ＋Ｇａｄ＋Ｒａｕ＋Ｒａｄ＋Ｂａｕ＋Ｂａｄ），
Ｋｂ＝（Ｂａｕ＋Ｂａｄ）／（Ｇａｕ＋Ｇａｄ＋Ｒａｕ＋Ｒａｄ＋Ｂａｕ＋Ｂａｄ）
・・・（７）

なお、色構成比Ｋｇ、Ｋｒ、Ｋｂは、焦点検出画素の周囲の撮像画素の出力に基づいて、焦点検出画素の位置に本来配置されるべき撮像画素の色の撮像画素出力と、すべての色の撮像画素出力との出力構成比である。

ステップ２２０において、焦点検出画素３１１の周辺の撮像画素３１０のデータを統計処理して各焦点検出画素３１１の位置の画像データＳ１、ここでは焦点検出画素ＸとＹの画像データＳ１（Ｘ）とＳ１（Ｙ）を算出する。
Ｓ１（Ｘ）＝（Ｂ２＋Ｂ５）／２，
Ｓ１（Ｙ）＝（Ｇ３＋Ｇ４＋Ｇ６＋Ｇ７）／４・・・（８）
焦点検出画素Ｘ（出力ＡＦ３）と周辺の青画素、緑画素との位置関係は、配置密度の低い青画素のほうが配置密度の高い緑画素より焦点検出画素Ｘから離れているため、焦点検出画素Ｘ（出力ＡＦ３）と周辺の青画素との間に細線パターン等が存在して画像パターンが大きく変化することがあり、（８）式で求めたＳ１（Ｘ）が誤差を生じやすい。

これを防止するために、青画素周辺の緑画素の出力と焦点検出画素Ｘ（出力ＡＦ３）に近い緑画素の出力に応じて、青画素出力を焦点検出画素Ｘ（出力ＡＦ３）に近い緑画素の位置における青画素出力に補正してから平均をとってもよい。
Ｓ１（Ｘ）＝Ｂ２＊Ｇ４／（Ｇ１＋Ｇ２）＋Ｂ５＊Ｇ７／（Ｇ９＋Ｇ１０）・・（９）
（９）式では配置密度の低い青画素出力を配置密度の高い緑画素出力の変化分に応じて焦点検出画素Ｘ（出力ＡＦ３）に近い位置での青画素出力に換算してから平均しているので、誤差が減少する。

統計処理して焦点検出画素Ｘ、Ｙの位置の画像データＳ１を算出する手法としては、（９）式で示した単純平均だけでなく、焦点検出画素Ｘ、Ｙに対して垂直な方向の周辺の複数箇所にある画素出力を線形補間、２次以上の多次式で補間して求めたり、メジアン処理で求めてもよい。

ステップ２３０において、焦点検出画素３１１の周辺の撮像画素３１０のデータの色構成比に応じて焦点検出画素３１１の出力を補正し、焦点検出画素３１１の位置の画像データＳ２、ここでは焦点検出画素ＸとＹの画像データＳ２（Ｘ）（焦点検出画素Ｘの位置の仮想撮像画素出力）とＳ２（Ｙ）（焦点検出画素Ｙの位置の仮想撮像画素出力）を算出する。
Ｓ２（Ｘ）＝ＡＦ３＊Ｋｂ＊Ｋｓ＊Ｋｃ，
Ｓ２（Ｙ）＝ＡＦ２＊Ｋｇ＊Ｋｓ＊Ｋｃ・・・（１０）
（１０）式において、係数Ｋｓは図１５に示した出力比係数であり、撮像時の制御Ｆ値（絞りＦ値）に応じた出力比係数が選択される。具体的には、図１５に示すグラフに対応して、Ｆ値データと出力比係数データがペアになったルックアップテーブルをカメラ駆動制御装置２１２に予め記憶させておいて使用する。出力比係数のグラフが焦点検出領域の位置（光軸からの距離）や交換レンズ２０２の射出瞳距離（撮像素子から射出瞳までの距離）に応じて変化する場合は、焦点検出領域の位置や射出瞳距離に応じて複数のルックアップテーブルを用意しておき、焦点検出位置や交換レンズ２０２の射出瞳距離（レンズ情報に含まれる）に応じて切り替えて使用する。

（１０）式において係数Ｋｃは焦点検出画素３１１と撮像画素３１０の分光特性の違いに起因する受光量の違いを調整する調整係数であり、予め測定された値がカメラ駆動制御装置２１２に記憶されている。例えば可視光領域にフラットな発光特性を有する面光源をＦ２．８より暗い絞り開口を有する撮影光学系を用いて撮像素子２１１で撮像した場合の、緑画素、赤画素、青画素および焦点検出画素の各出力をＳｇ、Ｓｒ、ＳｂおよびＳａとした場合に、調整係数Ｋｃは次式で求められる。
Ｋｃ＝（Ｓｇ＋Ｓｒ＋Ｓｂ）／Ｓａ・・・（１１）

ステップ２４０において、次のような条件判定を行って焦点検出画素３１１の周辺の画像が一様か否かを判別する。焦点検出画素Ｘの場合は、次式を満足した場合に一様と判別する。
Ｂｎｕ＜Ｔ１かつＢｎｄ＜Ｔ１・・・（１２）
（１２）式において、Ｔ１は所定のしきい値である。また、焦点検出画素Ｙの場合は、次式を満足した場合に一様と判別する。
Ｇｎｕ＜Ｔ２かつＧｎｄ＜Ｔ２・・・（１３）
（１３）式において、Ｔ２は所定のしきい値である。一様でないと判別された場合にはステップ２９０へ進み、焦点検出画素３１１の位置の画像データＳをステップ２２０の統計処理で求めたデータＳ１とする。これは画像が一様でない場合には、色構成比のデータＳ２を算出する処理がめんどうになるから、単純な平均処理を行う統計処理のデータＳ１を採用する。統計処理で求めたデータＳ１に誤差があったとしても、画像が一様でなく周囲の画像の変動が大きいから目立たない。

一方、一様であると判別された場合にはステップ２５０に進み、焦点検出画素列の上下周囲の情報を比較することによって、焦点検出画素列に対して垂直な方向に画素出力が変化するエッジパターンがあるか否かを判別する。焦点検出画素Ｘの場合は、次式を満足した場合に焦点検出画素列に対して垂直な方向に画素出力が変化するエッジパターンがあると判別する。
｜Ｂａｕ−Ｂａｄ｜＞Ｔ３・・・（１４）
（１４）式において、Ｔ３は所定のしきい値である。一方、焦点検出画素Ｙの場合は、次式を満足した場合に焦点検出画素列に対して垂直な方向に画素出力が変化するエッジパターンがあると判別する。
｜Ｇａｕ−Ｇａｄ｜＞Ｔ４・・・（１５）
（１５）式において、Ｔ４は所定のしきい値である。

焦点検出画素列に対して垂直な方向に撮像画素出力が変化するエッジパターンがあると判別された場合はステップ２６０へ進み、エッジの度合いＫｂｅ、Ｋｇｅに応じて統計処理データＳ１と色構成比データＳ２とに重み付けを行い、加重加算により焦点検出画素３１１の位置の画像データＳを求め、その後ステップ３００から図１６に示すプログラムへリターンして補間処理を終了する。

エッジの度合いＫｂｅ、Ｋｇｅは、エッジの傾きの急峻さと段差の大きさを示すものであり、次のようにして求める。焦点検出画素Ｘの場合には、
Ｋｂｅ＝｜Ｂｎｕ−Ｂｎｄ｜／（Ｔ５−Ｔ３），
ＩＦＫｂｅ＞１ＴＨＥＮＫｂｅ＝１，
Ｓ＝（１−Ｋｂｅ）＊Ｓ１（Ｘ）＋Ｋｂｅ＊Ｓ２（Ｘ）・・・（１６）
（１６）式において、Ｔ５は所定のしきい値（＞Ｔ３）である。エッジ度合いＫｂｅが高い（＝１）の場合は、Ｓ＝Ｓ２（Ｘ）となる。一方、焦点検出画素Ｙの場合には、
Ｋｇｅ＝｜Ｇｎｕ−Ｇｎｄ｜／（Ｔ６−Ｔ４），
ＩＦＫｇｅ＞１ＴＨＥＮＫｇｅ＝１，
Ｓ＝（１−Ｋｇｅ）＊Ｓ１（Ｙ）＋Ｋｇｅ＊Ｓ２（Ｙ）・・・（１７）
（１７）式において、Ｔ６は所定のしきい値（＞Ｔ４）である。エッジ度合いＫｂｅが高い（＝１）の場合は、Ｓ＝Ｓ２（Ｙ）となる。

（１６）式、（１７）式に示すエッジ度合いが低から高へ遷移する領域では、統計処理で求めたデータＳ１と色構成比に基づいて求めたデータＳ２とから、エッジの度合いＫｂｅ、Ｋｇｅにより重み付けを行って加重加算により焦点検出画素３１１の位置の画像データＳを求めているので、エッジ判定の合否に応じて画像データＳが急変することがなく、安定した画像データが得られる。所定のしきい値Ｔ３〜Ｔ６の値は、撮像素子２１１の取り付けられる不図示のオプチカルローパスフィルターの特性などに応じて最適な画像品質が得られるように定められる。例えばオプチカルローパスフィルターのフィルター効果が大きい場合には、エッジパターンもボケるため、所定のしきい値Ｔ３〜Ｔ６を緩め（小さめ）に設定する。

焦点検出画素列に対して垂直な方向に撮像画素出力が変化するエッジパターンがないと判定された場合にはステップ２７０へ進み、焦点検出画素出力と上下周囲の情報を比較することによって、焦点検出画素列上またはその近傍に細線パターンが重畳しているか否かを判別する。ここで、細線パターンとは、画素出力平均値から上方に画素出力がスパイク状に突きだしたピークパターンと、画素出力平均値から下方に画素出力がスパイク状に突きだしたボトムパターンをいう。焦点検出画素Ｘの場合は、次式を満足した場合に細線パターンありと判別する。
｜Ｓ１（Ｘ）−Ｓ２（Ｘ）｜＞Ｔ７・・・（１８）
（１８）式において、Ｔ７は所定のしきい値である。（１８）式の代わりに次式を用いて判定してもよい。
｜（Ｂａｕ＋Ｂａｄ）／２−Ｓ２（Ｘ）｜＞Ｔ７・・・（１９）
（１９）式において、Ｔ７は所定のしきい値である。

一方、焦点検出画素Ｙの場合には、次式を満足した場合に細線パターンありと判別する。
｜Ｓ１（Ｙ）−Ｓ２（Ｙ）｜＞Ｔ８・・・（２０）
（２０）式において、Ｔ８は所定のしきい値である。（２０）式の代わりに（２１）式を用いて判定してもよい。
｜（Ｇａｕ＋Ｇａｄ）／２−Ｓ２（Ｘ）｜＞Ｔ８・・・（２１）
（２１）式において、Ｔ８は所定のしきい値である。

細線がないと判断された場合はステップ２９０へ進み、焦点検出画素３１１の位置の画像データＳをステップ２２０の統計処理で求めたデータＳ１とする。これは、焦点検出画素３１１の周辺の画像が一様でかつ焦点検出画素列に画像のパターンが重畳していない場合は、統計処理で求めたデータの誤差が少ないためである。

細線があると判断された場合はステップ２８０へ進み、ピークあるいはボトムの度合いＫｂｐ、Ｋｇｐに応じて統計処理データＳ１と色構成比データＳ２とに重み付けを行い、加重加算により焦点検出画素３１１の位置の画像データＳを求め、その後ステップ３００から図１６に示すプログラムへリターンして補間処理を終了する。

ピークあるいはボトムの度合いＫｂｐ、Ｋｇｐはピークまたはボトムのレベルと急峻度であり、次のようにして求める。焦点検出画素Ｘの場合は、
Ｋｂｐ＝｜Ｓ１（Ｘ）−Ｓ２（Ｘ）｜／（Ｔ９−Ｔ７），
あるいは、
Ｋｂｐ＝｜（Ｂａｕ＋Ｂａｄ）／２−Ｓ２（Ｘ）｜／（Ｔ９−Ｔ７），
ＩＦＫｂｐ＞１ＴＨＥＮＫｂｐ＝１，
Ｓ＝（１−Ｋｂｐ）＊Ｓ１（Ｘ）＋Ｋｂｐ＊Ｓ２（Ｘ）・・・（２２）
（２２）式において、Ｔ９は所定のしきい値（＞Ｔ７）である。したがって、ピークあるいはボトムの度合いＫｂｐが高い（＝１）の場合は、Ｓ＝Ｓ２（Ｘ）となる。

一方、焦点検出画素Ｙの場合は、
Ｋｇｐ＝｜Ｓ１（Ｙ）−Ｓ２（Ｙ）｜／（Ｔ１０−Ｔ８），
あるいは、
Ｋｇｐ＝｜（Ｇａｕ＋Ｇａｄ）／２−Ｓ２（Ｘ）｜／（Ｔ１０−Ｔ８），
ＩＦＫｇｐ＞１ＴＨＥＮＫｇｐ＝１，
Ｓ＝（１−Ｋｇｐ）＊Ｓ１（Ｙ）＋Ｋｇｐ＊Ｓ２（Ｙ）・・・（２３）
（２３）式において、Ｔ１０は所定のしきい値（＞Ｔ８）である。したがって、ピークあるいはボトムの度合いＫｂｐが高い（＝１）の場合は、Ｓ＝Ｓ２（Ｙ）となる。

（２２）式、（２３）式のようにピークあるいはボトムの度合いが低から高へ遷移する領域では、統計処理で求めたデータＳ１と色構成比に基づいてデータＳ２とから、ピークまたはボトムの度合いＫｂｐ、Ｋｇｐにより重み付けを行って加重加算により焦点検出画素３１１の位置の画像データＳを求めているので、細線判定の合否に応じて画像データＳが急変することがなく、安定した画像データが得られる。

所定のしきい値Ｔ７〜Ｔ１０の値は、撮像素子２１１の取り付けられる不図示のオプチカルローパスフィルターの特性などに応じて最適な画像品質が得られるように定められる。例えばオプチカルローパスフィルターのフィルター効果が大きい場合には、細線パターンもボケるため、所定のしきい値Ｔ７〜Ｔ１０を緩め（小さめ）に設定する。

ステップ２９０では焦点検出画素位置の画像データＳを焦点検出画素３１１の周辺の撮像画素３１０のみの統計処理で求めたデータＳ１とし、ステップ３００へ進む。ステップ３００では補間処理を終了し図１６に示すプログラムへリターンする。

《一実施の形態の変形例》
図７に示す撮像素子２１１では焦点検出画素３１１を隙間なく配列した例を示したが、図２０、図２１に示す撮像素子２１１Ａ、２１１Ｂのように焦点検出画素３１１を１画素おきに配列してもよい。図２０は青画素の位置に焦点検出画素３１１を一列に配列した撮像素子２１１Ａの部分拡大図を示し、図２１は緑画素の位置に焦点検出画素３１１を一列に配列した撮像素子２１１Ｂの部分拡大図を示す。焦点検出画素３１１の配列ピッチ（配列間隔）を大きくすることによって、焦点検出精度が多少低下するが、撮像素子２１１Ａ、２１１Ｂの中の焦点検出画素３１１の密度が低くなるので、上述した補間処理後の画像品質を向上させることができる。

図２０に示す撮像素子２１１Ａの場合、図２２に示すように青画素位置に配置された焦点検出画素ＡＦ１〜ＡＦ５の周囲に緑画素が増えるので、緑画素の出力Ｇ１１、Ｇ１２を用いれば焦点検出画素位置の画像データを求める際の精度がさらに向上し、補間処理後の画像品質をさらに向上させることができる。また、焦点検出画素３１１の間に撮像画素３１０が配置されるので、焦点検出画素３１１の配列方向に存在する撮像画素３１０の出力と、焦点検出画素列の周囲に存在する撮像画素３１０の出力とを比較することによって、焦点検出画素列上にエッジパターンや細線パターンが重畳しているか否かの判定をより正確に行うことができる。

例えば図２２において、出力ＡＦ３を有する焦点検出画素３１１の位置の統計処理データＳ１（Ｘ）を求める際に、（９）式の代わりに次式を用いることができる。
Ｓ１（Ｘ）＝（Ｂ２＊（Ｇ１１+Ｇ１２）／（Ｇ１＋Ｇ２）＋Ｂ５＊（Ｇ１１+Ｇ１２)／（Ｇ９＋Ｇ１０））／２・・・（２４）
図２１に示す撮像画素２１１Ｂの場合は、焦点検出画素３１１が配置される緑画素はベイヤー配列の中での配置密度が高いため、補正による誤差が画像品質に与える影響を少なくすることができる。

図２３に示す撮像素子２１１Ｃは、焦点検出画素３１１を２画素おきに配列している。焦点検出画素３１１の配列ピッチ（配列間隔）を大きくすることによって、焦点検出精度が多少低下するが、焦点検出画素３１１の密度がさらに低くなるので、補正後の画像品質をさらに向上させることができる。また、焦点検出画素３１１の間に緑画素と青画素が配置されるので、焦点検出画素３１１の配列方向に存在する緑画素出力／青画素出力と、焦点検出画素列の周囲に存在する緑画素出力／青画素出力とを比較することによって、焦点検出画素列上に緑または青のエッジパターンや細線パターンが重畳しているか否かの判定をより正確に行うことができる。

図７に示す撮像素子２１１において、焦点検出画素３１１はひとつの画素内に一対の光電変換部１２、１３を備えている。これに対し図２４に示す撮像素子２１１Ｄでは焦点検出画素３１３，３１４がひとつの画素内にひとつの光電変換部を備えている。図２４に示す焦点検出画素３１３と焦点検出画素３１４が対になっており、この一対の焦点検出画素３１３，３１４が図７に示す焦点検出画素３１１に相当する。

図２５にこれらの焦点検出画素３１３，３１４の詳細な構成を示す。図２５(ａ)に示すように、焦点検出画素３１３はマイクロレンズ１０と単一の光電変換部１６を備えている。また、図２５(ｂ)に示すように、焦点検出画素３１４はマイクロレンズ１０と単一の光電変換部１７を備えている。一対の焦点検出画素３１３，３１４の一対の光電変換部１６，１７は、図１３に示すように、マイクロレンズ１０により交換レンズ２０２の射出瞳９０に投影され、一対の測距瞳９２，９３を形成する。したがって、一対の焦点検出画素３１３，３１４から焦点検出に用いる一対の像の出力を得ることができる。図２４に示す撮像素子２１１Ｄのように、焦点検出画素３１３、３１４内に単一の光電変換部１６、１７を備えることによって、撮像素子２１１Ｄの読み出し回路構成の複雑化を防止することができる。

図７に示す撮像素子２１１では焦点検出画素３１１に色フィルターを設置しない例を示したが、撮像画素３１０と同色の色フィルターの内のひとつの色フィルター（例えば緑フィルター）を備えるようにした場合でも、本発明を適用することができる。このようにすれば、緑画素の位置に配置された焦点検出画素３１１の画像データの補間は、（１０）式の代わりに次式を用いることができ、緑画素の位置に配置された焦点検出画素３１１の画像データの補間精度を向上させることができる。
Ｓ２（Ｙ）＝ＡＦ２＊Ｋｓ＊Ｋｃ・・・（２５）
また、青画素の位置に配置された焦点検出画素３１１の画像データの補間は、（１０）式の代わりに次式を用いることができる。
Ｓ２（Ｘ）＝ＡＦ３＊（（Ｂａｕ＋Ｂａｄ）／（Ｇａｕ＋Ｇａｄ））＊Ｋｓ＊Ｋｃ・・・（２６）

図７に示す撮像素子２１１では焦点検出画素３１１に色フィルターを設置しない例を示したが、撮像画素３１０のベイヤー配列と同色の色フィルターを設置するようにした場合でも、本発明を適用することができる。この構成の場合には、焦点検出画素３１１の出力は同色の色フィルターの焦点検出画素３１１ごとに像ズレ検出が行われることになる。このようにすればさらに画像補間精度が向上し、高品質な補正画像を得ることができる。緑画素の位置に配置された焦点検出画素３１１の画像データは（２５）式で求められ、青画素の位置に配置された焦点検出画素３１１の画像データは次式で求められる。
Ｓ２（Ｘ）＝ＡＦ３＊Ｋｓ＊Ｋｃ・・・（２７）

図１６に示す動作では補正した画像データをメモリーカード２１３に保存する例を示したが、補正した画像データを電子ビューファインダーやボディの背面に設けられた背面モニター画面（不図示）に表示するようにしてもよい。

上述した（７）式では焦点検出画素列の周辺の画像特性に関する情報を算出しているが、算出に用いる画素領域の大きさはこれに限定されず、適宜変更することが可能である。例えばオプチカルローパスフィルターの効きが強い場合には画像のボケも大きくなるので、（７）式の算出に用いる画素領域の大きさを拡大する。

上述した（８）式では、焦点検出画素３１１の対角近傍４箇所の緑画素出力を平均して緑画素位置の画像データを求める例を示したが、焦点検出画素３１１の配列方向に画素出力が変化するエッジパターンが焦点検出画素３１１に重畳した場合は誤差が大きくなってしまう。そこで、次の（２８）式を満足した場合には、焦点検出画素３１１の配列方向に画素出力が変化するエッジパターンが焦点検出画素３１１に重畳したと判定し、（２９）式を用いて緑画素位置の画像データを焦点検出画素３１１の上下２箇所の緑画素出力を平均して求めるようにしてもよい。
｜（Ｇ３＋Ｇ６）−（Ｇ６＋Ｇ７）｜＞Ｔ１１・・・（２８）
（２８）式において、Ｔ１１は所定のしきい値である。
Ｓ１（Ｙ）＝（Ｇ１＋Ｇ９）／２・・・（２９）

なお、上述した撮像素子２１１、２１１Ａ、２１１Ｂ、２１１Ｃ、２１１Ｄは、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーで形成することができる。また、上述した一実施の形態ではカメラボディ２０３に交換レンズ２０２を装着するディジタルスチルカメラ２０１を撮像装置の一例として説明したが、本願発明は上述した一実施の形態のデジタルスチルカメラ２０１に限定されず、レンズ一体型のデジタルスチルカメラやビデオカメラにも適用することができる。さらに、本願発明は携帯電話などに内蔵される小型カメラモジュールや監視カメラなどにも適用することができる。

このように、一実施の形態によれば、異なる分光感度特性を有する複数の撮像用画素を規則的に配列した画素ユニットを二次元状に複数配列するとともに、この配列中に画素ユニットのすべての分光感度を包含する感度を有する焦点検出用画素を有する撮像素子を備え、焦点検出用画素の周囲の撮像用画素の出力に基づいて焦点検出用画素の位置における画像の出力構成を演算し、出力構成と焦点検出用画素の出力とに基づいて焦点検出用画素の位置における画像の出力を推定するようにしたので、焦点検出用画素の位置における画像出力、すなわち仮想の撮像画素出力を含む撮像画素間の出力構成が焦点検出画素の周囲の撮像画素の出力構成と揃い、偽色の発生を抑えることができる。また、焦点検出画素の出力に基づいて焦点検出用画素の位置における画像の出力を推定するので、焦点検出用画素列に対して垂直な方向に画像が変化するエッジパターン画像や細線パターン画像が焦点検出画素に重畳した場合でも、偽色や偽パターンの発生、あるいはパターンの消失を抑えることができ、画像品質の低下を防ぐことができる。

また、一実施の形態によれば、焦点検出画素の出力を出力構成で按分して焦点検出画素の位置における画像の出力、すなわち仮想の撮像画素出力を推定するようにしたので、焦点検出画素に重畳するエッジパターン画像や細線パターン画像を正確に検出することができ、偽色や偽パターンの発生、あるいはパターンの消失を抑えることができる。

一実施の形態のデジタルスチルカメラの構成を示す図交換レンズの予定結像面に設定した撮像画面上の焦点検出領域を示す図色フィルターのベイヤー配列を示す図各色フィルターの分光特性を示す図緑画素の分光特性を示す図焦点検出画素の分光特性を示す図撮像素子の詳細な構成を示す図撮像画素の構成を示す図焦点検出画素の構成を示す図色フィルターの補色フィルター配列を示す図撮像画素の断面図焦点検出画素の断面図瞳分割方式による焦点検出方法を説明する図射出瞳面における投影関係を示す正面図絞りＦ値に対する撮像画素と焦点検出画素の出力比係数を示す図一実施の形態のデジタルスチルカメラの動作を示すフローチャート像ズレ検出演算処理（相関アルゴリズム）を説明するための図補間処理を示すフローチャート補間処理を説明するための撮像素子の部分拡大図撮像素子の変形例を示す図撮像素子の他の変形例を示す図変形例の撮像素子の補間処理を説明するための図撮像素子の他の変形例を示す図撮像素子の他の変形例を示す図焦点検出画素の変形例を示す図

符号の説明

２０２交換レンズ
２１１、２１１Ａ、２１１Ｂ、２１１Ｃ、２１１Ｄ撮像素子
２１２カメラ駆動制御装置
３１０撮像用画素
３１１、３１３、３１４焦点検出用画素

Claims

異なる分光感度特性を有する複数の撮像用画素を規則的に配列した画素ユニットを二次元状に複数配列するとともに、前記配列中の一部の領域において前記撮像画素に置き換えられて配置され、前記画素ユニットのすべての分光感度を包含する感度を有する焦点検出用画素を備えた撮像素子と、
前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記焦点検出用画素の位置において置き換えられた撮像用画素の分光感度の第１の出力成分を算出し、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記画素ユニットのすべての分光感度を包含する感度の第２の出力成分を算出し、前記第１の出力成分と前記第２の出力成分との色成分比を演算するとともに、前記焦点検出用画素の出力を前記色成分比により補正することにより、前記焦点検出用画素の位置において置き換えられた撮像用画素の出力を算出する演算手段とを備えることを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記画素ユニットは、赤色、緑色および青色に感度を有する３種類の画素をベイヤー配列としたものであることを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記撮像素子上の青色と緑色に感度を有する前記撮像用画素が直線状に配列された行または列に相当する位置に前記焦点検出用画素を配列したことを特徴とする撮像装置。
請求項１〜３のいずれか１項に記載の撮像装置において、
前記撮像用画素と前記焦点検出用画素は、マイクロレンズと光電変換部を有することを特徴とする撮像装置。
請求項１〜４のいずれか１項に記載の撮像装置において、
前記焦点検出用画素は、撮影光学系の射出瞳の一対の領域を通過する一対の光束によって形成される一対の像を検出することを特徴とする撮像装置。
請求項１〜５のいずれか１項に記載の撮像装置を備えたことを特徴とするカメラ。
異なる分光感度特性を有する複数の撮像用画素を規則的に配列した画素ユニットを二次元状に複数配列するとともに、前記配列中の一部の領域において前記撮像画素に置き換えられて配置され、前記画素ユニットのすべての分光感度を包含する感度を有する焦点検出用画素を備えた撮像素子の画像処理方法であって、
前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記焦点検出用画素の位置において置き換えられた撮像用画素の分光感度の第１の出力成分を算出し、前記焦点検出用画素の周囲の前記撮像用画素の出力に基づいて前記画素ユニットのすべての分光感度を包含する感度の第２の出力成分を算出し、前記第１の出力成分と前記第２の出力成分との色成分比を演算するとともに、前記焦点検出用画素の出力を前記色成分比により補正することにより、前記焦点検出用画素の位置において置き換えられた撮像用画素の出力を算出する演算処理を備えることを特徴とする画像処理方法。
第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に交互に配列された前記第１及び第２撮像用画素の一部を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子と、
前記第１撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出する第１補間手段と、
前記第２撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する第２補間手段と、
前記第１及び第２撮像用画素の撮像信号と前記第１及び第２補間信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする撮像装置。
請求項８に記載の撮像装置において、
前記第１補間手段は、前記比を前記所定範囲内の前記第１撮像用画素の撮像信号の加算値を前記所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値で除算して算出し、
前記第２補間手段は、前記比を前記所定範囲内の前記第２撮像用画素の撮像信号の加算値を前記所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値で除算して算出することを特徴とする撮像装置。
請求項８または９に記載の撮像装置において、
前記撮像用画素群は、第３分光感度特性を有し、撮像信号を出力する複数の第３撮像用画素を更に含み、
前記第１、第２及び第３撮像用画素は、所定の配列パターンに従って配置され、
前記焦点検出用画素の分光感度は、前記第１、第２、及び第３分光感度を包含し、
前記第１補間手段は、前記第１補間信号の算出のために、前記焦点検出用画素の周囲の所定範囲内の前記第１、第２及び第３撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出し、
前記第２補間手段は、前記第２補間信号の算出のために、前記焦点検出用画素の周囲の所定範囲内の前記第１、第２及び第３撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出することを特徴とする撮像装置。
請求項１０に記載の撮像装置において、
前記第１、第２、及び第３撮像用画素は、それぞれ、緑色、青色、及び赤色に感度を有する分光感度特性を有し、
前記第１、第２及び第３撮像用画素の所定の配列パターンは、ベイヤー配列であることを特徴とする撮像装置。
請求項１１に記載の撮像装置において、
前記複数の焦点検出用画素は、前記第１及び第２の撮像用画素が交互に配置された撮像画素列において、互いに隣接配置された第１及び第２撮像用画素を置換して配置されることを特徴とする撮像装置。
請求項８〜１２のいずれか一項に記載の撮像装置において、
前記撮像用画素と前記焦点検用画素は、マイクロレンズと光電変換部を有することを特徴とする撮像装置。
請求項８〜１３のいずれか一項に記載の撮像装置において、
撮影光学系と、を更に備え、
前記焦点検出用画素は、前記撮影光学系の射出瞳の一対の領域を通過する一対の光束によって形成される一対の像を検出することを特徴とする撮像装置。
請求項８〜１４のいずれか一項に記載の撮像装置を備えたことを特徴とするカメラ。
第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に交互に配列された前記第１及び第２撮像用画素の一部を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子の画像処理方法であって、
前記第１撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出する第１補間処理と、
前記第２撮像用画素を置換して配置された焦点検出用画素について、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する第２補間処理と、
前記第１及び第２撮像用画素の撮像信号と前記第１及び第２補間信号とに基づき画像データを生成する画像データ生成処理と、を備えることを特徴とする画像処理方法。
第１分光感度特性を有し、撮像信号を出力する複数の第１撮像用画素と、第２分光感度特性を有し、撮像信号を出力する第２撮像用画素とを含み前記第１及び第２撮像用画素が所定の配列パターンに従って配置された撮像用画素群と、所定の方向に配列された前記第１及び第２撮像用画素の少なくとも一方を置換して配置され、前記第１分光感度及び第２分光感度を包含する分光感度特性を有する複数の焦点検出用画素と、を備える撮像素子と、
前記焦点検出用画素によって置換された撮像用画素が前記第１撮像用画素である場合には、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第１撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第１補間信号を算出し、他方、前記焦点検出用画素によって置換された撮像用画素が前記第２撮像用画素である場合には、当該焦点検出用画素の周囲の所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値と前記所定範囲内の前記第２撮像用画素の撮像信号の加算値との比を算出し、前記比を当該焦点検出用画素の出力に乗算して当該焦点検出用画素における第２補間信号を算出する補間手段と、
前記第１及び第２撮像用画素の撮像信号と前記第１または第２補間信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする撮像装置。
請求項１７に記載の撮像装置において、
前記補間手段は、前記焦点検出用画素によって置換された撮像用画素が前記第１撮像用画素である場合には、前記比を前記所定範囲内の前記第１撮像用画素の撮像信号の加算値を前記所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値で除算して算出し、他方、前記焦点検出用画素によって置換された撮像用画素が前記第２撮像用画素である場合には、前記比を前記所定範囲内の前記第２撮像用画素の撮像信号の加算値を前記所定範囲内の前記第１及び第２撮像用画素のそれぞれの撮像信号の加算値で除算して算出することを特徴とする撮像装置。