JP5407314B2 - 焦点検出装置および撮像装置 - Google Patents

Description

本発明は撮像素子と撮像装置に関する。

光学系を通過する一対の光束が形成する一対の像に対応した一対の像信号を生成する複数個の焦点検出用画素の配列を、撮像画素の配列中に混在させたイメージセンサーを備え、撮像画素の出力により画像信号を生成するとともに、焦点検出画素が生成する一対の像信号のズレ量に基づいて、光学系の焦点調節状態を検出する、いわゆる瞳分割位相差検出方式の焦点検出機能を備えた撮像装置が知られている（例えば、特許文献１参照）。
このような撮像装置において、焦点検出画素はマイクロレンズとその背後に配置された光電変換部とから構成されるとともに、焦点検出画素の配列により生成された一対の像信号を相対的にシフトした場合の相関度に基づいてズレ量を算出し、このズレ量をデフォーカス量に変換することによって焦点検出を行っている。また、画像データを生成する際には、焦点検出画素位置における撮像用の画素データを焦点検出画素の周囲に配置された撮像画素の画素データに基づいて補間して求めている。
特開２００７−２７９３１２号公報

しかしながら、大きなデフォーカス量まで検出するためには、一対の像信号のジフト範囲も大きくしなければならないので、必然的に焦点検出画素を多数配列しなければならず、その結果補間される画素データも増加するので、画像品質も補間画素データの数に比例して劣化してしまう傾向があった。

請求項１の発明による焦点検出装置は、撮像面上に二次元状に配列された撮像画素の配列の一部に、前記撮像面上に像を形成する光学系の射出瞳の一対の領域を通過した一対の光束の内、一方の光束を受光する第１焦点検出画素と他方の光束を受光する第２焦点検出画素とを一列に配列した焦点検出画素列が配置された撮像素子であって、前記焦点検出画素列の中央部領域では前記第１焦点検出画素と前記第２焦点検出画素とが交互に配列され、前記焦点検出画素列の端部領域では前記第１焦点検出画素が配列されずに前記第２焦点検出画素と少なくとも1つの前記撮像画素とが交互に配列された撮像素子と、前記中央部領域に配置された前記第１焦点検出画素の配列が生成する第１データ列を基準データ列として固定し、前記基準データ列に対して、前記中央部領域と前記端部領域との両方に配置された前記第２焦点検出画素の配列が生成する第２データ列を副データとしてシフトさせることによって、前記一対の光束が形成する一対の像のズレ量を演算するズレ量演算手段と、前記ズレ量を前記撮像面と前記光学系の合焦面との間のデフォーカス量に変換する変換手段と、を備え、前記ズレ量演算手段は、前記第１データ列に対して前記第２データ列を前記第２焦点検出画素の配列ピッチ単位のシフト量でシフトさせ、前記第１データ列と前記第２データ列との相関度を演算するとともに、最も高い相関度を示すシフト量に応じて前記第１データ列と前記第２データ列の相対的なズレ量を演算することを特徴とする。

本発明によれば、瞳分割型の焦点検出画素を撮像画素と混在させた撮像素子において、大きなデフォーカス量まで検出可能にするとともに、画像劣化の度合いを最小限に押さえることができる。

一実施の形態の撮像素子を備えた撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。図１は一実施の形態のカメラの構成を示すカメラの横断面図である。一実施の形態のデジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。この撮像素子２１２については詳細を後述する。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理して画像を生成し、メモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、フォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じてレンズ情報を更新する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択する。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

図２は、交換レンズ２０２の撮影画面上における焦点検出位置を示す図であり、後述する撮像素子２１２上の焦点検出画素列が焦点検出の際に撮影画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この例では、矩形の撮影画面１００上の中央および上下の３箇所に焦点検出エリア１０１〜１０３が配置される。長方形で示す焦点検出エリアの長手方向に、焦点検出画素が直線的に配列される。なお、ここでは焦点検出エリア１０１〜１０３が図の上下方向に延びた矩形とされているが、これに限られない。左右方向または斜め方向に延びた矩形とされてもよい。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示す。なお、焦点検出画素配列は長いので、配列の上端部近傍、中央近傍、下端部近傍を分割して示している。撮像素子２１２には撮像画素３１０が二次元正方格子状（緑画素、赤画素、青画素からなるベイヤー配列）に稠密に配列されるとともに、焦点検出エリア１０１に対応する位置には焦点検出用の焦点検出画素３１３、３１４が垂直方向の直線上に交互に配列される。ただし、焦点検出画素配列の上端部および下端部近傍においては焦点検出画素３１４のみが配置され、焦点検出画素３１３が配置されるべき画素位置には撮像画素３１０（青画素）が配置される。焦点検出画素３１３、３１４はそれぞれ撮像画素の青画素と緑画素が配置されるべき位置に配置される。なお、図示を省略するが、焦点検出エリア１０２、１０３の近傍の構成も図３に示す構成と同様である。

撮像画素３１０は、図４に示すようにマイクロレンズ１０、光電変換部１１、および色フィルター（不図示）から構成される。色フィルターは赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３種類からなり、それぞれの分光感度は図６に示す特性になっている。撮像素子２１２には、各色フィルターを備えた撮像画素３１０がベイヤー配列されている。

焦点検出画素３１３は、図５(ａ)に示すようにマイクロレンズ１０と光電変換部１３とから構成され、光電変換部１３の形状は矩形である。また、焦点検出画素３１４は、図５(ｂ)に示すようにマイクロレンズ１０と光電変換部１４とから構成され、光電変換部１４の形状は矩形である。焦点検出画素３１３と焦点検出画素３１４とをマイクロレンズ１０を重ね合わせて表示すると、光電変換部１３と１４が垂直方向に並んでいる。

焦点検出画素３１３、３１４には光量をかせぐために色フィルターが設けられておらず、その分光特性は光電変換を行うフォトダイオードの分光感度と、赤外カットフィルター（不図示）の分光特性とを総合した分光特性（図７参照）となる。つまり、図６に示す緑画素、赤画素および青画素の分光特性を加算したような分光特性となり、その感度の光波長領域は緑画素、赤画素および青画素の感度の光波長領域を包括している。

焦点検出用の焦点検出画素３１３、３１４は、撮像画素３１０のＢとＧが配置されるべき列に配置されている。焦点検出用の焦点検出画素３１３、３１４が、撮像画素３１０のＢとＧが配置されるべき列に配置されているのは、焦点検出画素の位置における撮像用の画像信号を求めるための補間処理において補間誤差が生じた場合に、人間の視覚特性上、赤画素の補間誤差に比較して青画素の補間誤差が目立たないためである。

撮像画素３１０の光電変換部１１は、マイクロレンズ１０によって最も明るい交換レンズの射出瞳径（例えばＦ１．０）を通過する光束をすべて受光するような形状に設計される。また、焦点検出画素３１３、３１４の光電変換部１３、１４は、マイクロレンズ１０によって交換レンズの射出瞳の一対の所定の領域を通過する光束をそれぞれ受光するような形状に設計される。

図８は撮像画素３１０の断面図である。撮像画素３１０では撮像用の光電変換部１１の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１１の形状が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。なお、不図示の色フィルターはマイクロレンズ１０と光電変換部１１の中間に配置される。

図９(ａ)は焦点検出画素３１３の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１３において、光電変換部１３の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１３の形状が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１３の断面構造についても、図９(ａ)に示す断面構造と同様である。

図９(ｂ)は焦点検出画素３１４の断面図である。画面中央の焦点検出エリア１０１に配置された焦点検出画素３１４において、光電変換部１４の前方にマイクロレンズ１０が配置され、マイクロレンズ１０により光電変換部１４の形状が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。なお、画面上下の焦点検出エリア１０２、１０３に配置された焦点検出画素３１４の断面構造についても、図９(ｂ)に示す断面構造と同様である。

図１０は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。なお、焦点検出画素の部分は拡大して示す。図において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０はマイクロレンズ、１１，１３、１４は光電変換部、３１０は撮像画素、３１３、３１４は焦点検出画素、７１は撮影光束、７３、７４は焦点検出光束である。

９５は、マイクロレンズ１０により投影された光電変換部１１の領域である。また、９３は、マイクロレンズ１０により投影された光電変換部１３の領域であり、この明細書では測距瞳と呼ぶ。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４の領域であり、この明細書では測距瞳と呼ぶ。図１０では、説明を解りやすくするために９３，９４、９５楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。

図１０では、撮影光軸に隣接する４つの画素（焦点検出画素３１３、３１４と２の撮像画素３１０）を模式的に例示しているが、焦点検出エリア１０１のその他の焦点検出画素および撮像画素においても、また画面周辺部の焦点検出エリア１０２、１０３の焦点検出画素および撮像画素においても、各光電変換部はそれぞれ対応した領域９５および測距瞳９３、９４から各マイクロレンズに到来する光束を受光するように構成されている。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ１０は交換レンズ２０２（図１参照）の予定結像面近傍に配置されており、マイクロレンズ１０によりその背後に配置された光電変換部１１，１３、１４の形状がマイクロレンズ１０から測距瞳距離ｄだけ離間した射出瞳９０上に投影され、その投影形状は領域９５および測距瞳９３，９４を形成する。すなわち、焦点検出画素においては投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。

光電変換部１３は測距瞳９３を通過し、焦点検出画素３１３のマイクロレンズ１０に向う光束７３によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。また、光電変換部１４は測距瞳９４を通過し、焦点検出画素３１４のマイクロレンズ１０に向う光束７４によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。同様に、光電変換部１１は領域９５を通過し、撮像画素のマイクロレンズ１０に向う光束９２によりマイクロレンズ１０上に形成される像の強度に対応した信号を出力する。

上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３と測距瞳９４をそれぞれ通過する焦点検出用光束が画素列上に形成する一対の像の強度分布に関する情報が得られる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

図１１は、一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップ１００でカメラの電源がオンされると、ステップ１１０以降の撮像動作を開始する。ステップ１１０において撮像画素のデータを間引き読み出し、電子ビューファインダーに表示させる。続くステップ１２０では焦点検出画素列から一対の像に対応した一対の像データを読み出す。なお、焦点検出エリアは、撮影者が焦点検出エリア選択部材（不図示）を用いて焦点検出エリア１０１〜１０３の内のいずれかを予め選択しているものとする。

ステップ１３０では読み出された一対の像データに基づいて後述する像ズレ検出演算処理（相関演算処理）を行い、像ズレ量を演算してデフォーカス量に変換する。ステップ１４０で合焦近傍か否か、すなわち算出されたデフォーカス量の絶対値が所定値以内であるか否かを調べる。合焦近傍でないと判定された場合はステップ１５０へ進み、デフォーカス量をレンズ駆動制御装置２０６へ送信し、交換レンズ２０２のフォーカシングレンズ２１０を合焦位置に駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させる。その後、ステップ１１０へ戻って上述した動作を繰り返す。

ステップ１４０で合焦近傍であると判定された場合はステップ１６０へ進み、シャッターボタン（不図示）の操作によりシャッターレリーズがなされたか否かを判別する。シャッターレリーズがなされていないと判定された場合はステップ１１０へ戻り、上述した動作を繰り返す。一方、シャッターレリーズがなされたと判定された場合はステップ１７０へ進み、レンズ駆動制御装置２０６へ絞り調整命令を送信し、交換レンズ２０２の絞り値を制御Ｆ値（撮影者または自動により設定されたＦ値）にする。絞り制御が終了した時点で、撮像素子２１２に撮像動作を行わせ、撮像素子２１２の撮像画素３１０および全ての焦点検出画素３１３，３１４から画像データを読み出す。

ステップ１８０において、焦点検出画素列の各画素位置の画素データを焦点検出画素の周囲の撮像画素のデータに基づいて画素補間する。続くステップ１９０では、撮像画素のデータおよび補間されたデータからなる画像データをメモリーカード２１９に記憶し、ステップ１１０へ戻って上述した動作を繰り返す。

次に、図１１のステップ１３０における像ズレ検出演算処理（相関演算処理）の詳細について、以下に説明する。

像ズレ検出の際には、焦点検出エリア１０１〜１０３において中央部のみに存在する焦点検出画素３１３の配列が基準データ列となり、一方、上端部、中央部および下端部に存在する焦点検出画素３１４の配列が副データ列となる（図３参照）。そして、焦点検出画素３１３の配列が生成する基準データ列（Ａ１ｎ、ただしｎ＝０〜Ｎ）が固定され、この基準データ列に対し焦点検出画素３１４の配列が生成する副データ列（Ａ２ｎ、ただしｎ＝−ｍ〜Ｎ+ｍ）が相対的にデータ列のデータ間隔（データピッチ）だけ順次シフトされ、各シフトにおける相関量が下記(１)式により計算される。
Ｃ（ｋ）＝Σ｜Ａ１ｎ−Ａ２ｎ+ｋ｜ ・・・(１)
(１)式において、Σ演算はｎについて０〜Ｎまでの積算を行う。シフト量ｋは整数であり、(１)式の演算はｋ＝−ｍから＋ｍの範囲で行われる。

図１２は、縦軸にデータ値、横軸にデータ位置をとって基準データ列と副データ列の波形を示したグラフであって、○が焦点検出画素３１３に対応する基準データ列を示し、●が焦点検出画素３１４に対応する副データ列を示している。図１２において、上記(１)式の演算の様子を簡略的に説明すると、基準データ列の範囲αを固定して、シフト量ｋ（ｋ＝−４、−３・・・、＋３）に応じて副データ列の範囲をβ１、β２・・・β８と変更しながら(１)式の演算を行うことになる。

(１)式の演算結果は、図１３(ａ)に示すように、一対のデータの相関が高いシフト量（図１３(ａ)ではｋ＝ｋj＝２）において相関量Ｃ(k)が極小（小さいほど相関度が高い）になる。下記(２)〜(５)式による３点内挿の手法を用いて、連続的な相関量に対する極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ ・・・(２)、
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜ ・・・(３)、
Ｄ＝｛Ｃ(ｋj-１)−Ｃ(ｋj+１)｝／２ ・・・(４)、
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+１)−Ｃ(ｋj)，Ｃ(ｋj-１)−Ｃ(ｋj)｝・・・(５)

(２)式で算出されたずらし量ｘの信頼性があるかどうかは、以下のようにして判定される。図１３(ｂ)に示すように、一対のデータの相関度が低い場合は、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値が所定値以上の場合は、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいはまた、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図１３(ｃ)に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができず、このような場合は焦点検出不能と判定する。

算出されたずらし量ｘの信頼性があると判定された場合は、下記(６)式により像ズレ量ｓｈｆｔに換算される。
ｓｈｆｔ＝ＰＹ・（ｘ−０．５） ・・・(６)
(６)式において、ＰＹは検出ピッチ（焦点検出画素３１３または３１４どうしの実際の間隔）であり、−０．５は焦点検出画素３１３と焦点検出画素３１４が半検出ピッチすれて配置されていることを補正するためのオフセット量である。(６)式で算出された像ズレ量に所定の変換係数ａを乗じてデフォーカス量ｄｅｆへ変換する。
ｄｅｆ＝ａ・ｓｈｆｔ ・・・(７)

焦点検出画素が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている場合には、光量バランスに対して像ズレ検出精度を維持できる(８)式のような相関演算を施してもよい。
Ｃ(k)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜ ・・・(８)
(８)式において、Σ演算はｎについて０〜Ｎ−１までの積算を行う。

図１１のステップ１８０における焦点検出画素位置の画像データの補間演算の詳細について、図１４および図１５を参照して説明する。なお、以下の説明では、あるひとつの焦点検出画素に注目した処理について説明するが、同様な処理をすべての焦点検出画素位置の画像データの算出に適用する。

図１４は、焦点検出画素配列の中央部における焦点検出画素（斜線部）を含んだ領域の拡大図であって、画素単位換算で７行５列の領域に対応する撮像画素のデータ（Ｂ１１〜Ｂ７５）を画素のレイアウトに対応して示している。Ｂ１３ａ、Ｇ２３ａ、Ｂ３３ａ、Ｇ４３ａ、Ｂ５３ａ、Ｇ６３ａ、Ｂ７３ａは焦点検出画素位置に仮想的な撮像画素が配置されているとした場合の各撮像画素のデータ（補間すべき撮像画素データ）である。なお、以下の説明では代表としてＢ３３ａ、Ｇ４３ａを補間する場合の処理について説明するが、同様な処理を適用することでその他の焦点検出画素位置に撮像画素が配置されているとした場合の各撮像画素のデータを補間することができる。
Ｂ３３ａ＝（Ｂ１１＋Ｂ３１＋Ｂ５１＋Ｂ１５＋Ｂ３５＋Ｂ５５）／６、
Ｇ４３ａ＝（Ｇ３２＋Ｇ４１＋Ｇ５２＋Ｇ３４＋Ｇ４５＋Ｇ５４）／６ ・・・(９)

図１５は、焦点検出画素配列の上端部または下端部における焦点検出画素（斜線部）を含んだ領域の拡大図であって、画素単位換算で７行５列の領域に対応する撮像画素のデータ（Ｂ１１〜Ｂ７５）を画素のレイアウトに対応して示している。Ｇ２３ａ、Ｇ４３ａ、Ｇ６３ａは焦点検出画素位置に仮想的な撮像画素が配置されているとした場合の各撮像画素のデータ（補間すべき撮像画素データ）である。なお、以下の説明では代表としてＧ４３ａを補間する場合の処理について説明するが、同様な処理を適用することでその他の焦点検出画素位置に撮像画素が配置されているとした場合の各撮像画素のデータを補間することができる。
Ｇ４３ａ＝（Ｇ３２＋Ｇ４１＋Ｇ５２＋Ｇ３４＋Ｇ４５＋Ｇ５４）／６ ・・・(１０)

このように、一実施の形態では図３に示すように焦点検出画素配列の中央部には一対の焦点検出画素の両方を交互に配置し、上端部および下端部には一対の焦点検出画素の一方のみを配置している。そして、像ズレ検出演算に際しては、中央部のみに配置された焦点検出画素のデータ列を基準として、中央部および上端部、下端部に配置された焦点検出画素のデータ列を相対的にシフトしているので、大きなデフォーカス量（大きな像ズレ量）の検出が可能になるとともに、上端部および下端部における焦点検出画素位置の画像データ（撮像画素を配置したと仮定した場合の仮想撮像画素の出力データ）を求める画素補間においては、一方の焦点検出画素位置における画素データのみを補間すればよいので、画像品質の劣化を抑えることができる。さらに、上端部、下端部に配置される焦点検出画素をベイヤー配列において配置密度が高い緑画素の位置に配置しているために、青画素や赤画素の位置に配置した場合と比較して、補間すべき画素位置に近い撮像画素のデータを画素補間に使用できるので、画像品質の劣化をさらに抑えることができる。

《発明の他の実施の形態》
以上説明した一実施の形態では、一対の焦点検出画素をベイヤー配列の緑画素と青画素が配列された位置に配置しているが、一対の焦点検出画素をベイヤー配列の緑画素と赤画素が配列された位置に配置してもよい。

撮像素子における焦点検出エリアの配置は図２に限定されることはなく、対角線方向や、その他の位置に水平方向および垂直方向に焦点検出エリアを配置することも可能である。

図３に示す焦点検出画素配列では、焦点検出画素配列の端部において、一対の焦点検出画素３１３，３１４の一方の焦点検出画素３１４と撮像画素を交互に配置しているが、焦点検出画素配列の端部においてさらに焦点検出画素３１４を間引いて、その代わりに撮像画素を配置することにより、焦点検出画素配列の端部における補間画素データの密度を低くするとともに、補間画素データの補間精度を向上させることにより、画像品質の劣化をさらに抑えることが可能である。

図１６は変形例の撮像素子２１２Ａの構成を示す。なお、図１６では、図３に示す撮像素子２１２に対応した焦点検出画素配列の端部の構成のみを示す。焦点検出画素配列の端部において、焦点検出画素３１４と撮像画素が交互に配置されているが、“最端部”においてはさらに焦点検出画素３１４が間引かれ、４画素中１画素に焦点検出画素３１４が配置されている。焦点検出画素３１４の間にはベイヤー配列に応じて撮像画素が配置されている。

図１７は、焦点検出画素配列の上記“最端部”における焦点検出画素（斜線部）を含んだ領域の拡大図であって、画素単位換算で１０行５列の領域に対応する撮像画素のデータ（Ｂ１１〜Ｇ１０５）を画素のレイアウトに対応して示している。Ｇ４３ａ、Ｇ８３ａは焦点検出画素位置に仮想的な撮像画素が配置されているとした場合の各撮像画素のデータ（補間すべき撮像画素データ）である。なお、以下の説明では代表としてＧ４３ａを補間する場合の処理について説明するが、同様な処理を適用することでその他の焦点検出画素位置に撮像画素が配置されているとした場合の各撮像画素のデータを補間することができる。
Ｇ４３ａ＝（Ｇ３２＋Ｇ４１＋Ｇ５２＋Ｇ２３＋Ｇ６３＋Ｇ３４＋Ｇ４５＋Ｇ５４）／８ ・・・(１１)

(１１)式では緑画素の補間データＧ４３ａが、この画素位置の周辺における４方向の緑画素データ（水平方向の緑画素データ（Ｇ４１、Ｇ４５）、垂直方向の緑画素データ（Ｇ２３、Ｇ６３）、右上がり斜め４５度方向の緑画素データ（Ｇ３２、Ｇ５４）および左上がり斜め４５度方向の緑画素データ（Ｇ３４、Ｇ５２））から補間されているので、像の方向性によらず高精度な補間が期待できる。
像ズレ検出演算において、上記のように焦点検出画素配列の最端部の副データを用いるような大きなシフト量（即ち大きなデフォーカス量）においては、デフォーカスにより像の高周波成分が落とされ、低周波成分が多く残っているので、焦点検出画素を間引きして像をサンプリングしても像ズレ検出精度が大きく低下するおそれはない。なお、間引きされた副データも用いなければならないシフト値においては、基準データ、副データともに間引きしたデータどうしで(１)式の像ズレ検出演算を行う。

上述した一実施の形態とその変形例では、焦点検出画素配列の中央部には一対の焦点検出画素の両方を交互に配置し、上端部および下端部には一対の焦点検出画素の一方のみを配置した例を示したが、一対の焦点検出画素の両方を交互に配置した領域は必ずしも中央部の領域である必要はない。例えば、焦点検出画素配列を２つの領域に区分し、一方の領域に一対の焦点検出画素の両方を交互に配置し、他方の領域には一対の焦点検出画素の一方のみを配置してもよい。あるいは、焦点検出画素配列を３つ以上の領域に区分し、１または複数の領域に一対の焦点検出画素の両方を交互に配置し、残りの領域に一対の焦点検出画素の一方のみを配置してよい。ただし、合焦近傍の精密な焦点検出を可能するため、一対の焦点検出画素の両方を交互に配置する領域を中央部にすることが望ましい。

焦点検出画素配列をこのような領域区分にする場合には、像ズレ検出演算に際して、１または複数の領域にのみ配置された焦点検出画素のデータ列を基準とし、すべての領域に配置された焦点検出画素のデータ列を相対的にシフトすればよい。これにより、大きなデフォーカス量（大きな像ズレ量）の検出が可能になるとともに、焦点検出画素位置の画像データ（撮像画素を配置したと仮定した場合の仮想撮像画素の出力データ）を求める画素補間においては、一方の焦点検出画素位置における画素データのみを補間すればよいので、画像品質の劣化を抑えることができる。

以上説明した仮想的な撮像画素のデータ補間演算においては、仮想的な撮像画素の周囲に存在する仮想的な撮像画素と同色の撮像画素のデータの単純平均を用いた例を示したが、仮想的な撮像画素と補間に使用する撮像画素との位置関係（方向、距離）に応じた重み係数に応じて加重加算平均を行ってもよい。また、仮想的な撮像画素の周囲の撮像画素のデータを用いて、仮想的な撮像画素の周囲の像の方向性を判別し、判別された方向性に応じた重み係数に応じて加重加算平均を行ってもよい。

上述した一実施の形態とその変形例では、撮像画素がＲＧＢのベイヤー配列とした例を示したが、例えば補色フィルタ配列のようなベイヤー配列以外の画素配列であってもよい。

上述した一実施の形態の図５に示す焦点検出画素３１３、３１４では、光電変換部の形状を矩形にした例を示したが、焦点検出画素の光電変換部の形状はこれらに限定されず、他の形状であってもよい。例えば、焦点検出画素の光電変換部の形状を半円形や楕円や多角形にすることも可能である。

上述した一実施の形態の図５に示す焦点検出画素３１３、３１４では、光電変換部１３，１４の形状をマイクロレンズ１０により前方に投影することによって瞳分割を行っているが、光電変換部１３，１４の形状を撮像画素３１０の光電変換部１１の形状と同一とするとともに、光電変換部１３，１４の前に図５に示した光電変換部１３，１４の形状と同じ開口部を有するマスクを設置し、このマスクの形状をマイクロレンズ１０により前方に投影するように焦点検出画素を構成してもよい。この場合、光電変換部１３，１４はマスクの開口を通過した光束を受光することになる。

さらに、図３に示す撮像素子２１２および図１６に示す撮像素子２１２Ａでは、撮像画素と焦点検出画素を稠密正方格子配列に配置した例を示したが、稠密六方格子配列としてもよい。

上述した一実施の形態では、マイクロレンズを用いた瞳分割方式による焦点検出動作を説明したが、本発明はこのような方式の焦点検出に限定されず、特開２００８−０１５１５７号公報に開示された偏光素子による瞳分割型位相差検出方式の焦点検出装置にも適用可能である。また、焦点検出画素のみにマイクロレンズを設けてもよい。

なお、撮像装置としては、上述したようなカメラボディに交換レンズが装着される構成のデジタルスチルカメラやフィルムスチルカメラに限定されない。例えば、レンズ一体型のデジタルスチルカメラ、フィルムスチルカメラ、あるいはビデオカメラにも本発明を適用することができる。さらには、携帯電話などに内蔵される小型カメラモジュール、監視カメラやロボット用の視覚認識装置、車載カメラなどにも適用できる。

なお、上述した実施の形態とそれらの変形例において、実施の形態と変形例とのあらゆる組み合わせが可能である。

上述した実施の形態とその変形例によれば以下のような作用効果を奏することができる。まず、撮像面上に二次元状に配列された撮像画素の配列の一部に、撮像面上に像を形成する交換レンズ２０２の射出瞳の一対の領域を通過した一対の光束の内、一方の光束を受光する焦点検出画素３１３と他方の光束を受光する焦点検出画素３１４とを一列に配列した焦点検出画素列が少なくとも１列配置された撮像素子２１２、２１２Ａであって、焦点検出画素３１３と焦点検出画素３１４の配列を複数の領域に区分し、複数の領域の内の少なくとも１の領域では焦点検出画素３１３と焦点検出画素３１４とを交互に配列し、他の少なくとも１の領域では焦点検出画素３１３を配列せずに焦点検出画素３１４と１または複数の撮像画素とを交互に配列した。これにより、瞳分割型の焦点検出画素を撮像画素と混在させた撮像素子において、大きなデフォーカス量まで検出可能にするとともに、画像劣化の度合いを最小限に押さえることができる。

次に、焦点検出画素３１３を、ベイヤー配列中の赤色フィルターを有する撮像画素または青色フィルターを有する撮像画素の位置に配置するとともに、焦点検出画素３１４を、ベイヤー配列中の緑色フィルターを有する撮像画素の位置に配置したので、焦点検出画素３１４を青色撮像画素や赤色撮像画素の位置に配置した場合と比較して、補間すべき画素位置に近い撮像画素のデータを画素補間に使用できるので、画像品質の劣化をさらに抑えることができる。

一実施の形態のカメラの構成を示すカメラの横断面図 交換レンズ２０２の撮影画面上における焦点検出位置を示す図 撮像素子２１２の詳細な構成を示す正面図 撮像画素３１０の構成を示す図 焦点検出画素３１３，３１４の構成を示す図 撮像画素３１０の分光特性を示す図 焦点検出画素３１３，３１４の分光特性を示す図 撮像画素３１０の構造を示す断面図 焦点検出画素３１３，３１４の構造を示す断面図 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図 一実施の形態のデジタルスチルカメラ（撮像装置）の撮像動作を示すフローチャート 縦軸にデータ値、横軸にデータ位置をとって基準データ列と副データ列の波形を示したグラフ 焦点検出結果の信頼性を説明するための図 図１１のステップ１８０における焦点検出画素位置の画像データの補間演算の詳細を説明するための図 図１１のステップ１８０における焦点検出画素位置の画像データの補間演算の詳細を説明するための図 変形例の撮像素子２１２Ａの構成を示す図 焦点検出画素配列の上記“最端部”における焦点検出画素（斜線部）を含んだ領域の拡大図

符号の説明

１０；マイクロレンズ、１１，１３，１４；光電変換部、２０１；カメラ、２０２；交換レンズ、２０３；カメラボディ、２１２，２１２Ａ；撮像素子、２１４；ボディ駆動制御装置、３１０；撮像画素、３１３，３１４；焦点検出画素

Claims (8)

1. 撮像面上に二次元状に配列された撮像画素の配列の一部に、前記撮像面上に像を形成する光学系の射出瞳の一対の領域を通過した一対の光束の内、一方の光束を受光する第１焦点検出画素と他方の光束を受光する第２焦点検出画素とを一列に配列した焦点検出画素列が配置された撮像素子であって、前記焦点検出画素列の中央部領域では前記第１焦点検出画素と前記第２焦点検出画素とが交互に配列され、前記焦点検出画素列の端部領域では前記第１焦点検出画素が配列されずに前記第２焦点検出画素と少なくとも1つの前記撮像画素とが交互に配列された撮像素子と、
   前記中央部領域に配置された前記第１焦点検出画素の配列が生成する第１データ列を基準データ列として固定し、前記基準データ列に対して、前記中央部領域と前記端部領域との両方に配置された前記第２焦点検出画素の配列が生成する第２データ列を副データとしてシフトさせることによって、前記一対の光束が形成する一対の像のズレ量を演算するズレ量演算手段と、
   前記ズレ量を前記撮像面と前記光学系の合焦面との間のデフォーカス量に変換する変換手段と、を備え、
   前記ズレ量演算手段は、前記第１データ列に対して前記第２データ列を前記第２焦点検出画素の配列ピッチ単位のシフト量でシフトさせ、前記第１データ列と前記第２データ列との相関度を演算するとともに、最も高い相関度を示すシフト量に応じて前記第１データ列と前記第２データ列の相対的なズレ量を演算することを特徴とする焦点検出装置。
2. 請求項１に記載の焦点検出装置において、
   前記撮像面上には緑色フィルターを有する前記撮像画素、赤色フィルターを有する前記撮像画素および青色フィルターを有する前記撮像画素がベイヤー配列されており、
   前記第１焦点検出画素を、ベイヤー配列中の赤色フィルターを有する前記撮像画素または青色フィルターを有する前記撮像画素の位置に配置し、
   前記第２焦点検出画素を、ベイヤー配列中の緑色フィルターを有する前記撮像画素の位置に配置したことを特徴とする焦点検出装置。
3. 請求項１または請求項２に記載の焦点検出装置において、
   前記第１焦点検出画素と前記第２焦点検出画素はそれぞれ、マイクロレンズと光電変換部を有することを特徴とする焦点検出装置。
4. 請求項１〜３のいずれか一項に記載の焦点検出装置において、
   前記端部領域は、前記中央部領域に隣接する第1の端部領域と前記第１の端部領域に隣接する第２の端部領域とを有し、
   前記第１の端部領域では、１つの前記第２焦点検出画素と１つの前記撮像画素とが交互に配列され、
   前記第２の端部領域では、１つの前記第２焦点検出画素と複数の前記撮像画素とが交互に配列されることを特徴とする焦点検出装置。
5. 請求項１に記載の焦点検出装置において、
   前記ズレ量演算手段は、最も高い相関度を示したシフト量とその前後のシフト量の相関度に基づき、前記配列ピッチ単位以下の量でシフト量を内挿し、内挿されたシフト量に基づき前記第１データ列と前記第２データ列のズレ量を演算することを特徴とする焦点検出装置。
6. 請求項１〜５のいずれか一項に記載の焦点検出装置と、
   前記第１焦点検出画素および前記第２焦点検出画素の位置における仮想的な撮像画素の出力データを、前記第１焦点検出画素および前記第２焦点検出画素の周囲の前記撮像画素の出力データにより補間する補間手段とを備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置において、
   前記補間手段は、前記第２焦点検出画素の位置における仮想的な撮像画素の出力データを、前記第２焦点検出画素の周囲の前記撮像画素の出力データにより補間する際に、前記第２焦点検出画素と前記第２焦点検出画素との間に前記撮像画素が存在する場合には、当該撮像画素の出力データも用いて補間することを特徴とする撮像装置。
8. 請求項１に記載の焦点検出装置と、
   前記第１焦点検出画素および前記第２焦点検出画素の位置における仮想的な撮像画素の出力データを、前記第１焦点検出画素および前記第２焦点検出画素の周囲の前記撮像画素の出力データにより補間する補間手段と、を備え、
   前記端部領域は、前記中央部領域に隣接する第1の端部領域と前記第1の端部領域に隣接する第２の端部領域とを有し、
   前記第１の端部領域では、１つの前記第２焦点検出画素と１つの前記撮像画素とが交互に配列され、
   前記第２の端部領域では、１つの前記第２焦点検出画素と複数の前記撮像画素とが交互に配列され、
   前記撮像画素は、互いに分光感度の異なる少なくとも第１、第２、及び第３の撮像画素を含み、前記第１、第２、及び第３の撮像画素が所定の配列に従って配置され、
   前記第２焦点検出画素が前記第１の撮像画素の位置に配置され、
   前記補正手段は、前記第２焦点検出画素の位置における仮想的な撮像画素の出力データを、前記第２焦点検出画素の周囲の前記撮像画素の出力データにより補間する際に、前記第２の端部領域において互いに隣接する前記第２焦点検出画素の間に位置する前記第１の撮像画素の出力データも用いて前記補間を行うことを特徴とする撮像装置。
   

Images