JP5744263B2 - 撮像装置及びその合焦制御方法 - Google Patents

Description

本願は２０１１年３月３１日出願の日本出願第２０１１−０８００３２号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
本発明は、撮像装置及びその合焦制御方法に係り、特に、被写体の撮像の際に合焦制御を行なう撮像装置及びその合焦制御方法に関する。

近年、ＣＣＤ（Charge Coupled Device）エリアセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージ・センサ等の固体撮像素子の高解像度化に伴い、デジタル電子スチルカメラ、デジタルビデオカメラ、携帯電話機、ＰＤＡ（Personal Digital Assistant，携帯情報端末）等の撮影機能を有する情報機器の需要が急増している。なお、以上のような撮像機能を有する情報機器を全体として撮影装置と称する。

ところで、主要な被写体までの距離を検出する合焦制御方法には、コントラスト方式や位相差ＡＦ（Auto Focus、自動合焦）方式がある。位相差ＡＦ方式は、コントラスト方式に比べて合焦位置の検出を高速，高精度に行なうことができるため、様々な撮像装置で多く採用されている。

ＣＭＯＳを用いた撮像装置における読出し方式は、上方から順次リセット、順次読み出しを行なう、ローリングシャッタ方式が知られている。ローリングシャッタ方式は、画素位置に応じて読み出しタイミングに時間差があるため、動く被写体の場合には、被写体の画像が歪むことがある。

従って、ＣＭＯＳを用いた撮像装置で動いている被写体を撮像する場合に、位相差ＡＦ方式で合焦制御しようとすると、ローリングシャッタによる歪みの影響を受け、読み出しタイミングのずれの間に生じる像移動や像変化により、位相差検出に誤差が生じてしまう。

特開２００９−１２８５７９号公報には、水平方向に配置された焦点検出画素で信頼性のある焦点検出結果が得られなかった場合には、垂直方向に配置された焦点検出画素で焦点検出を行ない、被写体の動きが検出された場合には、垂直方向に配置された焦点検出画素での焦点検出は行なわない装置が記載されている。

また、特開２００８−７２４７０号公報及び特開２００８−２６３３５２号公報には、位相差検出のための画素の電荷蓄積タイミングが同一となるように制御する装置が開示されている。

しかしながら、特開２００９−１２８５７９号公報に開示されている技術では、焦点検出結果の信頼性に応じて、或いは被写体の動きが検出されなかった場合などの限定された条件下でのみ位相差ＡＦ方式による焦点検出を行なうだけであり、位相差ＡＦ方式により焦点検出を行なう際にローリングシャッタによる影響を軽減することはできない。また、特開２００８−７２４７０号公報及び特開２００８−２６３３５２号公報に開示されている技術では、追加回路が必要となるため、コスト高となる。

本発明は上記を考慮してなされたものであり、ローリングシャッタ方式により異なるライン上に配置された位相差検出画素から読み出された信号から合焦位置の検出を行なう場合であっても、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる撮像装置及び合焦制御方法を提供する。

本発明の一態様は、撮像装置であって、撮影レンズにおける第１及び第２の領域を通過した被写体像を瞳分割した像をそれぞれ結像する第１の位相差検出画素及び第２の位相差検出画素からなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子と、
前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出す読出手段と、前記位相差検出画素対の各々から読み出された信号の相関演算を行なう第１の相関演算手段と、前記撮像画素対の各々から読み出された信号の相関演算を行なう第２の相関演算手段と、前記第１の相関演算手段による相関演算結果を、前記第２の相関演算手段による相関演算結果により補正する補正手段と、前記補正された相関演算結果を用いて合焦制御する合焦手段と、を備えている。

このように、撮像画素対から読み出された信号の相関演算を行なって、位相差検出画素対から読み出された相関演算結果を補正するようにしたため、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。

上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、請求項１に記載の撮像装置において、前記第２の相関演算手段は、各々が、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算手段は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算手段による相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択する選択手段と、前記位相差検出画素対及び前記選択手段で選択された撮像画素対の各々から信号が読み出されるように前記読出手段を制御する制御手段と、を更に備え、前記第２の相関演算手段は、前記制御手段の制御により読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように制御する露光制御手段を更に備えていてもよい。

上記態様において、焦点を合わせる焦点領域の大きさ、前記第１の相関演算手段での相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正手段による補正を行なうか否かを判断する判断手段を更に備え、前記合焦手段は、前記判断手段により前記補正手段による補正を行なわないと判断された場合には、前記補正手段による補正の実行を中止し、前記補正される前の前記第１の相関演算手段の相関演算結果を用いて合焦制御するようにしてもよい。

本発明の別の態様は、撮影レンズの主軸に対して一方の側に第１の開口を有し、前記第１の開口を通過した光束が入射する第１の位相差検出画素と、前記主軸に対して他方の側に第２の開口を有し、前記第２の開口を通過した光束が入射する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子を有する撮像装置の合焦制御方法であって、前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出し、前記位相差検出画素対の各々から読み出された信号に対して第１の相関演算を行ない、前記撮像画素対の各々から読み出された信号に対して第２の相関演算を行ない、前記第１の相関演算の結果を、前記第２の相関演算の結果により補正し、前記補正された相関演算結果を用いて合焦を制御すること、を含んでいる。

上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算は、各々が、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記第２の相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択し、前記位相差検出画素対及び前記選択された撮像画素対の各々から信号が読み出されるように読出を制御すること、を更に含んでよく、前記第２の相関演算は、前記読出の制御により読み出された信号の相関演算を行なうようにしてもよい。

上記態様において、前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように露光を制御することを更に含んでもよい。

上記態様において、焦点を合わせる焦点領域の大きさ、前記第１の相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正を行なうか否かを判断することを更に含んでもよく、前記合焦の制御は、前記判断により補正を行なわないと判断された場合には、補正の実行を中止し、前記補正される前の前記第１の相関演算の結果を用いて合焦を制御することを含んでもよい。

このように、撮像画素対から読み出された信号の相関演算を行なって、位相差検出画素対から読み出された相関演算結果を補正するようにしたため、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。

本発明によれば、追加回路を設けることなく、ローリングシャッタによる歪みの影響を軽減して合焦位置を検出し精度高く合焦制御することができる。

実施の形態に係るデジタルカメラの電気系の要部構成を示すブロック図である。 ＣＭＯＳの全体構成を示す平面図である。 位相差検出領域内の一部の表面拡大模式図である。 図３の位相差検出画素だけを抜き出して模式的に表示した図である。 （Ａ）は、一対の位相差検出画素から読み出された検出信号の相関演算により求めたズレ量が、位相差量だけでなくローリング歪みによる誤差量（ローリングシャッタによる歪み量）を含むものであることを模式的に示した図であり、（Ｂ）は、撮像画素により相関演算を行なうことで、ローリングシャッタによる歪み量を算出することができることを模式的に示した図である。 第１の実施の形態に係るＡＦ制御の流れを示すフローチャートである。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 ローリングシャッタによる歪み量を算出するために用いる撮像画素ペアの一例を示した図である。 斜め方向に隣接して配置されたＧ色の撮像画素及び位相差検出画素の各々から読み出された信号量の一例を示したグラフである。 位相差検出画素Ａの信号量のレベルと、位相差検出画素Ａの周辺に配置された、Ｒ色のフィルタが設けられた撮像画素（通常Ｒ画素）、Ｇ色のフィルタが設けられた撮像画素（通常Ｇ画素）、及びＢ色のフィルタが設けられた撮像画素（通常Ｂ画素）の各々から読み出された信号量のレベルの一例を示したグラフである。 第２の実施の形態に係るＡＦ制御処理の流れの一例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。 第２の実施の形態に係るＡＦ制御処理の流れの他の例を示すフローチャートである。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、ここでは、本発明を、静止画像の撮影を行なうデジタル電子スチルカメラ（以下、「デジタルカメラ」という。）に適用した場合について説明する。

［第１の実施の形態］

まず、図１を参照して、本実施の形態に係るデジタルカメラ１０の電気系の要部構成を説明する。

図１に示されるように、本実施の形態に係るデジタルカメラ１０は、被写体像を結像させるためのレンズを含んで構成された光学ユニット２２と、当該レンズの光軸後方に配設された固体撮像素子（本実施の形態ではＣＭＯＳ（Complementary Metal Oxide Semiconductor）とする）２４と、入力されたアナログ信号に対して各種のアナログ信号処理を行なうアナログ信号処理部２６と、を含んで構成されている。

また、デジタルカメラ１０は、入力されたアナログ信号をデジタルデータに変換するアナログ／デジタル変換器（以下、「ＡＤＣ」という。）２８と、入力されたデジタルデータに対して各種のデジタル信号処理を行なうデジタル信号処理部３０と、を含んで構成されている。

なお、デジタル信号処理部３０は、所定容量のラインバッファを内蔵し、入力されたデジタルデータを後述するメモリ４８の所定領域に直接記憶させる制御も行なう。

ＣＭＯＳ２４の出力端はアナログ信号処理部２６の入力端に、アナログ信号処理部２６の出力端はＡＤＣ２８の入力端に、ＡＤＣ２８の出力端はデジタル信号処理部３０の入力端に、各々接続されている。従って、ＣＭＯＳ２４から出力された被写体像を示すアナログ信号はアナログ信号処理部２６によって所定のアナログ信号処理が施され、ＡＤＣ２８によってデジタル画像データに変換された後にデジタル信号処理部３０に入力される。

一方、デジタルカメラ１０は、撮影された被写体像やメニュー画面等を表示する液晶ディスプレイ（以下、「ＬＣＤ」という。）３８と、当該被写体像やメニュー画面等をＬＣＤ３８に表示させるための信号を生成してＬＣＤ３８に供給するＬＣＤインタフェース３６と、デジタルカメラ１０全体の動作を司るＣＰＵ（中央処理装置）４０と、撮影により得られたデジタル画像データ等を一時的に記憶するメモリ４８と、メモリ４８に対するアクセスの制御を行なうメモリインタフェース４６と、を含んで構成されている。

更に、デジタルカメラ１０は、可搬型のメモリカード５２をデジタルカメラ１０でアクセス可能とするための外部メモリインタフェース５０と、デジタル画像データに対する圧縮処理及び伸張処理を行なう圧縮・伸張処理回路５４と、を含んで構成されている。

なお、本実施の形態のデジタルカメラ１０では、メモリ４８としてフラッシュ・メモリ（Flash Memory）が用いられ、メモリカード５２としてｘＤピクチャ・カード（登録商標）が用いられているが、これに限るものではない。

デジタル信号処理部３０、ＬＣＤインタフェース３６、ＣＰＵ４０、メモリインタフェース４６、外部メモリインタフェース５０及び圧縮・伸張処理回路５４はシステムバスＢＵＳを介して相互に接続されている。従って、ＣＰＵ４０は、デジタル信号処理部３０及び圧縮・伸張処理回路５４の作動の制御、ＬＣＤ３８に対するＬＣＤインタフェース３６を介した各種情報の表示、メモリ４８及びメモリカード５２へのメモリインタフェース４６ないし外部メモリインタフェース５０を介したアクセスを各々行なうことができる。ＣＰＵ４０はまた、後述するＡＦ制御を実行する。

一方、デジタルカメラ１０には、主としてＣＭＯＳ２４を駆動させるためのタイミング信号（パルス信号）を生成してＣＭＯＳ２４に供給するタイミングジェネレータ３２が備えられている。ＣＭＯＳ２４の駆動はＣＰＵ４０によりタイミングジェネレータ３２を介して制御される。

ＣＭＯＳ２４は、後述するように複数の画素を水平方向に配列させた複数のラインを備えており、ライン上の画素毎に露光開始タイミング及び読出タイミングを制御するローリングシャッタ方式で制御される。以下では、ライン毎に露光開始及び読み出しタイミングが異なる場合を例に挙げて説明するが、これに限定されるものではない。

更に、デジタルカメラ１０にはモータ駆動部３４が備えられている。光学ユニット２２に備えられた図示しない焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もＣＰＵ４０によりモータ駆動部３４を介して制御される。

すなわち、本実施の形態に係る上記レンズは、ズームレンズ及びフォーカスレンズを備えた撮影レンズを備え、図示しないレンズ駆動機構を備えている。このレンズ駆動機構に上記焦点調整モータ、ズームモータ及び絞り駆動モータは含まれる。これらのモータは各々ＣＰＵ４０の制御によりモータ駆動部３４から供給された駆動信号によって駆動される。

更に、デジタルカメラ１０には、撮影を実行する際に押圧操作されるレリーズスイッチ（所謂シャッター）、デジタルカメラ１０の電源のオン／オフを切り替える際に操作される電源スイッチ、撮影を行なうモードである撮影モード及び被写体像をＬＣＤ３８に再生するモードである再生モードのいずれかのモードに設定する際に操作されるモード切替スイッチ、ＬＣＤ３８にメニュー画面を表示させるときに押圧操作されるメニュースイッチ、それまでの操作内容を確定するときに押圧操作される決定スイッチ、直前の操作内容をキャンセルするときに押圧操作されるキャンセルスイッチ等の各種スイッチ類を含んで構成された操作部５６が備えられている。これらの操作部５６はＣＰＵ４０に接続されている。従って、ＣＰＵ４０は、これらの操作部５６に対する操作状態を常時把握できる。

なお、本実施の形態に係るデジタルカメラ１０のレリーズスイッチは、中間位置まで押下される状態（以下、「半押し状態」という。）と、当該中間位置を超えた最終押下位置まで押下される状態（以下、「全押し状態」という。）と、の２段階の押圧操作が検出可能に構成されている。

そして、デジタルカメラ１０では、レリーズスイッチを半押し状態にすることによりＡＥ（Automatic Exposure、自動露出）機能が働いて露出状態（シャッタースピード、絞りの状態）が設定された後、ＡＦ機能が働いて合焦制御され、その後、引き続き全押し状態にすると露光（撮影）が行なわれる。

また、デジタルカメラ１０には、撮影時に必要に応じて被写体に照射する光を発するストロボ４４と、ストロボ４４とＣＰＵ４０との間に介在されると共に、ＣＰＵ４０の制御によりストロボ４４を発光させるための電力を充電する充電部４２と、が備えられている。更に、ストロボ４４はＣＰＵ４０にも接続されており、ストロボ４４の発光はＣＰＵ４０によって制御される。

図２は、ＣＭＯＳ２４の全体構成を示す平面図である。ＣＭＯＳ２４の撮像領域７０には、図示しない多数の画素（受光素子：フォトダイオード）が二次元アレイ状に配列形成されている。この実施形態では、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配列された、所謂、ハニカム画素配列とされている。

また、図２では図示を省略するが、本実施の形態では、撮像領域７０の複数の画素の各々には、Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタがベイヤ配列で配列された状態で積層されている。なお、ＲＧＢの配列は、ストライプ配列であってもよい。

ＣＭＯＳ２４には、更に、水平走査回路７２₁、７２₂と、垂直走査回路７４₁、７４₂が設けられている（読出部に相当する）。なお、図示は省略するが、水平走査回路７２₁、７２₂には、水平信号線が接続され、垂直走査回路７４₁、７４₂には垂直選択線が接続されている。

垂直走査回路７４₁は、垂直選択線を通じて、撮像領域７０に配置された奇数行の第１の画素群の各画素を行（ライン）単位で選択する。この場合、最下端から一行ずつ順番に選択され、行毎に一括して画素信号の読み出しが行われる。なお、第１の画素群から行単位で読み出される各画素信号に対して相関二重サンプリングの処理を行ってリセット雑音を低減するＣＤＳ回路を設けてもよい。水平走査回路７２₁は、第１の画素群から読み出された一行分の画素信号を、左端から順次画素単位で選択する。これにより、第１の画素群から読み出された各画素信号が水平信号線に出力される。このように水平信号線に順次出力される画素信号は後段のアンプ（図示せず）にて増幅された後に外部に出力される。
更にまた、垂直走査回路７４₂は、垂直選択線を通じて、撮像領域７０に配置された偶数行の第２の画素群の各画素を行単位で選択する。この場合、最下端から一行ずつ順番に選択され、行毎に一括して画素信号の読み出しが行われる。なお、第２の画素群から行単位で読み出される各画素信号に対して相関二重サンプリングの処理を行ってリセット雑音を低減するＣＤＳ回路を設けてもよい。水平走査回路７２₂は、第２の画素群から出力される一行分の画素信号を、左端から順次画素単位で選択する。これにより、第２の画素群から読み出された各画素信号が水平信号線に出力される。このように水平信号線に順次出力される画素信号は後段のアンプ（図示せず）にて増幅された後に外部に出力される。

なお、本実施の形態では、撮像領域７０の一部の領域、例えば中央位置に、矩形の位相差検出領域が設けられている。なお、位相差検出領域は、撮像領域７０に対して１箇所だけ設けてもよいし、撮像領域７０内のどこでもＡＦ可能とできるよう複数箇所に設けてもよい。また、撮像領域７０の全領域を位相差検出領域としてもよい。

図３は、位相差検出領域内の一部の表面拡大模式図である。前述したように、ＣＭＯＳ２４の撮像領域７０には、多数の画素がハニカム配列されており、位相差検出領域内においても、同様に、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチづつずらして配列された、所謂ハニカム配列とされている。位相差検出領域内には、位相差検出画素１ｘ、１ｙ、及び、撮像画素（位相差検出画素１ｘ、１ｙ以外の画素であって、遮光膜が設けられておらず、被写体画像を撮像するための通常の画素）が配置されている。また、図示は省略するが、位相差検出領域以外の撮像領域７０には、撮像画素のみが配置されているものとする。

図示する例では、各画素をＲ（赤），Ｇ（緑），Ｂ（青）で示している。Ｒ，Ｇ，Ｂは各画素上に積層したカラーフィルタの色を表している。また、奇数行の画素に対してカラーフィルタがベイヤ配列されると共に偶数行の画素に対してカラーフィルタがベイヤ配列されている。これにより、斜めに隣接する２つの位相差検出画素１ｘ、１ｙを１つの組（ペア）としたときに、ペアを構成する斜めに隣接する２つの位相差検出画素１ｘ、１ｙには同色のカラーフィルタが配置された状態となっており、また、撮像画素についても同様に、斜めに隣接する２つの撮像画素をペアとしたときに、ペアを構成する斜めに隣接する２つの位相差検出画素１ｘ、１ｙには同色のカラーフィルタが配置された状態となっている。なお、図示されるように、位相差検出画素のペアは、本実施形態では、位相差検出領域内の離散的，周期的な位置に設けられている。

本実施形態では、位相差検出画素１ｘ，１ｙを、Ｒ，Ｇ，Ｂのうち最も多いＧフィルタ搭載画素に設けており、水平方向（ｘ方向）に８画素置き、垂直方向（ｙ方向）に８画素置き、かつ全体的に市松位置となるように配置されている。

また、位相差検出画素１ｘ，１ｙは、その遮光膜開口２ｘ，２ｙが撮像画素より小さく形成され、かつ、画素１ｘの遮光膜開口２ｘは左方向に偏心して設けられ、画素１ｙの遮光膜開口２ｙは右方向（位相差検出方向）に偏心して設けられている。

このような構成により、位相差検出画素１ｘには、撮影レンズの主軸に対して一方の側（ここでは左側）に偏心した開口を通過した光束が入射される。また、位相差検出画素１ｙには、ペアを構成する位相差検出画素１ｘに隣接するライン上に配置され、撮影レンズの主軸に対して他方の側（ここでは右側）に偏心した開口を通過した光束が入射される。これにより、位相差検出画素対１ｘ、１ｙを通過した光束は互いに、主軸に対して反対側にビーム軸がずれることになる。（なお、主軸付近では光束が一部重複することもある。）後述するように、ピントがずれた状態では、位相差検出画素１ｘ、１ｙの各々が検出する像の位置、位相にズレが生じるため、このズレ量（位相差量）を検出して合焦制御が行なわれる。

なお、位相差検出画素１ｘ、１ｙを、ＡＦ制御のための位相差検出だけでなく被写体画像の形成に用いることもできる。

図４は、図３の位相差検出画素１ｘ，１ｙだけを抜き出して模式的に表示した図である。更に、図４の下段に示す曲線Ｘは、横一行に並ぶ位相差検出画素１ｘの検出信号量をプロットしたグラフであり、曲線Ｙは、これら画素１ｘと対になっている位相差検出画素１ｙの検出信号量をプロットしたグラフである。

１つのペアを構成する位相差検出画素１ｘ，１ｙは隣接画素であり極めて近接しているため、同一被写体からの光を受光していると考えられる。このため、後述するローリングシャッタによる歪みの影響が無ければ、曲線Ｘと曲線Ｙとはほぼ同一形状になると考えられ、その左右方向（位相差検出方向）のずれが、瞳分割した一組の位相差検出画素の一方の画素１ｘで見た画像と、他方の画素１ｙで見た画像との位相差量となる。

この曲線Ｘと曲線Ｙの相関演算を行なうことで、横ズレ量（位相差量）を求めることができ、この位相差量により被写体までの距離を算出することが可能となる。曲線Ｘと曲線Ｙの相関量の評価値を求める方法は、公知の方法（例えば特開２０１０−８４４３号公報に記載された方法や特開２０１０−９１９９１号公報に記載された方法）を採用すれば良い。例えば、曲線Ｘを構成する各点Ｘ（ｉ）と、曲線Ｙを構成する各点Ｙ（ｉ＋ｊ）の差分の絶対値の積算値を評価値とし、最大評価値を与えるｊ値を、位相差量とする。

そして、この位相差量から求められた被写体までの距離に基づき、モータ駆動部３４を制御して光学ユニット２２の焦点調整モータを駆動してフォーカスレンズ位置を制御し、被写体に合焦させる。

しかしながら、本実施の形態では固体撮像素子としてローリングシャッタ方式で制御されるＣＭＯＳを用いている。従って、読出しタイミングが同一でない斜めに隣接する２つの位相差検出画素からなる位相差検出画素ペアから取得される検出信号により相関演算を行なうと、このタイミングのずれの間に、被写体像が移動したり変化した場合に、撮像された被写体像に歪みが生じ、相関演算で求めた位相差量に該ローリングシャッタによる歪みの影響（歪み量）が生じてしまう（図５Ａも参照。）。

一方、図５Ｂに示すように、例えば斜めに隣接する同色の２つの撮像画素（図５Ｂでは撮像画素Ａ，Ｂで示した）を１つの組（ペア）として、該ペアの検出信号の相関演算を行なえば、撮像画像の各々には左右に偏心された遮光膜が設けられていないことから、ローリングシャッタによる歪み量のみを算出することができる。本実施の形態では、撮像画素の検出信号を用いて、位相差検出画素から求めた位相差量を補正して、ＡＦ制御を行なう。

図６は、本実施の形態に係るＡＦ制御の流れを示すフローチャートである。なお、ＡＦ制御を行なうにあたり位相差検出画素及び撮像画素から検出信号を読み出す際には、位相差検出画素と撮像画素とを区別せず、ライン単位で各画素から検出信号を読み出すものとする。

ステップ１００では、複数の位相差検出画素ペアから読み出された検出信号（以下、位相差検出画素信号と呼称する場合もある）の相関演算を行って、位相差量を求める（ＣＰＵ４０が第１の相関演算部（手段）として機能する）。

ステップ１０２では、複数の撮像画素ペアから読み出された検出信号（以下、撮像画素信号と呼称する場合もある）の相関演算を行って、ローリングシャッタによる歪み量を求める（ＣＰＵ４０が第２の相関演算部（手段）として機能する）。ここでは、図７に示すように、水平方向に隣り合う位相差検出画素ペアの間に配置され、該位相差検出画素と同色（ここではＧ）のフィルタが形成された隣接する撮像画素からなる撮像画素ペアＰから読み出された検出信号の相関演算を行なうことによりローリングシャッタによる歪み量を求めるものとする。すなわち、本実施の形態では、Ｇ色のフィルタが形成されたペアに着目して見ると、水平方向にＧ色の撮像画素ペアと位相差検出画素ペアとが交互に配置されている。従って、ここでは、Ｇ色の位相差検出画素ペアと交互に配置されたＧ色の撮像画素ペアを用いてローリングシャッタによる歪み量を求める。

ステップ１０４では、ステップ１００で求めた位相差量からステップ１０２で求めたローリングシャッタによる歪み量を減算して、ステップ１００で求めた位相差量を補正する（ＣＰＵ４０が補正部（手段）として機能する）。

ステップ１０６では、補正された位相差量に基づいて、前述のように合焦制御を行なう（ＣＰＵ４０が合焦部（手段）として機能する）。

以上説明したように、位相差検出画素信号の相関演算結果を、通常画素信号の相関演算結果で補正してＡＦ制御するようにした。そのため、ローリングシャッタによる歪みの影響を抑制し、高い精度でＡＦ制御できる。

なお、ローリングシャッタによる歪み量を算出するための撮像画素は、図７に示した例に限定されない。例えば、図８に示すように、フィルタの色は位相差検出画素とは異なるが、水平方向に隣り合う位相差検出画素ペアの間に配置された撮像画素ペアＰ（位相差検出画素ペアの各々の位相差検出画素が配置されたラインと同じライン上に配置された隣接する撮像画素からなる撮像画素ペアではあるが、フィルタの色が位相差検出画素ペアとは異なる撮像画素ペア）から読み出された検出信号の相関演算を行なうことによりローリングシャッタによる歪み量を求めるようにしてもよい。これにより、水平方向に隣り合う位相差検出画素ペアの間に、同じ色のフィルタが形成された撮像画素ペアが存在しない場合であっても、ローリングシャッタによる歪み量を演算して精度高く位相差量を算出することができる。なお、水平方向に隣り合う位相差検出画素ペアの間に、同じ色のフィルタが形成された撮像画素ペアが存在しない場合とは、例えば、位相差検出画素を水平方向（ｘ方向）に４画素置きに配置した場合や、或いは各画素に対するカラーフィルタの配置が図３に示した例とは異なる場合等である。

更にまた、位相差検出画素１ｘ、１ｙとは異なるライン上に配置され、且つラインの一端からの距離が位相差検出画素１ｘ、１ｙと同じ位置に配置されたＧ色の撮像画素（すなわち、位相差検出画素ペアに対して上下方向に配置されたＧ色の撮像画素）からなる撮像画素ペアＰから読み出された検出信号からローリングシャッタによる歪み量を求めるようにしてもよい。

更にまた、図９に示すように、位相差検出画素１ｘ、１ｙとは異なるライン上に配置され、且つラインの一端からの距離も位相差検出画素１ｘ、１ｙとは異なる位置に配置された隣接するＧ色の撮像画素からなる撮像画素ペアＰ（位相差検出画素ペアに対して斜め方向に配置されたＧ色の撮像画素ペアＰ）から読み出された検出信号からローリングシャッタによる歪み量を求めるようにしてもよい。また、図１０に示すように、位相差検出画素ペアに対して、上下方向に配置されたＧ色の撮像画素ペアＰと、斜め方向に配置されたＧ色の撮像画素ペアＰとを用いてローリングシャッタによる歪み量を求めるようにしてもよい。

すなわち、各撮像画素ペアは、各撮像画素ペアを構成する撮像画素の各々が、位相差検出画素ペアの各位相差検出画素が配置されたラインの各々とは異なるラインに配置されていてもよい。このように、位相差検出画素ペアに対して、異なるライン上に配置された（すなわち上下方向や斜め方向に配置された）撮像画素ペアを用いることで、ローリングシャッタによる歪み量の算出に多くの撮像画素ペアを用いることができ、水平方向１ラインあたりの撮像画素の密度を高めることができ、ローリングシャッタによる歪み量の算出精度が向上する。

ところで、従来のＡＦ制御では、位相差検出画素の感度に応じた露光量となるように露出制御された状態で位相差検出が行なわれる。しかし、本実施の形態で説明したようにＡＦ制御を行なう場合には、撮像画素の感度に応じた露光量となるように露出時間を制御するようにしてもよい（ＣＰＵ４０が露光制御部（手段）として機能する）。

図１１は、斜め方向に隣接して配置されたＧ色の撮像画素及び位相差検出画素の各々から読み出された信号量の一例を示したグラフである。位相差検出画素は、遮光膜開口が撮像画素より小さく形成されており、図１１に示すように、位相差検出画素の感度は撮像画素の感度より低い。そこで、本実施の形態のＡＦ制御では、各画素に対する露光量が、位相差検出画素の感度に応じた露光量ではなく、撮像画素の感度に応じた露光量となるように露出時間を制御する。これにより、撮像画素での演算精度を高めることができる。

また、ローリングシャッタによる歪み量を算出するために用いられる撮像画素を、位相差検出画素のカラーフィルタの色と同色のカラーフィルタが設けられた撮像画素に限定しない場合には、位相差検出画素の周辺に設けられた、Ｒ色のフィルタが設けられた撮像画素、Ｇ色のフィルタが設けられた撮像画素、Ｂ色のフィルタが設けられた撮像画素、及び位相差検出画素の各々から読み出された検出信号の各々を比較し、位相差検出画素に最も感度が近い色の撮像画素（位相差検出画素の検出信号の信号量のレベルに最も近い色のフィルタが設けられた撮像画素）のペアを選択して用いて、ローリングシャッタによる歪み量を算出するようにしてもよい（ＣＰＵ４０が選択部（手段）及び読出制御部（手段）として機能する）。

図１２は、位相差検出画素Ａの信号量のレベルと、位相差検出画素Ａの周辺に配置された、Ｒ色のフィルタが設けられた撮像画素（通常Ｒ画素）、Ｇ色のフィルタが設けられた撮像画素（通常Ｇ画素）、及びＢ色のフィルタが設けられた撮像画素（通常Ｂ画素）の各々から読み出された信号量のレベルの一例を示したグラフである。図１２に示す例では、通常Ｒ画素、通常Ｇ画素、及び通常Ｂ画素の中で、通常Ｂ画素の信号量のレベルが、位相差検出画素Ａの信号量のレベルに最も近いことがわかる。従って、この例では、通常Ｂ画素のペアを用いてローリングシャッタによる歪み量の算出を行なう。

これにより、撮像画素、及び位相差検出画素の双方の信号量を十分にとることができ、位相差検出の精度を上げることができる。

なお、図９や図１０で例示したように、位相差検出画素ペアに対して、上下方向或いは斜め方向に配置された撮像画素ペアを用いてローリングシャッタによる歪み量を算出する場合も、同様であり、上記信号量のレベルが最も近い色の撮像画素ペアを用いてローリングシャッタによる歪み量を算出すればよい。

また、ＡＦ制御前に、被写体画像の色を検出し、Ｒ，Ｇ，Ｂ各色の信号量のレベルと位相差検出画素の信号量のレベルとを比較し、位相差検出画素の信号量のレベルに最も近い色を予め選択してその情報を記憶しておいてもよい。そして、ＡＦ制御の際には、該記憶しておいた情報が示す色の撮像画像ペア、及び位相差検出画素ペアから検出信号を読み出して、前述のように位相差検出に用いるようにしてもよい。

例えば、ホワイトバランス調整ではＲ、Ｇ、Ｂ各色の信号を検出して調整することから、ＡＦ制御の前に、事前にホワイトバランス調整を行って各色の信号量の確認を行ない、位相差検出画素の信号量に最も近い色を予め選択して記憶しておき、ＡＦ制御の際の読出しに用いてもよい。

これにより、ＡＦ制御の段階で全ての色の撮像画素から検出信号を読み出す必要がなくなるため、読出しに係る時間を短縮でき、ローリングシャッタによる歪み量の算出も精度高く行なうことができる。

なお、本実施の形態では、常にローリング補正を行なう例について説明したが、実施形態はこれに限定されない。例えば、ＡＦ制御においてローリング補正を行なう第１のモードと、ローリング補正を行なわない第２のモードとを切り替える切替手段を設け、利用者が該切替手段により切り替えたモードに応じて、ＡＦ制御を行なうようにしてもよい。

［第２の実施の形態］

第１の実施の形態では、ＡＦ制御の際は常にローリングシャッタによる歪み量を算出して補正する例について説明したが、ローリングシャッタによる歪みの影響が小さいと推定される場合にはローリングシャッタによる歪み量を算出して補正する処理を省略してもよい。以下、詳細に説明する。

なお、本実施の形態のデジタルカメラ１０の構成は第１の実施の形態と同様であるため、説明を省略する。

図１３は、本実施の形態に係るＡＦ制御処理の流れの一例を示すフローチャートである。

ステップ２００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。

ステップ２０２では、ＡＦ領域が予め定められた閾値以上の大きさか否かを判断する。ここで、ＡＦ領域とは、焦点を合わせる領域であり、デジタルカメラ１０が、その使用者により任意にその位置や大きさを設定できるよう構成されている場合や、撮影モードに応じてＡＦ領域の大きさが設定されるように構成されている場合等もある。本実施の形態では、デジタルカメラ１０に設定されているＡＦ領域の大きさの情報を取得し、予め定められた閾値と比較する（ＣＰＵが判断部（手段）として機能する）。

ステップ２０２で肯定判断した場合には、ステップ２０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ２０６では、ステップ２００で求めた位相差量からステップ２０４で求めたローリングシャッタによる歪み量を減算して、ステップ２００で求めた位相差量を補正する。そして、ステップ２０８では、補正された位相差量に基づいて、合焦制御を行なう。

一方、ステップ２０２で否定判断した場合には、ステップ２０４、ステップ２０６をスキップして、ステップ２０８に進む。この場合には、ステップ２０８では、ステップ２００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。

ＡＦ領域がそれほど大きくなければ、検出信号を読み出す位相差検出画素数も少なくなり、ローリングシャッタによる歪みの影響は小さいと考えられる。そこで、本実施例では、ＡＦ領域が閾値未満であれば、ローリングシャッタによる歪み量の算出及び補正は行なわずにＡＦ制御を行なうようにした。これにより、ＡＦ制御にかかる時間を短縮することができる。

図１４は、ＡＦ制御処理の流れの他の例を示すフローチャートである。

ステップ３００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。

ステップ３０２では、読出し画素数（検出信号を読み出した位相差検出画素の数）が予め定められた閾値以上か否かを判断する。ステップ３０２で肯定判断した場合には、ステップ３０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ３０６では、ステップ３００で求めた位相差量からステップ３０４で求めたローリングシャッタによる歪み量を減算して、ステップ３００で求めた位相差量を補正する。そして、ステップ３０８では、補正された位相差量に基づいて、合焦制御を行なう。

一方、ステップ３０２で否定判断した場合には、ステップ３０４、ステップ３０６をスキップして、ステップ３０８に進む。この場合には、ステップ３０８では、ステップ３００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。

検出信号を読み出す位相差検出画素の数（すなわち、ステップ３００で位相差量を演算するために用いられる位相差検出画素の数）が少なければ、ローリングシャッタによる歪みの影響は小さいと考えられる。そこで、本例では、検出信号を読み出す位相差検出画素数が閾値未満であれば、ローリングシャッタによる歪み量の算出及び補正は行なわずにＡＦ制御を行なうようにした。これにより、ＡＦ制御にかかる時間を短縮することができる。

なお、上記図１３，図１４の閾値を、画角に応じて変更するようにしてもよい。より具体的には、例えば、デジタルカメラ１０が、ワイド（広角）モード・標準モード・テレ（望遠）モードに切り替え可能な構成であれば、各モード毎に閾値を予め設定しておき、ＡＦ制御時の撮影モードに応じて、上記閾値を変更するようにしてもよい。なお、画角がテレ側であるほど、ローリングシャッタによる歪みの影響が大きくなると推定されるため、ワイド側に比べてテレ側の閾値を小さく設定しておくようにしてもよい。

図１５は、ＡＦ制御処理の流れの他の例を示すフローチャートである。

ステップ４００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。

ステップ４０２では、被写体距離が閾値以上か否かを判断する。ここでは、上記ステップ４００で求めた位相差量から暫定的に求めた被写体距離を予め定められた閾値と比較する。ここで比較される閾値は、ＡＦ領域の大きさ或いは上記読出し画素数に応じて変更されるものとする。ステップ４０２で肯定判断した場合には、ステップ４０４で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ４０６では、ステップ４００で求めた位相差量からステップ４０４で求めたローリングシャッタによる歪み量を減算して、ステップ４００で求めた位相差量を補正する。そして、ステップ４０８では、補正された位相差量に基づいて、合焦制御を行なう。

一方、ステップ４０２で否定判断した場合には、ステップ４０４、ステップ４０６をスキップして、ステップ４０８に進む。この場合には、ステップ４０８では、ステップ４００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。

ローリングは撮影画角内の被写体の動きで影響度が変わる。特に被写体距離が長いほど、ローリングシャッタによる歪みの影響は大きくなると考えられる。そこで、本例では、被写体距離が閾値以上長い場合に、ローリングシャッタによる歪み量の算出及び補正を行ない、被写体距離が閾値より短い場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。

図１６は、ＡＦ制御処理の流れの他の例を示すフローチャートである。

ステップ５００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。

ステップ５０２では、画角内の動体検出を行なう。例えば、メモリ４８に記憶された過去の画像データと今回の画像データとの間で周知の動きベクトルを算出し、該動きベクトルの大きさに基づいて検出してもよい。

ステップ５０４では、上記検出結果に基づき、画角内に動体が存在するか否かを判断する。ステップ４０２で肯定判断した場合には、ステップ５０６で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ５０８では、ステップ５００で求めた位相差量からステップ５０６で求めたローリングシャッタによる歪み量を減算して、ステップ５００で求めた位相差量を補正する。そして、ステップ５１０では、補正された位相差量に基づいて、合焦制御を行なう。

一方、ステップ５０４で否定判断した場合には、ステップ５０６、ステップ５０８をスキップして、ステップ５１０に進む。この場合には、ステップ５１０では、ステップ５００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。

ローリングは撮影画角内に動体が存在する場合に起こる。従って、本例では、動体を検出して、動体が存在する場合にのみローリングシャッタによる歪み量の算出及び補正を行ない、動体が存在しない場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。

図１７は、ＡＦ制御処理の流れの他の例を示すフローチャートである。

ステップ６００では、第１の実施の形態で説明したように位相差検出画素信号の相関演算を行なって、位相差量を求める。

ステップ６０２では、ＡＦ領域内の動体検出を行なう。動体検出は、例えば、メモリ４８に記憶された過去の画像データと今回の画像データとの間で周知の動きベクトルを算出し、該動きベクトルの大きさに基づいて検出してもよい。

ステップ６０４では、上記検出結果に基づき、ＡＦ領域内に動体が存在するか否かを判断する。ステップ６０２で肯定判断した場合には、ステップ６０６で、第１の実施の形態で説明したように撮像画素信号の相関演算を行なって、ローリングシャッタによる歪み量を求める。ステップ６０８では、ステップ６００で求めた位相差量からステップ６０６で求めたローリングシャッタによる歪み量を減算して、ステップ６００で求めた位相差量を補正する。そして、ステップ６１０では、補正された位相差量に基づいて、合焦制御を行なう。

一方、ステップ６０４で否定判断した場合には、ステップ６０６、ステップ６０８をスキップして、ステップ６１０に進む。この場合には、ステップ６１０では、ステップ６００で求めた位相差量（ローリングシャッタによる歪み量で補正していない位相差量）をそのまま用いて、合焦制御を行なう。

ローリングは撮影画角内に動体が存在する場合に起こる。従って、本例では、特にＡＦ領域内で動体を検出して、ＡＦ領域内に動体が存在する場合にのみローリングシャッタによる歪み量の算出及び補正を行ない、動体が存在しない場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにした。

以上説明したように、本実施の形態では、ローリングシャッタによる歪みの影響が少ないと推定される場合には、ローリングシャッタによる歪み量の算出及び補正を行なわないようにし、それ以外の場合には、ローリングシャッタによる歪み量を算出して補正を行なうようにした。そのため、ローリングシャッタによる歪みの影響を抑制しつつ、ＡＦ制御において無駄な時間を削減することができる。

なお、本実施の形態では、ＡＦ領域の大きさ、読出し画素数、被写体距離、撮影画角内の被写体の動き、ＡＦ領域内の被写体の動きのいずれかに応じて、ローリングシャッタによる歪み量の算出及び補正を行なうか否かを判断したが、実施形態はこれに限定されない。例えば、ＡＦ領域の大きさ、読出し画素数、被写体距離、撮影画角内の被写体の動き、ＡＦ領域内の被写体の動きの少なくとも１つに応じて、ローリングシャッタによる歪み量の算出及び補正を行なうか否かを判断するようにしてもよい。

なお、デジタルカメラ１０に、第１の実施の形態で説明したように常にローリング補正を行なう第１のモードと、第２の実施の形態で説明したようにローリングシャッタによる歪みの影響が小さいと推定される場合にはローリング補正を行なわないようにする第２のモードとを切り替える切替手段を設けてもよい。この場合、利用者が該切替手段により切り替えたモードに応じて、ＡＦ制御を行なうようにしてもよい。

また、位相差検出画素１ｘ、１ｙは、上記各実施の形態で示した例に限定されない。例えば、位相差検出画素１ｘを、右半分が遮光され、左半分が開口された構成とし、位相差検出画素１ｙを、左半分が遮光され、右半分が開口された構成としてもよい。これによっても、上記と同様に、位相差検出画素１ｘには、撮影レンズの主軸に対して一方の側（左側）を通過した光束が入射され、位相差検出画素１ｙには、撮影レンズの主軸に対して他方の側（右側）を通過した光束が入射される。

また、上記第１及び第２の実施の形態では、位相差検出画素ペアを構成する位相差検出画素が隣接している画素である場合について説明したが、実施形態はこれに限定されない。位相差検出画素ペアを構成する位相差検出画素は互いに隣接しておらず、ペアを構成する画素の間に他の画素が配置されていてもよい。また、同様に、撮像画素ペアを構成する撮像画素が隣接している画素である場合について説明したが、実施形態はこれに限定されない。撮像画素ペアを構成する撮像画素は互いに隣接しておらず、ペアを構成する画素の間に他の画素が配置されていてもよい。

なお、上記第１及び第２の実施の形態では、本発明をデジタルカメラに適用した場合について説明したが、本発明の実施形態はこれに限定されるものではない。例えば、携帯電話機、ＰＤＡ等の撮影機能を有する他の装置に適用する形態とすることもできる。この場合も、上記各実施の形態と同様の効果を奏することができる。

更に、上記各実施の形態において説明した各種処理プログラムの処理の流れは一例であり、本発明の主旨を逸脱しない範囲内において、各ステップの処理順序の変更、処理内容の変更、不要なステップの削除、新たなステップの追加等を行なうことができる。

Claims (22)

1. 撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子と、
   前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出す読出手段と、
   前記位相差検出画素対の各々から読み出された信号の相関演算を行なう第１の相関演算手段と、
   前記撮像画素対の各々から読み出された信号の相関演算を行なう第２の相関演算手段と、
   前記第１の相関演算手段による相関演算結果を、前記第２の相関演算手段による相関演算結果により補正する補正手段と、
   前記補正された相関演算結果を用いて合焦制御する合焦手段と、
   前記第１の位相差検出画素から読み出された信号と、前記第２の位相差検出画素から読み出された信号と、を用いて被写体画像を形成する手段と、
   を備えた撮像装置。
2. 前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なう
   請求項１に記載の撮像装置。
3. 前記第２の相関演算手段は、各々が、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なう
   請求項１に記載の撮像装置。
4. 前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なう
   請求項１〜請求項３のいずれか１項記載の撮像装置。
5. 前記第２の相関演算手段は、前記第１の相関演算手段での相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なう
   請求項１〜請求項３のいずれか１項記載の撮像装置。
6. 前記第２の相関演算手段は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なう
   請求項１〜請求項３のいずれか１項記載の撮像装置。
7. 前記第２の相関演算手段による相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択する選択手段と、
   前記位相差検出画素対及び前記選択手段で選択された撮像画素対の各々から信号が読み出されるように前記読出手段を制御する制御手段と、
   を更に備え、
   前記第２の相関演算手段は、前記制御手段の制御により読み出された信号の相関演算を行なう
   請求項１〜請求項３のいずれか１項記載の撮像装置。
8. 前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように制御する露光制御手段を更に備えた
   請求項１〜請求項７のいずれか１項記載の撮像装置。
9. 焦点を合わせる焦点領域の大きさ、前記第１の相関演算手段での相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正手段による補正を行なうか否かを判断する判断手段を更に備え、
   前記合焦手段は、前記判断手段により前記補正手段による補正を行なわないと判断された場合には、前記補正手段による補正の実行を中止し、前記補正される前の前記第１の相関演算手段の相関演算結果を用いて合焦制御する
   請求項１〜請求項８のいずれか１項記載の撮像装置。
10. 前記第１の位相差検出画素と前記第２の位相差検出画素とが互いに隣接する画素である、請求項１〜請求項９のいずれか１項記載の撮像装置。
11. 前記位相差検出画素対が、前記撮像素子が配置される撮像領域の全領域に、離散的かつ周期的に配置されている、請求項１〜請求項１０のいずれか１項記載の撮像装置。
12. 撮影レンズの主軸に対して一方の側に偏心した開口部を有する第１の位相差検出画素と、前記主軸に対して他方の側に偏心した開口部を有する第２の位相差検出画素とからなる位相差検出画素対を複数備えると共に複数の撮像画素からなる撮像画素対を複数備えた撮像素子を有する撮像装置の合焦制御方法であって、
    前記撮像素子に対し、ローリングシャッタ方式で前記撮像素子に配列された撮像画素及び位相差検出画素の信号を読み出し、
    前記位相差検出画素対の各々から読み出された信号に対して第１の相関演算を行ない、
    前記撮像画素対の各々から読み出された信号に対して第２の相関演算を行ない、
    前記第１の相関演算の結果を、前記第２の相関演算の結果により補正し、
    前記補正された相関演算結果を用いて合焦を制御し、
    前記第１の位相差検出画素から読み出された信号と、前記第２の位相差検出画素から読み出された信号と、を用いて被写体画像を形成すること、
    を含む合焦制御方法。
13. 前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の第１の位相差検出画素が配置されたラインに配置された撮像画素と、該位相差検出画素対の第２の位相差検出画素が配置されたラインに配置された撮像画素とからなる撮像画素対の各々から読み出された信号の相関演算を行なうことを含む、
    請求項１２に記載の合焦制御方法。
14. 前記第２の相関演算は、各々が、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対の各位相差検出画素が配置されたラインの各々とは異なるラインに配置された撮像画素からなる撮像画素対から読み出された信号の相関演算を行なうことを含む、
    請求項１２に記載の合焦制御方法。
15. 前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と同じ色のカラーフィルタが設けられた撮像画素対から読み出された信号の相関演算を行なうことを含む、
    請求項１２〜請求項１４のいずれか１項記載の合焦制御方法。
16. 前記第２の相関演算は、前記第１の相関演算に用いられる信号が読み出される位相差検出画素対に設けられたカラーフィルタの色と異なる色のカラーフィルタが設けられた撮像画素対を含む複数の撮像画素対から読み出された信号の相関演算を行なうことを含む、
    請求項１２〜請求項１４のいずれか１項記載の合焦制御方法。
17. 前記第２の相関演算は、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対の各々から読み出された信号の相関演算を行なうことを含む、
    請求項１２〜請求項１４のいずれか１項記載の合焦制御方法。
18. 前記第２の相関演算が行なわれる前に、Ｒ色のカラーフィルタが設けられた撮像画素対、Ｇ色のカラーフィルタが設けられた撮像画素対、及びＢ色のカラーフィルタが設けられた撮像画素対の中で、前記位相差検出画素対を構成する位相差検出画素から読み出された信号のレベルに最も近いレベルの信号が読み出された色のカラーフィルタが設けられた撮像画素からなる撮像画素対を選択し、
    前記位相差検出画素対及び前記選択された撮像画素対の各々から信号が読み出されるように読出を制御すること、
    を更に含み、
    前記第２の相関演算は、前記読出の制御により読み出された信号の相関演算を行なう、
    請求項１２〜請求項１４のいずれか１項記載の合焦制御方法。
19. 前記撮像素子の露光時間を、前記撮像画素の感度に応じた露光量となるように露光を制御することを更に含む、
    請求項１２〜請求項１８のいずれか１項記載の合焦制御方法。
20. 焦点を合わせる焦点領域の大きさ、前記第１の相関演算に用いられる信号を読み出す位相差検出画素の数、撮影画角内の被写体の動き、及び前記焦点領域内の被写体の動き、の少なくとも１つに基づいて、前記補正を行なうか否かを判断することを更に含み、
    前記合焦の制御は、前記判断により補正を行なわないと判断された場合には、補正の実行を中止し、前記補正される前の前記第１の相関演算の結果を用いて合焦を制御することを含む、
    請求項１２〜請求項１９のいずれか１項記載の合焦制御方法。
21. 前記第１の位相差検出画素と前記第２の位相差検出画素とが互いに隣接する画素である、請求項１２〜請求項２０のいずれか１項記載の合焦制御方法。
22. 前記位相差検出画素対が、前記撮像素子が配置される撮像領域の全領域に、離散的かつ周期的に配置されている、請求項１２〜請求項２１のいずれか１項記載の合焦制御方法。