JP5186895B2 - 撮像装置 - Google Patents

Description

本発明は、撮像画素と焦点検出画素を有する撮像素子および該撮像素子を備えた撮像装置に関する。

二次元状に配列された撮像画素の一部を焦点検出画素に置き換えた撮像素子を用いて撮像と焦点検出を行う撮像装置が開示されている（例えば、特許文献１参照）。

特開２０００−１５６８２３号公報

上述した従来の撮像装置では、ＥＶＦ（Electronic View Finder；電子ビューファインダー）表示、すなわち、スルー画によるライブビュー表示を行うために、撮像素子上のラインを間引いて信号を読み出している。このライブビュー用の間引き読み出しモードにおいては、焦点検出画素の信号は読み出されない。そのため、焦点検出動作を行う場合には、焦点検出画素の信号を読み出す測距読出しモードを焦点検出用に設け、ライブビュー用の読出しモードと測距読出しモードとを切り換えて独立に行う必要があった。

しかしながら、このように２つの読出しモードを切り換えて行う場合、ライブビュー画像の表示には固定された一部の間引き画素の情報しか用いられていないので、画像の表示性能が低下するほか、画像信号や焦点検出信号の更新間隔を短くできないため応答性も悪かった。

請求項１の発明による撮像装置は、光学系の瞳を通過する光束を受光して画像信号を出力する撮像用画素を二次元状に配列するとともに、前記光学系の瞳の一対の領域を通過する一対の光束を受光して焦点検出用信号を出力する焦点検出用画素を前記撮像用画素の配列中に配置した撮像素子と、前記撮像素子で得られる１フレーム分の前記画像信号と前記焦点検出用信号とを、前記撮像素子の画素配列における所定の画素間隔で選択した第１フィールドと、前記撮像素子の画素配列において前記第１フィールドとは異なる位置で所定の画素間隔で選択した第２フィールドとに時分割して読み出すとともに、前記第１フィールドと前記第２フィールドを交互に繰り返して読み出す第１読出しモードと、前記１フレーム分の前記画像信号と前記焦点検出用信号とを読み出す第２読出しモードとを備えた読出し手段と、前記第１読出しモードにより繰り返し読み出される前記第１フィールドの画像信号と前記第２フィールドの画像信号とに基づき画像を表示する表示手段と、前記第１読出しモードにより繰り返し読み出される前記第１フィールドと前記第２フィールドとの少なくとも一方に含まれる前記焦点検出用信号に基づき、前記光学系のデフォーカス量を繰り返し検出するとともに、該繰り返し検出されるデフォーカス量に基づき前記光学系の焦点調節を行なう焦点調節手段と、前記第２読出しモードにより読み出される前記１フレーム分の前記画像信号を記録する記録手段と、を備えることを特徴とする。

本発明によれば、表示画像の表示性能と焦点検出の応答性の向上を図ることができる。

以下、図を参照して本発明を実施するための最良の形態について説明する。以下では、撮像素子および撮像装置として、レンズ交換式デジタルスチルカメラを例に上げて説明する。
−第１の実施の形態−
図１はカメラの横断面図であり、カメラの概略構成を示したものである。デジタルスチルカメラ２０１は交換レンズ２０２とカメラボディ２０３から構成され、交換レンズ２０２がマウント部２０４を介してカメラボディ２０３に装着される。カメラボディ２０３にはマウント部２０４を介して種々の撮影光学系を有する交換レンズ２０２が装着可能である。

交換レンズ２０２はレンズ２０９、ズーミング用レンズ２０８、フォーカシング用レンズ２１０、絞り２１１、レンズ駆動制御装置２０６などを備えている。レンズ駆動制御装置２０６は不図示のマイクロコンピューター、メモリ、駆動制御回路などから構成され、フォーカシング用レンズ２１０の焦点調節と絞り２１１の開口径調節のための駆動制御や、ズーミング用レンズ２０８、フォーカシング用レンズ２１０および絞り２１１の状態検出などを行う他、後述するボディ駆動制御装置２１４との通信によりレンズ情報の送信とカメラ情報の受信を行う。絞り２１１は、光量およびボケ量調整のために光軸中心に開口径が可変な開口を形成する。

カメラボディ２０３は撮像素子２１２、ボディ駆動制御装置２１４、液晶表示素子駆動回路２１５、液晶表示素子２１６、接眼レンズ２１７、メモリカード２１９などを備えている。撮像素子２１２には、撮像画素が二次元状に配置されるとともに、焦点検出位置に対応した部分に焦点検出画素が組み込まれている。

ボディ駆動制御装置２１４はマイクロコンピューター、メモリ、駆動制御回路などから構成され、撮像素子２１２の駆動制御と画像信号および焦点検出信号の読み出しと、焦点検出信号に基づく焦点検出演算と交換レンズ２０２の焦点調節を繰り返し行うとともに、画像信号の処理と記録、カメラの動作制御などを行う。また、ボディ駆動制御装置２１４は電気接点２１３を介してレンズ駆動制御装置２０６と通信を行い、レンズ情報の受信とカメラ情報（デフォーカス量や絞り値など）の送信を行う。

液晶表示素子２１６は電気的なビューファインダー（ＥＶＦ：Electronic View Finder）として機能する。液晶表示素子駆動回路２１５は撮像素子２１２によるスルー画像を液晶表示素子２１６に表示し、撮影者は接眼レンズ２１７を介してスルー画像を観察することができる。メモリカード２１９は、撮像素子２１２により撮像された画像を記憶する画像ストレージである。

交換レンズ２０２を通過した光束により、撮像素子２１２の受光面上に被写体像が形成される。この被写体像は撮像素子２１２により光電変換され、画像信号と焦点検出信号がボディ駆動制御装置２１４へ送られる。

ボディ駆動制御装置２１４は、撮像素子２１２の焦点検出画素からの焦点検出信号に基づいてデフォーカス量を算出し、このデフォーカス量をレンズ駆動制御装置２０６へ送る。また、ボディ駆動制御装置２１４は、撮像素子２１２からの画像信号を処理してメモリカード２１９に格納するとともに、撮像素子２１２からのスルー画像信号を液晶表示素子駆動回路２１５へ送り、スルー画像を液晶表示素子２１６に表示させる。さらに、ボディ駆動制御装置２１４は、レンズ駆動制御装置２０６へ絞り制御情報を送って絞り２１１の開口制御を行う。

レンズ駆動制御装置２０６は、レンズ情報をフォーカシング状態、ズーミング状態、絞り設定状態、絞り開放Ｆ値などに応じて変更する。具体的には、ズーミング用レンズ２０８とフォーカシング用レンズ２１０の位置と絞り２１１の絞り値を検出し、これらのレンズ位置と絞り値に応じてレンズ情報を演算したり、あるいは予め用意されたルックアップテーブルからレンズ位置と絞り値に応じたレンズ情報を選択したりする。

レンズ駆動制御装置２０６は、受信したデフォーカス量に基づいてレンズ駆動量を算出し、レンズ駆動量に応じてフォーカシング用レンズ２１０を合焦位置へ駆動する。また、レンズ駆動制御装置２０６は受信した絞り値に応じて絞り２１１を駆動する。

図２は撮影画面上の焦点検出位置を示す図であり、後述する焦点検出画素列により焦点検出を行うときに画面上で像をサンプリングする領域（焦点検出エリア、焦点検出位置）の一例を示す。この一実施の形態では、矩形の撮影画面１００内の中央に焦点検出エリア１０１が配置される。長方形で示した焦点検出エリア１０１の長手方向に、複数の焦点検出画素が直線的に配列される。

図３は撮像素子２１２の詳細な構成を示す正面図であり、撮像素子２１２上の焦点検出エリア１０１の近傍を拡大して示したものである。撮像素子２１２は、撮像画素３１０と焦点検出画素３１３、３１４から構成される。撮像画素３１０は水平および垂直方向に２次元状に正方格子配列されており、一方、焦点検出画素３１３、３１４は水平方向に配列されている。

撮像画素３１０は、図４に示すように、マイクロレンズ１０と光電変換部１１を備えている。また、焦点検出画素３１３は、図５(ａ)に示すように、マイクロレンズ１０と光電変換部１３を備えている。光電変換部１３の形状は、マイクロレンズ１０の垂直２等分線に接する左半円である。さらに、焦点検出画素３１４は、図５(ｂ)に示すように、マイクロレンズ１０と光電変換部１４を備えている。光電変換部１４の形状は、マイクロレンズ１０の垂直２等分線に接する右半円である。

光電変換部１３，１４は、マイクロレンズ１０を重ね合わせて表示した場合に左右水平方向に並んでおり、マイクロレンズ１０の垂直２等分線に関して対称な形状をしている。焦点検出画素３１３と焦点検出画素３１４は、水平方向（光電変換部１３と１４の並び方向）に交互に配置される。これらの撮像画素３１０と焦点検出画素３１３、３１４の分光感度特性は、図６に示すような特性となっている。

図７は撮像画素３１０の断面図である。撮像画素３１０には、撮像用の光電変換部１１の前方にマイクロレンズ１０が配置されており、マイクロレンズ１０により光電変換部１１が前方に投影される。光電変換部１１は半導体回路基板２９上に形成される。

図８（ａ）は、焦点検出画素３１３の断面図である。焦点検出画素３１３には、光電変換部１３の前方にマイクロレンズ１０が配置されており、マイクロレンズ１０により光電変換部１３が前方に投影される。光電変換部１３は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１３はマイクロレンズ１０の光軸の片側に配置される。

図８（ｂ）は、焦点検出画素３１４の断面図である。焦点検出画素３１４では、光電変換部１４の前方にマイクロレンズ１０が配置されており、マイクロレンズ１０により光電変換部１４が前方に投影される。光電変換部１４は半導体回路基板２９上に形成されるとともに、その上にマイクロレンズ１０が半導体イメージセンサーの製造工程により一体的かつ固定的に形成される。光電変換部１４はマイクロレンズ１０の光軸の片側で、かつ光電変換部１３の反対側に配置される。

図９は、マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す。図９において、９０は、交換レンズ２０２（図１参照）の予定結像面に配置されたマイクロレンズから前方ｄの距離に設定された射出瞳である。この距離ｄは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との間の距離などに応じて決まる距離であって、この明細書では測距瞳距離と呼ぶ。９１は交換レンズの光軸、１０ａ〜１０ｄはマイクロレンズ、１３ａ、１３ｂ、１４ａ、１４ｂは光電変換部、３１３ａ、３１３ｂ、３１４ａ、３１４ｂは焦点検出画素、７３，７４、８３，８４は焦点検出光束である。

また、９３は、マイクロレンズ１０ａ、１０ｃにより投影された光電変換部１３ａ、１３ｂの領域であり、この明細書では測距瞳と呼ぶ。図９では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。同様に、９４は、マイクロレンズ１０ｂ、１０ｄにより投影された光電変換部１４ａ、１４ｂの領域であり、この明細書では測距瞳と呼ぶ。図９では、説明を解りやすくするために楕円形の領域で示しているが、実際には光電変換部の形状が拡大投影された形状になる。

図９では、隣接する４つの焦点検出画素３１３ａ、３１３ｂ、３１４ａ、３１４ｂを模式的に例示しているが、その他の焦点検出画素においても光電変換部はそれぞれ対応した測距瞳から各マイクロレンズに到来する光束を受光する。焦点検出画素の配列方向は一対の測距瞳の並び方向、すなわち一対の光電変換部の並び方向と一致させる。

マイクロレンズ１０ａ〜１０ｄは、交換レンズ２０２（図１参照）の予定結像面近傍に配置されている。マイクロレンズ１０ａ〜１０ｄは、それらの背後に配置された光電変換部１３ａ、１３ｂ、１４ａ、１４ｂの形状をマイクロレンズ１０ａ〜１０ｃから測距瞳距離ｄだけ離間した射出瞳９０上に投影する。その投影形状は、測距瞳９３，９４を形成する。すなわち、投影距離ｄにある射出瞳９０上で各焦点検出画素の光電変換部の投影形状（測距瞳９３，９４）が一致するように、各焦点検出画素における光電変換部の投影方向が決定されている。

測距瞳９３を通過してマイクロレンズ１０ａに向う光束７３は、マイクロレンズ１０ａ上に像を形成する。光電変換部１３ａは、形成された像の光強度に対応した信号を出力する。同様に、測距瞳９３を通過してマイクロレンズ１０ｃに向う光束８３は、マイクロレンズ１０ｃ上に像を形成し、光電変換部１３ｂは形成された像の光強度に対応した信号を出力する。

また、測距瞳９４を通過してマイクロレンズ１０ｂに向う光束７４は、マイクロレンズ１０ｂ上に像を形成する。光電変換部１４ａは、形成された像の光強度に対応した信号を出力する。同様に、測距瞳９４を通過してマイクロレンズ１０ｄに向う光束８４は、マイクロレンズ１０ｄ上に像を形成し、光電変換部１４ｂは形成された像の光強度に対応した信号を出力する。

上述した２種類の焦点検出画素を直線状に多数配置し、各画素の光電変換部の出力を測距瞳９３および測距瞳９４に対応した出力グループにまとめることによって、測距瞳９３および測距瞳９４をそれぞれ通過した焦点検出用光束が画素列上に形成する一対の像に対して、像の強度分布に関する情報を得ることができる。この情報に対して後述する像ズレ検出演算処理（相関演算処理、位相差検出処理）を施すことによって、いわゆる瞳分割型位相差検出方式で一対の像の像ズレ量が検出される。さらに、像ズレ量に一対の測距瞳の重心間隔に応じた変換演算を行うことによって、予定結像面に対する現在の結像面（予定結像面上のマイクロレンズアレイの位置に対応した焦点検出位置における結像面）の偏差（デフォーカス量）が算出される。

図１０は撮像素子２１２の回路構成を示す概念図であり、撮像素子２１２を（水平方向８画素）×（垂直方向４画素）のレイアウトに簡略化して示したものである。本実施の形態の撮像素子２１２は、ＣＭＯＳイメージセンサーとして構成される。図１０において、垂直方向の上から２行目は焦点検出画素が配置されている行であり、中央の６つの焦点検出画素３１３、３１４が複数の焦点検出画素を代表しており、左右の１つずつの撮像画素３１０が焦点検出画素の左右に配置された複数の撮像画素を代表している。垂直方向の１行目、３行目、４行目は撮像画素３１０のみが配置された行であり、焦点検出画素が配置された行の上下に配置される複数の撮像画素のみからなる行を代表している。

ラインメモリ３２０は１行分の画素の画素信号を一時的に保持するバッファである。撮像画素３１０および焦点検出画素３１３，３１４からの画素信号の出力は、垂直走査回路５０２が発する制御信号（ΦＳ１〜ΦＳ４）により行ごとに独立に制御される。制御信号（ΦＳ１〜ΦＳ４）により選択された行の画素の画素信号は垂直信号線５０１へ出力され、ラインメモリ３２０は垂直信号線５０１に出力されている同一行の画素信号を垂直走査回路５０２が発する制御信号ΦＨ１に基づいてラッチする。ラインメモリ３２０に保持された画素信号は、水平走査回路５０３が発する制御信号（ΦＶ１〜ΦＶ８）にしたがって順に出力回路３３０へ転送され、出力回路３３０で予め設定された増幅度で増幅されて外部へ出力される。なお、ラインメモリ３２０に保持される画素信号は、制御信号ΦＳ１〜ΦＳ４の立ち上がりに同期してリセットされる。

撮像画素３１０および焦点検出画素３１３，３１４は、画素信号がラッチされた後、リセット回路５０４が発する制御信号（ΦＲ１〜ΦＲ４）によりリセットされ、次回の画素信号のための電荷蓄積を開始する。垂直走査回路５０２およびリセット回路５０４には動作モード切替のためのＭｏｄｅ信号が外部から入力されており、Ｍｏｄｅ信号のＨ／Ｌに応じて制御信号（ΦＳ１〜ΦＳ４）の発生パターンを変更する。この発生パターンを変更により、通常の画素信号出力動作（全画素読み出しモード）と画素信号を垂直方向に間引きして出力する動作（垂直間引き読み出しモード）とを切り換える。

水平走査回路５０３にも動作モード切替のためのＭｏｄｅ信号が外部から入力されており、Ｍｏｄｅ信号のＨ／Ｌに応じて制御信号（ΦＶ１〜ΦＶ８）の発生周期を調整することにより、通常の画素信号出力動作（全画素読み出しモード）と画素信号を垂直方向に間引きして出力する動作（垂直間引き読み出しモード）の切り換えに対応する。撮像素子２１２が垂直間引き読み出しモードに設定された場合には、垂直方向で２：１のインターレース走査が行われる。この場合、１フレームの画像情報が２フィールドの画像情報に分割され、奇数行の画素信号から成る奇数フィールドの読み出しと、偶数行の画素信号から成る偶数フィールドの読み出しとが交互に繰り返し実行される。

図１０は奇数フィールド読み出しの場合を示したものであり、白抜き矩形で示されている１行目と３行目の撮像画素３１０の画素信号が読み出される。一方、図１１は偶数フィールド読み出しの場合を示したものであり、白抜きの矩形または丸で示す２行目の焦点検出画素３１３，３１４および撮像画素３１０と４行目の撮像画素３１０の画素信号が読み出される。

図１２は、図１０、１１に示す撮像素子２１２の撮像画素３１０と焦点検出画素３１３，３１４の詳細な回路図である。これらの画素の光電変換部はフォトダイオードＰＤで構成される。フォトダイオードＰＤに蓄積された電荷は、浮遊拡散層（フローティングディフュージョン）ＦＤに蓄積される。フローティングディフュージョンＦＤは増幅ＭＯＳトランジスタＡＭＰのゲートに接続されており、このトランジスタＡＭＰはフローティングディフュージョンＦＤに蓄積された電荷の量に応じた信号を発生する。

フローティングディフュージョンＦＤはリセットＭＯＳトランジスタ５１０を介して電源Ｖｄｄに接続されており、制御信号ΦＲｎ（ΦＲ１〜ΦＲ４）によりリセットＭＯＳトランジスタ５１０がＯＮすると、フローティングディフュージョンＦＤおよびフォトダイオードＰＤに溜まった電荷がクリアされリセット状態となる。トランジスタＡＭＰの出力は行選択ＭＯＳトランジスタ５１２を介して垂直出力線５０１へ接続されており、制御信号ΦＳｎ（ΦＳ１〜ΦＳ４）により行選択ＭＯＳトランジスタ５１２がＯＮすると、トランジスタＡＭＰの出力が垂直信号線５０１へ出力される。

図１３，１４は撮像素子２１２の動作タイミングチャートであり、横軸は時間スケールである。図１３は撮像素子２１２の全画素を読み出す通常動作モードの場合を示したものであり、図１４はライブビュー表示の際に用いられる垂直間引き読み出しモードの場合を示したものである。

まず、図１３および図１０を参照して、通常動作モードについて説明する。外部からローレベルのＭｏｄｅ信号Ｌが入力されると、撮像素子２１２は通常動作モード（全画素読み出しモード）で動作する。１行目の撮像画素３１０は垂直走査回路５０２から発せられる制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１へ出力される。制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１により、垂直信号線５０１に出力された１行目の画素信号はラインメモリ３２０に一時的に保持される。ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路５０３から順次発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０へ転送され、出力回路３３０により予め設定された増幅度で増幅されて外部へ出力される。

１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。１行目の撮像画素３１０の画素信号の出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１３，３１４は垂直走査回路５０２が発する制御信号ΦＳ２により選択され、選択された撮像画素３１０および焦点検出画素３１３，３１４の画素信号は垂直信号線５０１へ出力される。以下、１行目の画素の動作と同様に、２行目の撮像画素３１０および焦点検出画素３１３，３１４において画素信号の保持、画素のリセット、画素信号の出力および次の電荷蓄積の開始が行われる。

続いて３行目および４行目の画素に関して、１行目の画素の場合と同様に画素信号の保持、画素リセット、画素信号の出力および次の電荷蓄積の開始が行われる。すべての画素の画素信号の出力が終了したらふたたび１行目へ戻り、上述した動作が周期的に繰り返される。

なお、制御信号ΦＲ１〜ΦＲ４のパルス幅を変更することによって、撮像画素３１０および焦点検出画素３１３，３１４の電荷蓄積時間（露光時間）を調整することができる。図１３に示すタイミングチャートでは、１行目から４行目の画素の電荷蓄積と画素信号出力を周期的に繰り返す動作例を示したが、これらの動作を単発的に１周期のみ行うこともできる。このような通常動作モード（全画素読み出しモード）は撮影時に実行される。

次に、図１４，１０，１１を参照して、撮像素子２１２の垂直間引き読み出しモードについて説明する。外部からハイレベルのＭｏｄｅ信号Ｈが入力されると、撮像素子２１２は垂直間引き読み出しモードで動作する。垂直間引き読み出しモードでは、図１０に示す奇数フィールドの読み出しと、図１１に示す偶数フィールドの読み出しとが交互に行われる。奇数フィールドにおいては、撮像画素３１０のみが配置された１行目および３行目がそれぞれ連続的に読み出され、偶数フィールドにおいては、焦点検出画素３１３，３１４を含む２行目と撮像画素３１０のみの４行目がそれぞれ連続的に読み出される。

奇数フィールドにおいては、１行目の撮像画素３１０は垂直走査回路５０２から発せられる制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号が垂直信号線５０１へ出力される。垂直信号線５０１に出力された１行目の画素信号は、制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１によりラインメモリ３２０に一時的に保持される。ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路６０３から発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０へ転送され、出力回路３３０により予め設定された増幅度で増幅されて外部へ出力される。

なお、１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。

１行目の撮像画素３１０の画素信号の出力回路３３０からの出力が終了した時点で、３行目の撮像画素３１０は垂直走査回路５０２から発せられる制御信号ΦＳ３により選択され、選択された撮像画素３１０の画素信号は垂直信号線５０１へ出力される。そして、制御信号ΦＳ３と同期して発せられる制御信号ΦＨ１により、垂直信号線５０１へ出力された３行目の画素信号がラインメモリ３２０に一時的に保持される。

ラインメモリ３２０に保持された３行目の撮像画素３１０の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１〜Ｖ８にしたがって出力回路３３０に転送され、出力回路３３０により予め設定された増幅度で増幅されて外部へ出力される。３行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ３により３行目の撮像画素３１０がリセットされ、制御信号ΦＲ３の立ち下がりで３行目の撮像画素３１０の次の電荷蓄積が開始される。

以上で奇数フィールドの画素信号読出し動作が終了すると、引き続いて偶数フィールドの画素信号の読出しに移行する。３行目の撮像画素３１０の画素信号の出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１３，３１４は垂直走査回路５０２から発せられる制御信号ΦＳ２により選択され、選択された撮像画素３１０および焦点検出画素３１３，３１４の画素信号が垂直信号線５０１へ出力される。垂直信号線５０１に出力された２行目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号は、制御信号ΦＳ２と同期して発せられる制御信号ΦＨ１によりラインメモリ３２０に一時的に保持される。

ラインメモリ３２０に保持された２行目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１〜ΦＶ８にしたがって出力回路３３０に転送され、出力回路３３０により予め設定された増幅度で増幅されて外部に出力される。２行目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ２により２行目の撮像画素３１０および焦点検出画素３１３，３１４がリセットされ、制御信号ΦＲ２の立ち下がりで２行目の撮像画素３１０および焦点検出画素３１３，３１４の次の電荷蓄積が開始される。

２行目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号の出力回路３３０からの出力が終了した時点で、４行目の撮像画素３１０が垂直走査回路５０２から発せられる制御信号ΦＳ４により選択され、選択された撮像画素３１０の画素信号が垂直信号線５０１へ出力される。垂直信号線５０１に出力された４行目の画素信号は、制御信号ΦＳ４と同期して発せられる制御信号ΦＨ１によりラインメモリ３２０に一時的に保持される。ラインメモリ３２０に保持された４行目の撮像画素３１０の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１〜Ｖ８にしたがって出力回路３３０に転送され、出力回路３３０により予め設定された増幅度で増幅されて外部に出力される。

４行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４より発せられる制御信号ΦＲ４により４行目の撮像画素がリセットされ、制御信号ΦＲ４の立ち下がりで４行目の撮像画素３１０の次の電荷蓄積が開始される。以上で偶数フィールドの画素信号読出し動作が終了し、再び奇数フィールドの画素信号読出し動作に戻って上記動作が周期的に繰り返される。

図１５〜図１８は、図１に示したデジタルスチルカメラの動作を示すフローチャートである。ボディ駆動制御装置２１４は、カメラの電源が投入されると図１５のステップＳ１００から電源ＯＮ時の動作を開始し、ステップＳ１１０で図１６に示す垂直間引き読み出しモード（以下では、インターレース読み出しモードと呼ぶ）サブルーチンへジャンプする。

図１６は、撮像素子２１２のインターレース読み出しモードサブルーチンの動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ２００から撮像素子２１２の読み出し動作を開始する。ステップＳ２１０で撮像素子２１２をインターレース読み出しモードに設定し、このモードでの繰り返し撮像動作を開始させる。続くステップＳ２２０では、図１７に示す画素データ読み出し割り込みの発生を待機する。

図１７は、画素データ読み出し割り込み処理を示すフローチャートである。図１６のステップＳ２２０で画素データ読み出し割り込みが発生すると、ボディ駆動制御装置２１４は、画素データ読み出し割り込み処理を開始する。撮像素子２１２は、画素信号を出力する際、１フィールドの最初の画素信号を出力する直前に、ボディ駆動制御装置２１４に対し画素データ読み出し割り込みを発生する。撮像素子２１２が、インターレース読み出しモードおいて奇数フィールド、偶数フィールドの順に繰り返し読み出しを行う周期動作を行っている場合には、この割り込みが周期的に発生し、ボディ駆動制御装置２１４はステップＳ３００から処理を開始する。

ステップＳ３１０では、撮像素子２１２からインターレース読み出しモードで画素データを読み込む。すなわち、奇数フィールドに関する割り込み処理が行われている場合には奇数フィールドの画素データが読み込まれ、偶数フィールドに関する割り込み処理が行われている場合には偶数フィールドの画素信号が読み込まれる。続くステップＳ３２０では、ステップＳ３１０で読み込んだ画素信号が奇数および偶数のいずれのフィールドであるかに応じて補間処理を行い、補間処理後の画像をＥＶＦとして機能する液晶表示素子２１６に表示する。

図１９は、奇数フィールドと偶数フィールドにおける画素信号の読出し動作を模式的に表した図であり、（ａ）は奇数フィールドの場合を、（ｂ）は偶数フィールドの場合を示す。図の縦方向および横方向が画素配列の垂直方向および水平方向に対応しており、横方向の実線９１は垂直間引きで読み出される行を示し、破線９２は垂直間引きで読み出されない行を示している。各行における画素信号読み出しの走査方向は左から右であり、縦方向の行の走査方向は上から下である。また、図１９（ａ）の中央部の太い実線９３は、焦点検出画素３１３，３１４が配置されている部分を示しており、この行の画素信号は偶数フィールドで読み出される。

図１９（ａ）に示す奇数フィールドの場合、上述したステップＳ３２０の処理では、連続した２つの奇数行の同じ列の画素信号を加算平均して、２つの奇数行の中間にある偶数行（破線で示す）の同じ列の画素信号に換算し、その画素信号に基づく画像を液晶表示素子２１６に表示する。すなわち、奇数フィールドの画像情報を、偶数フィールドで読み出される行の位置における画像情報に換算して表示する。

一方、図１９（ｂ）に示す偶数フィールドの場合のステップＳ３２０の処理では、焦点検出画素３１３，３１４が配置された行の直上および直下の偶数行の同じ列の撮像画素の画素信号を加算平均して、同じ列の焦点検出画素３１３，３１４の位置の画素信号を補間により作成する。そして、偶数フィールドの補間画素信号と撮像画素３１０の画素信号とに基づいて、画像を液晶表示素子２１６に表示する。

ステップＳ３２２では、処理を行っているフィールドが奇数フィールドか偶数フィールドかを判定する。そして、焦点検出画素３１３，３１４を含まない奇数フィールドと判定した場合にはステップＳ３７０へ進み、偶数フィールドと判定した場合には、ステップＳ３３０へと進む。ステップＳ３３０では、焦点検出エリア１０１（図２参照）の一対の焦点検出画素のデータ列（図１１に示す例では、白抜き丸で示す焦点検出画素３１３，３１４の画素信号の列）に基づいて、後述する像ズレ検出演算処理（相関演算処理）を行い、焦点検出エリア１０１における像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。

ステップＳ３４０では、合焦近傍か否か、すなわち、算出されたデフォーカス量の絶対値が所定値以内であるか否かを判定する。ステップＳ３４０において合焦近傍でないと判定された場合には、ステップＳ３５０へ進む。ステップＳ３５０では、デフォーカス量をレンズ駆動制御装置２０６へ送信して、交換レンズ２０２のフォーカシングレンズ２１０の合焦位置への駆動を更新し、ステップＳ３７０へ進む。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６にスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させ、ステップＳ３７０へ進む。

一方、ステップＳ３４０において合焦近傍であると判定された場合はステップＳ３６０へ進み、レリーズ操作によるシャッターレリーズがなされたか否かを判定する。シャッターレリーズがなされていないと判定された場合にはステップＳ３７０へ進み、シャッターレリーズがなされたと判定された場合には、図１８に示すレリーズシーケンス動作を実行する。ステップＳ３７０では、画素データ読み出し割り込み処理から図１６に示すインターレース読み出しモードサブルーチンのステップＳ２２０へリターンし、次の周期の画素データ読み出し割り込みの発生を待機する。なお、画素データ読み出し割り込み処理のステップＳ３００〜Ｓ３６０の処理時間は、画素データ読み出し割り込みの発生周期よりも短くなっている。

図１８はレリーズシーケンス動作を示すフローチャートである。ステップＳ４６０において、撮像素子２１２を全画素読み出しモードに設定し、全画素読み出しモードで単発的に撮像動作させる。ステップＳ４７０では、画素データ読み出し割り込みが発生するのを待機する。画素データ読み出し割り込みが発生したならば、続くステップＳ４８０で撮像素子２１２から出力される画素信号を読み込む。ステップＳ４９０では、焦点検出画素３１３，３１４の位置の画素信号を焦点検出画素３１３，３１４の周囲にある撮像画素３１０の画素信号で補間して作成する。ステップＳ５００では、撮像画素３１０の画素信号と上記補間信号を画像データとしてメモリカード２１９へ格納する。ステップＳ５１０では、図１６に示すインターレース読み出しモードサブルーチンへジャンプし、ふたたび撮像素子２１２をインターレース読み出しモードに設定し、インターレース読み出しモードで繰り返し撮像動作を開始させる。

次に、図１７のステップＳ３３０における像ズレ検出演算処理（相関演算処理）の詳細について説明する。焦点検出画素３１３，３１４が検出する一対の像は、測距瞳がレンズの絞り開口によりけられて光量バランスが崩れている可能性があるので、光量バランスに対して像ズレ検出精度を維持できるタイプの相関演算を施す。焦点検出画素列から読み出された一対のデータ列（Ａ１１〜Ａ１Ｍ、Ａ２１〜Ａ２Ｍ：Ｍはデータ数）に対し、次式（１）に示す相関演算を行い、相関量Ｃ(k)を演算する。
Ｃ(k)＝Σ｜Ａ１n・Ａ２n+1+k−Ａ２n+k・Ａ１n+1｜ …（１）

式（１）において、Σ演算はｎについて累積され、ｎのとる範囲は像ずらし量ｋに応じてＡ１n、Ａ１n+1、Ａ２n+k、Ａ２n+1+kのデータが存在する範囲に限定される。像ずらし量ｋは整数であり、データ列のデータ間隔を単位とした相対的シフト量である。

式（１）の演算結果は、図２０（ａ）に示すように、一対のデータの相関が高いシフト量（図２０（ａ）ではｋ＝ｋj＝２）において相関量Ｃ(k)が極小になる。この相関量Ｃ(k)の値は、相関が高いほど小さくなる。次に、次式（２）〜（５）に示す３点内挿の手法を用い、相関量を連続的とみなした場合の極小値Ｃ(ｘ)を与えるシフト量ｘを求める。
ｘ＝ｋj＋Ｄ／ＳＬＯＰ …（２）
Ｃ(ｘ)＝ Ｃ(ｋj)−｜Ｄ｜ …（３）
Ｄ＝｛Ｃ(ｋj-1)−Ｃ(ｋj+1)｝／２ …（４）
ＳＬＯＰ＝ＭＡＸ｛Ｃ(ｋj+1)−Ｃ(ｋj)，Ｃ(ｋj-1)−Ｃ(ｋj)｝ …（５）

式（２）で算出されたずらし量ｘの信頼性があるかどうかは、以下のようにして判定される。図２０（ｂ）に示すように、一対のデータの相関度が低い場合には、内挿された相関量の極小値Ｃ(ｘ)の値が大きくなる。したがって、Ｃ(ｘ)が所定のしきい値以上の場合は算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。あるいは、Ｃ(ｘ)をデータのコントラストで規格化するために、コントラストに比例した値となるＳＬＯＰでＣ(ｘ)を除した値を用い、その値が所定値以上の場合には、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。

あるいは、コントラストに比例した値となるＳＬＯＰが所定値以下の場合は、被写体が低コントラストであり、算出されたずらし量の信頼性が低いと判定し、算出されたずらし量ｘをキャンセルする。図２０（ｃ）に示すように、一対のデータの相関度が低く、シフト範囲ｋmin〜ｋmaxの間で相関量Ｃ(k)の落ち込みがない場合は、極小値Ｃ(ｘ)を求めることができない。このような場合には、焦点検出不能と判定する。

なお、相関演算式としては式（１）に示した演算式に限定されず、光量バランスが崩れていても像ズレ検出精度の維持が可能な相関演算式であればどのような演算式を用いてもよい。

算出されたずらし量ｘの信頼性があると判定された場合は、次式（６）により像ズレ量ｓｈｆｔに換算する。式（６）において、ＰＹは検出ピッチである。そして、式（７）に示すように、式（６）で算出された像ズレ量に所定の変換係数ｋを乗じてデフォーカス量ｄｅｆへ変換する。
ｓｈｆｔ＝ＰＹ・ｘ …（６）
ｄｅｆ＝ｋ・ｓｈｆｔ …（７）

上述したように、本実施の形態においては、垂直間引き読み出しモード時における奇数フィールドおよび偶数フィールドの画像情報には、いずれの場合も撮像画素３１０の画素データが含まれている。そして、図１４に示すように、奇数フィールドの画像情報と偶数フィールドの画像情報を交互に表示する。すなわち、撮像素子２１２から画素信号を垂直方向にインターレース走査で読み出すことにより、各フィールドの画像情報に応じた画像をライブビュー表示することができ、従来のように単に１フィールドの画像情報を繰り返し表示する場合に比べて表示の解像感が向上する。

さらに、撮像画素３１０の画素信号を含まないフィールドが混在しないので、所定時間あたりの表示の更新回数が増加し、動きのある被写体を撮像して表示する場合にも動きが滑らかに視認される。なお、図１９で示したように、奇数フィールドの画像情報を、偶数フィールドで読み出される行の位置における画像情報に換算して表示することで、表示されるフィールドが切り替わった際に表示画像が１行分上下方向に変動するのを防止できる。

また、焦点検出画素３１３，３１４の画素信号を含む偶数フィールドの画像情報が２回のフィールド読出しにつき１回の割合で読み出されるので、画質を低下させることなく応答性の高い焦点検出を実現することができる。なお、インターレースの動作は２：１のインターレースに限定されることなく、３：１やそのほかの間引き間隔で行っても良い。

図１８のレリーズシーケンスにおいては、レリーズ後に即撮像動作に移行しているが、撮像前に一旦全画素読出し（あるいは部分読出し）を行って連続した焦点検出画素の画素データを読出し、該画素データに基づいて焦点検出および焦点調節を行って厳密な焦点調節を達成した後に撮像動作を行うようにしてもよい。

―第２の実施の形態―
上述した第１の実施の形態のインターレース読み出しモードでは、行を間引く垂直間引き読み出しを行ったが、以下に述べる第２の実施の形態では、列を間引く水平間引き読み出しを行う。本実施の形態では、図２１〜２３に示すように、１フレームの画像情報を３つのフィールドに分割してインターレース走査する。図２１〜２３は、各フィールドにおいて読み出される画素を説明する図であり、撮像素子２１２の回路構成を示す概念図である。なお、図１０，１１に示す回路構成と同一の構成要素には同一の符号を付した。

撮像素子２１２はＣＭＯＳイメージセンサーとして構成され、図２１〜２３では、撮像素子２１２の回路構成を（水平方向９画素）×（垂直方向３画素）のレイアウトに簡略化して説明する。垂直方向の上から２行目は焦点検出画素が配置されている行であり、２列目から７列目の６つの画素が焦点検出画素３１３、３１４であり、１列目、８列目及び９列目の画素は撮像画素３１０である。１行目および３行目に配置された画素は、全て撮像画素３１０である。ラインメモリ３２０、垂直信号線５０１、出力回路３３０、垂直走査回路５０２、水平走査回路５０３およびリセット回路５０４については、図１０，１１の場合と同様である。

水平走査回路５０３には動作モード切替のためのＭｏｄｅ信号が外部から入力されており、Ｍｏｄｅ信号のＨ／Ｌに応じて制御信号（ΦＶ１〜ΦＶ９）の発生パターンを変更することにより、通常の画素信号出力動作（全画素読み出しモード）と画素信号を水平方向に間引きして出力する動作（水平間引き読み出しモード）とを切り換える。垂直走査回路５０２およびリセット回路５０４にも動作モード切替のためのＭｏｄｅ信号が外部から入力されており、Ｍｏｄｅ信号のＨ／Ｌに応じて制御信号（ΦＳ１〜ΦＳ３、ΦＲ１〜ΦＲ３）の発生タイミングを調整することにより、通常の画素信号出力動作（全画素読み出しモード）と画素信号を水平方向に間引きして出力する動作（水平間引き読み出しモード）に対応する。

撮像素子２１２が水平間引き読み出しモードに設定された場合には、水平方向で３：１の間引きが行われ、１フレームの画像情報が３フィールドの画像情報に分割され、第１フィールド（３の倍数＋１の列の画素信号が読み出される）と第２フィールド（３ｎ＋２の列の画素信号が読み出される）と第３フィールド（３ｎの列の画素信号が読み出される）が周期的に繰り返して読み出される。第１フィールドでは（３ｎ＋１）の列の画素信号が読み出され、第２フィールドでは（３ｎ＋２）の列の画素信号が読み出され、第３フィールドでは３ｎの列の画素信号が読み出される。なお、ｎは０または正の整数である。

第１フィールドにおいては、図２１に示すように白抜きで示した１，４および７列目に配置された撮像画素３１０および焦点検出画素３１３，３１４の画素信号が読み出される。第２フィールドにおいては、図２２に示すように白抜きで示した２，５および８列目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号が読み出される。第３フィールドにおいては、図２３に示すように白抜きで示した３，６および９列目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号が読み出される。なお、図２１〜２３に示した撮像画素３１および焦点検出画素３１３，３１４の詳細回路構成は、図１２に示した回路構成と同一である。

図２４，２５は、撮像素子２１２の動作タイミングチャートである。図２４は全画素を読み出す通常動作モードの場合を示したものであり、図２５はライブビュー表示の際に用いられる水平間引き読み出しモードの場合を示したものである。外部よりＭｏｄｅ信号Ｌが入力されると、撮像素子２１２は通常動作モードで動作する。なお、通常動作モードの動作は、上述した第１実施形態における通常動作モードと同一なので、ここでは説明を省略する。

次に、図２５、図２１〜２３を参照しながら、撮像素子２１２の水平間引き読み出しモードについて説明する。外部からＭｏｄｅ信号Ｈが入力されると、撮像素子２１２は水平間引き読み出しモードで動作する。水平間引き読み出しモードでは、図２１に示す第１フィールドの読み出し、図２２に示す第２フィールドの読み出し、および図２３に示す第３フィールドの読み出しが順に実行される。第１フィールドにおいては、各行の１列目、４列目、７列目の画素の画素信号が読み出され、第２フィールドにおいては、各行の２列目、５列目、８列目の画素の画素信号が読み出され、第３フィールドにおいては、各行の３列目、６列目、９列目の画素の画素信号が読み出される。

第１フィールドの読み出しについて説明する。まず、１行目の撮像画素３１０は垂直走査回路５０２から発せられる制御信号ΦＳ１により選択され、選択された撮像画素３１０の画素信号が垂直信号線５０１に出力される。垂直信号線５０１に出力された１行目の画素信号は、制御信号ΦＳ１と同期して発せられる制御信号ΦＨ１によりラインメモリ３２０に一時的に保持される。ラインメモリ３２０に保持された１行目の撮像画素３１０の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１、ΦＶ４、ΦＶ７にしたがって出力回路３３０に転送され、出力回路３３０により予め設定された増幅度で増幅されて外部へ出力される。

なお、１行目の撮像画素３１０の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ１により１行目の撮像画素３１０がリセットされ、制御信号ΦＲ１の立ち下がりで１行目の撮像画素３１０の次の電荷蓄積が開始される。

１行目の撮像画素３１０の画素信号の出力回路３３０からの出力が終了した時点で、２行目の撮像画素３１０および焦点検出画素３１３，３１４は垂直走査回路５０２から発せられる制御信号ΦＳ２により選択され、選択された撮像画素３１０および焦点検出画素３１３，３１４の画素信号は垂直信号線５０１へ出力される。そして、制御信号ΦＳ２と同期して発せられる制御信号ΦＨ１により、垂直信号線５０１へ出力された２行目の画素信号がラインメモリ３２０に一時的に保持される。

ラインメモリ３２０に保持された２行目の撮像画素３１０および焦点検出画素３１３，３１４の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１、ΦＶ４、ΦＶ７にしたがって出力回路３３０に転送され、出力回路３３０で設定された増幅度で増幅された外部に出力される。２行目の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４より発せられる制御信号ΦＲ２により２行目の撮像画素３１０および焦点検出画素３１３，３１４がリセットされ、制御信号ΦＲ２の立ち下がりで２行目の撮像画素３１０および焦点検出画素３１３，３１４の次の電荷蓄積が開始される。

２行目の画素信号の出力回路３３０からの出力が終了した時点で、３行目の撮像画素３１０は垂直走査回路５０２から発せられる制御信号ΦＳ３により選択され、選択された撮像画素３１０の画素信号が垂直信号線５０１に出力される。そして、制御信号ΦＳ３と同期して発せられる制御信号ΦＨ１により、垂直信号線５０１に出力された３行目の画素信号はラインメモリ３２０に一時的に保持される。

ラインメモリ３２０に保持された３行目の撮像画素３１０の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ１、ΦＶ４、ΦＶ７にしたがって出力回路３３０に転送され、出力回路３３０により予め設定された増幅度で増幅された外部に出力される。３行目の撮像画素の画素信号のラインメモリ３２０への転送が終了した時点で、リセット回路５０４から発せられる制御信号ΦＲ３により３行目の撮像画素３１０がリセットされ、制御信号ΦＲ３の立ち下がりで３行目の撮像画素３１０の次の電荷蓄積が開始される。

以上で第１フィールドの画素信号読出し動作が終了すると、引き続いて第２フィールドの画素信号の読出しに移行する。上述した第１フィールドでは、図２１に示すように１列目、４列目、７列目に配置された画素の信号が読み出されたが、第２フィールドにおいては、図２２の白抜きの画素で示すように、２列目、５列目、８列目に配置された画素の信号が読み出される。すなわち、垂直走査回路５０２による走査は第１フィールドの場合と同様あって、１行目、２行目、３行目の順に各行に配置された画素の画素信号が読み出され、それぞれラインメモリ３２０に保持される。そして、ラインメモリ３２０に保持された各行の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ２、ΦＶ５、ΦＶ８にしたがって出力回路３３０に転送される。

このようにして第２フィールドの読出しが終了すると、引き続いて第３フィールドの画素信号の読出しに移行する。第３フィールドでは、図２３に示すように３列目、６列目、９列目に配置された画素の信号が読み出される。すなわち、垂直走査回路５０２による走査は第１および２フィールドの場合と同様あって、１行目、２行目、３行目の順に各行に配置された画素の画素信号が読み出され、それぞれラインメモリ３２０に保持される。そして、ラインメモリ３２０に保持された各行の画素信号は、水平走査回路５０３から発せられる制御信号ΦＶ３、ΦＶ６、ΦＶ９にしたがって出力回路３３０に転送される。第３フィールドの画素信号読出し動作が終了すると、再び第１フィールドの画素信号読出し動作に戻って、上記動作が周期的に繰り返される。

図２６〜２９は、第２の実施の形態におけるデジタルスチルカメラの動作を示すフローチャートである。ボディ駆動制御装置２１４は、カメラの電源が投入されると図２６のステップＳ６００から電源ＯＮ時の動作を開始し、ステップＳ６１０で図２７に示す水平間引き読み出しモードサブルーチンへジャンプする。

図２７は、撮像素子２１２の水平間引き読出しモードサブルーチンの動作を示すフローチャートである。ボディ駆動制御装置２１４は、ステップＳ７００から撮像素子２１２の水平間引き読出しモードサブルーチンを開始する。ステップＳ７１０では、撮像素子２１２を水平間引き読出しモードに設定し、該モードでの繰り返し撮像動作を開始させる。続くステップＳ７２０では、図２８に示す画素データ読み出し割り込みの発生を待機する。

図２８は、画素データ読み出し割り込み処理を示すフローチャートである。図２６のステップＳ７２０で画素データ読み出し割り込みが発生すると、ボディ駆動制御装置２１４は画素データ読み出し割り込み処理を開始する。撮像素子２１２は、画素信号を出力する際、１フィールドの画像情報の最初の画素信号を出力する直前に、ボディ駆動制御装置２１４に対し画素データ読みだし割り込みを発生する。撮像素子２１２が、第１〜第３フィールドの順に繰り返し読み出しを行う周期動作を行っている場合には、この割り込みが周期的に発生し、ボディ駆動制御装置２１４はステップＳ８００からの画素データ読み出し割り込み処理を開始する。

ステップＳ８１０では、撮像素子２１２から水平間引き読み出しモードで画素データを読み込む。例えば、第１フィールに関する割り込み処理が行われている場合には、第１フィールドの画素信号が読み込まれる。ステップＳ８２０では、ステップＳ８１０で読み込んだ画素信号に基づく画像を液晶表示素子２１６に表示する。その際、第２および第３フィールドに関しては、以下に述べるような補間処理を行って画像を形成する。

図３０は補間処理を説明する図であり、各フィールドにおける画素データの読出し動作を模式的に表した図であり、（ａ）は第１フィールドを、（ｂ）は第２フィールドを、（ｃ）は第３フィールドをそれぞれ示す。なお、それぞれ縦方向および横方向が画素配列の垂直方向および水平方向に対応しており、縦方向の破線は水平間引きで読み出されない列を示し、実線は水平間引きで読み出される列を示している。各行における画素信号読み出しの走査方向（横方向）は左から右であり、縦方向の行の走査方向は上から下である。

図３０（ａ）に示す第１フィールドの場合、画像データの場合、読み出された列の画素信号をそのまま用いて液晶表示素子２１６に画像を表示する。第１フィールドでは、列Ａ１，Ａ４，Ａ７，Ａ１０，Ａ１３の画素信号が読み出される。

第２フィールドでは、図３０（ｂ）に示すように、列Ａ２，Ａ５，Ａ８，Ａ１１，Ａ１４の画素信号が読み出される。第２フィールドの場合、連続して読み出された隣り合う列の画素の画素信号を重み加算平均して、それらの列の間に第１フィールドで読み出される列の画素信号を生成し、生成した画素信号に基づく画像を液晶表示素子２１６に表示する。例えば、列Ａ５の画素信号Ｂ５と列Ａ８の信号Ｂ８とを重み加算平均して、列Ａ７の画素信号を生成する。そして、そのような処理によって得られた列Ａ１，Ａ４，Ａ７，Ａ１０，Ａ１３の信号Ｂ１，Ｂ４，Ｂ７，Ｂ１０，Ｂ１３に基づく画像を、液晶表示素子２１６に表示する。

第３フィールドでは、図３０（ｃ）に示すように、列Ａ３，Ａ６，Ａ９，Ａ１２，Ａ１５の画素信号が読み出される。第３フィールドの場合も、連続して読み出された隣り合う列の画素の画素信号を重み加算平均して、それらの列の間に第１フィールドで読み出される列の画素信号を生成し、生成した画素信号に基づく画像を液晶表示素子２１６に表示する。例えば、列Ａ６の画素信号Ｂ６と列Ａ９の信号Ｂ９とを重み加算平均して、列Ａ７の画素信号を生成する。そして、そのような処理によって得られた列Ａ１，Ａ４，Ａ７，Ａ１０，Ａ１３の信号Ｂ１，Ｂ４，Ｂ７，Ｂ１０，Ｂ１３に基づく画像を、液晶表示素子２１６に表示する。

このように第２フィールド、第３フィールドの画像情報を第１フィールドの画像情報に換算して表示することにより、フィールドを切り換えた際に表示画像が左右方向に変動するのを防止することができる。

図２８に戻って、ステップＳ８３０では、焦点検出エリア１０１（図２参照）の一対の焦点検出画素のデータ列（図２１に示す例では、白抜き丸で示す焦点検出画素３１３，３１４の画素信号）に基づいて、後述する像ズレ検出演算処理（相関演算処理）を行い、焦点検出エリア１０１における像ズレ量を演算し、さらに像ズレ量をデフォーカス量に変換する。なお、焦点検出演算の詳細は第１実施例の説明と同一であり、ここでは説明を省略する。

ステップＳ８４０では、合焦近傍か否か、すなわち、算出されたデフォーカス量の絶対値が所定値以内であるか否かを判定する。ステップＳ８４０において合焦近傍でないと判定された場合には、ステップＳ８５０へ進む。ステップＳ８５０では、デフォーカス量をレンズ駆動制御装置２０６へ送信して、交換レンズ２０２のフォーカシングレンズ２１０の合焦位置への駆動を更新し、ステップＳ８７０へ進む。なお、焦点検出不能な場合もこのステップに分岐し、レンズ駆動制御装置２０６へスキャン駆動命令を送信し、交換レンズ２０２のフォーカシングレンズ２１０を無限から至近までの間でスキャン駆動させ、ステップＳ８７０へ進む。

一方、ステップＳ８４０において合焦近傍であると判定された場合はステップＳ８６０へ進み、レリーズ操作によるシャッターレリーズがなされたか否かを判定する。シャッターレリーズがなされていないと判定された場合にはステップＳ８７０へ進み、シャッターレリーズがなされたと判定された場合には、図２９に示すレリーズシーケンス動作を実行する。ステップＳ８７０では、画素データ読み出し割り込み処理から図２７に示す水平間引き読み出しサブルーチンのステップＳ７２０へリターンし、次の周期の画素データ読み出し割り込みの発生を待機する。なお、画素データ読み出し割り込み処理のステップＳ８００〜Ｓ８６０の処理時間は、画素データ読み出し割り込みの発生周期よりも短くなっている。

図２９はレリーズシーケンス動作を示すフローチャートである。ステップＳ９６０において、撮像素子２１２を全画素読み出しモードに設定し、全画素読み出しモードで単発的に撮像動作させる。ステップＳ９７０では、画素データ読み出し割り込みが発生するのを待機する。画素データ読み出し割り込みが発生したならば、続くステップＳ９８０で撮像素子２１２から出力される画素信号を読み込む。ステップＳ９９０では、焦点検出画素３１３，３１４の位置の画素信号を焦点検出画素３１３，３１４の周囲にある撮像画素３１０の画素信号で補間して作成する。ステップＳ１０００では、撮像画素３１０の画素信号と上記補間信号を画像データとしてメモリカード２１９へ格納する。ステップＳ１０１０では、図２７に示す水平間引き読み出しモードサブルーチンへジャンプし、ふたたび撮像素子２１２を水平間引き読み出しモードに設定し、水平間引き読み出しモードで繰り返し撮像動作を開始させる。

なお、上述したレリーズシーケンスにおいては、レリーズ後に即撮像動作に移行しているが、撮像前に一旦全画素読出し（あるいは部分読出し）を行って連続した焦点検出画素の画素データを読出し、該画素データに基づいて焦点検出および焦点調節を行って厳密な焦点調節を達成した後に撮像動作を行うようにしてもよい。

上述した第２の実施の形態では、１フレーム分の画像情報を複数のフィールドに分割した際に、各フィールドに撮像画素３１０および焦点検出画素３１３，３１４が含まれている。そして、画素を水平方向に間引きして複数のフィールドに分割した際に、各フィールドで読み出される列の位置が１画素ずつシフトしているので、１画素ずつずれた画像情報による画像が順に表示されることになり、高品質なライブビュー表示を行うことができる。また、撮像画素３１０の画素信号を含まないフィールドが混在しないので、所定時間あたりの表示の更新回数が増加し、動きのある被写体を撮像して表示する場合にも動きが滑らかに視認される。なお、画像を表示する際に、図３０（ａ），（ｂ），（ｃ）に示すような補間処理をすることによりフィールドを切り換えた際に画像が左右方向に変動するのを防止することができる。

また、各フィールドの画像情報に焦点検出画素３１３，３１４の画素信号がそれぞれ含まれているので、応答性の高い焦点検出を実現することができる。さらに、各フィールドに１画素ずつずれた位置の焦点検出用画素信号が得られるため、固定された位置の焦点検出画素信号を用いて焦点検出を行う場合に比較して、焦点検出精度を向上させることができる。また、第１フィールド、第２フィールド、第３フィールドで得られる焦点検出画素の画素データを、まとめて連続する焦点検出画素の画素データとして焦点検出に用いることにより、焦点検出精度を向上させることができる。

なお、水平方向の間引きは上述した２画素置きに限定されることなく、そのほかの間引き間隔で行ってもよい。ただし、フィールド毎に焦点検出を行えるようにするためには、各フィールドに一対の焦点検出画素３１３，３１４が含まれるような間引き間隔とする必要がある。例えば、図２１に示すように焦点検出画素３１３，３１４が左右方向に交互に並んでいる場合には、２画素置き、４画素置きのように偶数画素置きに間引く。なお、４画素置きに読み出す場合は１フレームを５つのフィールドに分割して読み出すことになる。

―第３の実施の形態―
第３の実施の形態では、撮像素子２１２にカラータイプの撮像素子を用いている。図３１は、カラー撮像素子２１２の詳細構成を示す正面図であり、図２に示す焦点検出エリア１０１の近傍を拡大したものである。図３に示す撮像素子２１２と比較すると、撮像画素３１０に色フィルタが設けられている点が異なっている。焦点検出画素３１３，３１４に関しては、図３に示した撮像素子２１２と同様の構造である。

各撮像画素３１０には、図３２のＲ，Ｇ，Ｂで示す分光特性を有する色フィルタのいずれかが設けられている。図３１では、赤色のフィルタが設けられた撮像画素３１０Ｒには「Ｒ」の文字を表記し、緑色のフィルタが設けられた撮像画素３１０Ｇには「Ｇ」の文字を表記し、青色のフィルタが設けられた撮像画素３１０Ｂには「Ｂ」の文字を表記した。３種類の撮像画素３１０Ｒ，３１０Ｇ，３１０Ｂはベイヤー配列されている。以下ではこれら撮像画素３１０Ｒ，３１０Ｇ，３１０Ｂのことを、それぞれ赤画素３１０Ｒ、緑画素３１０Ｇ、青画素３１０Ｂと称する。一方、焦点検出画素３１３、３１４は、青画素３１０Ｂと緑画素３１０Ｇが配置されるべき行に水平方向に交互に配列されている。

図３１のように赤画素３１０Ｒ、緑画素３１０Ｇ、青画素３１０Ｂが配列されている場合には、水平方向および垂直方向のいずれの方向に画素信号を間引きして読み出す場合においても、間引いて読み出した画素信号がベイヤー配列の順番になっていることが望ましい。例えば、行を間引いて読み出す場合には、ベイヤー配列では緑画素３１０Ｇおよび青画素３１０Ｂを含む行と赤画素３１０Ｒおよび緑画素３１０Ｇを含む行とが交互に並んでいるので、「１行目、４行目、７行目、…」や、「１行目、６行目、１１行目、…」のように偶数行置きに読み出せば良い。また、列を間引いて読み出す場合も同様であり、「１列目、４列目、７列目、…」や、「１列目、６列目、１１列目、…」のように偶数列置きに読み出せば良い。さらに、行と列の両方を間引く場合も同様である。

図３１に示す撮像素子では、赤画素３１０Ｒ、緑画素３１０Ｇ、青画素３１０Ｂをベイヤー配列させたが、色フィルタの構成や配列はこれに限定されることはなく、補色フィルタ（緑：Ｇ、イエロー：Ｙｅ、マゼンタ：Ｍｇ，シアン：Ｃｙ）の配列を採用してもよい。また、図３０では、焦点検出画素３１３，３１４には色フィルタを備えていなかったが、撮像画素３１０と同色の色フィルタの内の一つ（例えば、緑フィルタ）を備えるようにした場合でも、同様に適用することができる。

なお、上述した実施の形態では、図２に示すように画面中央に１つの焦点検出エリア１０１を配置したが、撮像素子２１２における焦点検出エリアの配置は図２に限定されることはなく、図３３のように画面中央以外に焦点検出エリア１０２〜１０５を配置しても良い。例えば、このような焦点検出エリアの配置を、第１の実施の形態の垂直間引き読出しモードと組み合わせた場合には、奇数フィールドにおいては図３４（ａ）のように焦点検出エリア１０４および１０５に属する焦点検出画素の画素信号が読み出され、偶数フィールドにおいては図３４（ｂ）のように焦点検出エリア１０１〜１０３に属する焦点検出画素の画素信号が読み出される。

すなわち、画面中央および左右に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し２１０において焦点検出エリア１０１、１０２、１０３に対応する２０１，２０２、２０３で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出され、画面上部に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し２１１において焦点検出エリア１０４に対応する２０４で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出され、画面下部に配置された焦点検出画素においては、垂直方向の間引きによる水平方向の読み出し２１２において焦点検出エリア１０５に対応する２０５で示す部分の焦点検出画素の画素信号が水平方向に連続して読み出される。

上述した第１の実施の形態では水平方向に連続読出ししているが、水平方向に間引きして読み出すようにしてもよい。この場合間引きして読み出される画素信号が焦点検出画素３１３、３１４の両方を含むように、偶数画素おきの水平間引きを行う。同様に、第２の実施の形態では、垂直方向に連続して読出ししているが、垂直方向に間引きして読み出すようにしてもよい。また、第１の実施の形態と第２の実施の形態とを組み合わせるようにしてもよい。さらに、上述した実施の形態では、水平方向に焦点検出画素が並んでいる場合について説明したが、垂直方向に焦点検出画素が並んでいる場合にも同様に適用することができる。

また、上述した実施の形態では、近傍の画素の信号を加算して出力する画素加算（画素混合）は行われていないが、画素加算を行うようにしてもよい。画素加算を行う場合は、加算時に焦点検出画素３１３のみ、および、焦点検出画素３１４のみの画素信号が加算されるように、画素加算に使用する画素配置パターンと焦点検出画素の画素配置パターンとの整合をとっておく必要がある。

さらにまた、上述した実施の形態では、ライブビュー表示の際に垂直および水平間引き読出しを行っているが、動画モードでの撮影時の垂直および水平間引き読出しに適用することにより、動画撮影と焦点検出とを同時に並行して行うようにしてもよい。

焦点検出画素３１３，３１４の光電変換部の形状については、図５に示した半円形に限らず、他の形状であっても良い。例えば、楕円や矩形や多角形にすることも可能である。また、図３に示す撮像素子２１２においては、撮像画素３１０、焦点検出画素３１１，３１４は稠密正方格子配列に配置されているが、稠密六方格子配列であってもよい。

また、本発明が適用される撮像装置としては、交換レンズとカメラボディから構成されるデジタルスチルカメラやフィルムスチルカメラに限定されず、レンズ一体型のデジタルスチルカメラやフィルムスチルカメラやビデオカメラにも適用できるし、携帯電話等に内蔵される小型カメラモジュールや監視カメラや車載カメラやロボット用の視覚認識装置等にも適用できる。さらには、カメラ以外の焦点検出装置や測距装置やステレオ測距装置にも適用できる。また、本発明の特徴を損なわない限り、本発明は上記実施の形態に何ら限定されるものではない。

本発明の一実施の形態を説明する図であり、カメラの構成を示す横断面図である。 撮影画面上の焦点検出位置を示す図である。 撮像素子の詳細な構成を示す正面図である。 撮像画素の詳細を示す正面図である。 焦点検出画素の詳細を示す正面図である。 撮像画素と焦点検出画素の分光感度特性を示す図である。 撮像画素の断面図である。 焦点検出画素の断面図である。 マイクロレンズを用いた瞳分割型位相差検出方式の焦点検出光学系の構成を示す図である。 撮像素子２１２の回路構成を示す概念図であり、奇数フィールド読み出しの場合を示す。 撮像素子２１２の回路構成を示す概念図であり、偶数フィールド読み出しの場合を示す。 撮像素子の撮像画素と焦点検出画素の詳細な回路図である。 撮像素子２１２の動作タイミングチャートであり、通常動作モードの場合を示す。 撮像素子２１２の動作タイミングチャートであり、垂直間引き読み出しモードの場合を示す。 デジタルスチルカメラの動作を示すフローチャートである。 垂直間引き読み出しサブルーチンを示すフローチャートである。 画素データ読み出し割り込みルーチンを示すフローチャートである。 レリーズシーケンス動作を示すフローチャートである。 奇数フィールドと偶数フィールドにおける画素信号の読出し動作を模式的に表した図であり、（ａ）は奇数フィールドの場合を、（ｂ）は偶数フィールドの場合を示す。 像ズレ検出演算処理（相関演算処理）の結果を判定する方法を説明する図である。 第２実施形態における撮像素子２１２の回路構成を示す概念図であり、第１フィールドにおいて読み出される画素を示す。 撮像素子２１２の回路構成を示す概念図であり、第２フィールドにおいて読み出される画素を示す。 撮像素子２１２の回路構成を示す概念図であり、第３フィールドにおいて読み出される画素を示す。 第２実施形態における撮像素子２１２の動作タイミングチャートであり、通常動作モードの場合を示す。 第２実施形態における撮像素子２１２の動作タイミングチャートであり、水平間引き読み出しモードの場合を示す。 第２実施形態におけるデジタルスチルカメラの動作を示すフローチャートである。 水平間引き読み出しサブルーチンを示すフローチャートである。 画素データ読み出し割り込みルーチンを示すフローチャートである。 レリーズシーケンス動作を示すフローチャートである。 補間処理を説明する図であり、（ａ）は第１フィールドを、（ｂ）は第２フィールドを、（ｃ）は第３フィールドをそれぞれ示す。 カラー撮像素子２１２の詳細構成を示す正面図である。 Ｒ，Ｇ，Ｂフィルタの分光特性を示す図である。 撮像素子２１２における複数の焦点検出エリア１０１〜１０５の配置を示す図である。 焦点検出エリア１０１〜１０５とフィールドの読み出しとの関係を示す図であり、（ａ）は奇数フィールドの場合を、（ｂ）は偶数フィールドの場合を示す。

符号の説明

１０：マイクロレンズ、１３，１４：光電変換部、１０１〜１０５：焦点検出エリア、２０２：交換レンズ、２０６：レンズ駆動制御装置、２１２：撮像素子、２１５：液晶表示素子駆動回路、２１６：液晶表示素子、２１９：ボディ駆動制御装置、３１０：撮像画素、３１３，３１４：焦点検出画素、３３０：出力回路、５０２：垂直走査回路、５０３：水平走査回路

Claims (9)

1. 光学系の瞳を通過する光束を受光して画像信号を出力する撮像用画素を二次元状に配列するとともに、前記光学系の瞳の一対の領域を通過する一対の光束を受光して焦点検出用信号を出力する焦点検出用画素を前記撮像用画素の配列中に配置した撮像素子と、
   前記撮像素子で得られる１フレーム分の前記画像信号と前記焦点検出用信号とを、前記撮像素子の画素配列における所定の画素間隔で選択した第１フィールドと、前記撮像素子の画素配列において前記第１フィールドとは異なる位置で所定の画素間隔で選択した第２フィールドとに時分割して読み出すとともに、前記第１フィールドと前記第２フィールドを交互に繰り返して読み出す第１読出しモードと、前記１フレーム分の前記画像信号と前記焦点検出用信号とを読み出す第２読出しモードとを備えた読出し手段と、
   前記第１読出しモードにより繰り返し読み出される前記第１フィールドの画像信号と前記第２フィールドの画像信号とに基づき画像を表示する表示手段と、
   前記第１読出しモードにより繰り返し読み出される前記第１フィールドと前記第２フィールドとの少なくとも一方に含まれる前記焦点検出用信号に基づき、前記光学系のデフォーカス量を繰り返し検出するとともに、該繰り返し検出されるデフォーカス量に基づき前記光学系の焦点調節を行なう焦点調節手段と、
   前記第２読出しモードにより読み出される前記１フレーム分の前記画像信号を記録する記録手段と、を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記焦点検出用画素は、マイクロレンズと、該マイクロレンズを介して前記一対の光束の一方を受光する第１光電変換部とを有する第１焦点検出用画素と、マイクロレンズと、該マイクロレンズを介して前記一対の光束の他方を受光する第２光電変換部とを有する第２焦点検出用画素とを備え、前記第１焦点検出用画素と前記第２焦点検出用画素とは交互に配列されることを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記第１焦点検出用画素の出力及び前記第２焦点検出用画素の出力が前記第１フィールドと前記第２フィールドとのどちらか一方にのみ含まれるように、前記第1及び第２焦点検出用画素の位置と前記第１フィールドの前記所定の画素間隔と前記第２フィールドの前記所定の画素間隔とが決定されることを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記第１焦点検出用画素の出力及び前記第２焦点検出用画素の出力が前記第１フィールドと前記第２フィールドとの両方に含まれるように、前記第1及び第２焦点検出用画素の位置と前記第１フィールドの前記所定の画素間隔と前記第２フィールドの前記所定の画素間隔とが決定されることを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、
   前記第２フィールドで読み出される前記画像信号に基づき、前記第１フィールドで読み出される前記画像信号を出力する前記撮像用画素の位置における画像信号を補間する補間手段を更に備え、
   前記表示手段は、前記補間された画像信号と前記第２フィールドで読み出される前記画像信号とに基づき画像を表示することを特徴とする撮像装置。
6. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記焦点検出用画素は、前記二次元状の画素配列の第１方向に沿って配列され、
   前記読出し手段は、前記第１方向に沿って配列された前記撮像用画素または前記焦点検出用画素の出力を、前記第１方向と交差する第２方向に前記所定の画素間隔で選択することによって前記第１および第２フィールドに時分割して読み出すことを特徴とする撮像装置。
7. 請求項１〜５のいずれか一項に記載の撮像装置において、
   前記焦点検出用画素は、前記二次元状の画素配列の第１方向に沿って配列され、
   前記読出し手段は、前記第１方向に沿って配列された前記撮像用画素または前記焦点検出用画素の出力を、前記第１方向に前記所定の画素間隔で選択することによって前記第１および第２フィールドに時分割して読み出すことを特徴とする撮像装置。
8. 請求項１〜７のいずれか一項に記載の撮像装置において、
   前記所定の画素間隔は、偶数画素おきであることを特徴とする撮像装置。
9. 請求項１〜８のいずれか一項に記載の撮像装置において、
   前記第１および第２フィールドの信号に前記焦点検出用信号が含まれる場合に、該焦点検出用信号に対応する前記焦点検出用画素の近傍の前記撮像用画素で得られる前記画像信号に基づいて、前記焦点検出用画素の位置における画像信号を補間する補間手段を更に備えることを特徴とする撮像装置。

Images