JP6415350B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置の自動焦点調節（ＡＦ制御）の技術に関する。

デジタルカメラなどの撮像装置には、撮像面上で瞳分割を行って取得した画像の位相差から焦点位置検出を行う撮像面位相差方式のオートフォーカス（以下、撮像面位相差ＡＦという）機能を搭載した装置がある。撮像面位相差方式では、撮像素子の撮像動作を行いつつ位相差ＡＦ方式によって精度およびレスポンスの良い焦点検出を行えるので、特に動画撮影の際などに効果を発揮する。動画撮影のＡＦ動作の場合、フォーカスレンズが不必要に動きすぎることによる映像品位の低下を回避するため、主被写体に対する合焦時にはフォーカスレンズの駆動が一時的に停止される。その後に主被写体が合焦領域を超えて移動した際に、フォーカスレンズの駆動を再開させる制御が行われる。

特許文献１には、被写体像の焦点位置を撮像平面上の複数の位置で検出する焦点検出部を備え、記憶された焦点検出部の出力に基づいて所定の時刻における被写体像の焦点位置を予測する技術が開示されている。特許文献２に開示の装置は、位相差によって焦点を検出する第１焦点検出から得られる像信号に基づき、被写体が光軸に垂直方向の成分を有して移動したことを検出する。合焦後に、第１焦点検出の結果と、撮像素子からの信号を用いて焦点を検出する第２焦点検出の結果に基づき、自動焦点調整を再起動するか否かが決定される。

特開２０１２−１８９９３４号公報 特開２０１２−１２８３１６号公報

従来技術では、焦点検出によって得られるデフォーカス量に応じてＡＦ動作の再起動を行う際の各種パラメータを変化させ、動体である被写体への追従性を高めることができる。しかし、被写体の移動速度に応じた制御が行われないので、移動速度によっては撮影した映像の品位低下が懸念される。例えば、移動速度が遅い被写体に対しては、映像が大きく暈けることなくＡＦ動作が行われるが、被写体の移動速度が大きくなるほどデフォーカス量が大きくなってしまい、映像品位が低下する可能性がある。
本発明の目的は、被写体の移動速度に対応した焦点調節制御を行うことで、映像品位の低下を抑制することである。

本発明の撮像装置は、結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、前記複数の焦点検出画素の出力信号を用いて焦点検出を行う焦点検出手段と、前記焦点検出手段により検出される検出量を用いて、前記結像光学系を構成するレンズの駆動を制御することで焦点調節制御を行う制御手段と、を備える。
本発明の第１の側面に係る撮像装置にて前記制御手段は、被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、再起動を行うか否かを判定する際に用いる判定用の時間または回数を、前記焦点検出手段により検出される検出量の時間的変化が大きいほど小さく設定し、前記検出量が閾値を超えている時間または回数が、前記判定用の時間または回数を超えた場合に前記レンズの駆動を再起動させる制御を行う。
本発明の第２の側面に係る撮像装置にて前記制御手段は、被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、前記焦点検出手段により検出される検出量を積算し、積算値が閾値を超えた場合に前記レンズの駆動を再起動させる制御を行う。

本発明によれば、被写体の移動速度に対応した焦点調節制御を行うことで、映像品位の低下を抑制できる。

本発明の実施例における撮像装置の概略構成図である。 本発明の実施例における画素配列の概略図である。 本発明の実施例における画素の概略平面図（Ａ）と概略断面図（Ｂ）である。 本発明の実施例における画素と瞳分割との関係を説明する概略図である。 本発明の実施例における撮像素子と瞳分割の概略説明図（Ａ）、および第１焦点検出信号と第２焦点検出信号のデフォーカス量と像ずれ量の概略関係図（Ｂ）である。 本発明の実施例における焦点検出処理を説明するフローチャートである。 本発明の実施例における第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングの概略説明図である。 本発明の実施例におけるフィルタ周波数帯域を例示するグラフである。 本発明の実施例における被写体の動きとデフォーカス量の変化を例示する図である。 本発明の実施例１における処理を説明するフローチャートである。 本発明の実施例１における像面移動速度の信頼性判定の範囲を示す図である。 本発明の実施例２における処理を説明するフローチャートである。 本発明の実施例２における被写体の移動速度とそのデフォーカス量の総和を例示する図である。

以下、添付図面を参照して本発明の各実施形態を詳細に説明する。各実施形態では、本発明の実現手段の一例として、主に一眼レフカメラの構成を想定して説明する。但し、本発明は、一眼レフカメラの形態に限定されることはなく、ビデオカメラ、コンパクトデジタルカメラ等、動画撮影が可能なあらゆる撮像装置に適用可能である。また、本発明が適用される装置の構成や各種条件によって、装置の仕様は適宜修正又は変更されるべきものである。図１から図９を参照して、本発明の実施形態に共通する撮像装置の構成および動作を説明し、その後に図１０から図１３を参照して各実施形態を説明する。本実施形態では、撮像面位相差ＡＦを用いて動画を撮影する際の焦点検出およびレンズ駆動に関する制御を説明する。

図１は本実施形態に係る撮像装置の構成例を示すブロック図である。第１レンズ群１０１は、撮像光学系（結像光学系）の先端に配置され、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作と連動することで、変倍動作によるズーム機能を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

被写体照明用の電子フラッシュ１１５は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。ＡＦ補助光源１１６は、低輝度の被写体または低コントラストの被写体に対する焦点検出能力を向上させる。ＡＦ補助光源１１６により、所定の開口パターンを有したマスクの像が、投光レンズを介して被写界に投影される。

カメラシステムの制御部を構成するＣＰＵ（中央演算処理装置）１２１は、各種の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、カメラが有する各種回路を駆動し、ＡＦ制御、撮影、画像処理、記録処理等の一連の動作を実行する。また、ＣＰＵ１２１は画像処理の制御を行う。

電子フラッシュ制御回路１２２はＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。補助光駆動回路１２３はＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。撮像素子駆動回路１２４は撮像素子１０７の撮像動作を制御するとともに、取得した撮像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５はＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のγ（ガンマ）変換、カラー補間、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。画像処理回路１２５は、静止画撮影時に取得される静止画像データおよび動画撮影時に取得される動画像データに対する処理機能を有する。

フォーカス駆動回路１２６はＣＰＵ１２１の制御指令に従い、焦点検出情報に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路１２８はＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。ズーム駆動回路１２９はＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。振れ検出部１３０は、撮影レンズ装置や撮像装置内に組み込まれたジャイロセンサや加速度センサなどにより装置の振れを検出し、振れ検出信号をＣＰＵ１２１に出力する。

表示部１３１はＬＣＤ（液晶表示装置）等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。フラッシュメモリ１３３はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

次に図２を参照して、本実施形態における撮像素子の撮像画素と焦点検出画素の配列を説明する。図２は、２次元ＣＭＯＳセンサの撮像画素配列を４列×４行の範囲で例示し、焦点検出画素配列を８列×４行の範囲で例示する。２列×２行の画素群２００は、以下に示す１組の画素２００Ｒ，２００Ｇ，２００Ｂを備える。
・画素２００Ｒ（左上の位置参照）：Ｒ（赤）色の分光感度を有する画素。
・画素２００Ｇ（右上と左下の位置参照）：Ｇ（緑）色の分光感度を有する画素。
・画素２００Ｂ（右下の位置参照）：Ｂ（青）色の分光感度を有する画素。
各画素部は、２列×１行に配列した、第１焦点検出画素２０１と第２焦点検出画素２０２により構成されている。図２に示した４列×４行の画素（８列×４行の焦点検出画素）が平面上にて格子状に多数配置されることで、撮像画像信号および焦点検出信号を取得可能である。本実施形態の撮像素子では、画素の周期Ｐを４（μｍ）とし、画素数Ｎを横５５７５列×縦３７２５行（＝約２０７５万画素）とする。また焦点検出画素の列方向の周期Ｐ_ＡＦを２（μｍ）とし、焦点検出画素数Ｎ_ＡＦを横１１１５０列×縦３７２５行（＝約４１５０万画素）とする。

図２に示した撮像素子における１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（Ａ）に示す。図３（Ａ）の紙面に垂直な方向にｚ軸を設定し、手前側をｚ軸の正方向と定義する。また、ｚ軸に直交する上下方向にｙ軸を設定して上方をｙ軸の正方向とし、ｚ軸およびｙ軸に直交する左右方向にｘ軸を設定して右方をｘ軸の正方向と定義する。図３（Ａ）にてａ−ａ切断線に沿って、−ｙ方向から見た場合の断面図を図３（Ｂ）に示す。

図３（Ｂ）に示す画素２００Ｇは、各画素の受光面側（＋ｚ方向）にて入射光を集光するマイクロレンズ３０５が形成され、分割された複数の光電変換部を備える。例えば、ｘ方向における分割数をＮ_Ｈとし、ｙ方向における分割数をＮ_Ｖとする。図３には、瞳領域をｘ方向にて２分割した例、すなわち、Ｎ_Ｈ＝２，Ｎ_Ｖ＝１の場合を例示し、副画素としての光電変換部３０１と光電変換部３０２が形成されている。光電変換部３０１は第１焦点検出画素２０１に対応し、光電変換部３０２は第２焦点検出画素２０２に対応する。光電変換部３０１と光電変換部３０２は、例えばｐ型層３００とｎ型層との間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとして形成される。または必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとして形成してもよい。各画素には、マイクロレンズ３０５と、光電変換部３０１および光電変換部３０２との間に、カラーフィルタ３０６が形成される。必要に応じて、副画素ごとにカラーフィルタ３０６の分光透過率を変えてもよいし、カラーフィルタを省略しても構わない。

画素２００Ｇに入射した光はマイクロレンズ３０５が集光し、さらにカラーフィルタ３０６で分光された後に、光電変換部３０１と光電変換部３０２が受光する。光電変換部３０１と光電変換部３０２では、受光量に応じて電子とホール（正孔）が対生成され、空乏層で分離された後、負電荷をもつ電子はｎ型層（不図示）に蓄積される。一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子の外部へ排出される。光電変換部３０１と光電変換部３０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、静電容量部（ＦＤ）に転送されて電圧信号に変換される。

図４は、画素構造と瞳分割との対応関係を示した概略的な説明図である。図４には、図３（Ａ）に示した画素構造のａ−ａ線での切断面を、＋ｙ方向から見た場合の断面図と、結像光学系の射出瞳面（射出瞳４００参照）を、−ｚ方向から見た図を示す。図４では、射出瞳面の座標軸と対応を取るために、断面図にてｘ軸とｙ軸を図３（Ａ）に示す状態とは反転させて示している。第１焦点検出画素２０１に対応する第１瞳部分領域５０１は、−ｘ方向に重心が偏倚している光電変換部３０１の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。つまり、第１瞳部分領域５０１は第１焦点検出画素２０１で受光可能な瞳領域を表し、瞳面上で＋ｘ方向に重心が偏倚している。また、第２焦点検出画素２０２に対応する第２瞳部分領域５０２は、重心が、＋ｘ方向に偏心している光電変換部３０２の受光面に対し、マイクロレンズ３０５によって、概ね共役関係になっている。第２瞳部分領域５０２は第２焦点検出画素２０２で受光可能な瞳領域を表し、瞳面上で、−ｘ方向に重心が偏倚している。

図４に示す瞳領域５００は、光電変換部３０１と光電変換部３０２（第１焦点検出画素２０１と第２焦点検出画素２０２）を全て併せた場合の、画素２００Ｇ全体で受光可能な瞳領域である。撮像素子と瞳分割との対応関係を図５（Ａ）の概略図に示す。第１瞳部分領域５０１と第２瞳部分領域５０２の、異なる瞳部分領域をそれぞれ通過した光束は、撮像素子の各画素に異なる角度で入射する。撮像面８００への入射光は、Ｎ_Ｈ（＝２）×Ｎ_Ｖ（＝１）に分割された第１焦点検出画素２０１と第２焦点検出画素２０２で受光される。第１焦点検出画素２０１の光電変換部３０１と第２焦点検出画素２０２の光電変換部３０２は光を電気信号に変換する。本実施形態では、瞳領域が水平方向にて２つに瞳分割されている例を示す。必要に応じて、垂直方向に瞳分割を行ってもよい。

本実施形態に係る撮像素子１０７は、結像光学系の第１瞳部分領域を通過する光束を受光する第１焦点検出画素と、第１瞳部分領域とは異なる、結像光学系の第２瞳部分領域を通過する光束を受光する第２焦点検出画素を備える。結像光学系の第１瞳部分領域と第２瞳部分領域とを併せた瞳領域を通過する光束を受光する撮像画素は２次元アレイ状に複数配列されている。つまり、各撮像画素は第１焦点検出画素と第２焦点検出画素から構成される。必要に応じて、撮像画素と、第１焦点検出画素および第２焦点検出画素を個別の画素構成とし、撮像画素配列にて第１焦点検出画素と第２焦点検出画素を部分的に分散配置した構成を採用してもよい。

本実施形態では、撮像素子における各画素の第１焦点検出画素２０１の受光信号を集めて第１焦点検出信号が生成され、各画素の第２焦点検出画素２０２の受光信号を集めて第２焦点検出信号が生成される。焦点検出では、第１焦点検出信号と第２焦点検出信号から像ずれ量を算出する処理が行われる。また、撮像素子の画素ごとに、第１焦点検出画素２０１の出力信号と第２焦点検出画素２０２の出力信号を加算することで、有効画素数Ｎの解像度をもつ撮像信号が生成される。これにより、撮像画像データを取得することができる。

次に、撮像素子１０７により取得される第１焦点検出信号および第２焦点検出信号のデフォーカス量と像ずれ量との関係を説明する。図５（Ｂ）は、第１焦点検出信号および第２焦点検出信号のデフォーカス量と、第１焦点検出信号と第２焦点検出信号との間の像ずれ量について概略的に示す関係図である。撮像面８００には撮像素子（不図示）が配置され、図４、図５（Ａ）の場合と同様に、結像光学系の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。

デフォーカス量ｄは、その大きさ｜ｄ｜が被写体像の結像位置から撮像面８００までの距離を表す。被写体像の結像位置が撮像面８００よりも被写体側にある前ピン状態では、負符号（ｄ＜０）とし、これとは反対の後ピン状態では正符号（ｄ＞０）として向きを定義する。被写体像の結像位置が撮像面（合焦位置）にある合焦状態では、ｄ＝０である。図５（Ｂ）に示す被写体８０１の位置は、合焦状態（ｄ＝０）に対応する位置を示しており、被写体８０２の位置は前ピン状態（ｄ＜０）に対応する位置を例示する。以下では、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）とを併せて、デフォーカス状態（｜ｄ｜＞０）という。

前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（または第２瞳部分領域５０２）を通過した光束は、いったん集光した後、光束の重心位置Ｇ１（またはＧ２）を中心として幅Γ１（またはΓ２）に広がる。この場合、撮像面８００上で暈けた像となる。暈け像は、撮像素子に配列された各画素を構成する第１焦点検出画素２０１（または第２焦点検出画素２０２）により受光され、第１焦点検出信号（または第２焦点検出信号）が生成される。よって、第１焦点検出信号（または第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（またはＧ２）にて、幅Γ１（またはΓ２）をもった被写体像（暈け像）として検出される。被写体像の幅Γ１（またはΓ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね比例して増加する。同様に、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ量を「ｐ」と記すと、その大きさ｜ｐ｜はデフォーカス量ｄの大きさ｜ｄ｜の増加に伴って増加する。例えば、像ずれ量ｐは光束の重心位置の差「Ｇ１−Ｇ２」として定義され、その大きさ｜ｐ｜は、｜ｄ｜が増加するのに伴い、概ね比例して増加する。なお、後ピン状態（ｄ＞０）では、第１焦点検出信号と第２焦点検出信号との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。
本実施形態では第１焦点検出信号と第２焦点検出信号、または第１焦点検出信号と第２焦点検出信号とを加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加する。

次に、本実施形態における位相差方式の焦点検出について説明する。
位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量を計算し、相関性（信号の一致度）の高くなるシフト量から像ずれ量が検出される。撮像信号のデフォーカス量の大きさが増加することに伴い、第１焦点検出信号と第２焦点検出信号との間の像ずれ量の大きさが増加するという関係性が利用される。像ずれ量をデフォーカス量に変換することで焦点位置の検出量が取得される。

図６は、本実施形態における焦点検出処理の流れを概略的に示すフローチャートである。本処理は、ＣＰＵ１２１が実行するプログラムに従って撮像素子１０７、画像処理回路１２５を制御することで実現される焦点検出部が行う。

Ｓ１１０では、撮像素子１０７の有効画素領域内で焦点調節を行う焦点検出領域を設定する処理が行われる。焦点検出部は、焦点検出領域のうち、第１焦点検出画素の受光信号（Ａ像信号）から第１焦点検出信号を生成し、第２焦点検出画素の受光信号（Ｂ像信号）から第２焦点検出信号を生成する。Ｓ１２０では、第１焦点検出信号と第２焦点検出信号に対し、それぞれ、信号データ量を抑制するために列方向に３画素分の加算処理が行われる。さらに、ＲＧＢ信号を輝度信号（Ｙ信号）にするためにベイヤー（ＲＧＢ）加算処理が行われる。これらの２つの加算処理を併せて画素加算処理とする。Ｓ１３０では、第１焦点検出信号と第２焦点検出信号に対して、それぞれシェーディング補正処理（光学補正処理）が行われる。

図７を参照して、第１焦点検出信号と第２焦点検出信号の瞳ずれによるシェーディングについて説明する。図７は、撮像素子の周辺像高における第１焦点検出画素２０１の第１瞳部分領域５０１および第２焦点検出画素２０２の第２瞳部分領域５０２と、結像光学系の射出瞳４００との関係を示す。

図７（Ａ）は結像光学系の射出瞳距離Ｄｌと撮像素子の設定瞳距離Ｄｓが同じ場合を示す。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、結像光学系の射出瞳４００が、ほぼ均等に瞳分割される。これに対して、図７（Ｂ）は結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより短い場合を示す。この場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が不均等に瞳分割されてしまう。また、図７（Ｃ）は結像光学系の射出瞳距離Ｄｌが撮像素子の設定瞳距離Ｄｓより長い場合を示す。この場合、撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれが生じ、結像光学系の射出瞳４００が不均等に瞳分割されてしまう。周辺像高で瞳分割が不均等になるのに伴い、第１焦点検出信号と第２焦点検出信号の強度が不均等になる。その結果、第１焦点検出信号と第２焦点検出信号のいずれか一方の強度が相対的に大きくなり、他方の強度が小さくなるシェーディングが生じる。

図６のＳ１３０では、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じてシェーディング補正係数が決定される。つまり、第１焦点検出信号についての第１シェーディング補正係数と、第２焦点検出信号についての第２シェーディング補正係数がそれぞれ生成される。第１シェーディング補正係数は第１焦点検出信号に乗算され、第２シェーディング補正係数は第２焦点検出信号に乗算されて、シェーディング補正処理が実行される。

位相差方式の焦点検出では、第１焦点検出信号と第２焦点検出信号との相関性（信号の一致度）に基づいて、検出量の取得処理が行われる。瞳ずれによるシェーディングが発生すると、第１焦点検出信号と第２焦点検出信号との相関性が低下する場合がある。位相差方式の焦点検出ではシェーディング補正処理により、第１焦点検出信号と第２焦点検出信号との相関性を改善し、焦点検出性能を良好にすることができる。

図６のＳ１４０では、第１焦点検出信号と第２焦点検出信号に対する、フィルタ処理が行われる。フィルタ処理の通過帯域を、図８の実線のグラフｇａに例示する。横軸には空間周波数（ライン・スペース／mm）を示し、縦軸には最大値を１としたゲインを示す。本実施形態では、位相差方式の焦点検出により、デフォーカス量が大きい状態での焦点検出を行うため、フィルタ処理における通過帯域が低周波数帯域を含むようにフィルタが構成される。必要に応じて、デフォーカス量が大きい状態から小さい状態まで焦点調節を行う際には、デフォーカス状態に応じて焦点検出時のフィルタ処理における通過帯域を、図８の１点鎖線のグラフｇｂに示すように、より高周波帯域に調整してもよい。

次に、図６のＳ１５０では、フィルタ処理後の第１焦点検出信号と第２焦点検出信号を、瞳分割方向にて相対的にシフトさせるシフト処理が行われる。シフト処理により、第１焦点検出信号と第２焦点検出信号との一致度を表す相関量が算出される。フィルタ処理後のｋ番目の第１焦点検出信号をＡ（ｋ）とし、フィルタ処理後のｋ番目の第２焦点検出信号をＢ（ｋ）とする。焦点検出領域に対応する番号ｋの範囲をＷとする。シフト処理によるシフト量をｓ_１とし、その範囲（シフト範囲）をΓ１として、相関量ＣＯＲは、式（１）により算出される。

シフト量ｓ_１によるシフト処理の結果、ｋ番目の第１焦点検出信号Ａ（ｋ）と、「ｋ−ｓ_１」番目の第２焦点検出信号Ｂ（ｋ−ｓ_１）とを対応させて減算することで、シフト減算信号が生成される。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲Ｗ内で番号ｋでの和を求めることにより、相関量ＣＯＲ（ｓ_１）を算出することができる。必要に応じて、行ごとに算出された相関量を、シフト量ごとに、複数の行に亘って加算してもよい。

Ｓ１６０では、Ｓ１５０で求めた相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出する処理が実行され、像ずれ量ｐ１が求められる。この像ずれ量ｐ１に対し、焦点検出領域の像高と、撮像レンズ（結像光学系）のＦ値、射出瞳距離に応じた第１変換係数Ｋ１を乗算することで検出量が算出される。

次に、以上の焦点検出方式を用いて動画撮影時に実行するＡＦ制御のアルゴリズムについて説明する。
動画撮影時には、静止画撮影時のように逸早く被写体に焦点を合わせるＡＦ制御ではなく、フォーカスレンズの駆動に関して品位の高いＡＦ制御が求められる。つまり動画撮影の場合、ＡＦ制御でのフォーカシング動作による映像の見え方そのものが記録される。このため、焦点を早く合わせることよりはむしろ、フォーカシング動作の品位が重要とされる。品位を高めるための制御の一つとして、常にフォーカスレンズを駆動し続けずに、被写体にピントが合った時点でフォーカスレンズを停止させ、その後の所定の条件判断結果に応じてフォーカスレンズの駆動を再開させる制御がある。所定の条件判断結果とは、例えば、被写体が変わったことや、被写体像に暈けが生じたといったことなどである。この制御では、例えば、フォーカスレンズを停止させずに駆動が続いた場合や、不用意に低コントラスト部のような焦点検出精度の低い被写体に対する焦点検出を行うとき、あるいは他の被写体が瞬間的に横切った場合などに問題が起こり得る。このような場合、不用意にフォーカスレンズが駆動されると、画像が暈けてしまい動画の品位を低下させる可能性がある。そこで、本実施形態の撮像装置は動画撮影時にて、被写体に合焦したと判断した場合にはフォーカスレンズの駆動を一旦停止し、再度被写体が変化したか否かを判定する。被写体が変化したと判定された場合に、フォーカスレンズの駆動を再起動させる制御を行うことで、無駄なレンズ駆動の頻度を抑えて品位を高めることができる。

フォーカスレンズの停止状態から、当該レンズの駆動を再起動させるに際には、不用意なレンズ駆動を行わないために、被写体のピント面が変化したかどうかを判断する必要がある。被写体のピント面が変化したと確かに判断できた場合には、フォーカスレンズの駆動を再起動させる制御が実行される。例えばデフォーカス量が所定の閾値以内である場合には再起動が行われず、所定の閾値以上のデフォーカス量が、一定時間（判定用の基準時間）に亘って検出された場合に再起動が行われる。このような制御によれば、被写体が動いていない時には不必要に動くことがない品位の高い映像を得ることができる。但し、被写体が動き出した時には、前記一定時間の判定用時間（あるいは検出時間）を設ける場合、当該時間の経過に相当する距離だけ被写体が移動してからフォーカスレンズの駆動が行われる。つまり、判定用時間の長さを固定値とした場合には、被写体の追尾開始の際に一定時間の遅れが生じる。そのため画像に多少の暈けが生じてしまうことが懸念される。画像の暈け量は、被写体の移動速度が遅い場合は無視できる程度であるが、被写体の移動速度が速くなるほど大きくなる。前記一定時間内における被写体の移動量が大きいほど画像の暈け量が大きくなってしまうので、被写体の移動速度によっては映像の品位を低下させる可能性がある。

図９は、動き出した被写体を撮像装置で撮像している時のデフォーカス量の変化を示すグラフである。図９の横軸は時間（秒）を示し、縦軸はデフォーカス量（［Ｆδ］）を示す。このデフォーカス量は、単位をｍｍとして算出されたデフォーカス量を、絞り値であるＦ値および許容錯乱円径δで割って正規化した値であり、これにより暈け量に比例した値として取り扱うことができる。例えば、Ｆ値が２．０でδが０．０２ｍｍの場合、デフォーカス量が１ｍｍの時には、２５[Ｆδ]として暈け量を定量的に示すことができる。
図９（Ａ）は、被写体が１ｍ／ｓの速さで移動している場合を示す。図９（Ｂ）は、被写体が２ｍ／ｓの速さで移動している場合を示す。各グラフにおける変曲点の位置では、フォーカスレンズの駆動が再起動され、被写体の追尾が開始するため、再びデフォーカス量の絶対値が減少していく。図９（Ａ）および図９（Ｂ）では、判定用時間が同じ値に設定されている。そのため、図９（Ｂ）の場合の方が図９（Ａ）の場合に比べて、再起動での動き出し時の最大デフォーカス量の絶対値が大きい。すなわち、映像の品位が低下することが判る。
そこで以下の実施形態では、被写体の移動速度に応じて判定用の時間または回数を可変値として制御することにより、被写体の移動速度に対応したレンズ駆動制御を実現する。

[実施例１]
本発明の第１実施形態に係る図１０および図１１を参照して、実施例１としての撮像装置を説明する。

図１０はＡＦ制御の要部を説明するフローチャートである。以下の処理は、ＣＰＵ１２１が実行するプログラムに従って撮像素子１０７、画像処理回路１２５、フォーカス駆動回路１２６を制御することで実現される焦点調節制御部が行う。

図１０のＳ１１０１で処理が開始し、Ｓ１１０２に進む。Ｓ１１０２にて、ある時刻ｔにおける像面移動速度を算出する場合、ＣＰＵ１２１は、時刻ｔと、時刻ｔから時間を遡って過去ｎ回の時刻（ｔ−１、ｔ−２・・、ｔ−ｎ）におけるデフォーカス量を取得する処理を実行する。過去のデフォーカス量の履歴についてはデータがメモリに記憶されている。次のＳ１１０３では、Ｓ１１０２で取得された現時点および過去ｎ回分のデフォーカス量に基づいて直線近似（線形近似処理）が行われ、その傾きを算出することで像面移動速度Ｖ（Ｆδ／ｓ）が取得される。この場合、デフォーカス量の取得回数ｎについては２以上の範囲で固定値または可変値とする。可変値の場合には、要求精度に応じて取得回数ｎを増減することで設定が随時に変更される。直線近似の際には、最小二乗法を用いることで算出の精度を向上させることができる。

次にＳ１１０４に進み、像面移動速度Ｖの値に信頼性があるかどうかについて判定される。この判定では、Ｓ１１０３で得られた像面移動速度Ｖの値を、所定値Ｖmin（下限値）および所定値Ｖmax（上限値）と比較し、下限値以上であって上限値以下であるか否かが判定される。図１１は像面移動速度の信頼性判定の範囲を示す図である。図１１の横軸は時間を示し、縦軸はデフォーカス量を示す。右上がりの直線の傾斜が像面移動速度Ｖを表す。像面移動速度Ｖが所定値Ｖmin未満である場合には、被写体が移動している可能性が低い。例えば、被写体が少し揺れている場合（被写体の呼吸による前後動や、風で揺れている等）のように、むやみにフォーカスレンズの駆動を再起動させると、かえって映像の品位を低下させる可能性がある。また、像面移動速度Ｖが所定値Ｖmaxを超える場合でも、被写体が移動している可能性が低い場合がある。そのような場合としては、被写体が焦点検出枠から外れてしまっている場合、あるいは被写体の前を突然、別の物体が横切ったために急激に動いたと誤検出される場合などがある。このような状況に対して直ちに反応してフォーカスレンズの駆動が再起動された場合、映像の品位を低下させる可能性がある。本実施形態では、像面移動速度Ｖが第１の閾値以上（Ｖmin以上）であって、かつ第２の閾値以下（Ｖmax以下）であるという条件に関する判定処理を行う。判定の結果、当該条件を満たす場合には図１０のＳ１１０５に処理を進め、当該条件を満たさない場合にはＳ１１０２に処理を戻す。

Ｓ１１０５でＣＰＵ１２１はパンニング検出についての判定処理を実行する。撮影者が撮像装置のパンニング操作を行った際には、被写体が動かなくても像面移動速度Ｖの値が急激に変化する可能性がある。このため、その際のＶ値をフォーカスレンズ駆動の再起動のための判定に用いたのでは、誤ったレンズ駆動の発生が懸念される。そこで、Ｓ１１０５でＣＰＵ１２１は、振れ検出部１３０（図１参照）による振れ検出信号を取得して、パンニング動作が行われたか否かを判定する。パンニング動作が行われていないと判定された場合、Ｓ１１０６に処理を進める。パンニング動作が行われたと判定された場合には、像面移動速度Ｖを用いたフォーカスレンズ駆動の再起動を禁止し、Ｓ１１０２に戻って再度デフォーカス量が取得される。なお、撮影方向の変更動作としてパンニング動作を例示したが、チルティング動作の判定についても同様に行われる。チルティング動作が行われたことが判定された場合、像面移動速度Ｖを用いたフォーカスレンズ駆動の再起動が禁止される。

Ｓ１１０６でＣＰＵ１２１は、求めた像面移動速度Ｖ（Ｆδ／ｓ）を用いて、前記の判定用時間を決定する。具体的には本実施形態の場合、デフォーカス量について、撮像装置のフレームレート、つまり信号読み出し周期ごとに離散的なタイミングで取得を行っている。このため、デフォーカス量の検出回数により判定用時間を規定することができる。この場合、判定用時間はデフォーカス量の検出回数に比例する。したがってＣＰＵ１２１は像面移動速度Ｖに応じて、検出回数ｋを決定する。以下の表１を参照して、像面移動速度Ｖに応じた検出回数ｋが決定される。

表１にて、「ｋ４＞ｋ３＞ｋ２＞ｋ１」の関係であり、像面移動速度Ｖが大きいほど、検出回数ｋは小さく設定される。像面移動速度Ｖが小さい場合には、検出回数ｋの値が大きいので、ゆっくりした被写体の動きに対し、滑らかで信頼性の高いレンズ駆動を実現することができる。また、像面移動速度Ｖが大きい場合には、検出回数ｋの値が小さいので、速い被写体の動きに少しでも早く追いつくために素早くレンズ駆動を再起動させることができる。

Ｓ１１０７でＣＰＵ１２１はデフォーカス量の検出処理を実行した後、Ｓ１１０８に処理を進める。Ｓ１１０８でＣＰＵ１２１はデフォーカス量が所定の閾値を超えた回数をカウントし、回数がＳ１１０６で決定した検出回数ｋを超えたか否かを判定する。計測された回数が検出回数ｋを超えた場合、Ｓ１１０９に進み、計測された回数が検出回数ｋ以下の場合には、Ｓ１１０７に戻ってデフォーカス量の検出処理を続行する。Ｓ１１０９でＣＰＵ１２１はフォーカスレンズの駆動を再起動させた後、Ｓ１１１０のリターン処理へ移行する。

以上のように、被写体に合焦したと判断されてフォーカスレンズの駆動を停止した時点から再起動を行うか否かの判定に用いる判定用時間または回数が、デフォーカス量の時間的変化に応じて変更される。デフォーカス量の時間的変化とは、単位時間あたりのデフォーカス量の変化量であり、前記像面移動速度Ｖに相当する。判定用時間または回数はデフォーカス量の変化量が大きいほど小さい値に設定される。

本実施形態では、前記のアルゴリズムを用いることによって、像面移動速度Ｖに応じてＡＦ制御を安定に行えるとともに、素早い被写体の動きに追従可能なフォーカスレンズ駆動の再起動を実現できる。本実施形態によれば、動体（被写体）に対してその移動速度に対応した焦点調節制御を行うことで、暈けの少ない動画映像が得られるので、映像品位の低下を抑制できる。

[実施例２]
次に本発明の第２実施形態に係る図１２および図１３を参照して、実施例２としての撮像装置について説明する。第１実施形態においては、像面移動速度Ｖに応じてデフォーカス量の検出回数ｋを可変制御する例を説明したが、像面移動速度Ｖ以外の指標によっても、同様に安定した再起動判定を行うことが可能である。本実施形態では、所定の時間間隔ごとに取得したデフォーカス量の積算値を閾値と比較し、デフォーカス量の積算値が閾値を超えた場合にフォーカスレンズの駆動を再起動させる。なお、本実施形態において第１実施形態の場合と同じ構成要素については、既に使用した符号を用いることでそれらの詳細な説明を省略し、第１実施形態との相違点を中心に説明する。以下、図１２を参照して本実施形態のアルゴリズムについて説明する。

図１２のＳ１２０１で処理が開始し、次のＳ１２０２でＣＰＵ１２１は焦点検出動作を制御し、デフォーカス量（Ｄｅｆ）を取得する。続いてＳ１２０３でＣＰＵ１２１は、Ｓ１２０２で取得したデフォーカス量を所定の閾値と比較し、デフォーカス量が所定の閾値以上であるか否かを判定する。これは、ノイズや被写体像の揺らぎの影響を蒙った検出値を判定に用いないようにするための処理である。Ｓ１２０３で所定の閾値以上のデフォーカス量であることが判定された場合、Ｓ１２０４に進む。デフォーカス量が所定の閾値未満であることが判定された場合には、Ｓ１２０２に戻る。

Ｓ１２０４でＣＰＵ１２１はデフォーカス量の加算（積算）処理を行う。本実施形態ではデフォーカス量の総和を「ｓｕｍ」と記し、その初期値がゼロに設定されているものとする。Ｓ１２０４では、現時点までに加算されている総和ｓｕｍに対して、Ｓ１２０２で取得されたデフォーカス量を加算する処理が実行され、Ｓ１２０５に処理を進める。Ｓ１２０５でＣＰＵ１２１は、Ｓ１２０４で計算したデフォーカス量の総和ｓｕｍの値が、所定値（閾値）を超えたかどうかを判定する。総和ｓｕｍの値が所定値を超えていない場合には、再度Ｓ１２０２に戻り、デフォーカス量の取得を続行する。また、総和ｓｕｍの値が所定値を超えた場合には、Ｓ１２０６に処理を進める。Ｓ１２０６でＣＰＵ１２１はフォーカスレンズの駆動を再起動させた後、Ｓ１２０７のリターン処理へ移行する。

図１３を参照して、前記処理について説明する。図１３は被写体の移動速度の大きさが１ｍ／ｓの場合と２ｍ／ｓの場合に、それぞれ検出されたデフォーカス量の時間的変化を例示したグラフである。横軸は経過時間（秒）を示し、縦軸はデフォーカス量（［Ｆδ］）の総和を示す（Ｄ１からＤ３参照）。この例では、デフォーカス量の取得タイミングをＴ１からＴ４に示す。ここでは、図１２のＳ１２０５で使用する所定値（閾値）をＤ２に設定した場合を想定する。図１３のグラフ線ｇ２に示すように、被写体が２ｍ／ｓの速さで動いている場合、デフォーカス量の総和ｓｕｍの値がＤ２を超えるまでには時間Ｔ２がかかる。これに対し、図１３のグラフ線ｇ１に示すように、被写体が１ｍ／ｓの速さで動いている場合には、デフォーカス量の総和ｓｕｍの値がＤ２を超えるまでには時間Ｔ４（＞Ｔ２）がかかる。したがって、２ｍ／ｓの速さで動く被写体に対しては時間Ｔ２の経過後にフォーカスレンズの駆動が再起動し、１ｍ／ｓの速さで動く被写体に対しては時間Ｔ４の経過後にフォーカスレンズの駆動が再起動する。これにより、被写体の動きに応じたフォーカスレンズ駆動を実現することができる。
本実施形態による再起動判定処理およびフォーカスレンズ駆動を行うことで、安定した品位の動画映像を得ることができる。

[その他の実施例]
前記実施例は本発明の実施する上での一例であって、本発明が前記実施例に限定されるものではない。例えば、前記実施例では、像面移動速度を算出するために、過去における複数回のデフォーカス量を記憶しておいて直線近似を行った。これに限らず、例えば被写体が加速中であることを検出した場合、直線近似ではなく多項式近似線を用いて像面移動速度の予測処理を行ってもよい。また、前記実施例では撮影者が任意に選んだ１点の焦点検出枠内でのアルゴリズムを中心に説明した。本発明は、複数点の焦点検出枠を用いる自動選択モードの場合にも適用することができ、また被写体の追尾機能と併用することも可能である。

１０５ 第３レンズ群
１０７ 撮像素子
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１２６ フォーカス駆動回路
１３０ 振れ検出部
２０１，２０２ 焦点検出画素

Claims (11)

1. 結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
   前記複数の焦点検出画素の出力信号を用いて焦点検出を行う焦点検出手段と、
   前記焦点検出手段により検出される検出量を用いて、前記結像光学系を構成するレンズの駆動を制御することで焦点調節制御を行う制御手段と、を備え、
   前記制御手段は、被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、再起動を行うか否かを判定する際に用いる判定用の時間または回数を、前記焦点検出手段により検出される検出量の時間的変化が大きいほど小さく設定し、前記検出量が閾値を超えている時間または回数が、前記判定用の時間または回数を超えた場合に前記レンズの駆動を再起動させる制御を行うことを特徴とする撮像装置。
2. 前記制御手段は、前記焦点検出手段により検出される検出量の時間的変化から被写体の像面移動速度を算出し、前記判定用の時間または回数を、前記像面移動速度が大きいほど小さく設定することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記像面移動速度を、その下限値および上限値と比較し、前記像面移動速度が前記下限値以上であって、かつ前記上限値以下である場合、前記判定用の時間または回数を変更することを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記撮像装置の振れ検出信号を取得し、撮影方向を変更する動作が検出された場合、前記判定用の時間または回数を変更せず、撮影方向を変更する動作が検出されない場合、前記判定用の時間または回数を変更することを特徴とする請求項２または３に記載の撮像装置。
5. 結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
   前記複数の焦点検出画素の出力信号を用いて焦点検出を行う焦点検出手段と、
   前記焦点検出手段により検出される検出量を用いて、前記結像光学系を構成するレンズの駆動を制御することで焦点調節制御を行う制御手段と、を備え、
   前記制御手段は、被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、前記焦点検出手段により検出される検出量を積算し、積算値が閾値を超えた場合に前記レンズの駆動を再起動させる制御を行うことを特徴とする撮像装置。
6. 前記制御手段は、前記焦点検出手段により検出される検出量を閾値と比較し、前記検出量が閾値以上である場合に積算を行うことを特徴とする請求項５に記載の撮像装置。
7. 前記検出量は、撮影時における前記結像光学系の絞り値および許容錯乱円径を用いて正規化されたデフォーカス量であることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記撮像素子の画素部は、
   入射光を集光するマイクロレンズと、
   前記結像光学系の第１瞳部分領域を通過する光束を受光する第１焦点検出画素と、
   前記第１瞳部分領域とは異なる、前記結像光学系の第２瞳部分領域を通過する光束を受光する第２焦点検出画素と、
   前記第１瞳部分領域と前記第２瞳部分領域を含む瞳領域を通過する光束を受光する撮像画素と、を備えることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記撮像素子の出力信号を取得して動画像データを処理する画像処理手段を備えることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
    前記複数の焦点検出画素の出力信号を用いて焦点検出を行う焦点検出手段と、
    前記焦点検出手段により検出される検出量を用いて、前記結像光学系を構成するレンズの駆動を制御することで焦点調節制御を行う制御手段と、を備える撮像装置にて実行される制御方法であって、
    前記制御手段が、
    被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、再起動を行うか否かを判定する際に用いる判定用の時間または回数を、前記焦点検出手段により検出される検出量の時間的変化が大きいほど小さく設定するステップと、
    前記検出量が閾値を超えている時間または回数が、前記判定用の時間または回数を超えた場合に前記レンズの駆動を再起動させる制御を行うステップを有することを特徴とする撮像装置の制御方法。
11. 結像光学系の異なる瞳部分領域をそれぞれ通過する光束を受光する複数の焦点検出画素を有する撮像素子と、
    前記複数の焦点検出画素の出力信号を用いて焦点検出を行う焦点検出手段と、
    前記焦点検出手段により検出される検出量を用いて、前記結像光学系を構成するレンズの駆動を制御することで焦点調節制御を行う制御手段と、を備える撮像装置にて実行される制御方法であって、
    前記制御手段が、被写体に合焦したと判断した場合に前記レンズの駆動を停止した時点から、
    前記焦点検出手段により検出される検出量を積算するステップと、
    前記検出量の積算値が閾値を超えた場合に前記レンズの駆動を再起動させる制御を行うステップを有することを特徴とする撮像装置の制御方法。
    
    
    
    
    
    
    
    
    

Images