JP5871196B2

JP5871196B2 - 焦点調節装置、および、撮像装置

Info

Publication number: JP5871196B2
Application number: JP2014220512A
Authority: JP
Inventors: 直之大西
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2014-10-29
Filing date: 2014-10-29
Publication date: 2016-03-01
Anticipated expiration: 2029-11-19
Also published as: JP2015052799A

Description

本発明は、焦点調節装置、および、撮像装置に関する。

撮像対象を含む画像をテンプレート画像とし、このテンプレート画像に類似した画像の位置を撮像対象の位置として認識することにより、撮像対象を追尾する。そして、この追尾した位置に対する焦点検出結果に基づいて、撮影光学系の焦点調節を行う焦点調節装置が知られている（例えば、特許文献１参照）。

特開２００９−１１１７４２号公報

しかしながら、特許文献１に示す焦点調節装置にあっては、対象位置が複数認識された場合に、認識された複数の対象位置のうち、いずれを追尾位置とするかを決定することができず、適切な焦点調節ができないという問題がある。

本実施例の発明の課題は、複数の候補領域があるときでも適切な追尾制御ができる焦点調節装置、および、撮像装置を提供することにある。

この発明は、第１画像を出力した後に第２画像を出力する撮像素子と、複数の焦点検出エリアにおいてデフォーカス量を検出可能な焦点検出部と、前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、前記第１画像の前記第１領域の前記焦点検出エリアのデフォーカス量である第１デフォーカス量に基づいて焦点調節制御をする焦点調節制御部と、前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である複数の第１候補領域を設定する設定部と、前記焦点検出エリアのデフォーカス量が前記第１デフォーカス量から所定差の閾値を満たすか否かを判断する第１判断部と、前記複数の第１候補領域のうち、前記第１判断部によりデフォーカス量が前記第１デフォーカス量から前記所定差の閾値を満たすと判断された前記焦点検出エリアを含む領域である第２候補領域が複数あるか否かを判断する第２判断部とを含み、前記決定部は、前記第２判断部により前記第２候補領域が複数あると判断されたとき、前記第１領域に最も近い前記第２候補領域を前記第２画像における前記特定被写体に対応する第２領域であると決定し、前記焦点調節制御部は、前記第２画像の前記第２領域の前記焦点検出エリアのデフォーカス量に基づいて焦点調節制御をすることを特徴とする焦点調節装置である。

この発明は、第１画像を撮像した後に第２画像を撮像する撮像部と、前記第１画像における特定被写体の領域である第１領域を決定し、前記第１画像における前記第１領域の画像を用いて前記第２画像に第１候補領域を決定し、前記第１候補領域が複数あるとき前記第１領域の焦点検出エリアのデフォーカス量である第１デフォーカス量を用いて前記複数の第１候補領域から前記第１デフォーカス量との差異が所定の閾値以内のデフォーカス量となる焦点検出エリアが含まれる前記第１候補領域を第２候補領域として決定し、前記第２候補領域が複数あるとき前記第１領域に最も近い前記第２候補領域を焦点調節制御に用いられる領域である第２領域として決定する決定部と、を含むことを特徴とする撮像装置である。

本実施例の発明によれば、複数の候補領域があるときでも適切な追尾制御ができる焦点調節装置、および、撮像装置を提供することができる。

この発明の一実施形態による焦点検出装置を備えたデジタル一眼レフカメラの構成を示すブロック図である。焦点検出装置が備える複数の測距領域を示す説明図である。図２の焦点検出装置において、複数の追尾領域が検出された場合を説明する説明図である。本実施形態のカメラによる焦点調節の動作を示すフローチャートである。図４のフローチャートにおけるステップＳ１０３の処理を示すフローチャートである。図４のフローチャートにおけるステップＳ１０４の処理を示すフローチャートである。図４のフローチャートにおけるステップＳ１０９の処理を示すフローチャートである。採用エリアを決める処理の変形例１を説明する説明図である。採用エリアを決める処理の変形例２を説明する説明図である。採用エリアを決める処理の変形例３を説明する説明図である。

以下、図面を参照して、本発明の実施の形態について説明する。図１は、一実施の形態による焦点調節装置を備えたデジタル一眼レフカメラ（以下、カメラという）の構成を示す図である。なお、本発明の焦点調節装置および撮像装置に関わる機器および装置以外のカメラの一般的な機器および装置については図示と説明を省略する。

一実施の形態のカメラはカメラボディ１００にレンズ鏡筒２００が装着され、レンズ鏡筒２００は各種の撮影レンズに交換可能である。なお、この一実施の形態ではレンズ交換式カメラを例に上げて説明するが、本発明はレンズ交換式カメラに限定されず、レンズ固定式カメラに対しても適用できる。

レンズ鏡筒２００は、ズーミングレンズおよびフォーカスレンズなどの複数のレンズから構成される撮影光学系（光学系）１と、レンズ駆動用モータ１４と、を備えている。撮影光学系１のうち、焦点を調整するフォーカスレンズは、レンズ駆動用モータ１４により光軸方向に駆動される。これにより、撮影光学系１の焦点が調節される。

カメラボディ１００は、メインミラー２、焦点板３、ペンタプリズム４、接眼レンズ５、撮像部６、サブミラー７、位相差検出方式の焦点検出装置８（以下、焦点検出装置８とする）、測光用レンズ１５、測光センサー１６、操作部材１８、焦点調節装置３００、および、制御部４００、を備えている。

撮像部６はＣＣＤやＣＭＯＳなどから構成され、撮影光学系１により結像した被写体像を電気信号に変換して出力する。この撮像部６から出力される電気信号を記録することにより、被写体像が撮像される。

焦点検出装置８は、図２に示すように撮像画面上に対応付けて複数の焦点検出位置（複数の測距領域）を備えており、複数の焦点検出位置ごとに検出される焦点検出信号を焦点調節装置３００に出力する。

焦点調節装置３００は、焦点検出装置８から入力された焦点検出信号に基づいて、撮影光学系１の焦点調節状態を示すデフォーカス量を求め、求めたデフォーカス量に基づいて、レンズ駆動用モータ１４を介して撮影光学系１の焦点を調節する。

撮影時以外は、メインミラー２とサブミラー７が図１に示すように撮影光路中に置かれる。このとき、撮影光学系１を透過した被写体からの光の一部は、メインミラー２に反射されて焦点板３へ導かれ、焦点板３上に被写体像を結像する。

焦点板３上の被写体像は、ペンタプリズム４と接眼レンズ５を介して撮影者に観測可能となるとともに、その光束は、ペンタプリズム４と測光用レンズ１５を介して測光用センサー１６へ導かれる。

測光センサー１６は、被写体像に対応した撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号を、焦点調節装置３００に出力する。

撮影時は、メインミラー２とサブミラー７が撮影光路から退避（ミラーアップ）され、撮影光学系１を透過した被写体からの光束が撮像部６へ導かれ、撮像部６の撮像面に結像された被写体像が撮像される。

制御部４００は、カメラボディ１００が備えるメインミラー２、撮像部６、サブミラー７、焦点検出装置８、測光センサー１６、および、焦点調節装置３００を制御する。

操作部１８は、ユーザにより操作されることにより、ユーザの操作に応じた信号を、制御部４００に出力する。この操作部１８は、たとえば、撮影光学系１の焦点調節を行う動作を起動するスイッチであるレリーズ半押しスイッチＳＷ１（以降、スイッチＳＷ１とする）を備えている。

＜焦点調節装置３００の構成＞
次に、焦点調節装置３００の構成について説明する。この焦点調節装置３００は、ＡＦ−ＣＣＤ制御部９、デフォーカス演算部（焦点検出部）１０、フォーカスエリア位置決定部（選択部）１１、レンズ駆動量演算部（焦点調節部）１２、レンズ駆動制御部１３、および、認識部１７を備えている。

ＡＦ−ＣＣＤ制御部９は、上述した被写体からの光の他の一部に基づいて、焦点検出装置８が備える電荷蓄積型の光電変換素子からなるラインセンサに電荷を蓄積させる制御をするとともに、蓄積された電荷を焦点検出装置８から読み出して、デフォーカス演算部１０に出力する。

デフォーカス演算部１０は、ＡＦ−ＣＣＤ制御部９を介して焦点検出装置８から読み出された出力に基づいて、撮影光学系１による像面内に設定された複数の焦点検出位置に対して撮影光学系１の焦点状態を算出する。

認識部１７は、測光センサー１６から出力された測光信号、すなわち、撮影画面を複数の領域に分割して各領域ごとの輝度に応じた測光信号に基づいて、撮影光学系１による像のうち、特定の対象の像の位置を対象位置として繰り返し認識する。

この認識部１７は、たとえば、特定の対象の像をテンプレート画像として記憶部に記憶しておく。そして、認識部１７は撮影光学系１による像のうち、この記憶部から読み出した特定の対象の像、すなわち、テンプレート画像の位置を繰り返し検出することにより、撮影光学系１による像のうち、特定の対象の像の位置を対象位置として繰り返し認識する。

なお、たとえば、起動時やフォーカス処理が開始された場合に、撮影光学系１による像のうち、自動被写体認識技術により選択された特定の対象の像、または、操作部１８の操作によりユーザに選択された特定の対象の像が、この記憶部にテンプレート画像として記憶されてもよい。ここでいう自動被写体認識技術とは、たとえば、顔認識技術や移動体検出技術である。

なお、認識部１７は、撮影光学系１による像のうち、フォーカスエリア位置決定部１１により選択された対象位置に対応する像に基づいて、対象の像を決定してもよい。

フォーカスエリア位置決定部１１は、認識部１７により複数の対象位置が認識された場合に、該複数の対象位置に対応してデフォーカス演算部１０によって算出される焦点状態に基づいて、複数の対象位置のいずれかを選択する。

たとえば、図３に示すように、認識部１７により認識された複数の対象位置として、追尾領域１と追尾領域２とがあるとする。この場合、フォーカスエリア位置決定部１１は、該複数の対象位置に対応してデフォーカス演算部１０によって検出される焦点状態に基づいて、複数の対象位置のいずれかを選択する。すなわち、この場合、フォーカスエリア位置決定部１１は、追尾領域１と追尾領域２とのうちいずれかを選択する。なお、この図３には、前回の追尾領域（前回選択した追尾領域）が波線で示されている。

図１の説明にもどる。また、このフォーカスエリア位置決定部１１は、認識部１７による第１認識動作によって認識された第１の対象位置に基づいて、第１認識動作の後の第２認識動作によって認識された複数の対象位置のいずれかを選択する。

この第１認識動作によって認識された第１の対象位置とは、たとえば、図３に示される前回の追尾領域のことである。また、この第２認識動作によって認識された複数の対象位置とは、たとえば、図３に示される追尾領域１と追尾領域２とのことである。

また、このフォーカスエリア位置決定部１１は、第２認識動作によって認識された複数の対象位置のうち、第１の対象位置に対応する焦点検出位置に対して検出される焦点状態との差が所定条件を満たす焦点状態が検出される焦点検出位置に対応する対象位置を選択する。

また、このフォーカスエリア位置決定部１１は、第２認識動作によって認識された複数の対象位置のうち、第１の対象位置に対応する焦点検出位置の近傍に位置する焦点検出位置に対応する対象位置を選択する。

レンズ駆動量演算部１２は、フォーカスエリア位置決定部１１によって選択された対象位置に対応する焦点検出位置に対してデフォーカス演算部１０によって検出される焦点状態（デフォーカス量）に基づいてレンズ駆動量を算出し、当該算出したレンズ駆動量に基づいてレンズ駆動制御部１３を介してレンズ駆動用モータ１４を制御することにより、撮影光学系１の焦点調節を行う。

レンズ駆動制御部１３は、レンズ駆動量演算部１２から出力されるレンズ駆動量に基づいてレンズ駆動用モータ１４を制御し、撮影光学系１の焦点調節を行う。

＜本実施形態のカメラによる焦点調節の動作＞
次に、図４のフローチャートを用いて、本実施形態のカメラによる焦点調節の動作について説明する。以降においては、撮影光学系１の焦点調節を行う動作をＡＦ（オートフォーカス）動作と称して説明する。また、焦点調節をＡＦと称して説明する。また、焦点検出位置をＡＦエリアまたはエリアと称するとともに、複数の対象位置の中から選択された対象位置を採用エリアと称して説明する。

まず、ステップＳ１０１において、制御部４００は、スイッチＳＷ１がＯＮされているか否かを判定する。ここで、スイッチＳＷ１の半押しは、ＡＦ動作の起動に対応するため、スイッチＳＷ１がＯＦＦからＯＮへ変化したことに応じて、制御部４００がＡＦ動作を開始することになる。

このステップＳ１０１で判定した結果が、スイッチＳＷ１がＯＮされていない場合には、制御部４００はステップＳ１０１からの処理を繰り返す。一方、このステップＳ１０１で判定した結果が、スイッチＳＷ１がＯＮされている場合には、制御部４００は次のステップＳ１０２に処理を進める。

次に、ステップＳ１０２において、制御部４００は、ＡＦ動作が初回ＡＦ動作であるか否かを判定する。ここで、初回ＡＦ動作とは、上述したステップＳ１０１でＯＦＦからＯＮに切り替わった直後であって、ＡＦの演算結果が何も出力されていない段階のことである。
このステップＳ１０２で判定した結果が初回ＡＦ動作である場合には、制御部４００は処理をステップＳ１０３に進める。一方、このステップＳ１０２で判定した結果が初回ＡＦ動作でない場合には、制御部４００は処理をステップＳ１０４に進める。

ステップＳ１０３において、ＡＦ動作が開始された直後であるため、制御部４００の制御に基づいて、認識部１７により所定の初回追尾制御を行う。この初回追尾制御については、後に図５を用いて詳細に説明する。

また、ステップＳ１０４において、ＡＦ動作が継続中であり、既に追尾制御が行われているため、制御部４００の制御に基づいて、認識部１７により追尾演算処理を行う。この追尾演算処理については、後に図６を用いて詳細に説明する。

上述のステップＳ１０３またはステップＳ１０４に続いて、次のステップＳ１０５において、制御部４００の制御に基づいて、ＡＦ−ＣＣＤ制御部９は、焦点検出装置８に対して蓄積制御を行わせる。なお、制御部４００は、ステップＳ１０１でスイッチＳＷ１がＯＮされていれば、ステップＳ１０２〜ステップＳ１０４の動作と並行して本処理を実行してもよい。

次に、ステップＳ１０６において、制御部４００の制御に基づいて、ＡＦ−ＣＣＤ制御部９は、ステップＳ１０５で蓄積した電荷を焦点検出装置８から読み出し、Ａ／Ｄ変換してデフォーカス演算部１０に出力する。

次に、ステップＳ１０７において、制御部４００の制御に基づいて、デフォーカス演算部１０は、焦点検出装置８から入力された電荷信号に基づいて相関演算により像ズレ量を求め、この求めた像ズレ量に基づいてデフォーカス量を算出する。

なお、上述したステップＳ１０５からステップＳ１０７の処理は、焦点検出装置８が備えるＡＦエリアのうち、追尾の領域に相当するＡＦエリア、または、焦点検出装置８が備え持つ全てのＡＦエリアについて実行されてもよい。

次に、ステップＳ１０８において、制御部４００は、所定エリア数のデフォーカス量の演算が終了したか否かを判定する。ここでいう所定数とは、たとえば、焦点検出装置８が備えるＡＦエリアのうち、追尾の領域に相当するＡＦエリア数や、焦点検出装置８が備える全てのＡＦエリア数である。

このステップＳ１０８の判定結果として所定エリア数のデフォーカス量の演算が終了していない場合には、制御部４００は、ステップＳ１０５からの処理を繰り返す。一方、ステップＳ１０８の判定結果として所定エリア数のデフォーカス量の演算が終了した場合には、制御部４００は、次のステップＳ１０９に処理を進める。

次に、ステップＳ１０９において、制御部４００の制御に基づいて、フォーカスエリア位置決定部１１はエリア決定処理を実行する。このエリア決定処理については、後に図７を用いて詳細に説明する。

次に、ステップＳ１１０において、制御部４００の制御に基づいて、レンズ駆動量演算部１２は、ステップＳ１０９のエリア決定処理により選択されたエリアに基づいてレンズ駆動量演算を実行する。

次に、ステップＳ１１１において、制御部４００の制御に基づいて、レンズ駆動制御部１３は、ステップＳ１１０のレンズ駆動量演算の結果に応じてレンズ駆動用モータ１４を介してフォーカスレンズの位置を変更することにより、撮影光学系１の焦点調節を行う。

次に、ステップＳ１１２において、制御部４００は、後述する被写体追尾制御の探索範囲の制限、および、テンプレート画像の再取得の判定処理を実行する。

＜ステップＳ１０３：初回追尾制御＞
次に、図５のフローチャートを用いて、図４のステップＳ１０３における初回追尾制御について説明する。
まず、ステップＳ２０１において、認識部１７は、追尾初期画像中のＡＦエリアに対応する領域の画像の被写体の色情報を記憶部に記憶する。

次に、ステップＳ２０２において、認識部１７は、追尾初期画像中のＡＦエリアの周辺部で、被写体色情報と同様な色情報を示す同色情報を検出する。
次に、ステップＳ２０３において、認識部１７は、検出した同色情報を初期被写体領域とする。

次に、ステップＳ２０４において、認識部１７は、追尾初期画像中の被写体追尾領域を以降の追尾処理に用いるテンプレート画像として記憶部に記憶する。
次に、ステップＳ２０５において、認識部１７は、被写体追尾領域を所定画素ずつ拡大した領域を探索領域に設定する。

＜ステップＳ１０４：追尾演算処理＞
次に、図６のフローチャートを用いて、図４のステップＳ１０４における追尾演算処理について説明する。

まず、ステップＳ３０１において、認識部１７は、追尾画像の探索領域からテンプレート画像と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像とを対比し、画素ごとに色情報の差分を演算する。

次に、ステップＳ３０２において、認識部１７は、色情報の差が最も小さい領域を探索し、その領域を新しい追尾領域に決定する。ここで、認識部１７は、新しい追尾被写体領域の画像情報を用いてテンプレート画像の画像情報を変更してもよい。また、本実施形態では、ここで色情報の差が小さい領域が複数存在する場合（図３参照）、複数の追尾領域を出力する。

次に、ステップＳ３０３において、認識部１７は、新しい追尾領域の周辺に所定画素ずつ拡大した領域を、新しい探索領域として設定する。

＜ステップＳ１０９：エリア決定処理＞
次に、図７のフローチャートを用いて、図４のステップＳ１０９におけるエリア決定処理について説明する。

まず、ステップＳ４０１において、フォーカスエリア位置決定部１１は、初回ＡＦ動作かどうか判定する。初回ＡＦ動作であれば追尾制御も初回動作であり、何も被写体の移動情報が出力されていないため、フォーカスエリア位置決定部１１は、ＡＦの情報、または、顔認識などの認識情報を用いてＡＦを行う。

このステップＳ４０１において、初回ＡＦ動作であると判定された場合には、フォーカスエリア位置決定部１１は処理をステップＳ４０２に進め、初回ＡＦ動作でないと判定された場合には処理をステップＳ４０５に進める。

次に、ステップＳ４０２において、すなわち、ステップＳ４０１において初回ＡＦ動作であると判定された場合、フォーカスエリア位置決定部１１は現在のＡＦモードが自動選択モードであるかどうかを判定する。

このステップＳ４０２において、現在のＡＦモードが自動選択モードであると判定された場合には、フォーカスエリア位置決定部１１は処理をステップＳ４０３に進め、現在のＡＦモードが自動選択モードでないと判定された場合には処理をステップＳ４０４に進める。

次に、ステップＳ４０３において、すなわち、ステップＳ４０２において自動選択モードであると判定された場合、フォーカスエリア位置決定部１１は、採用エリアをカメラが自動で選択したエリアとする。ここではエリアの決め方の詳細は省略するが、例えば、顔認識機能などを使用して顔だと判別された位置に相当するエリアを採用エリアとする。

一方、ステップＳ４０４において、すなわち、ステップＳ４０２において自動選択モードでない場合、フォーカスエリア位置決定部１１は、ユーザが手動でエリアを選択する必要があるのでユーザ選択エリアを採用エリアとする。

一方、上述したステップＳ４０１において初回ＡＦ動作でないと判定された場合、フォーカスエリア位置決定部１１は、次のステップＳ４０５において、類似していると判定された被写体追尾の領域が複数存在するか否かを判定する。

なお、上述したステップＳ４０１からステップＳ４０４の処理により、初回ＡＦ動作において採用エリアが決定されているため、このステップＳ４０５以降の処理が実行される場合、すなわち、初回ＡＦ動作でない場合の処理が実行される場合には、既に採用エリアが決定されていることになる。

このステップＳ４０５において、類似していると判定された被写体追尾の領域が複数存在すると判定された場合には、フォーカスエリア位置決定部１１は、処理をステップＳ４０６に進める。また、類似していると判定された被写体追尾の領域が複数存在しないと判定された場合には、フォーカスエリア位置決定部１１は処理をステップＳ４０９に進める。

次に、ステップＳ４０６において、フォーカスエリア位置決定部１１は、前回の追尾領域と今回の追尾領域との位置関係を比較する。なお、本フローでは、たとえば図３に示すように、今回の追尾領域は２つの場合である。そのため、今回の２つの追尾領域のうち、前回の追尾領域に近い位置にあるものを判定する。図３の例では、追尾領域２が前回の追尾領域に近いということになる。

ステップＳ４０７において、追尾領域が複数存在する場合、フォーカスエリア位置決定部１１は、まず追尾領域２に相当するＡＦエリアのデフォーカス量に基づいて、前回のフォーカス状態から所定差の閾値を満たし、かつ、目標位置に対するデフォーカス量差が最小となるエリアを探索する。

ステップＳ４０７に続くステップＳ４０８において、フォーカスエリア位置決定部１１は、ステップＳ４０７の場合と同様に、追尾領域１に相当するＡＦエリアのデフォーカス量に基づいて、前回のフォーカス状態から所定差の閾値を満たし、かつ、目標位置に対するデフォーカス量差が最小となるエリアを探索する。

なお、ここでは追尾領域１と追尾領域２との２つの場合について説明しているが、複数の追尾領域がある場合には、フォーカスエリア位置決定部１１は、このステップＳ４０７またはステップＳ４０８と同様の処理を複数の追尾領域に対して順に実行してもよい。

また、複数の追尾領域がある場合、フォーカスエリア位置決定部１１は、複数の追尾領域と前回の追尾領域との距離をそれぞれ算出し、複数の追尾領域のうち、当該算出した距離が近い順にこのステップＳ４０７またはステップＳ４０８と同様の処理を行ってもよい。

また、フォーカスエリア位置決定部１１は、複数の追尾領域の全てについて、ステップＳ４０７またはステップＳ４０８と同様の処理を実行せずに、複数の追尾領域のうち、前回の追尾領域との距離が近い追尾領域に対してのみ、ステップＳ４０７またはステップＳ４０８と同様の処理を実行するようにしてもよい。このようにすることにより、フォーカスエリア位置決定部１１は、複数の追尾領域がある場合であっても全体の処理を軽減できるとともに、適切な追尾ができる。

一方、ステップＳ４０９において、フォーカスエリア位置決定部１１は、追尾領域が１つしか存在しない為、追尾領域に相当するＡＦエリアのデフォーカス量から、前回のフォーカス状態から所定の閾値を満たし、かつ、目標位置に対するデフォーカス量差が最小となるエリアを探索する。

上述したステップＳ４０８またはステップＳ４０９に続いて、ステップＳ４１０において、フォーカスエリア位置決定部１１は、追尾領域１と追尾領域２とのデフォーカス量を比較する。ここでは、フォーカスエリア位置決定部１１は、ステップＳ４０８とステップＳ４０８において、それぞれの領域に対して求めた最小デフォーカス量を比較する。
そして、フォーカスエリア位置決定部１１は、比較した結果に基づいて、たとえば次のようにして採用エリアを決定する。

（１）２つの領域のどちらも採用判定を満たしたものがない場合、採用エリア未定とする。
（２）２つの領域のどちらかで採用判定を満たした場合、採用判定を満たした領域に属するエリアを採用エリアとする。
（３）２つの領域の両方で採用判定を満たしたエリアがある場合、採用エリアの決め方は色々あってよいが、ここでは、一例としての次の（Ａ）と（Ｂ）との２つの例について説明する。

（Ａ）２つの領域で、より目標位置に対する最小のデフォーカス量差となるエリアを採用する。
（Ｂ）２つの領域の位置関係（Ｓ２の比較）から前回の追尾領域に近い方のエリアを採用する。

この（Ａ）と（Ｂ）との使いわけは、例えば（Ｂ）の判定は、被写体追尾の類似性はあるが信頼性はない場合、平面で周期パターンの被写体などの繰り返しパターンを見ている場合は有効である。被写体は実際には動いていないのでエリアは移動させたくないが、あえて（Ａ）を用いて最小のデフォーカス量をとるエリアを採用する必要もないためである。

次に、ステップＳ４１１において、フォーカスエリア位置決定部１１は、上述したステップＳ４０３からステップＳ４０５、または、ステップＳ４０９の処理から合焦させるための採用エリアが、ステップＳ４１０の処理により決定されたかどうかを判定する。

たとえば、ステップＳ４０６からステップＳ４０８の処理を実行した場合、採用エリアの判定条件を満たすものが１つでもあれば採用エリアが決定される。また、ステップＳ４０６からステップＳ４０８で、複数の追尾領域の両方ともで採用判定を満たすものがある場合には、その中から前回のフォーカス状態からの差が最小となるエリアを採用エリアとして決定する。また、たとえば、複数のエリアがある場合には、前回採用したエリアと近い方のエリアを採用エリアとして選択する。どちらか一方の領域のみで採用判定を満たしていれば、そのエリアが採用エリアとなる。
このようにして採用エリアが決定されたかどうかを、ステップＳ４１１において、フォーカスエリア位置決定部１１が、判定する。

このステップＳ４１１で採用エリアが決定した場合、フォーカスエリア位置決定部１１は処理をステップＳ４１２に進め、ステップＳ４１１で採用エリアが決定しなかった場合、フォーカスエリア位置決定部１１は処理をステップＳ４１３に進める。

ステップＳ４１２において、ステップＳ４１１で採用エリアが決定したため、フォーカスエリア位置決定部１１は、この決定された採用エリアを合焦エリアとする。

一方、ステップＳ４１３において、ステップＳ４１１で採用エリアが決定しなかったため、フォーカスエリア位置決定部１１は、採用エリアを前回採用エリアとする。なお、ここで、フォーカスエリア位置決定部１１は、採用エリアを必ずしも前回採用エリアとする必要はなく、未定としてもよいし、残りのＡＦエリアから再度採用エリアを決める処理を行ってもよい。

ステップＳ４１２またはステップＳ４１３に続いて、次に、ステップＳ４１４において、フォーカスエリア位置決定部１１は、複数の追尾領域のうち、採用エリアとなったＡＦエリアに対応している追尾領域の画像を、次回のテンプレート画像とするため、認識部１７へ出力する。

そして、認識部１７は、記憶部に記憶しているテンプレート画像を変更する。なお、上述したように、ステップＳ４１３で前回採用エリアとした場合や未定とした場合は、フォーカスエリア位置決定部１１は、認識部１７に対してテンプレート画像を変更しないようにする。

＜採用エリアを決める処理の変形例＞
次に、図８から図１０を用いて、図４のステップＳ１０７からＳ１０９における採用エリアを決める処理の変形例について説明する。

（１）違うサイズで出力された場合
大きさが前回から変わった方の領域のデフォーカス量を演算する。
たとえば、図８の場合、追尾領域２を前回から大きさが変わった方の領域とする。追尾領域２でデフォーカス量が採用判定を満たしつつ前ピン側の値を示す場合、被写体が前に動いた可能性が高いので領域１と領域２の両方の判定を大きさが変わらない場合と同じルーチンで行えばよい。
追尾領域２に相当するデフォーカス量が採用判定を満たすが後ピンの場合、追尾領域２は除外して追尾領域１の中で採用判定を満たすエリアを優先して採用する。追尾領域１のエリアが採用判定を満たさなかった場合は追尾領域２の中の採用判定を満たすエリアを採用エリアとする。

（２）エリアが粗であった場合
追尾領域内に１つもしくは２つのエリアしか含まれない場合は、採用判定を行うエリアを先に１つに限定する。
たとえば、図９で、追尾領域１内に２つのＡＦエリアが含まれているのを一例とすると、追尾領域のより中心側にあるエリアを選ぶ。一例としては、追尾領域１では右側にあるエリアの方が追尾領域の中心に近いのでそのエリアに規定する。

（３）追尾領域が大きい場合
追尾領域が大きく、かつ、ＡＦエリアが密で多点ある場合、図１０の点線の枠のように領域内にもう１つ小さな領域を設け、その中に含まれるＡＦエリアの採用判定を行う。
この場合、領域１、２ともに採用判定を満たすエリアはあるが、内側の小さな領域に採用判定を満たすエリアを持つ領域の方が信頼性が高いと考え、追尾領域１のエリアを採用エリアとする。

上記に図８から図１０を用いて説明したように、フォーカスエリア位置決定部１１は、ＡＦエリアの分布に基づいてＡＦエリアを採用するようにしてもよい。

上記に説明した本実施形態による焦点調節装置３００によれば、焦点調節装置３００が備えるフォーカスエリア位置決定部１１は、認識部１７により複数の対象位置が認識された場合に、該複数の対象位置に対応してデフォーカス演算部１０によって検出される焦点状態に基づいて、複数の対象位置のいずれかを選択する。これにより、本実施形態による焦点調節装置３００は、対象位置が複数認識された場合であっても、複数の焦点検出位置の中から焦点検出に用いる焦点検出位置を選択することができる。

なお、上述した制御部４００または焦点調節装置３００は専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、この制御部４００または焦点調節装置３００は専用のハードウェアにより実現されるものであってもよく、また、この制御部４００または焦点調節装置３００はメモリおよびＣＰＵ（中央演算装置）により構成され、制御部４００または焦点調節装置３００の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…撮影光学系、１０…デフォーカス演算部、１１…フォーカスエリア位置決定部、１２…レンズ駆動量演算部、１７…認識部、６…撮像部、３００…焦点調節装置

Claims

第１画像を出力した後に第２画像を出力する撮像素子と、
複数の焦点検出エリアにおいてデフォーカス量を検出可能な焦点検出部と、
前記第１画像における特定被写体に対応する領域である第１領域を決定する決定部と、
前記第１画像の前記第１領域の前記焦点検出エリアのデフォーカス量である第１デフォーカス量に基づいて焦点調節制御をする焦点調節制御部と、
前記第１画像の前記第１領域に対応する画像を基準画像として記憶する記憶部と、
前記基準画像を用いて前記第２画像における前記基準画像に対応する領域である複数の第１候補領域を設定する設定部と、
前記焦点検出エリアのデフォーカス量が前記第１デフォーカス量から所定差の閾値を満たすか否かを判断する第１判断部と、
前記複数の第１候補領域のうち、前記第１判断部によりデフォーカス量が前記第１デフォーカス量から前記所定差の閾値を満たすと判断された前記焦点検出エリアを含む領域である第２候補領域が複数あるか否かを判断する第２判断部とを含み、
前記決定部は、前記第２判断部により前記第２候補領域が複数あると判断されたとき、前記第１領域に最も近い前記第２候補領域を前記第２画像における前記特定被写体に対応する第２領域であると決定し、
前記焦点調節制御部は、前記第２画像の前記第２領域の前記焦点検出エリアのデフォーカス量に基づいて焦点調節制御をする
ことを特徴とする焦点調節装置。
請求項１に記載された焦点調節装置であって、
前記第１判断部は、前記第１領域に近い前記第２候補領域に含まれる前記焦点検出エリアについて、前記第１領域から遠い前記第２候補領域に含まれる前記焦点検出エリアよりも先に、デフォーカス量が前記所定差の閾値を満たすか否かを判断する
ことを特徴とする焦点調節装置。
請求項１又は請求項２の何れか１項に記載された焦点調節装置であって、
前記決定部は、
前記第２判断部によりデフォーカス量が前記所定差の閾値を満たすと判断された前記焦点検出エリアを含む前記第２候補領域が１つであると判断されたとき、前記第２判断部によりデフォーカス量が前記所定差の閾値を満たすと判断された前記焦点検出エリアを含む１つの前記第２候補領域を前記第２領域であると決定し、
前記第２判断部によりデフォーカス量が前記所定差の閾値を満たすと判断された前記焦点検出エリアを含む前記第２候補領域がないと判断されたとき、前記第２領域が未定であると決定する
ことを特徴とする焦点調節装置。
請求項１から請求項３の何れか１項に記載された焦点調節装置であって、
前記記憶部は、前記第２画像の前記第２領域に対応する画像を前記基準画像として記憶する
ことを特徴とする焦点調節装置。
請求項１から請求項４の何れか１項に記載された焦点調節装置であって、
記録用の被写体像を撮像する前記撮像素子とは異なる記録用撮像部を有する
ことを特徴とする焦点調節装置。
請求項１から請求項５の何れか１項に記載された焦点調節装置、
を備えることを特徴とする撮像装置。
第１画像を撮像した後に第２画像を撮像する撮像部と、
前記第１画像における特定被写体の領域である第１領域を決定し、前記第１画像における前記第１領域の画像を用いて前記第２画像に第１候補領域を決定し、前記第１候補領域が複数あるとき前記第１領域の焦点検出エリアのデフォーカス量である第１デフォーカス量を用いて前記複数の第１候補領域から前記第１デフォーカス量との差異が所定の閾値以内のデフォーカス量となる焦点検出エリアが含まれる前記第１候補領域を第２候補領域として決定し、前記第２候補領域が複数あるとき前記第１領域に最も近い前記第２候補領域を焦点調節制御に用いられる領域である第２領域として決定する決定部と、を含むことを特徴とする撮像装置。
請求項７に記載された撮像装置であって、
前記第２画像の前記第２領域の焦点検出エリアのデフォーカス量に基づいて焦点調節制御をする焦点調節制御部を含むことを特徴とする撮像装置。