JP6818449B2

JP6818449B2 - 焦点検出装置

Info

Publication number: JP6818449B2
Application number: JP2016130920A
Authority: JP
Inventors: 健悟竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2021-01-20
Anticipated expiration: 2036-06-30
Also published as: JP2018004916A

Description

本発明は、カメラ・ビデオカメラ等の撮像装置における焦点検出装置に関する。

近年、カメラ、ビデオカメラ等の撮像装置において、動いている被写体に自動的に合焦させ続ける被写体追尾のＡＦ（オートフォーカス）機能が一般的な機能となっている。動いている被写体を認識する方法として、被写体の動きベクトルを用い、動いた方向の被写体にピントを合わせ続ける方法、または被写体の顔、服装、色等の特徴を記憶してその特徴にピントを合わせ続ける方法等が知られている。

特許文献１には、被写体のフレーム間での移動量を算出することにより取得した被写体の動きベクトルを用いて被写体を追尾する技術が開示されている。これにより、追尾対象の被写体が画角外へ移動した（フレームアウト）場合であっても追尾対象の被写体の位置を推定することができる。

特開２０１４−２０６６４０号公報

しかしながら、特許文献１では、追尾対象の被写体が画角内の物陰などに隠れて、被写体を見失う（ロストする）状況について十分に考慮されていない。

そこで本発明では、被写体が物陰に一時的に隠れる場合のように、追尾対象の被写体が一時的に検出できなくなった場合であっても、再度追尾対象の被写体が検出された際に被写体追尾のＡＦを再開することが可能な焦点検出装置を提供することを目的とする。

上記目的を達成するために、本発明の一実施形態にかかる焦点検出装置は、フォーカスレンズを備える撮像光学系により結像された被写体像を撮像する撮像素子から出力された画像信号に基づいて焦点検出領域内に位置する追尾対象の被写体を検出する検出手段と、前記画像信号に基づいて、前記検出された追尾対象の被写体に対してのデフォーカス量に対応する情報を含む、前記検出された追尾対象の被写体の位置情報を取得する位置情報取得手段と、前記取得した位置情報を用いて前記追尾対象の被写体の光軸方向を含む移動結果に関する情報を取得する移動結果取得手段と、前記追尾対象の被写体の少なくとも一部が含まれるように前記焦点検出領域を設定する設定手段と、前記設定された焦点検出領域に対応する画像信号に基づいて前記フォーカスレンズの位置を調整する焦点調節手段と、を備え、前記位置情報取得手段は、前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体があると判定された場合、前記設定手段は、前記移動結果取得手段が取得した移動結果と前記画像信号を取得した時の前記焦点検出領域とに基づいて、前記画像信号を取得した時の前記焦点検出領域よりも前記追尾対象の被写体の移動方向側に位置し、かつ、前記画像信号を取得した時の前記焦点検出領域の一部と重なるよう、前記焦点検出領域を設定することを特徴とする。

本発明のその他の形態については、発明を実施するための形態で説明する。

本発明によれば、画角内に存在する追尾対象の被写体が一時的に検出できなくなった場合であっても、再度追尾対象の被写体が検出された際に被写体追尾のＡＦを再開することが可能な焦点検出装置を提供することを目的とする。

本発明の実施例であるのカメラの構成を示すブロック図。実施例のカメラに用いられる撮像センサの構成を示す図。実施例における焦点検出領域を示す図。実施例における顔検出結果のＡＦ枠および顔枠を示す図。被写体移動時の顔枠を示す図。被写体移動時のＡＦ枠を示す図。被写体移動時の検出結果グラフと枠設定の関係図。実施例のＡＦ処理を示すフローチャート。実施例の被写体トラッキング処理を示すフローチャート。実施例のロスト時処理を示すフローチャート。実施例のトラッキング枠設定処理を示すフローチャート。実施例のロスト後の再復帰処理を示すフローチャート。

以下、この発明の実施例について図面を参照しながら説明する。ここでは、焦点検出装置を備える撮像装置であるレンズ一体型のカメラに本発明を適用した場合の一実施例について説明をする。本実施例のカメラは、焦点検出領域に存在する追尾対象の被写体（以下、追尾対象と呼ぶことがある）を検出できないとき、追尾対象を見失ったと判断する。そして、追尾対象を見失う前までの移動情報に基づいて追尾対象の位置（光軸方向における位置を含む）を予測し、予測した位置を含むように焦点検出領域を設定するとともに予測した位置に合焦するようにフォーカスレンズの位置を調整する。また、本実施例のカメラは、追尾対象を見失うと、焦点検出領域内における追尾対象よりも近くの被写体（近距離被写体と呼ぶことがある）の有無を判定する。そして、近距離被写体が有ると判定した場合は、追尾対象が一時的に近距離被写体の陰に隠れたものと判断し、追尾対象が近距離被写体の陰から再度現れる（復帰する）際の追尾対象の位置を予測し、その位置に合わせて焦点検出領域を設定する。これにより、追尾対象を一時的に見失った場合でも、追尾対象が復帰すれば再度追尾を開始することができる。また、カメラは距離情報を含む追尾対象の位置を予測するため、追尾対象の復帰前に追尾対象の予測位置に合わせて焦点を調整しておくこともできる。以下、より詳細に説明をする。

図１は、本発明の実施例である、焦点検出装置を含むカメラ（デジタルスチルカメラまたはビデオカメラ）の構成を示すブロック図である。本実施例のカメラＣは、撮像光学系を有するレンズユニット１００と、撮像光学系により結像された被写体像を光電変換、すなわち撮像する撮像素子１０１と、撮像素子１０１の出力を受けて、焦点検出用の画像信号を取得する分割像取得回路１０２を備える。さらに、カメラＣは、分割像取得回路１０２により取得された焦点検出用の画像信号を用いて相関演算を行う位相差検出用アクセラレータ回路１０３と、撮像センサ１０１からの出力を受けて撮像信号を取得する撮像信号処理回路１０４を備える。また、取得した撮像信号を一時的に保持する画像メモリ１０７、所定の映像データフォーマットに変換する画像処理回路１０５、画像を記録媒体に記録する記録回路１０６を備える。また、カメラＣが備えるＣＰＵ１０９は制御手段であり、上述の回路の動作を制御する各種処理、オートフォーカス機能による焦点位置の取得、レンズ駆動の制御などを行う。加えて、カメラＣは、ＣＰＵ１０９が扱うプログラムやデータを保持するメモリ１０８、レンズユニット１００内のフォーカスや絞り等を駆動するレンズ駆動回路１１０を備える。カメラＣはさらに、撮像信号処理回路１０４により取得された撮像信号を用いて被写体を検出する被写体抽出回路１１１を備える。この被写体抽出回路１１１により抽出された被写体の形状、位置などの被写体情報を保持し、異なるフレーム間で被写体情報を比較することで、画像中の追尾対象の移動方向などをＣＰＵ１０９によって算出する機能等を実現することができる。各構成について説明を行う。

レンズユニット１００が有する撮像光学系は、フォーカスレンズ、ズームレンズ、絞り等を含む。

撮像素子１０１は、ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成され、被写体像を複数の画素のそれぞれに設けられたフォトダイオードにより光電変換する。撮像センサ１０１の画素構成について図２を用いて説明する。

図２では、撮像素子１０１と撮像素子１０１の一部である画素ブロック２０１の拡大図とを示している。撮像素子１０１ベイヤー配列型の撮像素子となっている。画素ブロック２０１中の４画素において、Ｒは赤のカラーフィルタを備えた画素（以下、Ｒ画素という）を、Ｂは青のカラーフィルタを備えた画素（以下、Ｂ画素という）を、Ｇ１，Ｇ２は緑のカラーフィルタを備えた画素（以下、Ｇ１、Ｇ２画素という）示す。各画素は、１つのマイクロレンズを共有して２分割された光電変換部が形成された構成となっている。たとえばＲ画素は対をなす光電変換部２０２、２０３を有し、同様にＧ画素、Ｂ画素等も分割されており、それぞれ光電変換部２０４〜２０９のように構成されている。各画素では、入射する光をマイクロレンズで瞳分割することで、対の光電変換部上に視差を有する対の被写体像が形成される。光電変換部２０２〜２０９はそれぞれ、光電変換により電荷を蓄積する。このような構成のセンサを用いた撮像システムでは、光電変換部２０２により蓄積された電荷に基づく信号であるＡ像信号と、光電変換部２０３により蓄積された電荷に基づく信号であるＢ像信号を加算すると、Ｒ画素の撮像用信号となる。一方で、Ａ像信号とＢ像信号とを別に扱うことで、左右の視差を有する分割された像となり、位相差方式により焦点を検出するための元信号となる。

撮像信号処理回路１０４は、撮像信号を取得する手段であり、撮像センサ１０１から各画素の対の光電変換部からの出力信号であるＡ像信号とＢ像信号が入力されると、最初にＡ像信号とＢ像信号を加算し、撮像用信号（Ａ＋Ｂ信号）を取得する。その後、取得した撮像用信号に対して光学補正や電気的な補正処理を行う。補正処理が行われた撮像用信号は、たとえば撮像画像として記録される場合には、画像処理回路１０５、画像メモリ１０７を介して所定のフォーマット（ＭＰＥＧ２やＭＰ４、ＪＰＧなどの動画／静止画像形式）に変換される。そして、記録回路１０６によって記録メディアに記録される。分割像取得回路１０２は、焦点検出用信号を取得する手段であり、各画素の対の光電変換部のそれぞれの蓄積電荷に応じた電圧を有する出力信号であるＡ像信号及びＢ像信号を、焦点検出に用いられる焦点検出用信号として読み出す。分割像取得回路１０２において、あらかじめ設定されていた所定の設定によって指定の圧縮処理および光学的な歪みの補正等の補正処理が行われ、各種処理が施されたＡ像信号及びＢ像信号は位相差検出用アクセラレータ回路１０３へ出力される。

位相差検出用アクセラレータ回路１０３は、焦点検出手段であり、分割像取得回路１０２により取得されたＡ像信号及びＢ像信号を用いて相関演算を行い、Ａ像信号およびＢ像信号の位相差を取得し、ファーカスレンズのデフォーカス量を検出する。

被写体抽出回路１１１は、撮像信号処理回路１０４により取得された撮像信号に基づいて被写体を検出することができる検出手段であり、撮像信号処理回路１０４からの撮像信号に画像伸長を施し、顔、色、形状などの被検体の特徴を用いて被写体を検出する。追尾対象の被写体がユーザの選択又は被写体抽出回路１１１による検出結果を用いた自動選択により選択されると、被写体抽出回路１１１は追尾対象の被写体を検出することができる。

ＣＰＵ１０９はレンズ駆動制御手段として機能することができ、算出されたデフォーカス量に基づいて、レンズ駆動手段であるレンズ駆動回路１１０を通じてレンズユニット１００のフォーカスレンズを駆動する。これにより、撮像光学系の合焦状態が得られる。以下の説明において、撮像面位相差検出方式による焦点検出およびフォーカスレンズの駆動の制御をまとめて、撮像面位相差ＡＦという。本実施例においては、ＣＰＵ１０９、及びレンズ駆動回路１１０により被写体の位置情報に基づいてフォーカスレンズの位置を調整する焦点調節手段を構成することができる。また、位相差検出用アクセラレータ回路１０３、ＣＰＵ１０９、及びレンズ駆動回路１１０により撮像面位相差ＡＦを行う焦点検出装置を構成することができる。

また、ＣＰＵ１０９は、被写体抽出回路１１１により検出された被写体の位置情報を取得する、位置情報取得手段としても機能することができる。ＣＰＵ１０９は、被写体抽出回路１１１により検出された被写体の位置情報を取得することにより、画角内における被写体のｘｙ平面上における位置情報を取得する位置情報取得手段として機能することができる。但し、ｘ方向及びｙ方向はそれぞれ、撮像画像の横方向及び縦方向を指す。尚、被写体の位置情報として、ｘｙ平面上における位置情報だけでなく、ｚ軸方向（光軸方向）における位置情報も含む位置情報を取得してもよい。ｚ軸方向における位置情報として、ｚ軸方向における被写体までの距離のほか、被写体に対してのデフォーカス量及びデフォーカス量に対応する情報を用いることができる。被写体のｚ軸方向における位置情報を取得することにより、追尾対象の被写体が復帰した際、より高速に追尾対象の被写体に対してピントを合わせることができると考えられる。また、ＣＰＵ１０９は、異なるフレームで取得された画像信号に基づく被写体の検出結果を比較することにより、被写体の移動結果に関する情報を取得する、移動結果取得手段として機能することもできる。移動結果に関する情報は、前フレームとの間に生じた被写体の移動よる次フレームにおける被写体の位置に関する情報であり、移動の前後による移動量がわかれば良い。例えば移動ベクトルを用いることができる。

さらに、ＣＰＵ１０９は、画角内に焦点検出領域を設定する設定手段としても機能することができる。ＣＰＵ１０９は、追尾対象の被写体が選択されている場合は追尾対象の被写体の少なくとも一部が焦点検出領域に含まれるように焦点検出領域を設定する。本実施例において、設定手段は焦点検出領域の位置及び大きさを決定することができるが、位置のみを決定してもよい。尚、設定手段は、追尾対象の被写体が選択されている場合であっても常に追尾対象の被写体の少なくとも一部が焦点検出領域に含まれるように焦点検出領域を設定しなくてもよい。詳しくは後述するが、被写体抽出回路１１１が追尾対象の被写体を検出できなかった場合は、追尾対象の被写体が現れる位置を予測し、その位置に焦点検出領域を設定することが好ましい。

図３は本実施例のカメラＣの焦点検出領域（以下、ＡＦ枠と呼ぶことがある）を示したものである。本実施例では、撮像範囲３００内に水平３枠×垂直３枠の計９つのＡＦ枠３０１を設定しており、９枠同時にデフォーカス量を取得可能となっている。便宜上、９つのＡＦ枠３０１を図示のようにそれぞれ、Ｗｉｎｄｏｗ１〜Ｗｉｎｄｏｗ９と称する。

次に図４（（ａ）、および（ｂ））は本実施例において人を撮像する際に設定される顔枠４０３とＡＦ枠４０４を示したものである。図４には、撮像範囲（画角）４００の中に、被写体として人の顔４０１（胴体部は不図示）と遠距離の背景（空白部分）、および柱４０２をとらえているシーンを示す。このシーンにおいて、被写体抽出回路１１１による顔検出結果によって顔枠４０３が設定される。さらに、設定された顔枠に基づいてＡＦ枠４０４が設定される。顔枠４０３は検出した顔の外周を一つの枠としており、顔の大きさにもよるが、図４においては３×３に顔枠を９分割した枠をＡＦ枠４０４として設定し、各９枠個別に測距、デフォーカス量を算出する。図示していないが、設定される顔枠４０３が小さくなれば、段階的に２×２の４枠でＡＦ枠を構成したり、１×１の１枠でＡＦ枠を構成し、測距する構成となっている。本実施例では、３×３の９枠でＡＦ枠４０４を構成する場合を例にとり、以後の説明を行う。

図５（ａ）〜（ｆ）には、人が移動しているときに顔枠４０３が顔４０１を追尾している様子を所定時間間隔でサンプリングした際の各フレームにおける画像５００と顔枠４０３を示す。図５（ａ）に示した時刻ｔ_１では、追尾対象である顔４０１が画像５００のｘ方向（紙面横方向）においてＸ_１の位置にあり、顔検出により顔枠４０３が表示されている状態である。顔４０１は矢印で示した移動方向５０１で示される方向へ移動している。なお、この移動方向５０１はカメラへｔ近づく方向の移動でもあり、画角上の平面方向（Ｘ，Ｙ方向）と、カメラの光軸方向（Ｚ方向）へも等速で歩くまたは走る等の移動しているものとする。顔４０１は時刻ｔ_２でＸ_２に（図５（ｂ））、時刻ｔ_３でＸ_３に（図５（ｃ））、時刻ｔ_４でＸ_４に（図５（ｄ））移動している。時刻ｔ_３では顔４０１の一部が柱に隠れてしまっており、顔検出ができておらず、追尾対象を見失った（ロスト）状態となっている。時刻ｔ_４でも顔４０１は完全に柱４０２に隠れており、被写体抽出回路１１１は追尾対象を完全にロストした状態である。ただ、顔４０１が等速で移動しているとすると、顔４０１はＸ_４の位置を中心に存在していることになる。

時刻ｔ_５では顔４０１はＸ_５に位置しており（図５（ｅ））、顔４０１の約半分が見えているが、この段階では被写体抽出回路１１１では顔と検出できない。時刻ｔ_６では顔４０１はＸ_６に移動し、柱４０１から完全に顔４０１がでており（図５（ｆ））、追尾対象の顔４０１を再び検出でき、顔枠４０３を再度設定できている。図５（（ａ）〜（ｆ））に示したこのようなシーンにおけるＡＦ枠４０４の動きを、図６（（ａ）〜（ｆ））に示している。なお図５（ａ）〜図５（ｆ）にそれぞれ図６（ａ）〜図６（ｆ）が対応している。

時刻ｔ_１で顔４０１がＸ_１の位置で顔検出されているとき、ＡＦ枠４０４は３×３の９枠が設定されている（図６（ａ））。顔４０１は時刻ｔ_２でＸ_２に移動しているが、顔検出されており、図６（ａ）と同様に９枠のＡＦ枠４０４が設定されている（図６（ｂ））。尚、ここでは被写体抽出回路１１１において検出された顔４０１が同一であるか特徴量から判断を行っている。検出された顔４０１が同一であると判断されると、得られた各フレームの画像を比較することで追尾対象である顔４０１の移動方向に関する情報である動きベクトルを取得し、この取得結果を用いてＸＹ平面上での追尾対象の動きを追尾（トラッキング）を行う。また、各フレームのＡＦ枠４０４による焦点状態の検出結果を比較することで、Ｚ方向の動きもトラッキングを行う。

時刻ｔ_３では顔４０１はＸ_３に移動している（図６（ｃ））。時刻ｔ_３におけるＡＦ枠４０４の設定は、直前のフレームを取得した時刻ｔ_２までに取得した顔４０１の移動方向に関する情報に基づいて時刻ｔ_３における顔４０１の位置の予測した結果に基づいて行われる。移動方向に関する情報は、追尾対象が移動する方向だけでなく、速度（移動量）の情報も含むことが好ましい。また、ｘｙ平面上における方向だけでなく、ｚ軸方向における移動の情報も含まれることが好ましい。

時刻ｔ_３では、顔４０１の一部が柱４０２に隠れてしまっていて、被写体抽出回路１１１は顔４０１を検出できていない。しかしながら、時刻ｔ_１、ｔ_２で得られた各フレームの画像から取得した移動方向に関する情報に基づいてＡＦ枠４０４を設定することで、９枠のうち、Ｗｉｎｄｏｗ３、６、９がおよそ追尾対象の被写体（顔４０１）の位置をとらえている。またそれ以外のＷｉｎｄｏｗでは顔４０１よりも近距離にある柱４０２の位置をとらえており、柱４０２までの距離を測距することになる。時刻ｔ_４では顔４０１は完全に柱４０２に隠れており（図６（ｄ））、さらに、前のフレーム（図６（ｃ））ですでに顔検出できていない。また前のフレームの測距結果よって予測通りの測距結果（Ｗｉｎｄｏｗ３、６、９）に加えて、Ｗｉｎｄｏｗ１などで近距離側に被写体を捕捉できているので、このフレームでは、一旦ロストした顔４０１が再度現れる位置をサーチする動きを行う。具体的には、追尾対象（顔４０１）の移動方向５０１において、どこまで近距離被写体（柱４０２）が存在するのか、またどの位置で背景抜けして、追尾対象よりも遠距離側の測距結果が得られるか、をサーチする。それにより、顔４０１の移動方向５０１において、顔よりも近距離側に存在する被写体（柱４０２）と遠距離側に存在する被写体（背景）との境界の位置を取得し、この位置周辺に追尾対象が現れるものと予測してＡＦ枠４０４を設定する。追尾対象が現れると予測される境界の位置を出現予測位置とし、出現予測位置を含む位置もしくは出現予測位置よりも移動方向側にＡＦ枠４０４を設定するものとする。このような、被写体が再出現する位置を予測するために、追尾対象をロストした周辺から出現予測位置を捜索する動作を、周辺捜索動作とよぶ。周辺捜索動作においては、ＡＦ枠４０４の中心（Ｗｉｎｄｏｗ５の中心）が、動きベクトルから予測した、ｔ_４における顔４０１の中心位置に配置されるようにＡＦ枠が設定される。

これにより、時刻ｔ_４において、時刻ｔ_３でＡＦ枠４０４の中心（Ｗｉｎｄｏｗ５の中心）が位置した位置よりも移動方向５０１方向よりにＡＦ枠４０４の中心が位置するようにＡＦ枠４０４の位置が移動し、測距が行われる。本実施例では、近距離被写体である柱４０２が移動しないものとみなし、各フレーム間（ここではｔ_３とｔ_４）において、ＡＦ枠４０４同士の重複を大きくしない。ｔ_３ではＷｉｎｄｏｗ１、２、４、５、７、８が柱４０２を捉えており、ｔ_４においても柱４０２は同じ位置に存在すると考えられる。よって、Ｗｉｎｄｏｗ３、６、９のそれぞれが、ｔ_３におけるＷｉｎｄｏｗ１、４、７のそれぞれと同じ位置もしくはそれぞれの位置よりも移動方向５０１側になるようにＡＦ枠を設定する。これにより、フレーム間でＡＦ枠４０４が、ＡＦ枠を分割した分割枠（各Ｗｉｎｄｏｗ）の複数行及び複数列分重複しない。本実施例では、ｔ_４において、Ｗｉｎｄｏｗ３、６、９のそれぞれが、ｔ_３におけるＷｉｎｄｏｗ１、４、７のそれぞれと同じ位置になるようにＡＦ枠４０４を設定する。これにより、ｔ_４ではＷｉｎｄｏｗ１〜Ｗｉｎｄｏｗ９のすべてで柱４０２を捉えており、柱までの距離を測距することになる。よって、時刻ｔ_３で検出された距離と同じような位置に近距離被写体が存在していることが検出できることになる。

続いて時刻ｔ_５（図６（ｅ））でも、ｔ_４（図６（ｄ））の時と同様にＡＦ枠４０４を顔４０１の移動方向（時刻ｔ_２までに検出した移動方向から予測される、ｔ_４とｔ_５の間の移動方向）に動かしている。これにより、時刻ｔ_５においてＡＦ枠４０４は柱４０２（Ｗｉｎｄｏｗ３など）、背景（Ｗｉｎｄｏｗ１など）、および顔４０１（Ｗｉｎｄｏｗ５など）を捕捉している。このように追尾対象の被写体が近距離被写体に一時的に隠れるような場面では、追尾対象の被写体の移動方向を予測し、予測される追尾対象の被写体よりも遠距離側に位置する遠距離被写体（背景を含む）、および近距離被写体の検出を行う（周辺捜索）。そして、追尾対象の被写体が現れる位置を予測してＡＦ枠４０４を先行して配置する。これにより、図６（ｆ）に示す時刻ｔ_６では、Ｘ_６に追尾対象の被写体が来て、顔検出により顔４０１を検出できた瞬間にはＡＦ枠４０４を構成する各分割枠（Ｗｉｎｄｏｗ）においてＡＦ用の測距結果を得ていることになる。そのため、すぐにフォーカス動作が可能となる。

上述したｔ_１〜ｔ_６までの被写体追尾及び周辺捜索に伴うＡＦ枠設定とＡＦ枠内の測距結果を図７に示す。図７の上方のグラフは、時間と測距結果との関係を示すグラフであり、横軸を時間ｔ、縦軸をＡＦ枠内の測距結果（デフォーカス量を被写体距離換算したもの）としている。また、下方の表は、それぞれの時刻におけるＡＦ枠設定方法を示す表である。その時刻におけるＡＦ枠の位置の設定が、追尾対象の追尾結果又は追尾予測によるものである場合は、表の追尾予測の欄に四角を示す（ｔ_１、ｔ_２）。また、その時刻におけるＡＦ枠の位置の設定が、追尾対象が再出現する位置の捜索を行うための周辺捜索を行うためのものである場合は、表の周辺捜索の欄に四角を示す（ｔ_３〜ｔ_５）。周辺捜索を行うためのＡＦ枠の設定は、追尾対象をロストしている期間（図７上方に矢印で示す）内に取得されるフレームにおいて行われる。また、その時刻におけるＡＦ枠の位置の設定が、周辺捜索により取得された再出現予測位置に基づくものである場合は、表の出現予測位置の欄に四角を示す（ｔ_６）。

ｔ_１〜ｔ_２の間は、分割枠９枠がほぼ追尾対象をとらえており、実際に取得したフレームの画像を用いて追尾対象の検出を行い、追尾対象が検出された位置にＡＦ枠を設定しており、約５ｍから近付いている追尾対象の動作を捕捉している。時刻ｔ_３では追尾対象の移動方向情報に基づいて、周辺捜索を行うためのＡＦ枠を設定している。設定されたＡＦ枠内の測距によって、追尾対象の予測位置に近い距離（約４．５ｍ）と、追尾対象の予測位置より手前（約２ｍ）に障害物であろう近距離被写体が存在する結果が得られている。

時刻ｔ_４、ｔ_５でも、追尾対象の移動方向の情報に基づいて、周辺捜索を行うためのＡＦ枠を設定している。時刻ｔ_４では、設定されたＡＦ枠内の測距によって、近距離側の測距結果（近距離被写体に基づく測距結果）のみが得られている。時刻ｔ_５では、ＡＦ枠の大部分は近距離被写体を抜けており、ＡＦ枠内の測距によって、再出現予測位置よりも十分に遠距離側（背景）の測距結果（無限遠）と、追尾対象の予測距離に近い結果（約４ｍ）が得られる。このように、ＡＦ枠内に近距離被写体（柱４０２）と遠距離被写体（背景）の両方がそれぞれ出現したことにより、追尾対象が再出現するであろう再出現予測位置が取得できる。これにより出現予測位置にＡＦ枠４０４を設定することを時刻ｔ_５とｔ_６の間に決定することで、時刻ｔ_６ではＡＦ枠４０４を出現予測位置に配しておくことができる。よって、時刻ｔ_６でフレームを取得すると、追尾対象の検出とＡＦ枠内の測距を同時並行で行うこともできる。また、移動結果として追尾対象の光軸方向を含む移動結果に関する情報を取得しておくと、追尾対象を見失う前までの移動結果に基づく情報から追尾対象までの距離を予測することが可能である。よって、ＡＦ枠の設定と追尾対象の予測位置へのピント調節を同時に行うことができる。こうすることによって、予測位置が正確であれば、追尾対象を再度検出するよりも先に追尾対象に対してピントを合わせることができる。つまり、追尾対象が柱４０２から半分だけ出ているような状況であっても、被写体追尾ＡＦにより追尾対象にピントを合わせることができるため、追尾対象の被写体が復帰した際、より高速に追尾対象の被写体に対してピントを合わせることができると考えられる。

次に、カメラＣによる被写体追尾の動作を図８から図１２までのフローチャートを用いて説明する。尚、フローチャートにおいて符号の頭につくＳはステップを示す。

図８は本実施例における被写体追尾のＡＦ処理を示すフローチャートである。Ｓ８０１でＡＦ動作を開始した後、Ｓ８０２において撮像素子１０１からの画像を取り込み、焦点検出用の画像生成および生成した画像の記憶を行う。次のＳ８０３では焦点検出用の画像を用いて像面の位相差測距による焦点検出を９枠分個別に行い、検出結果を記憶する。Ｗｉｎｄｏｗ１〜９の測距結果をそれぞれｆ１〜ｆ９としている。測距結果として像面のデフォーカス量を用い、デフォーカス量を記憶してもよいが、本実施例ではデフォーカス量を被写体距離に換算したものを測距結果として用いるものとして説明を行う。Ｓ８０４では現在、追尾対象の被写体が特定されているかを判定するために、追尾対象特定中フラグがＯＮか否かを判定し、フラグがＯＮの場合には、Ｓ８０５へ進み、フラグがＯＮでない場合には、Ｓ８０６へ進む。Ｓ８０６では、被写体の検出・または抽出処理を行い、Ｓ８０７では、追尾対象を特定したか否かを判定する。Ｓ８０７で人の顔など特定の被写体が追尾対象とされていると判定された場合には、Ｓ８０８に進み、追尾状態であることを保持するフラグとして追尾対象特定中フラグをＯＮとしてＳ８０２に戻り、次のフレームの処理を行う。また追尾対象の被写体が特定できなければ、このフラグをＯＮとしないままＳ８０２に戻り、次のフレーム処理を行う。

一方で、Ｓ８０４において、追尾対象特定中フラグがＯＮである場合は、Ｓ８０５へ進み、被写体トラッキング処理を行う。この被写体トラッキング処理のフローチャートを図９に示す。

被写体トラッキング処理が開始されると、Ｓ９０１では追尾対象の被写体が画像中に存在するかサーチを行う。Ｓ９０２では、Ｓ９０１でのサーチ結果に基づいて、追尾対象と思われる被写体が見つかった否かを判定する。追尾対象と思われる被写体が見つかった場合はＳ９０３へ進み、追尾対象と思われる被写体が見つからなかった場合（ロストした場合）はＳ９０９へ進み、ロスト時処理を行う。Ｓ９０３では、追尾対象をロストした後に復帰した場合であるかを判定する。一旦追尾対象の被写体をロストした後に再度追尾対象が見つかったロスト後の復帰である場合には、Ｓ９１０へ進み、ロスト後復帰処理が行われる。ロストしたわけでなく、直前のフレームでも追尾対象を検出している場合には、Ｓ９０４へ進み、撮像範囲（画角）における追尾対象の位置を記憶し、次のＳ９０５では追尾対象のサイズを記憶する。次にＳ９０６において、前回のフレームでの追尾対象の位置と今回のフレームでの追尾対象の位置とを比較することで、ｘｙ平面での移動量を取得し、次のＳ９０７ではＳ９０６で取得した移動量を用いてトラッキング枠設定処理を行う。尚、被写体トラッキング処理のフローを図６に当てはめると、ｔ_２はＳ９０１〜９０８を進み、ｔ_３〜ｔ_５はＳ９０２でＳ９０９へ進み、ｔ_６はＳ９０３でＳ９０１へ進む。

Ｓ９０７のトラッキング枠設定処理の詳細について図１１を用いて説明を行う。
図１１は、トラッキング枠設定処理のフローチャートである。トラッキング枠設定処理が開始されると、まずＳ１１０１において次のフレームまでの移動量を予測する予測処理を行う。この移動量は、ｘｙ平面における移動量であり、Ｓ９０６で取得した移動量をもとに取得する。次のＳ１１０２では、Ｓ８０３において保持されている被写体の距離（ｆ１〜ｆ９）の履歴を用いて、カメラの光軸方向（ｚ方向）における移動量を予測し、追尾対象がカメラに近づいているかを判定する。追尾対象がカメラに近づいている場合には、Ｓ１１０７へ進み、次のフレームでの追尾対象の大きさを推定計算して、ＡＦ枠のサイズ（面積）を大きくする。追尾対象がカメラに近づいていない場合には、Ｓ１１０３に進み、追尾対象がカメラから遠ざかっているかを判定する。追尾対象がカメラに遠ざかっている場合にはＳ１１０８に進み、ＡＦ枠サイズを小さくするように設定する。追尾対象とカメラとの距離が変わらない場合にはＡＦ枠サイズも変わらないようにする。次のＳ１１０４においては、Ｓ１１０４までに決定したＡＦ枠サイズの大きさから、枠数の最適化がおこなわれる。本実施例では、ＡＦの分割枠サイズに上限と下限を設けて、例えば特定されている追尾対象の大きさによってＡＦ枠の分割数を決定する。例えば水平方向において、分割枠のサイズは４０ｐｉｘから８０ｐｉｘと設定し、ＡＦ枠サイズが１０８ｐｉｘの場合、このＡＦ枠を５４ｐｉｘの２枠に分割する。同様に垂直方向も分割枠サイズの最適化を行う。次のＳ１１０５において、Ｓ１１０４までに設定した分割枠数、ＡＦ枠サイズを次のフレーム（次回）のＡＦ枠の分割数、ＡＦ枠サイズとする設定を行う。加えて、Ｓ９０４及びＳ９０６に基づいて次フレームの追尾対象の位置を予測し、予測位置に次回のＡＦ枠の位置を設定する。次のＳ１１０６では、今回フレームでのＡＦ枠の分割枠それぞれの測距結果（ｆ１〜ｆ９）のうち、前回フレームでの予測結果に最も近い結果を得られているデフォーカス検出結果を用いてフォーカス駆動量の設定を行う。以上がトラッキング枠設定処理となる。

トラッキング枠設定処理が終了すると、図９に戻って、Ｓ９０８に進む。Ｓ９０８では、Ｓ９０７のＳ１１０６で設定したフォーカス駆動量に基づいて、ＡＦ動作を行う。このとき、同時にＡＥ動作を行ってもよい。複数のフレームにまたがって追尾対象の被写体を検出してトラッキングしている期間は、これまでに説明した動作を繰り返すことになる。

ここでＳ９０２において追尾対象の被写体を見失った場合、Ｓ９０９へ移行して、ロスト時処理が行われる。このロスト時処理を図１０を用いて説明する。ロスト時処理が始まると、まずＳ１００１において前のフレームまでは追尾対象の被写体が検出できており、このフレームがロスト直後であるかどうかの判定が行われる。ロスト直後の場合、Ｓ１００２に進んでロスト位置（前のフレームにおける追尾対象の位置）のｘ、ｙ、ｚ方向における位置をｆ＿ｌｏｓｔとして記憶し、ロスト状態であることを保持するロストフラグをＯＮとして、Ｓ１００３へ進む。

Ｓ１００３では、今回のフレームのＡＦ枠の各分割枠の測距結果から、ロストした位置（距離）よりも近距離側に被写体が存在するかどうかを判定する。ＡＦ枠内に近距離被写体が存在しない場合、Ｓ１００６に進み、次のフレームにおけるＡＦ枠（次回枠と呼ぶことがある）の位置を変更しないものとし、次のステップＳ１００５で、フォーカス駆動も行わないように駆動量をゼロに設定する。

またＳ１００３においてＡＦ枠内に近距離被写体が存在していると判定された場合、Ｓ１００４では次回枠を設定する。本実施例では、Ｓ１００４における次回枠の設定は、今回のフレームの測距により、近距離被写体が存在すると判定された分割枠（Ｗｉｎｄｏｗ）の移動方向側の端が、次回フレームのＡＦ枠内に含まれるように次回フレームのＡＦ枠位置を設定することで行う。言い換えると、ｔ３において近距離被写体が存在すると判定された分割枠Ｗｉｎｄｏｗ１、４、７の左端が、ｔ４においてＡＦ枠内に含まれるようにｔ４におけるＡＦ枠を設定する。このとき、分割枠の移動方向の端は、次回フレームのＡＦ枠のうち、移動方向と反対側の端に位置する分割枠（Ｗｉｎｄｏｗ３、６、９）に含まれることが好ましく、次回フレームのＡＦ枠のうち移動方向と反対側の端と重なることがさらに好ましい。そのうえで次のステップＳ１００５で、フォーカス駆動を行わないように駆動量をゼロに設定する。

また、Ｓ１００１において、ロスト直後でないつまり今回のフレームがロスト後の２フレーム目以降のフレームであると判定された場合には、Ｓ１００７へ進み、まずロスト回数をカウントする。ロストカウントが所定以上の場合には、完全にロストしたことによる初期化を行うためのタイムアウト機能を実行するためである。次のステップＳ１００８において追尾対象の移動予測方向に、ロストした追尾対象よりも近距離側に被写体があるかどうかの判定を行う。近距離被写体がある場合には、Ｓ１００９へ進み、さらに追尾対象の移動予測方向にロストした追尾対象よりも遠距離側に被写体があるかどうかを判定する。Ｓ１００８、Ｓ１００９ともにロスト直前の距離（ｆ＿ｌｏｓｔのｚ方向の位置）と毎フレームごとに設定した各ＡＦ枠から得られた測距結果をもとに判断を行う。追尾対象のロスト位置よりも近距離側、および遠距離側に被写体の存在が検出できるとＳ１０１０に進み、遠距離側の被写体と近距離側の被写体の間に（境界を含むように）次回フレームのＡＦ枠を設定し、Ｓ１００５に進む。この次回枠の設定は、上述した出現予測位置におけるＡＦ枠の設定であり、ｔ５のフレームを取得した際のｔ６のフレーム（次回フレーム）のＡＦ枠の設定である。

追尾対象のロスト位置よりも遠距離側、又は近距離側のどちらか一方でもＡＦ枠検出結果から被写体の存在を検出できない場合には、Ｓ１０１１へ移行して、ロスト回数が所定以上かを判定する。ロスト回数が所定の回数以上である場合（例えば２０回以上連続して被写体が見つからない場合）、Ｓ１０１３に進み、タイムアウト処理として、被写体トラッキング状態を保持する、追尾対象特定中フラグをＯＦＦにし、トラッキングを終了する。その後次のステップＳ１０１４においてＡＦ枠をデフォルトの位置に設定する。本実施例では、デフォルトの位置として画角中央に次回枠設定を行う。またステップＳ１０１１においてロスト回数が所定回数より少ないと判定された場合、Ｓ１０１２において次回フレームにおけるＡＦ枠の設定を行う。この次回枠の設定は、上述した周辺捜索によるＡＦ枠の設定であり、ｔ３、ｔ４フレームを取得した際の次回フレームのＡＦ枠の設定である。Ｓ１０１２による次回枠の設定は、移動予測設定であり、追尾対象がロスト前の追尾対象の移動方向へ動いているものとして、次回フレームのＡＦ枠を前フレームのＡＦ枠よりも移動方向へ移動させた位置として設定するものである。このような次回枠の移動により、次のフレームでも再度追尾対象をロスト中であれば、被写体の移動方向に追尾対象のロスト位置よりも近距離側、遠距離側の両方に被写体が見つかるまで、ＡＦ枠サーチするような動作となる。Ｓ１００６、Ｓ１００４、Ｓ１０１０、Ｓ１０１２、Ｓ１０１４において次回枠が設定されると、Ｓ１００５へ進む。Ｓ１００５ではフォーカス駆動量をゼロに設定する。つまり、ロスト時はフォーカスレンズの駆動は行わない。ロスト時処理が終了すると、図９の被写体トラッキング処理のフローに戻り、Ｓ９０８へ進む。Ｓ１００５でフォーカス駆動量をゼロに設定しているため、Ｓ９０９からＳ９０８に進む場合はＳ９０８にてフォーカス駆動は行われず、被写体トラッキング処理として次のＡＦ検出枠設定が行われてＳ８０２に戻り、次回フレームの処理が行われる。

被写体トラッキング処理のＳ９０３において、ロスト後の復帰であると判定された場合、Ｓ９１０へ進み、ロスト後の再復帰処理が行われる。ロスト後の再復帰処理について図１２を用いて説明をする。図１２は、ロスト後の再復帰処理のフローチャートである。ロスト後の再復帰処理が始まると、最初のステップＳ１２０１では今回フレームでのＡＦ検出結果および追尾対象のｘｙ平面での位置がロスト位置及びロスト時からの時間に基づいて予測される、予測範囲内であるかどうかを判定する。復帰した追尾対象が、予測範囲内に存在する場合は、Ｓ１２０２においてロスト状態であることを保持するロストフラグをＯＦＦとしてＳ１２０３に進み、再度トラッキング状態に入る。Ｓ１２０３〜Ｓ１２０６は、図９のＳ９０４〜９０７と同じステップであるため、説明を省略する。

一方で、ステップＳ１２０１において復帰した追尾対象が予測範囲外に位置する場合には、ステップＳ１２０７へ進み、移動量の再予測処理を行う。この処理は、予測処理のリセットとなり、今回のフレームでは正しい予測結果がえられないので追尾対象を最初に検出した時と同様の処理（Ｓ８０７、Ｓ８０８と同様の処理）となる。よって次のステップＳ１２０８では追尾対象の検出位置に次回枠を設定し、Ｓ１２０９では今回フレームでの測距結果に基づいてフォーカス駆動量を設定し、ロスト後再復帰処理の終了となる。

（変形例）
上述の実施例では、焦点検出装置を備える撮像装置であるレンズ一体型のカメラに本発明を適用した場合の一実施例について説明をした。しかしながら、本発明にかかる焦点検出装置は撮像センサの画像信号を用いて焦点検出を行う任意の電子機器に適用可能である。電子機器としては、レンズ交換式のデジタルカメラや、ビデオカメラの他、カメラを備えた携帯電話機、パーソナルコンピュータ、ゲーム機、家電機器などが例として挙げられる。

また、上述の実施例では、追尾対象が検出されている間も追尾予測を行い、追尾予測に基づいて次回枠の設定を行ったが、追尾対象が検出されている間は追尾予測を行わず、追尾対象の検出結果に基づいてＡＦ枠を設定してもよい。予測ではなく実測で追尾対象に対してＡＦ枠を設定するため、より正確に追尾対象に対してＡＦ枠を設定することができる。一方、フレームの取得、及び追尾対象の検出を行ってからＡＦ枠を設定するため、追尾予測でＡＦ枠を設定するよりもＡＦ枠の設定まで時間が必要である。

また、上述の実施例では、被写体までの距離を用いて近距離被写体と遠距離被写体の有無を判定したが、デフォーカス量を用いて近距離被写体と遠距離被写体をの有無を判定してもよい。また、図１０に示したロスト時処理のフローにおいて、Ｓ１００６では次のフレームにおけるＡＦ枠の位置を変更しないものとしたが、ＡＦ枠の位置を変更してもよい。例えば、近距離被写体がないため、追尾対象がフレームアウトしたとみなし、ＡＦ枠を画角の境界を含む境界部に配してもよいし、撮影者が撮像装置の画角を移動させることを期待して画角の中央に移動してもよい。

また、上述の実施例では、被写体抽出等を回路により実行したが、ソフトウェアで実行してもよい。上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する部（例えば、ＡＳＩＣ）によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１００レンズユニット
１０１撮像素子
１０２分割像取得回路
１０３位相差検出用アクセラレータ回路
１０４撮像信号処理回路
１０５画像処理回路
１０６記録回路
１０７画像メモリ
１０８メモリ
１０９ＣＰＵ
１１０レンズ駆動回路
１１１被写体抽出回路

Claims

フォーカスレンズを備える撮像光学系により結像された被写体像を撮像する撮像素子か
ら出力された画像信号に基づいて焦点検出領域内に位置する追尾対象の被写体を検出する
検出手段と、
前記画像信号に基づいて、前記検出された追尾対象の被写体に対してのデフォーカス量
に対応する情報を含む、前記検出された追尾対象の被写体の位置情報を取得する位置情報
取得手段と、
前記取得した位置情報を用いて前記追尾対象の被写体の光軸方向を含む移動結果に関す
る情報を取得する移動結果取得手段と、
前記追尾対象の被写体の少なくとも一部が含まれるように前記焦点検出領域を設定する
設定手段と、
前記設定された焦点検出領域に対応する画像信号に基づいて前記フォーカスレンズの位
置を調整する焦点調節手段と、を備え、
前記位置情報取得手段は、前記検出手段が前記追尾対象の被写体を検出できないときは、前記追尾対象の被写体よりも近くに位置する被写体の前記焦点検出領域内での有無を判定し、
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに位置する被写体があると判定された場合、前記設定手段は、前記移動結果取得手段が取得した移動結果と前記画像信号を取得した時の前記焦点検出領域とに基づいて、前記画像信号を取得した時の前記焦点検出領域よりも前記追尾対象の被写体の移動方向側に位置し、かつ、前記画像信号を取得した時の前記焦点検出領域の一部と重なるよう、前記焦点検出領域を設定することを特徴とする焦点検出装置。
前記設定手段は、前記移動結果取得手段が取得した移動結果に基づいて前記追尾対象の被写体が現れる位置を予測し、予測した位置を含むように前記焦点検出領域を設定することを特徴とする請求項１記載の焦点検出装置。
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに
位置する被写体がないと判定された場合、前記設定手段は、前記焦点検出領域の位置を変更しないことを特徴とする請求項１または２に記載の焦点検出装置。
前記位置情報取得手段により前記焦点検出領域内に前記追尾対象の被写体よりも近くに
位置する被写体がないと判定された場合、前記設定手段は、撮像範囲の中央または撮像範囲の境界部の少なくともいずれかを含むように前記焦点検出領域を設定することを特徴とする請求項１または２に記載の焦点検出装置。
前記追尾対象の被写体との距離が第１の距離のときよりも前記追尾対象の被写体との距
離が前記第１の距離より短い第２の距離のときのほうが前記焦点検出領域の面積が大きく
なるように前記焦点検出領域を設定することを特徴とする請求項１乃至４のいずれか１項
に記載の焦点検出装置。