JP5157256B2

JP5157256B2 - 画像追尾装置および撮像装置

Info

Publication number: JP5157256B2
Application number: JP2007140114A
Authority: JP
Inventors: 慶子村松
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-05-28
Filing date: 2007-05-28
Publication date: 2013-03-06
Anticipated expiration: 2027-05-28
Also published as: US8254773B2; US20090022486A1; JP2008292894A; US20110038624A1

Description

本発明は画像追尾装置、画像追尾方法および撮像装置に関する。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の画面内位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動するオートフォーカスシステムが知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００５−２１５０４０号公報

ところで、撮影者が撮影対象の追尾開始を指示する際に、必ずしも対象の被写体に撮影レンズのピントが合っているとは限らない。例えば焦点距離が長いレンズの場合には、レンズの距離環による設定距離と実際の撮影距離との間にわずかな差があるだけで撮影対象が大きくぼけて写り、その状態で追尾を開始するとぼけた撮影対象の画像をテンプレート画像として採用することになる。その結果、追尾途中で対象の被写体を見失ったり、対象以外の被写体を追尾対象と誤認するなど、追尾性能が低下してしまうという問題がある。

請求項１の発明による画像追尾装置は、光学系により結像される観察像を撮像して画像を所定の周期で取得する撮像手段と、前記撮像手段によって取得された前記画像と基準画像とを用いて、前記画像における追尾対象画像の位置を検出する画像追尾手段と、撮像画面内に設定される焦点検出位置であって少なくとも前記追尾対象画像の位置に対応する焦点検出位置のデフォーカス量を検出する焦点検出手段と、前記焦点検出手段によるデフォーカス量に基づいて前記光学系の焦点調節を行う焦点調節手段と、前記焦点検出手段による前記デフォーカス量が所定の範囲内か否かを判定する判定手段と、前記判定手段により前記デフォーカス量が前記所定の範囲内であると判定された場合には、前記判定時点の前後にそれぞれ前記撮像手段によって取得された複数の画像のうち、前記判定時点に近い方の時点に取得された前記画像から追尾対象画像を前記基準画像として取得し、前記判定手段により前記デフォーカス量が前記所定の範囲内であると判定されない場合には、前記追尾対象画像を前記基準画像として取得しない基準画像取得手段とを備えることを特徴とする。
請求項７の発明による画像追尾装置は、撮影画面内の複数の領域から追尾対象の位置に対応する領域のデフォーカス量を検出する焦点検出部と、前記デフォーカス量が所定の範囲内であるか否かを判定する判定部と、前記焦点検出部によりデフォーカス量の検出が開始された後において、前記判定部により前記デフォーカス量が前記所定の範囲内であると判定された場合には、前記判定部による判定時点の前後にそれぞれ撮像部によって取得された複数の画像のうち、前記判定時点に近い方の時点に取得された前記画像から前記追尾対象の参照画像情報を取得し、前記判定部により前記デフォーカス量が前記所定の範囲内であると判定されない場合に前記追尾対象の参照画像情報を取得しない取得部と、前記取得部により取得された前記参照画像情報を用いて、前記追尾対象を追尾するための演算を行なう追尾演算部とを備えることを特徴とする。

本願発明によれば、基準画像として対象の鮮明な画像を取得することができ、追尾性能を向上させることができる。

撮影画面内に設定された複数の焦点検出エリアにおいて撮影レンズのデフォーカス量を検出し、いずれかのエリアのデフォーカス量に基づいて撮影レンズを合焦駆動する自動焦点調節（ＡＦ）機能と、撮影画像の中の追尾対象の被写体の画像をテンプレート画像（基準画像）として記憶し、繰り返し撮像される画像の中でテンプレート画像と同一または類似した画像の位置を検索しながら（テンプレートマッチング）追尾対象の被写体を追尾する画像追尾機能とを備え、画像追尾結果の画面内位置の焦点検出エリアを選択してその焦点検出エリアのデフォーカス量により撮影レンズを合焦駆動する画像追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の一実施の形態を説明する。

図１は、一実施の形態の被写体追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）１００の構成を示す。カメラ本体１０には交換レンズ１１が交換可能に装着されている。カメラ本体１０には、被写体像を撮像して画像を記録するための第１撮像素子１２が設けられている。この第１撮像素子１２はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー１３が実線で示す撮影光路外の位置に退避してシャッター１４が開放され、撮影レンズ１５により第１撮像素子１２の受光面に被写体像が結像される。

カメラ本体１０の底部には、撮影レンズ１５の焦点調節状態を検出するための焦点検出光学系１６と測距素子１７が設けられている。この一実施の形態では、瞳分割位相差検出方式による焦点検出方法を採用した例を示す。撮影前にはクイックリターンミラー１３が破線で示すような撮影光路内の位置に設定されており、撮影レンズ１５からの対の焦点検出用光束はクイックリターンミラー１３のハーフミラー部を透過し、サブミラー１８により反射されて焦点検出光学系１６および測距素子１７へ導かれる。焦点検出光学系１６は、撮影レンズ１５を通過した対の焦点検出用光束を測距素子１７の受光面へ導き、対の光像を結像させる。測距素子１７は例えば一対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。

カメラ本体１０の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー１３が撮影光路内の破線で示す位置にあり、撮影レンズ１５からの被写体光は焦点板２０へ導かれ、焦点板２０上に被写体像が結像する。液晶表示素子２１は、焦点板２０上に結像された被写体像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写体像外の位置に露出値などの種々の撮影情報を表示する。焦点板２０上の被写体像はペンタダハプリズム２２および接眼レンズ２３を介して接眼窓２４へ導かれ、撮影者が被写体像を視認することができる。

また、カメラ本体１０上部のファインダー光学系には、被写体追尾や測光のために被写体像を撮像する第２撮像素子２５が設けられている。この第２撮像素子２５については詳細を後述する。焦点板２０に結像した被写体像は、ペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５の受光面に再結像される。第２撮像素子２５は被写体像に応じた画像信号を出力する。

カメラ本体１０にはまた、操作部材２８、制御装置２９、レンズ駆動装置３０が設けられる。操作部材２８には、シャッターボタンや焦点検出エリア選択スイッチなどのカメラ１００を操作するためのスイッチやセレクターが含まれる。制御装置２９はＣＰＵとその周辺部品から構成され、カメラ１００の各種制御と演算などを行う。また、レンズ駆動装置３０はモーターと駆動回路から構成され、レンズ駆動機構（不図示）を介して撮影レンズ１５の焦点調節を行う。なお、交換レンズ１１には交換レンズ１１の焦点距離、開放Ｆ値、絞り値、像ズレ量／デフォーカス量の変換係数などのレンズ情報を記憶するレンズＲＯＭ３１が設けられ、制御装置２９はレンズマウント部の接点（不図示）を介してレンズＲＯＭ３１からレンズ情報を読み出すことができる。

図２は制御装置２９の詳細な構成を示す。なお、本願発明と直接関係のない制御機能については図示と説明を省略する。制御装置２９はマイクロコンピューターのソフトウエア形態により構成される各種制御部を備えている。ＣＣＤ制御部３１は第２撮像素子２５の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換部３２は、第２撮像素子２５から出力されるアナログ画像信号を画像情報としてのデジタル画像信号に変換する。露出演算部３３は、第２撮像素子２５により撮像した画像信号に基づいて露出値を演算する。

焦点検出演算部３４は、測距素子１７から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ１５の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ１５の撮影画面内には複数の位置に焦点検出位置としての焦点検出エリアが設定されており、測距素子１７は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部３４は焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。レンズ駆動量演算部３５は検出されたデフォーカス量をレンズ駆動量に変換する。レンズ駆動装置３０は、レンズ駆動量にしたがって撮影レンズ１５のフォーカシングレンズ（不図示）を駆動し、焦点調節を行う。

追尾制御部３６は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１００が自動で設定した追尾対象位置に対応する画像をテンプレート画像として後述の記憶部３７に記憶させるとともに、その追尾対象位置の撮影レンズ１５のデフォーカス量を焦点検出演算部３４に検出させる。そして、その後に繰り返し撮像される画像の中からテンプレート画像と一致または類似する画像領域を検索することにより対象の位置を認識するとともに、テンプレート画像と一致または類似する画像領域に対応した焦点検出位置における撮影レンズ１５のデフォーカス量を検出し、その検出結果を前回の追尾対象領域において検出されたデフォーカス量と比較して大きな変化がなければ、検索された画像領域に対応する焦点検出位置で合焦制御を行う。このような手順を繰り返し、特定の被写体を追尾する。記憶部３７は、追尾制御部３６による追尾動作中のテンプレート画像やデフォーカス量などの情報、あるいは交換レンズ１１のレンズＲＯＭ３１から読み出した撮影レンズ１５の焦点距離、開放Ｆ値、絞り値、像ズレ量／デフォーカス量の変換係数などのレンズ情報を記憶する。

図３は第２撮像素子２５の詳細な構成を示す正面図である。第２撮像素子２５は、マトリクス状に配列された複数の画素（光電変換素子）４０（ここでは横１６個×縦１２個＝１９２個）を備えている。各画素４０は図４に示すように３個の部分４０ａ、４０ｂ、４０ｃに分割され、これらの部分４０ａ、４０ｂ、４０ｃにはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素４０ごとに被写体像のＲＧＢ信号を出力することができる。

次に、一実施の形態の被写体追尾動作を説明する。図５〜図７は一実施の形態の被写体追尾方法を説明するための図、図８〜図１０は一実施の形態の被写体追尾処理を示すフローチャート、図１１は自動焦点調節（ＡＦ）動作と画像追尾動作を示すタイミングチャートである。制御装置２９は、第２撮像素子２５により撮像した被写体像の内、撮影者が手動で追尾対象位置を指定するか、あるいはカメラ１００が自動で追尾対象位置を設定した後、操作部材２８のシャッターボタンを半押しすると被写体追尾処理を開始する。

なお、シャッターボタンを全押しして撮影を行うとき以外は、クイックリターンミラー１３は図１に破線で示す撮影光路内に設定されており、撮影レンズ１５から入射した被写体光は焦点板２０上に結像される。そして、焦点板２０上の被写体像はペンタダハプリズム２２、プリズム２６および結像レンズ２７を介して第２撮像素子２５へ導かれ、第２撮像素子２５から被写体像が繰り返し出力される。

撮影レンズ１５の撮影画面には複数の位置に焦点検出エリアが設定されており、液晶表示素子２１により焦点板２０上の被写体像にエリアマークを重畳し、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の１１カ所に焦点検出エリア４５ａ〜４５ｋが設定された例を示す。また、操作部材２８の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図８のステップ１において、例えば、追尾対象の被写体像に対応する焦点検出エリア４５ｇを操作部材２８の焦点検出エリア選択スイッチにより選択すると、焦点検出エリア４５ｇのマークが点灯（ここでは黒色表示）され、この状態で操作部材２８のシャッターボタンを半押しすることによって、追尾対称の被写体を指定することができる。また、この半押し操作に応じて制御装置２９は被写体追尾処理を開始する。

なお、撮影者が手動で追尾対象の被写体を指定する代わりに、カメラ１００が自動で追尾対象の被写体を設定することができる。例えば、被写体の顔認識技術を用いて撮像画像の中から被写体の顔部分を検出し、検出した顔部分を追尾対象に設定するか、あるいは撮影画面内の複数の焦点検出エリアで検出されたデフォーカス量の内の、最至近のデフォーカス量を示す焦点検出エリアの被写体を追尾対象とするなどの方法を採用することができる。

ステップ２において、測距素子１７により選択焦点検出エリア（ここでは４５ｇ）に対応する対の光像を取得し、対の光像に基づいて選択焦点検出エリア（４５ｇ）の撮影レンズ１５の焦点調節状態、すなわちデフォーカス量を検出する。ステップ３で、選択焦点検出エリア（４５ｇ）で検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動装置３０により撮影レンズ１５を駆動して焦点調節を行う。続くステップ４では、測距素子１７により選択焦点検出エリア（４５ｇ）に対応する対の光像を取得し、対の光像に基づいて選択焦点検出エリア（４５ｇ）の撮影レンズ１５のデフォーカス量を検出する。

ステップ５では、選択焦点検出エリア（４５ｇ）において撮影レンズ１５が追尾対象の被写体に合焦しているか否かを判定する。つまり、焦点調節後に検出された選択焦点検出エリア（４５ｇ）のデフォーカス量が予め設定された合焦判定しきい値以内にあれば、選択焦点検出エリア（４５ｇ）において撮影レンズ１５が追尾対象の被写体にピントが合っていると判定する。

なお、上記合焦判定しきい値には、自動焦点調節（ＡＦ）機能で用いる合焦判定しきい値と同じ値を設定してもよいし、画像追尾機能に用いるテンプレート画像（基準画像）として所定の追尾性能を満たすことができる程度に鮮明な画像が得られるのであれば、ＡＦ機能で用いる合焦判定しきい値よりも合焦と判定される範囲が広がるように絶対値が大きな値を設定してもよい。

あるいは、撮影レンズ１５の焦点距離が長いほど、レンズの距離環による設定距離と実際の撮影距離との間にわずかな差があるだけで撮影対象が大きくぼけて写り、その状態で追尾を開始するとぼけた撮影対象の画像をテンプレート画像として採用することになる。したがって、レンズＲＯＭ３１から入手した撮影レンズ１５の焦点距離が長いほどしきい値を小さくし、追尾対象の鮮明な画像を得るようにしてもよい。

また、選択された撮影モードに応じた最適なしきい値を設定するようにしてもよい。例えばスポーツ撮影モードを選択して動きの速いスポーツ写真を撮る場合には、手ぶれや被写体ぶれによりぼけた画像になりやすいので、しきい値を通常の撮影モードが選択された場合に設定される値より小さくして追尾被写体のピントの合った画像を得るようにしてもよい。

ステップ５で選択焦点検出エリア（４５ｇ）のデフォーカス量が予め設定された合焦判定しきい値より大きく、追尾対象被写体に撮影レンズ１５のピントが合っていないと判定された場合はステップ３へ戻り、上述した焦点検出と焦点調節を繰り返す。追尾対象被写体にピントが合っていると判定された場合はステップ６へ進み、液晶表示素子２１に指定した追尾対象被写体にピントが合った旨の表示を行うとともに、スピーカー（不図示）により音声案内を行う。なお、ステップ６のピントが合った旨の表示や音声案内は省略することとしてもよい。

ステップ７において第２撮像素子２５により追尾初期画像を取得し、続くステップ８で図９に示す追尾制御の初期処理を実行する。図９のステップ１０１において、第２撮像素子２５で取得した追尾初期画像の中の焦点検出エリア４５ｇの位置に対応する位置の画像を、被写体色情報として記憶する。ステップ１０２では、図６(ａ)に示すように、追尾初期画像の中の焦点検出エリア４５ｇの位置周辺部において被写体色情報と同様な色情報を示す同色情報領域を検出し、続くステップ１０３で同色情報領域を初期の追尾被写体領域４７とする。ステップ１０４において、追尾初期画像の中の追尾被写体領域４７の画像を画像追尾処理に用いるテンプレート画像４８（図６(ｂ)参照）として記憶部３７に記憶し、ステップ１０５で追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を探索領域４９に設定する。その後、図８のステップ９へリターンする。

なお、この一実施の形態では被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、輝度情報に基づいて追尾被写体領域４７を決定してもよく、処理の簡素化を図るために一律４×４画素の領域サイズとしたり、撮影レンズ１５の焦点距離情報に応じて領域サイズを決定してもよい。

追尾制御の初期処理後の図８のステップ９で、操作部材２８のシャッターボタンが全押しされたか否か、つまりシャッターレリーズ操作が行われたか否かを確認する。シャッターレリーズ操作が行われた場合はステップ１６へ進み、ミラー１３をアップしてシャッター１４を開放し、第１撮像素子１２により撮像を行う。一方、シャッターレリーズ操作が行われていない場合はステップ１０へ進み、第２撮像素子２５から次の画像情報を取得するとともに、測距素子１７により各焦点検出エリア４５ａ〜４５ｋごとに焦点検出用の対の光像を取得する。

ステップ１１において、図１０に示す追尾演算処理を行う。図１０のステップ２０１において、追尾次画像の中の探索領域４９からテンプレート画像４８と同じサイズの領域を順次切り出し、切り出した画像とテンプレート画像４８の対応する画素ごとに画像情報の差分を算出し、全画素に対する差分の総和を求める。ここで、例えば各画素の色相Ｂ／Ｇ、Ｒ／Ｇの差分を画像情報の差分とする場合には、第２撮像素子２５から出力される生の画像信号を用いて演算することができるため、生の画像信号に対するホワイトバランスやフィルター処理などの前処理を必要とせず、追尾処理の簡素化を図ることができる。なお、色相差に代えて画素ごとの色の差を演算するようにしてもよい。輝度情報に基づいて追尾被写体領域４７を決定する場合は、画素ごとの輝度差を演算してもよい。

探索領域４９から切り出したすべての画像に対してテンプレート画像４８との差分の総和演算が終了したら、演算結果の中で差分の総和値が最も小さい切り出し画像を選び、その切り出し画像の領域を新しい追尾被写体領域４７に決定することにより対象の位置を認識する。ステップ２０３で、新しい追尾被写体領域４７を中心に前後左右に所定画素（ここでは２画素とする）づつ拡大した領域を新しい探索領域４９に設定する。その後、図８のステップ１２へリターンする。

ここで、新しく被写体領域４７に決定された画像情報を用いてテンプレート画像４８の画像情報を更新する処理を加えてもよい。その場合、例えば元のテンプレート画像４８の画像情報８０％に対して新被写体領域４７の画像情報２０％を加えることによって、テンプレート画像の情報に対して最新の画像情報が少しずつ更新され、追尾被写体の変化に追従しやすくなる。

なお、上述した一実施の形態では指定した追尾被写体領域のテンプレート画像を記憶しておき、繰り返し撮像される画像の中からテンプレート画像との画素単位の画像情報の差分を求め、差分の総和値が最も小さい領域を新しい追尾被写体領域とする例を示したが、この追尾演算方法に変えて次のようにしてもよい。指定した追尾被写体領域の画像情報とともに、追尾被写体領域の周辺の画像情報を記憶しておき、繰り返し撮像される画像の中からテンプレート画像との差分の総和値が低い複数の新追尾被写体領域の候補領域を検出する。次に、それらの候補領域の周辺の画像情報と前回の追尾被写体領域の周辺の画像情報とを順次比較し、一致度が最も高い候補領域を新追尾被写体領域とする。これにより、追尾対象被写体の誤検出を防止して被写体追尾精度を向上させることができる。

リターン後の図８のステップ１２において、ステップ１０にて取得した対の光像に基づいて各選択焦点検出エリア４５ａ〜４５ｋの撮影レンズ１５の焦点調節状態すなわちデフォーカス量を検出する。続くステップ１３では、すべての焦点検出エリアのデフォーカス量の中から、前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量を示す焦点検出エリアを検索する。ここでは、例えば図７に示すように、焦点検出エリア４５ｂ、４５ｆ、４５ｊにおいて前回の焦点調節時に採用した焦点検出エリアのデフォーカス量に類似するデフォーカス量が得られたとする。

ステップ１４において、ステップ１１における画像追尾結果の新追尾被写体領域と、ステップ１２〜１３におけるエリア検索結果の焦点検出エリアとに基づいて、焦点調節を行うエリアを決定する。ここでは、例えば図７に示すように、画像追尾結果の新追尾被写体領域４７に対応する焦点検出エリア４５ｆと、エリア検索結果の焦点検出エリア４５ｂ、４５ｆ、４５ｊとを比較すると、エリア４５ｆがどちらの処理においても追尾被写体の位置として適していると考えられるので、焦点検出エリア４５ｆを焦点調節を行うエリア（焦点調節エリア）に決定する。ステップ１５で、焦点検出エリア４５ｆで検出されたデフォーカス量をレンズ駆動量に変換し、レンズ駆動装置３０により撮影レンズ１５を駆動して焦点調節を行う。

なお、ステップ１４において画像追尾結果の新追尾被写体領域と、ＡＦ結果に基づいて検索した焦点検出エリアとに基づいて焦点調節エリアを決定したが、この焦点検出エリアにおける前回の焦点調節時のデフォーカス量と今回検出されたデフォーカス量との差に基づいて、追尾対象被写体がカメラの光軸方向に沿ってカメラに接近しているか、または遠ざかっているかを判定し、カメラに接近していると判定された場合はテンプレート画像を拡大し、逆にカメラから遠ざかっていると判定された場合はテンプレート画像を縮小してもよい。これにより、追尾対象被写体の動きに合った適切なテンプレート画像を取得することができる。

シャッターボタンが半押しされている間、ステップ１０〜１５の処理を繰り返し実行し、シャッターボタンが全押しされるとステップ１６へ進み、上述した撮像処理を実行する。

次に、図１１により、一実施の形態の自動焦点調節（ＡＦ）動作と画像追尾動作について説明する。上述したように、シャッターボタンが半押しされると図８に示す被写体追尾処理を開始し、まずＡＦ動作を実行する。ＡＦ動作では、図１１に示すように、測距素子１７の電荷蓄積（ＡＦ蓄積）を行い、ＡＦ蓄積結果の焦点検出信号に基づいて焦点検出演算を行い（ＡＦ演算）、選択した焦点検出エリアのＡＦ演算結果、つまりデフォーカス量に基づいて撮影レンズ１５の焦点調節を行う（レンズ駆動）。図１１に示す例では、図８のステップ２〜４のＡＦ処理を３回繰り返し、３回目のステップ５で追尾対象被写体に合焦していると判定されると、画像追尾動作を開始する。なお、図１１に示すように、ステップ５の合焦判定しきい値がＡＦ機能で用いる合焦判定しきい値より大きい場合には、合焦判定の信号とレンズ駆動の信号とが出力される。

画像追尾動作では、図１１に示すように、まず第２撮像素子２５で追尾初期画像の蓄積を行い（画像蓄積；図８のステップ７）、追尾初期画像を取得して追尾初期処理を実行する（追尾初期処理；図８のステップ８）。次に、第２撮像素子２５で追尾次画像の蓄積を行い（画像蓄積；図８のステップ１０）、追尾次画像を取得して追尾演算処理を実行する（追尾演算；図８のステップ１１）。

以上の画像追尾動作後に、画像追尾結果を反映させてふたたびＡＦ動作を行う。すなわち、各焦点検出エリアでデフォーカス量を検出して前回の焦点調節時のデフォーカス量に類似したデフォーカス量を示すエリアを検索し、エリア検索結果と画像追尾結果に基づいて焦点調節エリアを決定する。そして、決定した焦点調節エリアのデフォーカス量に基づいて焦点調節を行う。その後、シャッターボタンが半押しされている間、画像追尾とその結果に基づくＡＦ動作を繰り返し実行する。

このように、一実施の形態によれば、撮影レンズ１５により結像され、第２撮像素子２５により繰り返し撮像される被写体像とテンプレート画像とを比較して、撮影レンズ１５の画面内における追尾対象の位置を検出する画像追尾機能と、画面内に設定される焦点検出エリアで撮影レンズ１５の焦点検出を行い、焦点検出結果に基づいて撮影レンズ１５の焦点調節を行う自動焦点調節（ＡＦ）機能とを備えた画像追尾装置において、ＡＦ機能による焦点検出結果が合焦か否かを判定するとともに、画面内の追尾対象の位置に対応する焦点検出エリアにおいてＡＦ機能による焦点検出と焦点調節とを行い、合焦と判定されたときに撮像された被写体像の中の追尾対象の位置の画像をテンプレート画像として取得するようにしたので、基準画像として対象の鮮明な画像を取得することができ、追尾性能を向上させることができる。

また、一実施の形態によれば、合焦判定後に撮像された被写体像からテンプレート画像を取得するようにしたので、画像追尾動作を自動焦点調節（ＡＦ）動作に同期させながら、効率よく追尾処理を実行することができる。

以上の一実施の形態では、図１１に示すように、ＡＦ用測距素子１７の電荷蓄積と、画像追尾用第２撮像素子２５の電荷蓄積とを順番に同期して実行する例を示したが、ＡＦ用測距素子１７の電荷蓄積と画像追尾用第２撮像素子２５の電荷蓄積とを非同期に実行してもよい。

図１２は、ＡＦ用測距素子１７の電荷蓄積と画像追尾用第２撮像素子２５の電荷蓄積とを非同期に実行する場合の、一実施の形態の変形例の自動焦点調節（ＡＦ）動作と画像追尾動作を示すタイミングチャートである。なお、図１１に示す同期例と同様な箇所は説明を省略し、相違点を中心に説明する。ＡＦ動作と画像追尾動作を非同期に実行する場合には、カメラの電源が投入されている間、電荷蓄積結果に基づく演算処理を行わないときでも、常にそれぞれ所定の時間間隔で電荷蓄積を行う。

図１２において、非同期動作（１）では、合焦判定後（Ｔ１時間後）に第２撮像素子２５で蓄積された追尾被写体画像を追尾初期画像とし、追尾初期処理を行っている。一方、非同期動作（２）では、合焦判定直前（Ｔ２時間前）に第２撮像素子２５で蓄積された追尾被写体画像を追尾初期画像とし、合焦判定後に直ちに追尾初期処理を行っている。ここで、非同期動作（２）では、合焦判定後から電荷蓄積が行われるまでの時間より、合焦判定直前の電荷蓄積後から合焦判定の信号が送られてくるまでの時間（Ｔ２）の方が短い。図１２に示す例では、合焦判定からＴ１時間後に開始される蓄積結果の画像よりも、合焦判定からＴ２時間前に終了した蓄積結果の画像の方が、合焦判定タイミングにより近いタイミングで蓄積した画像であり、追尾対象に合焦した時点の追尾被写体の画像をテンプレート画像として取得することができ、追尾被写体にピントの合った鮮明なテンプレート画像を用いて追尾精度を向上させることができる。

このように、一実施の形態の変形例によれば、合焦判定時点に最も近い時点に撮像された被写体像からテンプレート画像を取得するようにしたので、追尾対象によりピントの合った鮮明なテンプレート画像を用いて追尾性能を向上させることができる。

なお、上述した一実施の形態では、本発明を一眼レフデジタルスチルカメラに適用した実施例を説明したが、本発明は時系列的に画像を取得可能な撮像装置であればどのような装置でも実現可能であり、一眼レフデジタルスチルカメラ以外の、例えばコンシューマデジタルカメラや動画像を取得する撮像装置としてのビデオカメラなどにも本発明を適用することができる。

上述した一実施の形態では、画像追尾開始後に追尾対象被写体のテンプレート画像を取得する際に、追尾対象被写体に対する合焦状態を確認してからテンプレート画像を取得する例を示したが、画像追尾動作途中で何らかの理由により追尾対象被写体を切り換える場合にも、本願発明を適用することができる。つまり、画像追尾動作途中で追尾対象被写体を切り換えるときには、新しい追尾対象被写体に対する合焦状態を確認してから新しいテンプレート画像を取得するようにする。

一実施の形態の被写体追尾装置を備えた撮像装置（一眼レフデジタルスチルカメラ）の構成を示す図制御装置の詳細な構成を示す図第２撮像素子の詳細な構成を示す正面図第２撮像素子の画素構成を示す図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾方法を説明するための図一実施の形態の被写体追尾処理を示すフローチャート一実施の形態の被写体追尾処理を示すフローチャート一実施の形態の被写体追尾処理を示すフローチャート一実施の形態の自動焦点調節（ＡＦ）動作と画像追尾動作を示すタイミングチャート変形例の自動焦点調節（ＡＦ）動作と画像追尾動作を示すタイミングチャート

符号の説明

１７測距素子
２５第２撮像素子
２８操作部材
２９制御装置
３０レンズ駆動装置
３４焦点検出演算部
３６追尾制御部
４８テンプレート画像（基準画像）

Claims

光学系により結像される観察像を撮像して画像を所定の周期で取得する撮像手段と、
前記撮像手段によって取得された前記画像と基準画像とを用いて、前記画像における追尾対象画像の位置を検出する画像追尾手段と、
撮像画面内に設定される焦点検出位置であって少なくとも前記追尾対象画像の位置に対応する焦点検出位置のデフォーカス量を検出する焦点検出手段と、
前記焦点検出手段によるデフォーカス量に基づいて前記光学系の焦点調節を行う焦点調節手段と、
前記焦点検出手段による前記デフォーカス量が所定の範囲内か否かを判定する判定手段と、
前記判定手段により前記デフォーカス量が前記所定の範囲内であると判定された場合には、前記判定時点の前後にそれぞれ前記撮像手段によって取得された複数の画像のうち、前記判定時点に近い方の時点に取得された前記画像から追尾対象画像を前記基準画像として取得し、前記判定手段により前記デフォーカス量が前記所定の範囲内であると判定されない場合には、前記追尾対象画像を前記基準画像として取得しない基準画像取得手段とを備えることを特徴とする画像追尾装置。
請求項１に記載の画像追尾装置において、
前記追尾対象画像の位置を任意に設定するための操作部材を備えることを特徴とする画像追尾装置。
請求項１または２に記載の画像追尾装置において、
前記焦点検出手段のデフォーカス量に基づいて前記追尾対象画像の位置を設定する対象位置設定手段を備えることを特徴とする画像追尾装置。
請求項１〜３のいずれか１項に記載の画像追尾装置において、
前記判定手段は、前記焦点検出手段により検出されたデフォーカス量が予め設定されたしきい値以下のときに前記所定の範囲内と判定することを特徴とする画像追尾装置。
請求項４に記載の画像追尾装置において、
前記光学系の焦点距離が長いほど前記しきい値に小さい値を設定することを特徴とする画像追尾装置。
請求項４に記載の画像追尾装置において、
各種スポーツを撮影するモードが設定されたときは、前記しきい値に通常の値よりも小さい値を設定することを特徴とする画像追尾装置。
撮影画面内の複数の領域から追尾対象の位置に対応する領域のデフォーカス量を検出する焦点検出部と、
前記デフォーカス量が所定の範囲内であるか否かを判定する判定部と、
前記焦点検出部によりデフォーカス量の検出が開始された後において、前記判定部により前記デフォーカス量が前記所定の範囲内であると判定された場合には、前記判定部による判定時点の前後にそれぞれ撮像部によって取得された複数の画像のうち、前記判定時点に近い方の時点に取得された前記画像から前記追尾対象の参照画像情報を取得し、前記判定部により前記デフォーカス量が前記所定の範囲内であると判定されない場合に前記追尾対象の参照画像情報を取得しない取得部と、
前記取得部により取得された前記参照画像情報を用いて、前記追尾対象を追尾するための演算を行なう追尾演算部とを備えることを特徴とする画像追尾装置。
請求項１〜７のいずれか１項に記載の画像追尾装置を備えたことを特徴とする撮像装置。