JP5564987B2

JP5564987B2 - 被写体追尾装置及び撮像装置

Info

Publication number: JP5564987B2
Application number: JP2010042438A
Authority: JP
Inventors: 宏竹内
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-02-26
Filing date: 2010-02-26
Publication date: 2014-08-06
Anticipated expiration: 2030-02-26
Also published as: US8605942B2; US20100232646A1; JP2010226709A

Description

本発明は、被写体の追尾を行う被写体追尾装置及び撮像装置に関する。

従来、連続的に撮像された画像を用いて、それらの画像に撮像されている所望の被写体を、画像情報（例えば、色情報、背景との差分又は動きベクトル等）に基づいて追尾する様々な技術が開発されている。

例えば、特許文献１では、特徴点に基づいた領域追跡手法が適用できない条件下である場合には、色情報に基づいた領域追跡手法によって追跡対象領域を算出することで、精度良く被写体を追跡できる技術が開示されている。

特開２００５−３０９７４６号公報

しかしながら、従来技術の追尾手法は、追尾対象である被写体の状況によって向き不向きがある（例えば、被写体がランダムに大きく動いている場合や被写体と背景の一部の色とが類似しているような場合等）。したがって、特定の追尾手法のみを用いる場合はもちろん、特許文献１のように、一の追尾手法を最初に用いて、その一の追尾手法が適用できない条件下になると他の追跡手法が用いられるとしても、確実に所望の被写体を追尾することができない場合がある。

上記従来技術が有する問題に鑑み、本発明の目的は、所望の被写体を確度高く追尾することができる技術を提供することにある。

本発明を例示する被写体追尾装置の一態様は、撮像された第１の画像と設定された基準画像とのそれぞれの特徴量に基づいて、第１の画像内の基準画像に類似する領域を抽出する領域抽出部と、第１の画像とは異なる時刻に撮像された第２の画像と第１の画像とから、第１の画像内の複数の領域の各々における動きベクトルを算出する動きベクトル算出部と、領域抽出部での抽出結果と動きベクトル算出部での算出結果とに基づいて、第１の画像における被写体追尾の対象領域を決定する制御部と、を備える。さらに、制御部は、領域抽出部によって抽出された基準画像と類似する複数の領域から、動きベクトル算出部による第１の画像の複数の領域の各々における動きベクトルに基づいて、被写体追尾の対象領域から除外する領域を決定する。

また、制御部は、領域抽出部によって抽出された基準画像と類似する複数の領域のうち、周囲に動きベクトルの向きが略同一の領域が多い領域を被写体追尾の対象領域から除外する領域としても良い。

また、制御部は、被写体追尾の対象領域から除外する領域がないと判断した場合は、第１の画像より前に撮像された画像における被写体追尾の対象領域と同一の位置にある領域を、被写体追尾の対象領域として決定しても良い。

本発明を例示する被写体追尾装置の別態様は、撮像された第１の画像と設定された基準画像とのそれぞれの特徴量に基づいて、第１の画像内の基準画像に類似する領域を抽出する領域抽出部と、第１の画像とは異なる時刻に撮像された第２の画像と第１の画像とから、第１の画像内の複数の領域の各々における動きベクトルを算出する動きベクトル算出部と、領域抽出部での抽出結果と動きベクトル算出部での算出結果とに基づいて、第１の画像における被写体追尾の対象領域を決定する制御部と、を備える。さらに、制御部は、領域抽出部によって抽出された基準画像と類似する複数の領域のうち、周囲に動きベクトルの向きが異なる領域が多い領域を被写体追尾の対象領域に決定する。

また、撮像された画像内の領域を基準画像として抽出する抽出部を、さらに備えても良い。

また、第２の画像は、第１の画像よりも前に撮像された画像であっても良い。

また、画像の特徴量を算出する特徴量算出部を有し、特徴量算出部は、基準画像及び第１の画像の各々を所定の大きさの領域に分割して、所定の大きさの領域毎に特徴量を算出し、領域抽出部は、特徴量算出部によって算出された、基準画像及び第１の画像それぞれの所定の大きさの領域毎に求めた特徴量に基づいて、基準画像と第１の画像との相関を取り、第１の画像のうち相関の値が相対的に大きい領域を、基準画像に類似する領域として抽出しても良い。

また、動きベクトル算出部は、第１の画像と第２の画像とをそれぞれ複数の領域に分割して、対応する分割された領域毎における相関を取ることによって、第１の画像の複数の領域の各々における動きベクトルを算出しても良い。

また、制御部は、第１の画像の複数の領域の各々における動きベクトルのうち、互いに略同一である複数の動きベクトルを用いて平均動きベクトルを算出して、第２の画像の複数の領域の各々を平均動きベクトル分ずらし、複数の領域毎に第１の画像と第２の画像との差分を求めることによって、被写体追尾の対象領域を決定しても良い。

また、第１の画像及び第２の画像それぞれは、連続的に撮像された複数の画像のうちの１つであっても良い。

本発明を例示する撮像装置の一態様は、被写体像を撮像して画像を取得する撮像部と、本発明の被写体追尾装置と、を備える。

本発明によれば、所望の被写体を確度高く追尾することができる。

本発明の一の実施形態に係るデジタルカメラ１の構成例を示す模式図撮像領域におけるＡＦ領域の配列の一例を示す図本実施形態に係るデジタルカメラ１の被写体追尾処理のフローチャート本実施形態における測光センサ１０によって撮像された画像における基準画像と類似する領域の位置関係を示す図画像を小領域毎に分割し各小領域における動きベクトルの算出結果の一例を示す図算出された動きベクトルが全ての小領域で同じになる場合の一例を示す図

以下、図面を用いて本発明の実施形態について説明する。以下の実施形態では、本発明のカメラの一例として、一眼レフタイプのデジタルカメラを用いて説明する。

図１は、本発明の一の実施形態に係るデジタルカメラ１の構成を示す図である。図１に示すように、デジタルカメラ１は、カメラ本体１ａと交換レンズ部１ｂとから構成される。

交換レンズ部１ｂは、撮像レンズ２、絞り３、レンズ駆動部４、距離検出部５、絞り制御部６及びレンズ側ＣＰＵ７からなる。一方、カメラ本体１ａは、ペンタプリズム８、再結像レンズ９、測光センサ１０、クイックリターンミラー１１、サブミラー１２、焦点板１３、シャッタ１４、接眼レンズ１５、撮像素子１６、画像処理部１７、焦点検出部１８、本体側ＣＰＵ１９、シャッタ制御部２０及び記憶部２１からなる。デジタルカメラ１の各構成要素は、交換レンズ部１ｂのレンズ側ＣＰＵ７又はカメラ本体１ａの本体側ＣＰＵ１９と情報伝達可能に接続される。また、レンズ側ＣＰＵ７と本体側ＣＰＵ１９とは、接続点を介して接続されている。なお、図１はデジタルカメラ１の主要部分のみを示す。例えば、図１において、本体側ＣＰＵ１９の指令に従って、撮像素子１６に撮影指示のタイミングパルスを発するタイミングジェネレータ及び撮像した画像や構図確認用で低解像度画像（スルー画）等を表示する表示部等は省略されている。

撮像レンズ２は、複数の光学レンズにより構成され、被写体からの光束を撮像素子１６の受光面に結像する。

測光センサ１０は、図１に示すようにクイックリターンミラー１１が下がった状態で、焦点板１３に結像されるファインダ像の画面を、再結像レンズ９を介して、細かく分割して測光し、画面内の明るさや色等といった測光情報を検出する。本実施形態における測光センサ１０には、例えば、１０００〜数十万画素を有するものを用いる。また、測光センサ１０は、後述する撮像素子１６と同じく、ＣＣＤやＣＭＯＳの半導体のイメージセンサ等を適宜選択して用いることができるとともに、その受光面の前面には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがアレイ状に設けられている。

後述するように、本実施形態の測光センサ１０は、対象となる被写体を追尾するための画像を所定のフレームレート（例えば、１０ｆｐｓ等）で撮像する。測光センサ１０によって撮像された画像データは、Ａ／Ｄ変換部（不図示）によってデジタル信号に変換されて画像処理部１７に転送される。

焦点検出部１８は、例えば、位相差方式による焦点検出を行う。撮像領域内の複数の領域における被写体に対する撮像レンズ２の焦点状態を表すデフォーカス量を出力可能である。ここで、図２（ａ）は、本実施形態のデジタルカメラ１の撮像領域２５における複数のＡＦ領域Ａ１１〜Ａ７５の配置を示す。各複数のＡＦ領域Ａ１１〜Ａ７５又はユーザによって指定された１つのＡＦ領域におけるデフォーカス量を検出する。本体側ＣＰＵ１９は、検出したデフォーカス量に基づいて、レンズ側ＣＰＵ７を介して、レンズ駆動部４や絞り制御部６に、撮像レンズ２及び絞り３をそれぞれ駆動させ、撮像素子１６の受光面に被写体を結像させる。本体側ＣＰＵ１９は、その時の焦点距離、被写体までの撮像距離及び絞り値を、レンズ側ＣＰＵ７を介して、レンズ駆動部４、距離検出部５及び絞り制御部６からそれぞれ取得する。なお、レンズ側ＣＰＵ７及び本体側ＣＰＵ１９は、一般的なコンピュータのＣＰＵを使用することができる。レンズ側ＣＰＵ７及び本体側ＣＰＵ１９のそれぞれには、各不図示のメモリが備えられ、各構成要素を制御するためのプログラムがあらかじめ記録されているものとする。

クイックリターンミラー１１は、撮影を行わない場合には、図１に示すように、撮影レンズ２の光軸方向に対して４５°の角度に配置される。そして、撮影レンズ２および絞り３を通過してきた光束は、クイックリターンミラー１１で反射され、焦点板１３上にファインダ像が投影される。その投影されたファインダ像は、ペンタプリズム８を介して、測光センサ１０及び接眼レンズ１５に導かれる。ユーザは、接眼レンズ１５を介して被写体の像を目視することにより構図確認を行う。同時に、上述したように、再結像レンズ９を介して、測光センサ１０の撮像面上にも再結像される。また、クイックリターンミラー１１を透過した一部の光束は、サブミラー１２を介して焦点検出部１８に導かれる。

一方、撮影時には、本体側ＣＰＵ１９の指示に基づいて、クイックリターンミラー１１は撮像レンズ２からの光束の光路から退避して、シャッタ制御部２１によってシャッタ１４が開放される。そして、撮影レンズ２からの光束は、撮像素子１６に導かれる。

撮像素子１６は、本体側ＣＰＵ１９の指令を受けて、タイミングジェネレータ（不図示）が発するタイミングパルスに基づいて動作し、前方に設けられた撮像レンズ２によって結像された被写体を撮像する。

一方、デジタルカメラ１のカメラ本体１ａには、不図示であるが操作部材が設けられており、ユーザによる部材操作の内容に応じた操作信号を本体側ＣＰＵ１９に出力する。不図示の操作部材には、例えば、電源釦、撮影モード等のモード設定釦及びレリーズ釦等の操作部材を有する。なお、操作部材（不図示）は、液晶画面等の表示部（不図示）の画面の前面に設けられるタッチパネル形式の釦であっても良い。

測光センサ１０及び撮像素子１６によって撮像された画像のデータは、それぞれのＡ／Ｄ変換部（不図示）によってデジタル信号に変換され、画像処理部１７に転送される。画像処理部１７は、測光センサ１０又は撮像素子１６から転送されてきた画像データに対して補間処理やホワイトバランス処理等の画像処理を施して、画像の撮像されている被写体を追尾するために必要となる画像の特徴量を算出する。

本体側ＣＰＵ１９は、画像処理部１７によって求められた特徴量に基づいて、被写体を追跡する。なお、本実施形態では、上述したように、本体側ＣＰＵ１９に備えられたメモリ（不図示）に、各構成要素を制御するためのプログラムとともに、画像処理部１７によって求められた特徴量に基づいて、被写体を追跡するためのプログラムが、あらかじめ記録されているものとする。また、本実施形態における本体側ＣＰＵ１９に、画像処理部１７の画像処理を行わせるようにしても良い。

次に、本実施形態に係るデジタルカメラ１の被写体追尾の処理について、図３のフローチャートを参照しながら説明する。なお、本実施形態では、測光センサ１０が連続的に撮像した画像を用いる場合について説明する。

ステップＳ１０：ユーザが操作部材（不図示）のレリーズ釦を一度半押しすると、デジタルカメラ１の電源が入れられて、レンズ側ＣＰＵ７及び本体側ＣＰＵ１９は、それぞれの不図示のメモリに記憶されている制御プログラムを読み込み、デジタルカメラ１のカメラ本体１ａ及び交換レンズ部１ｂをそれぞれ初期化する。同時に、本体側ＣＰＵ１９は、レンズ側ＣＰＵ７を介して、レンズ駆動部４、距離検出部５及び絞り制御部６から焦点距離、撮像距離及び絞り値をそれぞれ取得するとともに、焦点検出部１８から撮像レンズ２の焦点状態を取得する。

ステップＳ１１：ユーザは、接眼レンズ１５を介して、電子ビューファインダ（不図示）等で被写体の像を目視して構図確認しながら、操作部材（不図示）の釦操作を行い、焦点を合わせたいＡＦ領域Ａ１１〜Ａ７５のうちの１つを選択する。例えば、ユーザは、電子ビューファインダ（不図示）等を覗きながら、不図示の操作部材である十字釦等でカーソルを操作することによって、焦点を合わせたいＡＦ領域を決定する。本体側ＣＰＵ１９は、いずれのＡＦ領域が選択されたかの信号を受信する。なお、本実施形態では、ＡＦ領域Ａ３４が選択されるものとする。ユーザは、操作部材（不図示）のレリーズ釦を半押しする。

ステップＳ１２：本体側ＣＰＵ１９は、ユーザによって操作部材（不図示）のレリーズ釦が半押しされた信号を受信すると、測光センサ１０によって最初のフレームの画像３０ａを撮像する。同時に、本体側ＣＰＵ１９は、焦点検出部１８による位相差方式の焦点検出に基づいて、ＡＦ領域Ａ３４で合焦するように、交換レンズ部１ｂのレンズ側ＣＰＵ７を介して、レンズ駆動部４及び絞り制御部６に撮像レンズ２及び絞り３を駆動させて、ＡＦ動作を開始させる。なお、焦点検出部１８による位相差方式の焦点検出に基づいてＡＦ動作するとしたが、測光センサ１０によりコントラスト方式による焦点検出を行っても良く、いずれの方式の焦点検出を用いるかは、ユーザによる操作設定によって、あらかじめ決められていることが好ましい。或いは、デジタルカメラ１は、位相差方式の焦点検出とコントラスト方式の焦点検出とを組み合わせて撮影レンズ２の焦点状態を検出する構成としても良い。

ステップＳ１３：本体側ＣＰＵ１９は、測光センサ１０によって撮像された画像３０ａのデータを、Ａ／Ｄ変換部（不図示）でデジタル信号に変換し画像処理部１７へ転送する。画像処理部１７は、転送されてきた画像３０ａに対して、補間処理やホワイトバランス処理等の画像処理を行う。

ステップＳ１４：本体側ＣＰＵ１９は、ステップＳ１２で開始したＡＦ動作が完了したか否かを判定する。すなわち焦点検出部１８から出力されるＡＦ領域Ａ３４に対応するデフォーカス量に基づいて、ＡＦ領域Ａ３４において合焦したか否かを判定する。本体側ＣＰＵ１９は、ＡＦ領域Ａ３４において合焦したと判定した場合、ステップＳ１５（ＹＥＳ側）へ移行する。一方、本体側ＣＰＵ１９は、合焦していないと判定した場合、ステップＳ１２（ＮＯ側）へ移行して、合焦と判定されるまで、ステップＳ１２〜ステップＳ１３の処理を行う。

ステップＳ１５：本体側ＣＰＵ１９は、測光センサ１０によって撮像された画像３０ａのうち、図４（ａ）に示すように、被写体追尾の基準となるＡＦ領域Ａ３４に対応する部分を中心とした所定の大きさの矩形領域の基準画像４０を抽出し、基準画像４０として記憶部２１に記録する。本体側ＣＰＵ１９は、抽出した基準画像４０を画像処理部１７へ転送する。画像処理部１７は、基準画像４０を、例えば３×３の領域に分割し、各領域における色情報ＲＧｒ（ｉ，ｊ）とＢＧｒ（ｉ，ｊ）及び輝度情報ＬｏｇＹｒ（ｉ，ｊ）の特徴量を、次式（１）及び次式（２）と、領域毎に平均された各カラーフィルタの画素値の平均値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）及びＢ（ｉ，ｊ）とを用いて算出し、記憶部２１に画像３０ａ及びそれらの特徴量を記録する。

なお、（ｉ，ｊ）は、各領域の位置を表し、ｉ及びｊ＝０，１，２の数である。また、式（２）の各係数Ｋ１、Ｋ２及びＫ３は製造段階までにあらかじめ決定される値である。また、基準画像の大きさは、本体側ＣＰＵ１９の処理能力や要求される追尾精度に応じて適宜設定するのが好ましい。本実施形態においては、例えば、ＡＦ領域Ａ３４の大きさの３〜５倍くらいの大きさとしている。また、記憶部２１には、ＲＡＭ（Random Access Memory）等の半導体メモリを適宜選択して用いることができる。

ステップＳ１６：本体側ＣＰＵ１９は、測光センサ１０に次のフレームの画像３０ｂを撮像させる。

ステップＳ１７：本体側ＣＰＵ１９は、測光センサ１０によって撮像された画像３０ｂのデータを、Ａ／Ｄ変換部（不図示）でデジタル信号に変換し画像処理部１７へ転送する。画像処理部１７は、転送されてきた画像データに対して、補間処理やホワイトバランス処理等の画像処理を行う。同時に、画像処理部１７は、画像３０ｂを、例えば、基準画像４０を３×３の領域に分解した時と同じ大きさの領域に分割して、各領域における色情報ＲＧ（ｘ，ｙ）とＢＧ（ｘ，ｙ）及び輝度情報ＬｏｇＹ（ｘ，ｙ）の特徴量を、式（１）及び式（２）と領域毎に平均された各カラーフィルタの画素値の平均値Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）及びＢ（ｘ，ｙ）とを用いて算出し、記憶部２１にそれらの特徴量を記録する。なお、（ｘ，ｙ）は、各領域の位置を表し、ｘ＝１，２，…，Ｍ−２及びｙ＝１，２，…，Ｎ−２（Ｍ及びＮは、１，２，３，…自然数の自然数）である。

ステップＳ１８：本体側ＣＰＵ１９は、基準画像４０の特徴量ＲＧｒ（ｉ，ｊ）、ＢＧｒ（ｉ，ｊ）及びＬｏｇＹｒ（ｉ，ｊ）と、画像３０ｂのＲＧ（ｘ，ｙ）、ＢＧ（ｘ，ｙ）及びＬｏｇＹ（ｘ，ｙ）とを用い、次式（３）による位置（ｘ，ｙ）での特徴量の差分絶対値和Ｄｉｆｆ（ｘ，ｙ）を算出する。

本体側ＣＰＵ１９は、式（３）で求めた、各位置（ｘ，ｙ）における特徴量の差分絶対値和Ｄｉｆｆ（ｘ、ｙ）のうち、最も小さい値となった位置の画像３０ｂの領域が、基準画像４０との相関が高く類似している領域５０と判断する。

ステップＳ１９：本体側ＣＰＵ１９は、ステップＳ１８における相関処理によって、基準画像４０と類似する領域５０が１つであるか否かを判定する。即ち、ステップＳ１８における相関処理は、矩形領域毎に出力を平均化した値を用いて行っているので、被写体の形状の変化（例えば、人物の姿勢の変化等）に対してはあまり影響を受けない。しかしながら、例えば、図４（ｂ）のような画像３０ｂにおいて、被写体の服の色と背景の色とが似ているために領域６０が、領域５０とともに類似する領域として判定される等の場合がある。

そこで、本体側ＣＰＵ１９は、類似する領域５０が１つであると判定した場合、領域５０を被写体追尾の対象領域として、ステップＳ２２（ＹＥＳ側）へ移行する。一方、本体側ＣＰＵ１９は、類似する領域５０とともに、１以上の領域６０があると判定した場合、ステップＳ２０（ＮＯ側）へ移行する。

ステップＳ２０：本体側ＣＰＵ１９は、例えば、図４（ｂ）に示すように、ステップＳ１８において領域５０と領域６０との２つの領域が抽出された場合において、いずれの領域が基準画像４０に類似する領域であるかを決定するために、画像３０ａとの相関処理に基づいて、画像３０ｂにおける動きベクトルを算出する。具体的には、本体側ＣＰＵ１９は、画像３０ａと画像３０ｂとを、例えば、図５に示すように、画像３０ａ及び画像３０ｂを複数の小領域７０に分割する。本体側ＣＰＵ１９は、画像３０ａと画像３０ｂとで互いに対応する小領域７０毎に、次式（４）による相関処理を行い、各小領域７０でのＶＤｉｆｆ（ｕ，ｖ）が最小となる（ｕ，ｖ）（動きベクトル）を算出する。なお、小領域７０の大きさは、任意の大きさに決めることができ、本実施形態においては、例えば、９×６の領域に分割できる大きさとした。

ここで、Ｒａ（ｘ１，ｙ１）、Ｇａ（ｘ１，ｙ１）及びＢａ（ｘ１，ｙ１）は画像３０ａの各カラーフィルタの画素値を表し、Ｒｂ（ｘ１，ｙ１）、Ｇｂ（ｘ１，ｙ１）及びＢｂ（ｘ１，ｙ１）は画像３０ｂの各カラーフィルタの画素値を表し、（ｘ１，ｙ１）は各画像の画素の位置の座標である。Ｓは、小領域７０を示している。また、式（４）は、各小領域７０におけるそれぞれの画素値の差の絶対値和を算出するため、画像３０ｂのように被写体の形状が大きく変化することなく、且つデジタルカメラ１のフレーミングが動いているような場合には、正確に動きベクトルを算出することができる。

ステップＳ２１：本体側ＣＰＵ１９は、ステップＳ２０で算出された、画像３０ｂの各小領域７０における動きベクトルに基づいて、領域５０と領域６０のうち、背景領域であるのはどちらかを判定する処理を行う。この処理は、領域５０と略同一の動きを示す領域内の小領域７０の数と、領域６０と略同一の動きを示す領域内の小領域７０の数とを比べた場合に、数が多い方の領域（以下、この領域を「動き同一領域」という）を背景領域であると判定する。以下、その判定について具体的に説明する。

例１の現画像３０ｂは、デジタルカメラ１を動かさない（構図を変えない）状態で、被写体の人物が左へ移動した場合を示す。なお、図５の前の画像３０ａは図４（ａ）に対応し、図５の例１の現画像３０ｂは図４（ｂ）に対応する。例１の現画像３０ｂの右図は、式（４）による前の画像３０ａと例１の現画像３０ｂとの相関処理によって求めた、各小領域７０における動きベクトルの算出結果を示す。各小領域７０内に記載された矢印は、算出された動きベクトルの方向を示している。矢印が記載されていない小領域７０は、動きが非常に小さい（動きベクトル≒０）領域であることを示している。以下の例２の場合も同様である。

例１の場合、被写体の人物を含む領域５０では、人物の移動に伴って左方向に向く動きベクトルが算出されている。そして、領域５０と隣接する小領域７０では、領域５０と同様の方向に向く動きベクトルが算出されるが、その隣接する小領域７０より領域５０から離れた小領域７０は、領域５０と異なる方向の動きベクトル（動きベクトル≒０の領域）が多くなる。

一方、領域６０では、動きベクトル≒０が算出され、領域６０の周囲の小領域７０でも、領域６０と同様の動きベクトル（動きベクトル≒０）が算出されるが、領域６０の周辺における領域６０と同様の動きベクトルの小領域７０の数は、領域５０の周辺における領域５０と同様の動きベクトルの小領域７０の数よりも多い。

以上のように、領域６０と同様の動きベクトルの小領域７０の方が多いことから、領域６０と同様の動きベクトルの小領域７０によって形成されている領域が、動き同一領域（すなわち、背景領域）と判定される。その結果、領域６０は被写体追尾の対象領域から除外される。

一方、図５の例２の現画像３０ｂは、被写体の人物が動いたので、前の画像と同様の位置に人物像を持ってくるようにデジタルカメラ１を動かした（構図変更した）場合を示す。例２の現画像３０ｂの右図は、式（４）による前の画像３０ａと例２の現画像３０ｂとの相関処理によって求めた、各小領域７０における動きベクトルの算出結果を示す。

例２の場合、被写体の人物を含む領域５０は、人物の移動に追従させるようにデジタルカメラ１を動かしたため、動きベクトル≒０が算出されている。そして、領域５０と隣接する小領域７０では動きベクトル≒０が算出されるが、その隣接する小領域７０より領域５０から離れた小領域７０は、領域５０と異なる方向の動きベクトル（右方向に向く動きベクトル）が算出される小領域７０が多くなる。

一方、領域６０では、デジタルカメラ１を動かした量に応じた右方向に向く動きベクトルが算出されている。そして、領域６０の周囲の小領域７０でも、領域６０と同様の動きベクトルが算出されるが、領域６０の周辺における領域６０と同様の動きベクトルの小領域７０の数は、領域５０の周辺における領域５０と同様の動きベクトルの小領域７０の数よりも多い。

このような本体側ＣＰＵ１９での判断の結果、ステップＳ１８で基準画像４０と相関が高く類似していると判定された領域５０及び領域６０のうち、領域５０が被写体追尾の対象領域であると決定される。

ステップＳ２２：本体側ＣＰＵ１９は、ステップＳ１８の検索結果又はステップＳ２１の決定によって被写体追尾の対象領域とされた領域５０に基づいて、焦点を合わせるべきＡＦ領域がＡＦ領域Ａ３４から移動すべきか否かを判定する。即ち、図４（ｂ）に示すように、領域５０が、左方向に大きくずれた場合には、本体側ＣＰＵ１９は、焦点を合わせるべきＡＦ領域をＡＦ領域Ａ３４からＡＦ領域Ａ２４へ移動する（図２（ｂ））。そして、本体側ＣＰＵ１９は、位相差方式の焦点検出に基づいて、ＡＦ領域Ａ２４で合焦するように、交換レンズ部１ｂのレンズ側ＣＰＵ７を介して、レンズ駆動部４及び絞り制御部６に撮像レンズ２及び絞り３を駆動させてＡＦ動作させる。同時に、本体側ＣＰＵ１９は、不図示の電子ビューファインダやデジタルカメラ１の背面に設けられる表示部（不図示）に、ＡＦ領域が変更されたことを知らせるメッセージ又は記号等を表示して、ユーザに知らせる。また、本体側ＣＰＵ１９は、画像３０ｂを、次のフレームで撮像される画像において、ステップＳ２０で式（４）による相関処理に基づいて動きベクトルを求めるための画像３０ａとして、記憶部２１に記録する。

ステップＳ２３：本体側ＣＰＵ１９は、ユーザによって不図示の操作部材であるレリーズ釦が半押し状態が維持されているか否かを判定する。本体側ＣＰＵ１９は、ユーザがレリーズ釦の半押しを維持している場合、ステップＳ１５（ＮＯ側）へ移行し、測光センサ１０によって次のフレームの画像を撮像して、ステップＳ１５〜ステップＳ２２の被写体追尾を行う。一方、本体側ＣＰＵ１９は、ユーザによるレリーズ釦の半押し解除の信号、又はユーザによってレリーズ釦が全押しされ本撮像の指示の信号を受信した場合（ＮＯ側）、一連の被写体追尾の処理を終了する。

このように本実施形態では、被写体追尾の基準となる領域の画像を基準画像４０として抽出し、その基準画像４０の特徴量と撮像された画像３０ｂの特徴量とに基づいて、基準画像４０に類似する画像３０ｂにおける被写体追尾の対象領域である領域５０を検索するとともに、たとえ画像３０ｂにおいて複数の類似する被写体追尾の対象領域が検索されたとしても、画像３０ｂとその画像３０ｂが撮像された直前のフレームの画像３０ａとの相関処理により動きベクトルを求めることにより、基準画像４０に類似し被写体追尾の対象領域を領域５０の１つに決定することができ、所望の被写体を確度高く追尾することができる。

また、基準画像４０の特徴量と撮像された画像３０ｂの特徴量とに基づいて、基準画像４０に類似する画像３０ｂにおける被写体追尾の対象領域である領域５０を検索するにあたり、領域毎に平均された各カラーフィルタの画素値の平均値を用いて、式（３）による相関処理を行うために、処理の高速化とともに、大きな記憶部２１の記憶容量を必要としないことから、回路規模の小型化を図ることができる。

さらに、画像３０ｂとその画像３０ｂが撮像された直前のフレームの画像３０ａとの相関処理により動きベクトルを求める際には、画像３０ａ及び画像３０ｂのデータの個々の画素値を用いることから、たとえ追尾対象の被写体の色情報又は輝度情報の特徴量が背景の一部のものと類似していたとしても、類似している背景の一部を誤追尾してしまうということを回避することができる。
≪実施形態の補足事項≫
本実施形態では、ステップＳ２０において、式（４）を用いて求めた動きベクトルに基づいて、動き同一領域は背景領域であると推定できる。しかしながら、追尾対象の被写体が静止している、デジタルカメラ１が三脚等に固定されている、デジタルカメラ１のフレーミングを変えている、或いは、特徴的な構造のない被写体（例えば、空など）を撮像する等の場合には、図６に示すように、ステップＳ２１において、本体側ＣＰＵ１９は、画像３０ｂ全体が動き同一領域であると判定する。そこで、このような場合には、画像３０ｂの直前のフレームで撮像された画像３０ａにおける被写体追尾の対象領域である領域５０を、画像３０ｂの被写体追尾の対象領域として用いても良い。

また、全て又は大部分の小領域７０が動き同一領域である場合、本体側ＣＰＵ１９は、動き同一領域である小領域７０全ての動きベクトルを用いて平均動きベクトルを求め、画像３０ａをその平均動きベクトル分ずらして、小領域７０毎に画像３０ｂの各画素値との差の絶対値和を算出する。そして、本体側ＣＰＵ１９は、その各小領域７０の差の絶対値和のうち、所定値より大きい小領域７０を被写体が背景に対して動いている領域、及び所定値以下の小領域７０を背景領域である動き同一領域と推定することで、ステップＳ１７で求めた特徴量の差分絶対値和Ｄｉｆｆ（ｘ，ｙ）の値と併せて、被写体追尾の対象領域である領域５０を決定しても良い。

なお、本実施形態では、図２（ａ）及び（ｂ）に示すように、デジタルカメラ１の撮像領域２５にマトリックス状にＡＦ領域が配列されていたが、二次元状に任意の配列で分布させても良い。

なお、本実施形態では、焦点を合わせたいＡＦ領域を、ユーザが電子ビューファインダ等を覗きながら、不図示の操作部材である十字釦等でカーソルを操作して焦点を合わせたいＡＦ領域を決定するとしたが、次のようにしても良い。例えば、あらかじめユーザによって指定されていても良いし、表示部（不図示）の前面に設けられるタッチパネルを、ユーザが触れることによってＡＦ領域が指定されるようにしても良い。

なお、本実施形態では、ステップＳ１４において、本体側ＣＰＵ１９が選択されたＡＦ領域において合焦したと判定した場合、ステップＳ１５以降の処理を行うとしたが、次のようにしても良い。例えば、不図示の操作部材は追尾開始釦を備え、ユーザが、選択したＡＦ領域で被写体を捉えたと判断した場合、その追尾開始釦を押すことにより、ステップＳ１５以降の処理が行われるようにしても良い。或いは、ユーザが、選択したＡＦ領域で合焦したと判断した場合、再度レリーズ釦を半押しすることによって、ステップＳ１５以降の処理が行われるようにしても良い。

なお、本実施形態では、被写体追尾を測光センサ１０によって撮像された画像に基づいて行ったが、次のようにしても良い。例えば、撮像素子１６によるスルー画を用いて行われても良い。この場合、ユーザが操作部材（不図示）のレリーズ釦を半押しすると、本体側ＣＰＵ１９の指示に基づいて、クイックリターンミラー１１を撮像レンズ２からの光束の光路から退避し、シャッタ制御部２１によってシャッタ１４を開放され、撮影レンズ２からの光束が撮像素子１６に導かれることで、所定のフレームレート（例えば、３０ｆｐｓ）によるスルー画の撮像が開始するように設定されるのが好ましい。

なお、本実施形態では、基準画像４０の大きさを、ＡＦ領域の大きさの３〜５倍等としたが、例えば、次のように、本体側ＣＰＵ１９や画像処理部１７の処理能力や求められる精度に応じて、任意の大きさで基準画像４０を抽出しても良い。

なお、本実施形態では、基準画像４０を、３×３の領域に分割して、各領域における色情報ＲＧｒ（ｉ，ｊ）とＢＧｒ（ｉ，ｊ）及び輝度情報ＬｏｇＹｒ（ｉ，ｊ）の特徴量を求めたが、例えば、次のように、２×２や４×４等の領域に分割して、各領域についてそれらの特徴量を求めても良い。

なお、本実施形態では、画像３０ａと画像３０ｂとの相関処理によって動きベクトルを求めるにあたり、図５に示すように、画像３０ａ及び画像３０ｂそれぞれを９×６の小領域７０に分割したが、例えば、次のように、２０×１５や３０×２０等の小領域７０に分割して、各小領域７０の動きベクトルを求めても良い。

なお、本実施形態では、ステップＳ２０において、画像３０ａ及び画像３０ｂを分割した全ての小領域７０毎に動きベクトルを算出したが、次のように行っても良い。例えば、全ての小領域７０についてではなく、例えば、１つおき等の一部の小領域７０についての動きベクトルのみを算出しても良い。これにより、動きベクトルを算出するための本体側ＣＰＵ１９の演算負荷を小さくすることができるとともに、処理の高速化を図ることができる。

なお、本発明は、その精神又はその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されてはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

１デジタルカメラ、１ａカメラ本体、１ｂ交換レンズ部１ｂ、２撮像レンズ、３絞り、４レンズ駆動部、５距離検出部、６絞り制御部、７レンズ側ＣＰＵ、８ペンタプリズム、９再結像レンズ、１０測光センサ、１１クイックリターンミラー、１２サブミラー、１３焦点板、１４シャッタ、１５接眼レンズ、１６撮像素子、１７画像処理部、１８焦点検出部、１９本体側ＣＰＵ、２０シャッタ制御部、２１記憶部

Claims

撮像された第１の画像と設定された基準画像とのそれぞれの特徴量に基づいて、前記第１の画像内の前記基準画像に類似する領域を抽出する領域抽出部と、
前記第１の画像とは異なる時刻に撮像された第２の画像と前記第１の画像とから、前記第１の画像内の複数の領域の各々における動きベクトルを算出する動きベクトル算出部と、
前記領域抽出部での抽出結果と前記動きベクトル算出部での算出結果とに基づいて、前記第１の画像における被写体追尾の対象領域を決定する制御部と、を備え、
前記制御部は、
前記領域抽出部によって抽出された前記基準画像と類似する複数の領域から、前記動きベクトル算出部による前記第１の画像の複数の領域の各々における動きベクトルに基づいて、前記被写体追尾の対象領域から除外する領域を決定する
ことを特徴とする被写体追尾装置。
請求項１に記載の被写体追尾装置において、
前記制御部は、
前記領域抽出部によって抽出された前記基準画像と類似する複数の領域のうち、周囲に動きベクトルの向きが略同一の領域が多い領域を前記被写体追尾の対象領域から除外する領域とする
ことを特徴とする被写体追尾装置。
請求項２に記載の被写体追尾装置において、
前記制御部は、
前記被写体追尾の対象領域から除外する領域がないと判断した場合は、前記第１の画像より前に撮像された画像における前記被写体追尾の対象領域と同一の位置にある領域を、前記被写体追尾の対象領域として決定する
ことを特徴とする被写体追尾装置。
撮像された第１の画像と設定された基準画像とのそれぞれの特徴量に基づいて、前記第１の画像内の前記基準画像に類似する領域を抽出する領域抽出部と、
前記第１の画像とは異なる時刻に撮像された第２の画像と前記第１の画像とから、前記第１の画像内の複数の領域の各々における動きベクトルを算出する動きベクトル算出部と、
前記領域抽出部での抽出結果と前記動きベクトル算出部での算出結果とに基づいて、前記第１の画像における被写体追尾の対象領域を決定する制御部と、を備え、
前記制御部は、
前記領域抽出部によって抽出された前記基準画像と類似する複数の領域のうち、周囲に動きベクトルの向きが異なる領域が多い領域を前記被写体追尾の対象領域に決定する
ことを特徴とする被写体追尾装置。
請求項１ないし請求項４のいずれか１項に記載の被写体追尾装置において、
撮像された画像内の領域を前記基準画像として抽出する抽出部を、さらに備える
ことを特徴とする被写体追尾装置。
請求項１ないし請求項５のいずれか１項に記載の被写体追尾装置において、
前記第２の画像は、前記第１の画像よりも前に撮像された画像である
ことを特徴とする被写体追尾装置。
請求項１ないし請求項６のいずれか１項に記載の被写体追尾装置において、
画像の特徴量を算出する特徴量算出部を有し、
前記特徴量算出部は、前記基準画像及び前記第１の画像の各々を所定の大きさの領域に分割して、前記所定の大きさの領域毎に前記特徴量を算出し、
前記領域抽出部は、前記特徴量算出部によって算出された、前記基準画像及び前記第１の画像それぞれの前記所定の大きさの領域毎に求めた前記特徴量に基づいて、前記基準画像と前記第１の画像との相関を取り、前記第１の画像のうち前記相関の値が相対的に大きい領域を、前記基準画像に類似する領域として抽出する
ことを特徴とする被写体追尾装置。
請求項１ないし請求項７のいずれか１項に記載の被写体追尾装置において、
前記動きベクトル算出部は、前記第１の画像と前記第２の画像とをそれぞれ前記複数の領域に分割して、対応する分割された前記領域毎における相関を取ることによって、前記第１の画像の複数の領域の各々における動きベクトルを算出する
ことを特徴とする被写体追尾装置。
請求項１ないし請求項８のいずれか１項に記載の被写体追尾装置において、
前記制御部は、
前記第１の画像の複数の領域の各々における動きベクトルのうち、互いに略同一である複数の前記動きベクトルを用いて平均動きベクトルを算出して、前記第２の画像の前記複数の領域の各々を前記平均動きベクトル分ずらし、前記複数の領域毎に前記第１の画像と前記第２の画像との差分を求めることによって、前記被写体追尾の対象領域を決定する
ことを特徴とする被写体追尾装置。
請求項１ないし請求項９のいずれか１項に記載の被写体追尾装置において、
前記第１の画像及び前記第２の画像それぞれは、連続的に撮像された複数の画像のうちの１つである
ことを特徴とする被写体追尾装置。
被写体像を撮像して画像を取得する撮像部と、
請求項１ないし請求項１０のいずれか１項に記載の被写体追尾装置と、
を備えることを特徴とする撮像装置。