JP5127692B2 - 撮像装置及びその追尾方法 - Google Patents

Description

本発明は、ビデオカメラやデジタルカメラ等の撮像装置において、動画像における被写体を特定して追尾する技術に関するものである。

画像から特定の被写体を自動的に検出する画像処理方法は、非常に有用であり、例えば動画像における人間の顔領域の特定に利用することができる。このような方法は、通信会議、マンマシンインタフェース、セキュリティ、人間の顔を追跡するためのモニタシステム、画像圧縮などの多くの分野で使用することができる。

また、撮影画像から顔を検出する技術によって、その検出結果を制御対象として焦点や露出を最適化させるデジタルカメラやデジタルビデオカメラが既に商品化されている。このような画像中から特定の被写体を検出する技術として、様々な手法が提案されているが、それらのほとんどはパターンマッチングに基づく手法である。

例えば、画像上の複数の異なる位置で部分画像を切り出し、その部分画像が顔領域の画像であるか否かを判別することで、画像上の顔領域を検出する方法が挙げられる。また、部分画像が顔領域であるか否かを判別する方法として、テンプレートマッチングによる手法や、ニューラルネットワークなどの学習手法により顔の特徴を学習させた識別器を用いる手法などが考えられる。

いずれの手法においても、顔領域検出のために、部分画像の画像パターンに基づいて、その部分画像が顔領域の画像である確からしさを示す信頼度を算出し、その信頼度が所定の閾値を超えた場合、その部分画像を顔領域の画像として検出する手法が一般的である。

特許文献１には、画像内に複数の特定の被写体が存在する場合であっても、より正確な自動焦点を行うために、複数の被写体から主被写体となる被写体を選択する機能を備えた撮像装置が示されている。

また、動画像のフレーム間での画像の相関値の算出による被写体の追尾技術が知られている。

また、特許文献２では、撮像された画像の中から合焦における対象被写体の画像を検出するために記憶しておく基準画像（基準パターン）を逐次更新して、対象被写体を検出し、自動焦点エリアを対象被写体に追尾させる自動焦点装置が示されている。
特開２００２−０５１２５５号公報（第１４頁、図１） 特開２００６−０５８４３１号公報（第１０頁、図３）

しかしながら、上記従来例では、つぎのような問題があった。顔検出に代表される、前述した特定の被写体を検出する技術は、画像中に顔を含むことを、確実な信頼性を持って示すことはなく、確率論的な判断に基づいていた。すなわち、この技術は、画像中に少なくとも顔を含む可能性があるという画像の数学的解析に基づいて行われた。ここで、この確率的数値を、顔らしさの信頼度と呼ぶ。

一般的に、この信頼度に所定の閾値を設定し、この信頼度が所定の閾値に達した場合、顔であることが判断される。しかし、上記所定の閾値を厳しく設定した場合、実際に被写体が存在するのにも拘わらず、被写体の検出を見逃してしまうおそれがあった。一方、上記所定の閾値を緩く設定すると、特定の被写体とは異なる領域を特定の被写体として検出する、いわゆる誤検出が多発するおそれがあった。つまり、正しい検出と誤検出にはトレードオフの関係があり、特定の値に決定することは難しいという問題があった。

また、被写体が正面を向いている場合、パターンマッチングよる顔判別は比較的容易であるが、側面を向いたり背面を向いたりした場合、顔の判別が困難になるという問題もあった。

特に、動画の場合、自動焦点や自動露出の対象が頻繁に遷移すると、落ち着きの無い映像になるので、対象の顔が左右を向いたり、上下を向いたりしても、主被写体を保持して撮影し続けたい。しかし、従来の主被写体検出技術では、主被写体の顔を検出できなくなった場合、直ちに別の顔が主被写体として扱われる。

このため、特徴としての主被写体の顔を検出できなくなった場合、フレーム間での画像の相関による被写体追尾技術を用いて、主被写体の顔相当の領域に自動焦点や自動露出の対象を追尾させ続けることが望まれる。

しかし、フレーム間での画像の相関による被写体追尾技術では、基準画像内に背景などの追尾対象以外の領域が多く含まれている場合、連続するフレーム間において、基準画像内に含まれる追尾対象以外の領域の類似性に引っ張られ、誤追尾を招く可能性が高い。

このため、追尾対象被写体の前で他の被写体と交差すると、基準画像内へ徐々に交差した被写体の画像が多く含まれるようになり、交差した被写体を誤追尾してしまうという課題があった。そして、誤追尾が続いている間、より主被写体に相応しい他の被写体へ自動焦点や自動露出の対象が遷移しないという課題があった。

そこで、本発明は、主被写体の頻繁な遷移を防ぎつつ、かつ、被写体の交差が起きる場合、主被写体以外への誤追尾を軽減し、新しい主被写体の選定を行う作業に復帰させることができる撮像装置及びその追尾方法を提供することを目的とする。

上記目的を達成するために、本発明の請求項１記載の撮像装置は、画像を撮像する撮像装置であって、画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出手段と、前記被写体検出手段から出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定手段と、動画像のフレーム間の相関性に基づき、前記追尾被写体特定手段によって特定された追尾被写体を追尾する被写体追尾手段と、前記被写体追尾手段により追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断手段と、を備え、前記所定の条件を満たす領域として、前記追尾被写体特定手段により特定された追尾被写体と重なる領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断手段は、前記追尾被写体の追尾を終了させることを特徴とする。
上記目的を達成するために、本発明の請求項２記載の撮像装置は、画像を撮像する撮像装置であって、画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出手段と、前記被写体検出手段から出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定手段と、動画像のフレーム間の相関性に基づき、前記追尾被写体特定手段によって特定された追尾被写体を追尾する被写体追尾手段と、前記被写体追尾手段により追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断手段と、を備え、前記所定の条件を満たす領域として、前記被写体追尾手段により追尾された追尾被写体の領域に対して所定の距離内において、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断手段は、前記追尾被写体の追尾を終了させることを特徴とする。
上記目的を達成するために、本発明の請求項７記載の撮像装置の追尾方法は、画像を撮像する撮像装置の追尾方法であって、画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出ステップと、前記被写体検出ステップで出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定ステップと、動画像のフレーム間の相関性に基づき、前記追尾被写体特定ステップで特定された追尾被写体を追尾する被写体追尾ステップと、前記被写体追尾ステップで追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出ステップで他の被写体が検出され、前記被写体検出ステップで当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断ステップと、を有し、前記所定の条件を満たす領域として、前記追尾被写体特定ステップにより特定された追尾被写体と重なる領域に、前記被写体検出ステップによって他の被写体が検出され、前記被写体検出ステップから当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断ステップは、前記追尾被写体の追尾を終了させることを特徴とする。
上記目的を達成するために、本発明の請求項８記載の撮像装置の追尾方法は、画像を撮像する撮像装置の追尾方法であって、画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出ステップと、前記被写体検出ステップで出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定ステップと、動画像のフレーム間の相関性に基づき、前記追尾被写体特定ステップで特定された追尾被写体を追尾する被写体追尾ステップと、前記被写体追尾ステップで追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出ステップで他の被写体が検出され、前記被写体検出ステップで当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断ステップと、を有し、前記所定の条件を満たす領域として、前記被写体追尾ステップにより追尾された追尾被写体の領域に対して所定の距離内において、前記被写体検出ステップから当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断ステップは、前記追尾被写体の追尾を終了させることを特徴とする。

本発明の請求項１に係る撮像装置は、追尾被写体と所定の近接条件を満たす領域に、他の被写体が検出された場合、追尾被写体の追尾を終了させる。これにより、主被写体の頻繁な遷移を防ぎつつ、かつ、被写体の交差が起きる場合、主被写体以外への誤追尾を軽減し、新しい主被写体の選定を行う作業に復帰させることができる。さらに、被写体の交差が起きる場合として、追尾被写体と重なる領域に、他の被写体が検出された場合、追尾を終了させるので、誤追尾を確実に軽減することができる。
本発明の請求項２に係る撮像装置によれば、追尾被写体の領域に対して所定の距離内で被写体検出手段から他の被写体の被写体領域情報が出力される場合に、追尾を終了させる。これにより、被写体の交差が予測される場合において、主被写体以外への誤追尾を軽減することができる。
請求項３に係る撮像装置によれば、他の被写体を検出する領域を動画像のフレーム間の相関性をとる距離内に設定することで、次回の被写体の交差を適切に予測することができる。
請求項４に係る撮像装置によれば、検出された他の被写体のサイズと追尾被写体のサイズとを比較することで、交差する可能性が高いか低いかを判断し、追尾の終了あるいは継続を適切に行うことができる。
請求項５に係る撮像装置によれば、追尾被写体のサイズを同一の被写体が検出された時点の当該被写体のサイズにするので、被写体のサイズの比較を正確に行うことができる。
請求項６に係る撮像装置によれば、検出された被写体の信頼度が低い場合、被写体領域情報を出力しないので、被写体の検出の信頼度を高めることができる。

本発明の撮像装置及びその追尾方法の実施の形態について図面を参照しながら説明する。

［第１の実施形態］
図１は第１の実施形態における撮像装置の構成を示すブロック図である。この撮像装置では、測距ＡＦ用瞳分割光学系１０１を通して、位相差検出センサ１００に２つの被写体像が結像する。この位相差検出センサ１００によって２つの像の位相差量を検出することで、三角測距法により被写体までの距離信号がフォーカス制御回路１１０に入力される。なお、測距ＡＦ用瞳分割光学系と位相差検出センサの組合せによる三角測距の原理は公知であるので、その詳細な説明を省略する。

ズームレンズ１０２は、光軸方向に移動して撮影光学系の焦点距離を変更可能である。ズームモータ１０３は、ズーム制御回路１０４の指令で駆動され、ズームレンズ１０２を移動させる。フォーカスレンズ１０５は、光軸方向に移動して撮影光学系の焦点調節を行う。フォーカスモータ１０６は、フォーカス制御回路１１０の指令で駆動され、フォーカスレンズ１０５を移動させる。

撮像素子１０７はＣＭＯＳセンサ等である。撮像素子１０７に結像した被写体像は、光電変換され、撮像信号処理回路１０８から撮像信号として出力される。撮像信号処理回路１０８から出力された撮像信号は、ＡＦ信号処理回路１０９に入力される。

ＡＦ信号処理回路１０９は、コントラスト検出方式のＡＦ制御のためのＦＶ信号（ＡＦ評価値）と合焦度を表すＩＦＡ信号を生成し、フォーカス制御回路１１０に出力する。

フォーカス制御回路１１０は、距離信号、ＡＦ評価値ＦＶおよび合焦度ＩＦＡに基づき、フォーカスモータ１０６を駆動することで、フォーカスレンズ１０５を移動させ、自動焦点（ＡＦ）制御を行う。

撮像信号処理回路１０８から出力された画像信号は、メモリ１１３に一時的に蓄積される。メモリ１１３に蓄積された画像信号は、コーデック１１４によって圧縮処理され、記録媒体１１２に記録される。この圧縮・記録処理と並行して、メモリ１１３に蓄積された画像信号は、画像処理回路１１５によって最適なサイズにリサイズ処理されるとともに、顔枠等が重畳し、モニタ１１８に表示される。こうして、撮影画像はリアルタイムで撮影者にフィードバックされる。また、撮影直後、モニタ１１８に所定時間だけ撮影画像が表示されるので、撮影画像の確認を行うことも可能になる。

顔検出部１１６（被写体検出手段）は、撮像信号処理回路１０８からメモリ１１３に出力された画像信号による画像と、予めメモリ１１３の内部に記憶されたデータベース画像とをテンプレートマッチング等により比較する。この比較によって、複数の被写体における、顔の位置や大きさ、顔の数、顔の信頼度（確からしさ）等の情報がＣＰＵ１１１に出力される。

ここで、信頼度とは、検出結果の確からしさを示した値であり、顔検出の処理過程の中で決定される。また、信頼度の算出方法の一例として、予め記憶された被写体の画像の特徴と、顔検出部１１６により検出された領域の画像の特徴とを比較し、検出された顔領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法がある。その他、予め記憶された被写体の画像の特徴と、顔検出部１１６により検出された顔領域の画像の特徴との差を算出し、その差の大きさから信頼度を算出する方法などがある。

そして、出力された信頼度のレベルが高い場合、誤検出の可能性が低く、出力された信頼度のレベルが低い場合、誤検出の可能性が高い。なお、テンプレートマッチングの顔検出方式は単なる一例であり、本発明は他の方式で顔の検出を行ってもよい。

画像相関追尾部１１７は、メモリ１１３に蓄積された過去の画像（例えば１フレーム前）と現在の画像を比較することで、後述するように、被写体の位置を特定し、ＣＰＵ１１１に出力する。これにより、被写体の追尾が可能になる。

ＣＰＵ１１１は、顔検出部１１６からの顔の位置や大きさ、信頼度および画像相関追尾部１１７からの被写体位置情報に基づき、被写体位置を決定し、フォーカス／測光すべき画面内の位置を特定する。また、図１に示すように、ＣＰＵ１１１および各ブロックは、バス１１９を介して接続されている。各ブロックは、ＣＰＵ１１１がその内部のプログラムを実行することによって制御される。

次に、画像相関追尾部１１７の動作を、図２に基づいて説明する。画像相関追尾部１１７は、撮影画像（現在の撮影画像）Ｐ（２０１）と、過去の基準となる記憶画像Ｑ（２０２）を比較することにより、追尾対象の被写体を抽出する。この場合、画像相関追尾部１１７は、基準となる記憶画像Ｑとしては、例えばメモリ１１３に一時記憶された１フレーム過去の画像を用いる。

例えば、同図（Ａ）では、基準となる記憶画像Ｑにおいて、追尾対象である被写体が存在する基準エリア２０４がＱ（Ｉ’，Ｊ’）、Ｑ（Ｉ”，Ｊ’）、Ｑ（Ｉ’，Ｊ”）およびＱ（Ｉ”，Ｊ”）で囲まれたエリアに設定されている。

画像相関追尾部１１７は、現在の撮影画像Ｐに基準エリア２０４と同じサイズの比較エリア２０３を設定し、この比較エリア２０３と基準エリア２０４の間で、対応する位置の画素の画素値を比較し、その総和を相関値Ｌとして計算する。

この比較エリア２０３は、基準エリア２０４と同じ座標となる位置を基準位置として、それぞれ所定の画素数だけ正／負方向に２次元空間的にシフトされ、基準位置およびシフトされた位置のそれぞれにおいて、相関値Ｌが求められる。

ここで、基準エリア２０４内の画素の画素値をＱ（ｉ，ｊ）、基準エリア２０４と同じ座標となる基準位置から水平方向にｎ、垂直方向にｍだけシフトさせた比較エリア２０３内の画素の画素値をＰ（ｉ＋ｎ，ｊ＋ｍ）とする。この位置おける基準エリア２０４と比較エリア２０３の相関値Ｌ（ｎ，ｍ）を計算するための式は、下記（１）で表される。

ただし、ｎ＝０，±１，±２、…±Ｎ
ｍ＝０，±１，±２、…±Ｍ
画像相関追尾部１１７は、例えば基準エリア２０４と同じ座標となる基準位置、すなわちｎ＝０，ｍ＝０の場合の相関値を、Ｌ（０，０）として出力する。そして、画像相関追尾部１１７は、ｎ，ｍを、それぞれ所定の画素数だけ正／負方向に２次元空間的にシフトしながら相関値Ｌ（ｎ，ｍ）を求める。現在の撮影画像Ｐ（２０１）上に点線で示した範囲２０５は、ｎ，ｍをそれぞれ０〜±Ｎ、０〜±Ｍまで変化させたときに、比較エリアとなり得る範囲を示したものである。

次に、画像相関追尾部１１７は、範囲２０５内の全てのシフト位置における相関値Ｌ（ｎ，ｍ）の最大値と最小値の差を求め、この差を最大相関差ＴＬＶとして出力する。

同図（Ｂ）は、最大相関差ＴＬＶが大きい場合を例示し、同図（Ｃ）は最大相関差ＴＬＶが小さい場合を例示している。同図（Ｂ）、（Ｃ）では、１次元でのグラフになっているが、画像相関追尾部１１７は、実際には２次元の空間的に最大相関差ＴＬＶを計算する。

相関値Ｌは、２つの画像が一致すると小さくなり、２つの画像が一致しないと大きくなるため、一致する画像が比較エリアの中に存在する場合は、最大相関差ＴＬＶが大きくなり、一致する画像がはっきりしないときには、ＴＬＶが小さくなる可能性が高い。

最大相関差ＴＬＶを算出するのは、実際には、被写体の風や振動での揺れ等や、被写体の回転等があり、２つの画像がぴったり一致しないために、追尾被写体の確からしさを最大相関差ＴＬＶを用いて評価するためである。

そして、画像相関追尾部１１７は、最大相関差ＴＬＶが閾値以上であれば、相関値Ｌ（ｎ，ｍ）が最大であった比較エリアを新たな基準エリア２０４として更新し、追尾動作を行う。このように、動画像のフレーム間の相関性に基づき、最大相関差ＴＬＶとなる位置を繰り返し見つけることで、追尾動作を行う（被写体追尾手段）。

なお、２つの画像の相関の取り方には、さまざまな方式が考えられるので、本実施形態のように、画像比較による相関演算の方式は、単なる一例である。本発明はこの相関演算の方式にとらわれるものではない。

つぎに、顔検出部１１６から出力された顔検出データを用いて、顔のＩＤを決定した後、顔のＩＤを維持し続ける処理について説明する。まず、図３を用いて、顔のＩＤを決定し、顔のＩＤを保持する条件について説明する。図３はフレームｎの被写体ｊおよび１フレーム前のフレームｎ−１の被写体ｉを示す図である。

顔検出部１１６から受け取ったＮフレーム目の被写体の顔Ａに対する顔検出データは、信頼度＝ＲＬＶ（Ａ，Ｎ）、位置Ｘ＝ＦＸＰ（Ａ，Ｎ）、位置Ｙ＝ＦＹＰ（Ａ，Ｎ）、サイズ＝ＦＷ（Ａ，Ｎ）である。また、検出された顔総数はＦＭＡＸ（Ｎ）である。

ｎ−１フレームの顔ｉ（ｉ＝１〜ＦＭＡＸ（ｎ−１））と、ｎフレームの顔ｊ（ｊ＝１〜ＦＭＡＸ（ｎ））とが、顔位置を基準にして、同一の顔であるか否かは、数式（２）に従って判断される。この数式（２）を条件式Ａとする。

条件式Ａ： （｜ＦＸＰ（ｊ，ｎ）−ＦＸＰ（ｉ，ｎ−１）｜＋｜ＦＹＰ（ｊ，ｎ）−ＦＹＰ（ｉ，ｎ−１）｜）／ＦＷ（ｊ，ｎ） ＜ ＰＴＨ１ …… （２）
また、ｎ−１フレームの顔ｉ（ｉ＝１〜ＦＭＡＸ（ｎ−１））と、ｎフレームの顔ｊ（ｊ＝１〜ＦＭＡＸ（ｎ））とが、顔の大きさを基準にして、同一の顔であるか否かは、数式（３）に従って判断される。この数式（３）を条件式Ｂとする。

条件式Ｂ： ｜ＦＷ（ｊ，ｎ）−ＦＷ（ｉ，ｎ−１）｜／ＦＷ（ｊ，ｎ） ＜ ＷＴＨ１ …… （３）
また、ｎフレームにおいて検出された顔ｊの信頼度が所定値ＲＴＨ１よりも高いか否かは、数式（４）に従って判断される。この数式（４）を条件式Ｃとする。

条件式Ｃ： ＲＬＶ（ｊ，ｎ）＞ＲＴＨ１ …… （４）
また、ｎ−１フレームにおいて検出された顔ｉの信頼度が所定値ＲＴＨ１よりも高いか否かは、数式（５）に従って判断される。

条件式Ｄ： ＲＬＶ（ｉ，ｎ−１）＞ＲＴＨ１ …… （５）
図４は顔のＩＤ検出処理手順を示すフローチャートである。この処理プログラムはＣＰＵ１１１内のＲＯＭに格納されており、ＣＰＵ１１１によって実行される。ここでは、ｎフレーム目の処理を示す。

顔のＩＤ検出処理を開始すると、まず、ＣＰＵ１１１は、顔検出部１１６からの顔検出データ（各顔の信頼度、位置Ｘ、位置Ｙ、サイズ）を受け取る（ステップＳ１）。なお、位置Ｘ、位置Ｙ、サイズは被写体領域情報の一例である。ＣＰＵ１１１は、顔検出総数ＦＭＡＸ（ｎ）を顔検出部１１６から受信する（ステップＳ２）。

ＣＰＵ１１１は、被写体を表す変数ＦＮＯに値１を代入する（ステップＳ３）。ＣＰＵ１１１は、ｊ＝ＦＮＯの被写体である顔について、条件式Ｃを満たすか否かを判別する（ステップＳ４）。条件式Ｃを満たさない場合、ＣＰＵ１１１はステップＳ９の処理に進む。

一方、条件式Ｃを満たす場合、ＣＰＵ１１１は、ｊ＝ＦＮＯの顔について、ｉ＝１〜ＦＭＡＸ（ｎ−１）の全ての顔に対し、条件式Ａ、条件式Ｂおよび条件式Ｄの評価を行い、これら全ての条件を満たす顔が存在するか否かを判別する（ステップＳ５）。

ＣＰＵ１１１は、ステップＳ５の判別の結果、前フレームで検出された顔ｉと同一の顔が存在するか否かを判断する（ステップＳ６）。同一の顔が存在しない（Ｎ）場合、ＣＰＵ１１１は、新規の顔であるとして、新規に顔のＩＤを割り当てるとともに、顔の位置や大きさ、信頼度等のデータを登録する（ステップＳ７）。

一方、同一の顔が存在する（Ｙ）場合、ＣＰＵ１１１は、従来と同じ顔であるので、従来のＩＤを引き継ぎ、従来のＩＤに対し、顔の位置や大きさ、信頼度等のデータを更新する（ステップＳ８）。

ステップＳ７、Ｓ８の処理後、ＣＰＵ１１１は、変数ＦＮＯの値をインクリメントする（ステップＳ９）。ＣＰＵ１１１は、変数ＦＮＯが最大値ＦＭＡＸ（ｎ）を超えたか否かを判断する（ステップＳ１０）。最大値ＦＭＡＸ（ｎ）を超えていない場合（Ｎ）、ＣＰＵ１１１はステップＳ４の処理に戻る。一方、最大値ＦＭＡＸ（ｎ）を越えた場合（Ｙ）、ＣＰＵ１１１は本処理を終了する。

図５は顔のＩＤを検出する動作を繰り返した際の信頼度および顔のＩＤの遷移を示す図である。図中、（１）では、初めての顔を検出したので、ＩＤ＝０１のＩＤが検出される。（２）、（３）、（４）では、近傍に顔が存在するので、ＩＤ＝０１のＩＤが継続して検出される。（５）では、信頼度が所定値ＲＴＨ１（ここでは、値２）以下であるので、顔は検出されないとみなされる。（６）、（７）でも、同様に顔は検出されないとみなされる。（８）では、信頼度が所定値ＲＴＨ１より大きいので、新規に顔を検出し、ＩＤ＝０２が割り当てられる。（９）、（１０）、（１１）、（１２）では、近傍に顔が存在するので、ＩＤ＝０２のＩＤが継続して検出される。

つぎに、画像相関追尾部１１７の追尾データと顔のＩＤデータを用いて行われる被写体追尾終了判断について説明する。図６および図７は相関追尾処理手順を示すフローチャートである。この処理プログラムはＣＰＵ１１１内のＲＯＭに格納されており、ＣＰＵ１１１によって実行される。

ＣＰＵ１１１は、被写体である顔のＩＤを表す変数ＩＤＮＯに値１を代入する（ステップＳ２１）。ＣＰＵ１１１は、変数ＩＤＮＯのＩＤが、以前のフレームの画像における顔検出部１１６の直近の処理で顔が検出されたＩＤであるか否かを判断する（ステップＳ２２）。顔検出部１１６の直近の処理で顔が検出されたＩＤでない場合、ＣＰＵ１１１は、前回の追尾結果から、追尾対象の位置、大きさ等を引き継ぐ（ステップＳ２３）。

一方、ＣＰＵ１１１は、顔検出部１１６の直近の処理で顔が検出されたＩＤである場合、顔検出部１１６から引き継いだ顔の位置や大きさから、追尾対象の位置や大きさを決定する（ステップＳ２４）。このステップＳ２４の処理は追尾被写体特定手段の一例である。

ステップＳ２３、Ｓ２４の処理後、ＣＰＵ１１１は、変数ＩＤＮＯの被写体である顔に対し、画像相関追尾部１１７により、新たに得られたフレームの画像（以下、着目画像という）において相関量が最大になる被写体位置を特定する（ステップＳ２５）。

ＣＰＵ１１１は、ステップＳ２５の最大相関差ＴＬＶが所定の閾値ＴＴＨよりも小さいか否かを判定する（ステップＳ２６）。閾値ＴＴＨより小さくない場合、ＣＰＵ１１１は、顔検出部１１６でこの着目画像から検出された全ての顔のデータを取得する（ステップＳ２７）。

そして、ＣＰＵ１１１は、変数ＩＤＮＯの被写体に対する追尾領域と重なる領域に、顔として検出されたＩＤがあるか否かを判断する（ステップＳ２８）。この顔として検出されたＩＤは、被写体検出手段から出力される他の被写体の被写体領域情報の一例である。

追尾領域と重なる領域に、顔として検出されたＩＤがある場合、ＣＰＵ１１１は、変数ＩＤＮＯの被写体に対して追尾処理を終了する（ステップＳ３０）。さらに、ＣＰＵ１１１は、変数ＩＤＮＯのＩＤを削除する（ステップＳ３１）。

一方、ステップＳ２６で閾値ＴＴＨよりも小さい場合、ＣＰＵ１１１は、変数ＩＤＮＯの被写体に対して追尾処理を終了する（ステップＳ３２）。さらに、ＣＰＵ１１１は、変数ＩＤＮＯの被写体が顔検出部１１６で着目画像から検出された顔のＩＤか否かを調査する（ステップＳ３３）。変数ＩＤＮＯの被写体が検出された顔のＩＤでない場合、ステップＳ３１の処理に進む。

一方、ステップＳ２８で追尾領域と重なる領域に顔として検出されたＩＤが無い場合、ＣＰＵ１１１は、変数ＩＤＮＯの被写体の位置や大きさを、ステップＳ２５で特定された位置や大きさにデータを更新する（ステップＳ２９）。

ステップＳ２９、Ｓ３１の処理後、あるいはステップＳ３３で変数ＩＤＮＯの被写体が検出された顔のＩＤである場合、ＣＰＵ１１１は、変数ＩＤＮＯの値をインクリメントする（ステップＳ３４）。

ＣＰＵ１１１は、変数ＩＤＮＯが最大値ＩＤＭＡＸよりも大きいか否かを判別する（ステップＳ３５）。最大値ＩＤＭＡＸより大きい場合、ＣＰＵ１１１は、削除されたＩＤ等を考慮し、ＩＤの総数であるＩＤＭＡＸ値を最新の値に更新する（ステップＳ３６）。この後、ＣＰＵ１１１は相関追尾処理を終了する。一方、変数ＩＤＮＯが最大値ＩＤＭＡＸよりも大きくない場合、ＣＰＵ１１１はステップＳ２２の処理に進む。

図８は追尾動作の遷移を示す図である。図中、（１）では、信頼度が高く、２つとも顔検出された被写体であるので、ＩＤ＝０１、０２が特定されている。また、これと同時に、主被写体としたＩＤ＝０１に対し、以前のフレーム画像における直近の顔検出結果を基準エリアとして、画像相関による被写体追尾も行われている。

（２）では、近傍に顔が存在するので、ＩＤ＝０１、０２が継続して検出されるとともに、画像相関による被写体追尾も、基準エリアを顔検出された位置で更新しつつ行われている。

（３）、（４）では、近傍に顔が存在するので、ＩＤ＝０２が継続して検出されるが、ＩＤ＝０１の信頼度が所定値ＲＴＨ１（ここでは、値２）以下であるので、ＩＤ＝０１は顔検出されたとみなされない。しかし、画像相関追尾部１１７では、最大相関差ＴＬＶが所定閾値ＴＴＨよりも小さくないので、ＩＤ＝０１はそのまま引き継がれる。

（５）では、被写体の交差が起きたにもかかわらず、近傍に顔が存在するので、ＩＤ＝０２が継続して検出され、画像相関追尾部１１７では、最大相関差ＴＬＶが閾値ＴＴＨよりも小さくないので、ＩＤ＝０１のつもりでＩＤ＝０２を追尾しようとする。しかし、追尾領域と重なる領域に、顔として検出されたＩＤ＝０２があるので、前述した図６のステップＳ２８の判断により、ステップＳ３０で追尾が終了する。さらに、ステップＳ３１でＩＤ＝０１が削除されるので、誤追尾を止めることができる。

（６）では、信頼度が高く、顔検出された被写体であるので、ＩＤ＝０２が特定されると同時に、再び新しい主被写体の選定を行う作業に復帰することが可能になる。

このように、第１の実施形態の撮像装置は、追尾被写体と所定の近接条件を満たす領域に、他の被写体が検出された場合、追尾被写体の追尾を終了させる。これにより、主被写体の頻繁な遷移を防ぎつつ、かつ、被写体の交差が起きた場合、主被写体以外への誤追尾を軽減し、新しい主被写体の選定を行う作業に復帰させることができる。

また、被写体の交差が起きる場合として、追尾被写体と重なる領域に、他の被写体が検出された場合、追尾を終了させるので、誤追尾を確実に軽減することができる。

また、検出された被写体の信頼度が低い場合、被写体領域情報（被写体の顔の位置や大きさ）を出力しないので、被写体の検出の信頼度を高めることができる。

［第２の実施形態］
第２の実施形態における撮像装置のハードウエア構成は、前記第１の実施形態と同じであるので、同一の符号を用いることで、その説明を省略する。また、画像相関追尾部１１７における、過去の記憶画像Ｑと現在の撮影画像Ｐとの画像比較は、前記第１の実施形態の図２で示したとおりである。過去の記憶画像Ｑとして、例えば、メモリ１１３に一時記憶された１フレーム過去の画像が挙げられる。また、顔のＩＤ検出処理は、前記第１の実施形態の図４で示したとおりである。

図９および図１０は第２の実施形態における相関追尾処理手順を示すフローチャートである。この処理プログラムはＣＰＵ１１１内のＲＯＭに格納されており、ＣＰＵ１１１によって実行される。前記第１の実施形態と同一のステップ処理については、同一のステップ番号を付すことにより、その説明を省略する。

ＣＰＵ１１１は、ステップＳ２６で最大相関差ＴＬＶが所定の閾値ＴＴＨよりも小さいか否かを判定する。閾値ＴＴＨより小さくない場合、ＣＰＵ１１１は、ステップＳ２７で顔検出部１１６により着目画像から検出された全ての顔のデータを取得する。

ＣＰＵ１１１は、今回の画像相関のサーチ範囲（追尾被写体の領域に対して所定の距離）内に、顔として検出されたＩＤがあるか否かを判断する（ステップＳ２８Ａ）。顔として検出されたＩＤが無い場合、ＣＰＵ１１１はステップＳ３４の処理に進む。一方、今回の画像相関のサーチ範囲内に、顔として検出されたＩＤがある場合、ＣＰＵ１１１は、顔として検出されたＩＤが前回も存在していたか、つまり複数回連続で検出されたか否かを判断する（ステップＳ２８Ｂ）。顔として検出されたＩＤが前回存在していない場合、ＣＰＵ１１１はステップＳ２８Ｃの処理に進む。

一方、顔として検出されたＩＤが前回も存在していた場合、ＣＰＵ１１１は、顔として検出されたＩＤが割り当てられている被写体の顔サイズが追尾中の被写体の顔サイズより大きいか否かを判断する（ステップＳ２８Ｄ）。

顔として検出されたＩＤが割り当てられている被写体の顔サイズが、追尾中の被写体の顔サイズより大きい場合、近距離側にいることになる。この場合、ＣＰＵ１１１は、手前を交差する可能性が高い、つまり、顔として検出されたＩＤが割り当てられている被写体と、変数ＩＤＮＯの被写体が交差する可能性が高いと判断する（ステップＳ２８Ｅ）。そして、ＣＰＵ１１１は、前述したステップＳ３０で追尾を終了させる。

このように、第２の実施形態では、前記第１の実施形態と異なる処理が行われる。すなわち、検出された顔の範囲と追尾領域自体とが重なっているわけではないが、前回離れていたのに、今回検出された顔が画像相関のサーチ範囲内に入ってきたということで、ＣＰＵ１１１は、次回の交差を予測し、次回の誤追尾を防ぐために追尾を終了させる。

一方、ステップＳ２８Ｄで追尾中の被写体の顔サイズより小さい場合、検出された被写体が遠距離側にいることになる。この場合、ＣＰＵ１１１は、手前を交差する可能性が低い、つまり、顔として検出されたＩＤが割り当てられている被写体と変数ＩＤＮＯの被写体とが交差する可能性がまだ低いと判断する（ステップＳ２８Ｃ）。そして、ＣＰＵ１１１は、前述したステップＳ２９で追尾を継続し、変数ＩＤＮＯの被写体の位置や大きさを、ステップＳ２５で特定された位置や大きさにデータを更新する。

図１１は追尾動作の遷移を示す図である。図中、（１）では、信頼度が高く、２つとも顔検出された被写体であるので、ＩＤ＝０１、０２が特定されている。また、これと同時に、主被写体とした、番号の小さいＩＤ＝０１に対し、同じ位置を基準エリアとして画像相関による被写体追尾も行われている。（２）では、近傍に顔が存在するので、ＩＤ＝０１、０２が継続して検出されるとともに、画像相関による被写体追尾も、基準エリアを顔検出された位置で更新しつつ行われている。

（３）、（４）、（５）では、近傍に顔が存在するので、ＩＤ＝０２が継続して検出されるが、ＩＤ＝０１は信頼度が所定値ＲＴＨ１（ここでは、値２）以下であるので、顔は検出されたとみなされない。しかし、画像相関追尾部１１７では、最大相関差ＴＬＶが所定の閾値ＴＴＨよりも小さくなく、かつ、画像相関サーチ範囲に検出されたＩＤが無いので、ＩＤ＝０１はそのまま引き継がれる。

（６）では、近傍に顔が存在するので、ＩＤ＝０２が継続して検出され、画像相関追尾部１１７では、最大相関差ＴＬＶが所定閾値ＴＴＨよりも小さくないので、ＩＤ＝０１はそのまま引き継がれる。しかし、画像相関サーチ範囲内に、顔として検出され、かつ（２）時点でのＩＤ＝０１の顔サイズより小さくない顔サイズのＩＤ＝０２がある。従って、ステップＳ２８Ａ、Ｓ２８Ｂ、Ｓ２８ＤでＹＥＳの処理が行われ、ステップＳ３０で次回の手前での交差が予測され、追尾が終了する。そして、ＩＤ＝０１が削除されるので、誤追尾を防ぐことができる。

（７）、（８）では、信頼度が高く、顔検出された被写体であるので、ＩＤ＝０２が特定されていると同時に、再び新しい主被写体の選定を行う作業に復帰することが可能になる。

このように、第２の実施形態の撮像装置は、追尾被写体の領域に対して所定の距離内に、同一の他の被写体が複数回連続で検出された場合、追尾を終了させる。これにより、主被写体の頻繁な遷移を防ぎつつ、かつ、被写体の交差を予測した場合、主被写体以外への誤追尾を軽減し、新しい主被写体の選定を行う作業に復帰させることができる。

また、他の被写体を検出する領域を画像相関サーチ範囲内に設定することで、次回の被写体の交差を適切に予測することができる。また、顔として検出されたＩＤが割り当てられている被写体のサイズと、変数ＩＤＮＯの被写体（追尾被写体）のサイズとを比較することで、交差する可能性が高いか低いかを判断し、追尾の終了あるいは継続を適切に行うことができる。

また、追尾被写体のサイズを同一の被写体が検出された時点の当該被写体のサイズにするので、被写体のサイズの比較を正確に行うことができる。

なお、本発明は、上記実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または本実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態では、顔検出部および画像相関追尾部は専用のハードウエアで実現され、その他の動作はＣＰＵが実行するソフトウエアの処理として実現された。しかし、全ての動作をＣＰＵが実行するソフトウエアの処理として実現しても構わないし、ハードウエアで実現しても構わないことは言うまでもない。

また、本発明は、顔検出の方式や画像相関追尾の方式にとらわれるものではない。さらに、顔検出は単なる一例である。本発明の撮像装置は、被写体を検出するものである限り、顔に限らず、人間、動物、自動車等の被写体を検出するものでもよい。

また、本発明は、画像（静止画像、動画像）を撮像する撮像装置に適用されるものであり、例えばデジタルビデオカメラ、コンパクトタイプのデジタルカメラ、デジタルＳＬＲ（一眼レフカメラ）、監視カメラ等にも適用可能である。

第１の実施形態における撮像装置の構成を示すブロック図である。 画像相関追尾部１１７における、過去の記憶画像Ｑと現在の撮影画像Ｐとの画像比較を説明する図である。 フレームｎの被写体ｊおよび１フレーム前のフレームｎ−１の被写体ｉを示す図である。 顔のＩＤ検出処理手順を示すフローチャートである。 顔のＩＤを検出する動作を繰り返した際の信頼度および顔のＩＤの遷移を示す図である。 相関追尾処理手順を示すフローチャートである。 図６につづく相関追尾処理手順を示すフローチャートである。 追尾動作の遷移を示す図である。 第２の実施形態における相関追尾処理手順を示すフローチャートである。 図９につづく相関追尾処理手順を示すフローチャートである。 追尾動作の遷移を示す図である。

符号の説明

１１１ ＣＰＵ
１１６ 顔検出部
１１７ 画像相関追尾部
２０１ 撮影画像Ｐ
２０２ 記憶画像Ｑ
２０３ 比較エリア

Claims (8)

1. 画像を撮像する撮像装置であって、
   画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出手段と、
   前記被写体検出手段から出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定手段と、
   動画像のフレーム間の相関性に基づき、前記追尾被写体特定手段によって特定された追尾被写体を追尾する被写体追尾手段と、
   前記被写体追尾手段により追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断手段と、を備え、
   前記所定の条件を満たす領域として、前記追尾被写体特定手段により特定された追尾被写体と重なる領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断手段は、前記追尾被写体の追尾を終了させることを特徴とする撮像装置。
2. 画像を撮像する撮像装置であって、
   画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出手段と、
   前記被写体検出手段から出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定手段と、
   動画像のフレーム間の相関性に基づき、前記追尾被写体特定手段によって特定された追尾被写体を追尾する被写体追尾手段と、
   前記被写体追尾手段により追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出手段によって他の被写体が検出され、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断手段と、を備え、
   前記所定の条件を満たす領域として、前記被写体追尾手段により追尾された追尾被写体の領域に対して所定の距離内において、前記被写体検出手段から当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断手段は、前記追尾被写体の追尾を終了させることを特徴とする撮像装置。
3. 前記所定の距離は、前記被写体追尾手段において、前記動画像のフレーム間の相関性をとる距離であることを特徴とする請求項２記載の撮像装置。
4. 前記被写体検出手段によって検出される前記他の被写体のサイズが、前記追尾被写体特定手段によって特定された追尾被写体のサイズより大きい場合、前記追尾終了判断手段は、前記追尾被写体の追尾を終了させ、一方、当該追尾被写体のサイズより小さい場合、前記追尾終了判断手段は、前記追尾被写体の追尾を継続させることを特徴とする請求項２記載の撮像装置。
5. 前記追尾被写体のサイズは、前記被写体検出手段によって同一の被写体が検出された時点の当該被写体のサイズであることを特徴とする請求項４記載の撮像装置。
6. 前記被写体検出手段は、前記検出した被写体の信頼度が所定値より高くない場合、当該被写体の前記被写体領域情報を出力しないことを特徴とする請求項１記載の撮像装置。
7. 画像を撮像する撮像装置の追尾方法であって、
   画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出ステップと、
   前記被写体検出ステップで出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定ステップと、
   動画像のフレーム間の相関性に基づき、前記追尾被写体特定ステップで特定された追尾被写体を追尾する被写体追尾ステップと、
   前記被写体追尾ステップで追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出ステップで他の被写体が検出され、前記被写体検出ステップで当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断ステップと、を有し、
   前記所定の条件を満たす領域として、前記追尾被写体特定ステップにより特定された追尾被写体と重なる領域に、前記被写体検出ステップによって他の被写体が検出され、前記被写体検出ステップから当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断ステップは、前記追尾被写体の追尾を終了させることを特徴とする撮像装置の追尾方法。
8. 画像を撮像する撮像装置の追尾方法であって、
   画像から被写体を検出し、前記被写体の被写体領域情報を出力する被写体検出ステップと、
   前記被写体検出ステップで出力される前記被写体領域情報を用いて、動画像における同一の被写体を追尾被写体として特定する追尾被写体特定ステップと、
   動画像のフレーム間の相関性に基づき、前記追尾被写体特定ステップで特定された追尾被写体を追尾する被写体追尾ステップと、
   前記被写体追尾ステップで追尾された追尾被写体と所定の条件を満たす領域に、前記被写体検出ステップで他の被写体が検出され、前記被写体検出ステップで当該他の被写体の前記被写体領域情報が出力される場合、前記追尾被写体の追尾を終了させる追尾終了判断ステップと、を有し、
   前記所定の条件を満たす領域として、前記被写体追尾ステップにより追尾された追尾被写体の領域に対して所定の距離内において、前記被写体検出ステップから当該他の被写体の前記被写体領域情報が出力される場合、前記追尾終了判断ステップは、前記追尾被写体の追尾を終了させることを特徴とする撮像装置の追尾方法。

Images