JP5230404B2 - 撮像装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、ビデオカメラやデジタルカメラ等の撮像装置における被写体検出技術に関し、特に、連続する動画像において特定の被写体を追尾する技術に関する。

画像から特定の被写体パターンを自動的に検出する画像処理技術は非常に有用であり、例えば人間の顔領域の特定に利用することができる。このような技術は、通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。代表例として、デジタルカメラやデジタルビデオカメラでは、撮影画像から顔を検出し、その顔について焦点や露出を最適化させる顔検出技術が実用化されている。

画像の中から特定被写体を検出する技術としては、様々な手法が提案されているが、それら手法の多くは、予め用意されたパターンデータと目的の画像を比較するパターンマッチング手法である。

例えば、画像上の複数の異なる位置で部分画像を切り出し、その部分画像が顔領域の画像であるか否かを判別して、画像上の顔領域を検出する手法が挙げられる。この場合、部分画像が顔領域であるか否かを判別するために、テンプレートマッチングによる手法や、ニューラル・ネットワークなどの学習手法により顔の特徴を学習させた識別器を用いる手法などが考えられる。

何れのパターンマッチング手法においても、顔領域の検出のためには、部分画像の画像パターンに基づいてその部分画像が顔領域の画像である確からしさを示す信頼度を算出し、その信頼度が所定の閾値を超えた場合に、その部分画像を顔領域の画像として検出する手法が一般的である。

特許文献１では、複数の異なる解像度パターンの部分画像から信頼度を算出し、部分画像毎における信頼度の和から被写体の検出を行なっている。

特許文献２では、前述の顔検出の結果に基づき、画像中の顔の位置を検出し、顔に焦点を合わせ、顔に最適な露出で撮影する撮影装置について開示されている。

一方、顔検出とは異なり、被写体位置を決定／追尾する技術として、動画像のフレーム間での画像の相関値の算出による被写体の追尾／特定技術がある。参考文献３には、操作者が予め焦点検出位置を決定した後は、対象物が移動しても、対象物に対する動画像のフレーム間の差分を抽出し、そのフレーム間差分が最小になるよう対象物を特定する。これにより、自動的に画面上の対象物を追尾して、焦点検出位置を決定する技術が開示されている。
特開２００８−０３３４２４号公報 特開２００５−３１８５５４号公報 特開２００６−５８４３１号公報

顔検出に代表される前述の特定被写体を検出する技術は、画像中に特定被写体を含むことを確実な信頼性を持って示すことはなく、確率論的な判断に基づいている。換言すれば、画像中に少なくとも顔を含む可能性があるという画像の数学的解析に基づいていている。この確率的数値を、顔らしさの信頼度と呼ぶ。

一般的には、顔らしさの信頼度に所定の閾値を設けて、所定の閾値を満たした場合に顔であると判断するが、上記の閾値を厳しくした場合には、実際には顔が存在するにも拘わらず顔を検出できなくなる。また、上記の閾値を緩くすると、顔とは異なる領域を顔として検出する誤検出が多発する。

つまり、正確な検出と誤検出はトレードオフの関係にあり、特定の閾値を固定的に設定することは困難であった。また、顔が正面を向いている場合は、パターンマッチングよる顔判別は比較的容易であるが、顔が側面や背面を向いている場合は、顔判別が困難であった。

一方、フレーム間での画像の相関性による被写体追尾技術では、被写体がどのような方向を向いていても被写体を特定して追尾することが可能であるが、輝度の変化（例えば照明条件の変化）や被写体の回転等により追尾精度が低減する。従って、長時間に亘って追尾を続けると、リファレンス画像が目的の被写体からずれる可能性が高く、特定の被写体を長時間に亘って的確に追尾し続けるのは困難であった。

本発明は、このような技術的な背景の下になされたもので、その目的は、複数の特定被写体が撮影画面内でどのような向きで動き回っても、特定被写体を的確に追尾し続けられるようにすることにある。

上記目的を達成するため、本発明に係る撮像装置は、撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする。

本発明によれば、複数の特定被写体が撮影画面内でどのような向きで動き回っても、特定被写体を的確に追尾し続けることが可能となる。

以下、本発明を実施するための最良の形態を、図面に基づいて説明する。

図１は、本発明の実施例に係る撮像装置の概略構成を示すブロック図である。本撮像装置は、ビデオカメラ、デジタルスチルカメラ、監視カメラ等として構成することができる。

撮像装置の各ユニットは、バス１４０を介して接続されており、ＣＰＵ１３１によって制御される。レンズユニットには、ズームレンズ１０１、絞り１０３、フォーカスレンズ１０５等の光学部材が含まれ、光学像は、これら光学部材を介して撮像素子１１０上に結像される。撮像素子１１０上に結像された光学像は、撮像素子１１０により光電変換され、撮像信号処理部１２０によりデジタルの画像信号として整えられ、逐次、ＲＡＭ１３３に一時的に記憶される。

撮像素子１１０は、撮像制御部１１４により、撮像解像度や撮像信号の読み出し方法、フレームレート等が設定される。撮像信号処理部１２０も、撮像制御部１１４から指示された解像度やフレームレートにて撮像信号処理を行う。

顔検出回路１２１は、１つのフレーム内で顔などの特定被写体を検出するものである。この顔検出回路１２１は、撮像信号処理部１２０からＲＡＭ１３３へ出力された画像を予め内部に記憶されたデータベース画像とテンプレートマッチング等で比較することで、撮影画面内の複数の被写体の顔の位置や大きさ、顔の数、顔の検出信頼度等を検出する。

ここで、検出信頼度は、検出結果の確からしさを示す値であり、顔検出処理の過程で決定される。検出信頼度の算出法としては、予め記憶された特定被写体の画像の特徴と、顔検出回路１２１により検出した画像の特徴とを比較して、検出に係る画像が特定被写体の画像である確率を求め、この確率から算出する方法を用いることができる。また、予め記憶された特定被写体の画像の特徴と、顔検出回路１２１により検出した顔領域の画像の特徴との差を算出し、その差の大きさから検出信頼度を算出する方法等を用いることもできる。

顔検出回路１２１から出力された検出信頼度のレベルが高ければ、誤検出の可能性が少なく、低ければ誤検出の可能性が高い。なお、テンプレートマッチングによる顔検出方式は一例であり、他の方式で顔を検出してもよい。

一方、画像相関追尾回路１２３は、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段として機能するものである。画像相関追尾回路１２３は、ＲＡＭ１３３に蓄積された過去の画像（例えば１フレーム前の画像）と現在の画像を比較することで特定被写体の位置を特定することで、特定被写体を追尾する。ＣＰＵ１３１は、顔検出回路１２１からの顔の位置や大きさ、検出信頼度と、画像相関追尾回路１２３からの被写体位置情報に基づいて、被写体位置を決定し、フォーカス／測光すべき画面内の位置を特定する。

なお、ＣＰＵ１３１は、ＲＯＭ（図示省略）を内蔵し、このＲＯＭに格納されたプログラムに従って、図５、図７、図９、図１１のフローチャートに係る処理など、各種の処理を実行する。

フォーカス制御部１１３は、ＣＰＵ１３１にて決定された被写体位置に係る撮像信号処理部１２０からの撮像信号ＡＦ評価値に基づいて、フォーカスモータ１０６を介してフォーカスレンズ１０５を駆動することで、目的の被写体に対する自動合焦を実現する。

また、絞り制御部１１２は、上記の被写体位置に係る撮像信号処理部１２０からの測光評価値と、撮像素子１１０の動作条件に基づいて、絞りモータ１０４を介して絞り１０３を駆動することで、目的の被写体に対して最適化された自動露出制御を実現する。ズーム制御部１１１は、ＣＰＵ１３１の指示に従いズームモータ１０２を介してズームレンズ１０１を駆動する。

その他の処理は、一時的にＲＡＭ１３３に蓄積された画像信号は、画像圧縮解凍部１３２にて圧縮処理され、画像記録メディア１３５に記録され、映像出力部１３６を通して、ＴＶモニタやＰＣ用のモニタに映像信号Ｓ１として出力される。なお、記録メディア１３５は、フラッシュメモリ、ＲＡＭ、ハードディスク、磁気テープ、光ディスク等で構成することができる。

次に、画像相関追尾回路１２３の動作を、図２、図３に基づいて説明する。画像相関追尾回路１２３は、撮影画像（現在の撮影画像）Ｐ（２０１）と、過去の基準となる記憶画像Ｑ（２０２）を比較することにより、追尾対象の特定被写体を特定する。この場合、画像相関追尾回路１２３は、基準となる記憶画像Ｑとしては、例えばＲＡＭ１３３に一時記憶された１フレーム過去の画像を用いる。

例えば、図２では、基準となる記憶画像Ｑにおいて、追尾対象である特定被写体が存在する基準エリア２０４がＱ（Ｉ’，Ｊ’）、Ｑ（Ｉ”，Ｊ’）、Ｑ（Ｉ’，Ｊ”）およびＱ（Ｉ”，Ｊ”）で囲まれたエリアに設定されている。

画像相関追尾回路１２３は、現在の撮影画像Ｐに基準エリア２０４と同じサイズの比較エリア２０３を設定し、この比較エリア２０３と基準エリア２０４の間で、対応する位置の画素の画素値を比較し、その総和を相関値Ｌとして計算する。

この比較エリア２０３は、基準エリア２０４と同じ座標となる位置を基準位置として、それぞれ所定の画素数だけ正／負方向に２次元空間的にシフトされ、基準位置およびシフトされた位置のそれぞれにおいて、相関値Ｌが求められる。

ここで、基準エリア２０４内の画素の画素値をＱ（ｉ，ｊ）、基準エリア２０４と同じ座標となる基準位置から水平方向にｎ、垂直方向にｍだけシフトさせた比較エリア２０３内の画素の画素値をＰ（ｉ＋ｎ，ｊ＋ｍ）とする。この位置おける基準エリア２０４と比較エリア２０３の相関値Ｌ（ｎ，ｍ）を計算するための式は、

ただし、ｎ＝０，±１，±２、…±Ｎ
ｍ＝０，±１，±２、…±Ｍ
で表される。

画像相関追尾回路１２３は、例えば基準エリア２０４と同じ座標となる基準位置、すなわちｎ＝０，ｍ＝０の場合の相関値を、Ｌ（０，０）として出力する。そして、画像相関追尾回路１２３は、ｎ，ｍを、それぞれ所定の画素数だけ正／負方向に２次元空間的にシフトしながら相関値Ｌ（ｎ，ｍ）を求める。現在の撮影画像Ｐ（２０１）上に点線で示した範囲２０５は、ｎ，ｍをそれぞれ０〜±Ｎ、０〜±Ｍまで変化させたときに、比較エリアとなり得る範囲を示したものである。

次に、画像相関追尾回路１２３は、範囲２０５内の全てのシフト位置における相関値Ｌ（ｎ，ｍ）の最大値と最小値の差を求め、この差を最大相関差ＴＬＶとして出力する。図３（ａ）は、最大相関差ＴＬＶが大きい場合を例示し、図３（ｂ）は最大相関差ＴＬＶが小さい場合を例示している。図３（ａ），（ｂ）では、１次元でのグラフになっているが、画像相関追尾回路１２３は、実際には２次元の空間的に最大相関差ＴＬＶを計算する。

相関値Ｌは、２つの画像が一致すると小さくなり、２つの画像が一致しないと大きくなるため、一致する画像が比較エリアの中に存在する場合は、最大相関差ＴＬＶが大きくなり、一致する画像がはっきりしないときには、ＴＬＶが小さくなる可能性が高い。

最大相関差ＴＬＶを算出するのは、実際には、被写体の風や振動での揺れ等や、被写体の回転等があり、２つの画像がぴったり一致しないために、追尾被写体の確からしさを最大相関差ＴＬＶを用いて評価するためである。

そして、画像相関追尾回路１２３は、最大相関差ＴＬＶが閾値以上であれば、相関値Ｌ（ｎ，ｍ）が最大であった比較エリアを新たな基準エリア２０４として更新し、追尾動作を行なう。なお、２つの画像の相関性の判定手法は、上記の判定手法以外の手法を用いることも可能である。

次に、顔検出処理追尾処理を図４〜６に基づいて説明する。この顔検出処理追尾処理は、ＣＰＵ１３１が、顔検出回路１２１から出力された顔検出データを用いて顔のＩＤを決定した後、顔のＩＤを維持し続けることによって行われる。まず、顔のＩＤを決定して保持するための条件式を説明する。

ＣＰＵ１３１が顔検出回路１２１から受け取ったフレームＮの被写体ｊ（図４参照）の顔Ａに対する顔検出データは、検出信頼度＝ＲＬＶ（Ａ，Ｎ）、位置Ｘ＝ＦＸＰ（Ａ，Ｎ）、位置Ｙ＝ＦＹＰ（Ａ，Ｎ）、サイズ＝ＦＷ（Ａ，Ｎ）という形式で記述するものとする。また、顔検出回路１２１により検出された顔総数は、ＦＭＡＸ（Ｎ）という形式で記述するものとする。

この場合、ＣＰＵ１３１が、所定フレーム間での顔、すなわちフレームｎ−１の顔ｉ（ｉ＝１〜ＦＭＡＸ（ｎ−１））と、フレームｎの顔ｊ（ｊ＝１〜ＦＭＡＸ（ｎ））が、顔の位置を基準にして同一の顔であるか否かを判断するための条件式Ａは、下記の式で示される。

条件式Ａ＝(|FXP(j,n)-FXP(i,n-1)|+|FYP(j,n)-FYP(i,n-1)|)/FW(j,n)<PTH1
また、ＣＰＵ１３１が、所定フレーム間での顔、すなわちフレームｎ−１の顔ｉ（ｉ＝１〜ＦＭＡＸ（ｎ−１））と、ｎフレームの顔ｊ（ｊ＝１〜ＦＭＡＸ（ｎ））が、顔の大きさを基準として同一の顔であるか否かを判断するための条件式Ｂは、下記の式で示される。

条件式Ｂ＝(|FW(j,n)-FW(i,n-1)|/FW(j,n)<WTH1
また、ＣＰＵ１３１が、上記の判断に先立って、フレームｎにおいて検出された顔ｊの検出信頼度が所定の閾値ＲＴＨ１よりも高いか否かを判断するための条件式Ｃは、下記の式で示される。

条件式Ｃ＝RLV(j,n)>RTH1
また、ＣＰＵ１３１が、フレームｎ−１において検出された顔ｉの検出信頼度が所定の閾値ＲＴＨ１よりも高いか否かを判断するための条件式Ｄは、下記の式で示される。

条件式Ｄ＝RLV(i,n-1)>RTH1
ただし、条件式Ａ〜Ｄにおいて、ｉ＝１〜ＦＭＡＸ（ｎ−１）、ｊ＝１〜ＦＭＡＸ（ｎ）である。ＣＰＵ１３１は、フレームｎ−１の顔ｉとフレームｎの顔ｊがこれらの連続条件（条件式Ａ〜Ｄ）を満たしたときに、同一の顔であると判断する。

次に、顔検出追尾処理のアルゴリズムを、図５のフローチャートに基づいて説明する。なお、図５のフローチャートは、フレームｎの処理を示している。

ＣＰＵ１３１は、顔検出回路１２１からフレームｎに係る顔検出データ（各顔の検出信頼度、位置Ｘ、位置Ｙ、サイズ）を受け取る（Ｓ５０１）。次に、ＣＰＵ１３１は、フレームｎに係る顔検出総数ＦＭＡＸ（ｎ）を顔検出回路１２１から受け取る（Ｓ５０２）。次に、ＣＰＵ１３１は、変数ＦＮＯに「１」をセットする（Ｓ５０３）。

そして、ＣＰＵ１３１は、ｊ＝ＦＮＯに係る顔の検出データが、検出信頼度に係る条件式Ｃを満たすか否かを判別する（Ｓ５０４）。検出信頼度に係る条件式Ｃを満たさない場合は、ＣＰＵ１３１は、変数ＦＮＯを「１」だけインクリメントする（Ｓ５０９）。

一方、検出信頼度に係る条件式Ｃを満たす場合は、ＣＰＵ１３１は、ｊ＝ＦＮＯに係る顔と、ｉ＝１〜ＦＭＡＸ（ｎ−１）に係る全ての顔の検出データについて、条件式Ａ、条件式Ｂ、条件式Ｄの全てを満たすか否かを判別する（Ｓ５０５）。そして、ＣＰＵ１３１は、条件式Ａ、条件式Ｂ、条件式Ｄの全てを満たす顔の検出データが存在する場合は、前フレームｎ−１で検出された顔ｉと同一の顔が現在のフレームｎに存在すると判断する（Ｓ５０５）。この処理は、ＣＰＵ１３が、被写体特定手段として機能することを意味する。

次に、ＣＰＵ１３１は、Ｓ５０５において同一の顔が存在すると判断した場合は（Ｓ５０６）、その同一の顔については、従来のＩＤを引き継いで、当該ＩＤに係る顔の位置や大きさ、検出信頼度等のデータを、今回のフレームｎの検出データに書き換える（Ｓ５０８）。

一方、Ｓ５０５において同一の顔が存在しないと判断した場合は（Ｓ５０６）、今回の検出データは新規の顔に係るものであることを意味する。従って、この場合は、ＣＰＵ１３１は、今回の検出データに対して新規の顔のＩＤを割り当てると共に、今回の検出データ（顔の位置や大きさ、検出信頼度等）を登録する（Ｓ５０７）。

ＣＰＵ１３１は、Ｓ５０７又はＳ５０８の処理を行った後、変数ＦＮＯを「１」だけインクリメントし（Ｓ５０９）、その変数ＦＮＯが総検出顔数ＦＭＡＸを超えたか否かを判別する（Ｓ５１０）。変数ＦＮＯが総検出顔数ＦＭＡＸを超えている場合は、ＣＰＵ１３１は、フレームｎに係る顔検出追尾処理を終了する。一方、変数ＦＮＯが総検出顔数ＦＭＡＸを超えていない場合は、ＣＰＵ１３１は、インクリメントした変数ＦＮＯに係る顔の検出データについて、同様に、Ｓ５０４〜Ｓ５１０の処理を行う。

図６は、図５の顔検出追尾処理を複数のフレームに関して繰り返した場合の追尾状況を例示した概念図である。（１）のフレームでは初めての顔を検出したので、当該顔検出データに対してＩＤ＝０１が割り当てられる。（２）、（３）、（４）のフレームでは、検出に係る顔の移動量が小さいので、これらフレームに係る顔検出データに対してＩＤ＝０１が引き継がれる。

（５）のフレームでは、検出信頼度がＲＴＨ１（ここでは２）以下なので、顔を検出しなかったものとして処理される。（６）、（７）のフレームにおいても、同様に、検出信頼度がＲＴＨ１（ここでは２）以下なので、顔を検出しなかったものとして処理される。
（８）のフレームでは、検出信頼度がＲＴＨ１（閾値）より大きいので、新規に顔を検出したものとして、当該顔検出データに対してＩＤ＝０２が割り当てられる。以後、（９）、（１０）、（１１）、（１２）のフレームでは、検出に係る顔の移動量が小さいので、これらフレームに係る顔検出データに対してＩＤ＝０２が引き継がれる。

次に、相関追尾処理のアルゴリズムを、図７のフローチャートに基づいて説明する。

ＣＰＵ１３１は、変数ＩＤＮＯに「１」をセットし（Ｓ７０１）、その変数ＩＤＮＯで示されるＩＤ番号のＩＤが、その前のフレームで存在しないＩＤであるか否かを判別する（Ｓ７０２）。前のフレームで存在しないＩＤであれば、そのＩＤについて相関追尾処理を行う必要が無いため、ＣＰＵ１３１は、変数ＩＤＮＯを「１」だけインクリメントする（Ｓ７０９）。そして、インクリメントした変数ＩＤＮＯがＩＤの総数であるＩＤＭＡＸ以下であれば（Ｓ７１２）、再びＳ７０２の処理に戻る。

ＣＰＵ１３１は、変数ＩＤＮＯで示されるＩＤ番号のＩＤが、現在のフレームから顔検出回路１２１にて検出された顔のＩＤと同じであるか否かを判別する（Ｓ７０３）。

顔検出回路１２１にて検出された顔のＩＤであれば、このフレームでは相関追尾処理を行う必要はない。そこで、ＣＰＵ１３１は、顔検出回路１２１から引き継いだ顔の位置や大きさから追尾対象の特定被写体の位置や大きさを決定する（Ｓ７０６）。

換言すれば、この場合は、ＣＰＵ１３１は、顔検出回路１２１で検出された顔を追尾対象として決定し、変数ＩＤＮＯで示されるＩＤ番号の被写体のデータを更新する。具体的には、ＣＰＵ１３１は、相関画像追尾回路１２３に、追尾対象として決定された顔の位置における画像を受け渡し、相関画像追尾回路１２３はこの画像を基準エリアの画像として記憶する。そして、Ｓ７０９の変数ＩＤＮＯのインクリメント処理を行う。

一方、現在のフレームから顔検出回路１２１にて検出された顔のＩＤでなければ、ＣＰＵ１３１は、前回の追尾結果から追尾対象の位置、大きさ、および、更新された基準エリアの画像等を読み出す（Ｓ７０４）。

ＣＰＵ１３１は、Ｓ７０４の処理を行った後、変数ＩＤＮＯで示されるＩＤ番号の被写体に対して、相関画像追尾回路１２３により、相関量が最大になる被写体位置を特定する（Ｓ７０５）。そして、ＣＰＵ１３１は、Ｓ７０５の処理過程で見出された最大相関差ＴＬＶが、所定の閾値ＴＴＨよりも小さいか否かを判別する（Ｓ７０７）。

最大相関差ＴＬＶが、所定の閾値ＴＴＨよりも小さい場合は、ＣＰＵ１３１は、変数ＩＤＮＯで示されるＩＤ番号の被写体に対して追尾処理を終了し（Ｓ７１０）、変数ＩＤＮＯで示されるＩＤ番号を削除する（Ｓ７１１）。これは、最大相関差ＴＬＶが所定の閾値ＴＴＨよりも小さく、かつ、顔検出回路１２１にて検出されてから間があいているので、特定した被写体位置の確からしさが低いと判断し、そのＩＤ番号における追尾を中止するためである。そして、ＣＰＵ１３１は、変数ＩＤＮＯを「１」だけインクリメントする（Ｓ７０９）。

ＣＰＵ１３１は、Ｓ７０７にて、最大相関差ＴＬＶが所定閾値ＴＴＨ以上であると判別した場合は、変数ＩＤＮＯで示されるＩＤ番号の被写体の位置や大きさを、Ｓ７０５で特定された位置や大きさにデータ更新して（Ｓ７０８）、Ｓ７０９の変数ＩＤＮＯのインクリメント処理を行う。

そして、ＣＰＵ１３１は、インクリメントした変数ＩＤＮＯがＩＤの総数であるＩＤＭＡＸよりも大きくなった場合は、削除されたＩＤ等を考慮して、ＩＤの総数であるＩＤＭＡＸを最新の値に更新して（Ｓ７１３）、相関追尾処理を終了する。インクリメントした変数ＩＤＮＯがＩＤの総数であるＩＤＭＡＸ以下である場合は、ＣＰＵ１３１は、Ｓ７０２に戻り、インクリメントした変数ＩＤＮＯで示されるＩＤ番号の被写体に対して、同様の処理を行う。

次に、画像相関追尾を行なっている被写体が、顔検出回路１２１で検出された顔と同一であるか否かを判断するための条件式を説明する。

ここで、顔検出回路１２１から出力されたフレームＮの被写体の顔Ａに対する顔検出データは、検出信頼度＝ＲＬＶ（Ａ，Ｎ）、位置Ｘ＝ＦＸＰ（Ａ，Ｎ）、位置Ｙ＝ＦＹＰ（Ａ，Ｎ）、サイズ＝ＦＷ（Ａ，Ｎ）という形式で記述するものとする。また、検出された顔総数はＦＭＡＸ（Ｎ）という形式で記述するものとする。

さらに、フレームＮとＮ−１における被写体Ａの画像相関による被写体位置の検出結果については、位置Ｘ＝ＴＸＰ（Ａ，Ｎ）、位置Ｙ＝ＴＹＰ（Ａ，Ｎ）、サイズ＝ＴＷ（Ａ，Ｎ）、最大相関誤差＝ＴＬＶ（Ａ，Ｎ）という形式で記述するものとする。

この場合、ＣＰＵ１３１が、フレームｎ−１の画像相関追尾被写体ｌ（ｌ＝１〜ＩＤＭＡＸ（ｎ−１））と、フレームｎの顔検出の顔ｋ（ｋ＝１〜ＦＭＡＸ（ｎ））が、位置を基準にして同一の顔であるか否かを判断するための条件式Ｅは、下記の式で示される。なお、上記の画像相関追尾被写体ｌ、顔検出の顔ｋのイメージについては、図８に示している。
条件式Ｅ＝(|FXP(k,n)-TXP(ｌ,n-1)|+|FYP(k,n)-TYP(ｌ,n-1)|)/FW(k,n)<PTH2
また、ＣＰＵ１３１が、フレームｎ−１の画像相関追尾被写体ｌ（ｌ＝１〜ＩＤＭＡＸ（ｎ−１））と、フレームｎの顔検出の顔ｋ（ｋ＝１〜ＦＭＡＸ（ｎ））が、大きさを基準にして同一の顔であるか否かを判断するための条件式Ｆは、下記の式で示される。
条件式Ｆ＝|FW(k,n)-TW(ｌ,n-1)｜/FW(k,n)<WTH2
また、ＣＰＵ１３１が、上記の判断に先立って、フレームｎにおいて検出された顔ｋの検出信頼度が所定の閾値ＲＴＨ２よりも高いか否課を判断するための条件式Ｇは、下記の式で示される。
条件式Ｇ＝RLV(K,n)>RTH2
なお、顔検出で決まる顔位置の精度と、画像相関追尾で決まる被写体位置の精度を比較すると、顔検出で決まる顔位置の精度の方が高いために、ここでの各閾値は、ＰＴＨ１＜ＰＴＨ２、ＷＴＨ１＜ＷＴＨ２としている。また、顔検出の検出信頼度に関しては、画像相関検出と顔検出を同一とみなす場合の方が厳しく判断する必要があるために、ＲＴＨ１＞ＲＴＨ２としている。

なお、条件式Ｅ〜Ｇは、連続条件に相当するものである。

次に、画像相関追尾から顔検出追尾に移行する処理を、図９のフローチャートに基づいて説明する。

この移行処理は、画像相関追尾で位置や大きさを決められた被写体と、顔検出で顔の位置や大きさを検出された被写体が同一であるか否かを判別して、ＩＤを引き継ぐことにより行われる。

ＣＰＵ１３１は、図５の顔検出追尾処理を実行し（Ｓ９０１）、図７の相関追尾処理を実行して（Ｓ９０２）、変数ＩＤＮＯに「１」をセットする（Ｓ９０３）。次に、ＣＰＵ１３１は、変数ＩＤＮＯで示されるＩＤ番号の被写体が顔検出で検出された顔に係るＩＤ番号である否かを判別する（Ｓ９０４）。

変数ＩＤＮＯで示されるＩＤ番号の被写体が顔検出で検出された顔に係るＩＤ番号でなければ、ＣＰＵ１３１は、Ｓ９０７に進み、変数ＩＤＮＯを「１」だけインクリメントする。

一方、顔検出で検出された顔に係るＩＤ番号であれば、ＣＰＵ１３１は、ｋ＝ＩＤＮＯの顔検出に係る顔と、ｌ＝１〜ＩＤＭＡＸ（ｎ−１）の全ての追尾被写体について、条件式Ｅ、条件式Ｆ、条件式Ｇの全てを満たすか否かを判別する（Ｓ９０５）。すなわち、前フレームで相関追尾を行った被写体と同一の顔が、現フレームで顔検出処理で検出されたか否かを判別する。

この場合、ＣＰＵ１３１は、条件式Ｅ、条件式Ｆ、条件式Ｇの全てを満たす場合は、変数ＩＤＮＯで示される顔が相関追尾を行った顔（被写体）であると判定する（Ｓ９０５）。換言すれば、ＣＰＵ１３１は、追尾被写体と顔検出に係る顔（被写体）が所定の連続条件（条件式Ｅ〜Ｇ）を満たした場合は、追尾被写体を顔検出に係る顔（被写体）と同一であると判定する。

次に、ＣＰＵ１３１は、Ｓ９０５において、これまで相関追尾を行った被写体と同一の顔が顔検出処理で検出されたと判定した場合は（Ｓ９０６）、変数ＩＤＮＯのＩＤ番号を当該同一の顔検出の顔のＩＤに引継ぎ、追尾処理を終了する（Ｓ９０８）。そして、ＣＰＵ１３１は、ＩＤＮＯをインクリメントする（Ｓ９０７）。

一方、これまで相関追尾を行った被写体と同一の顔が顔検出処理で検出されたと判定しなかった場合は（Ｓ９０６）、ＣＰＵ１３１は、追尾処理を終了することなく、ＩＤＮＯをインクリメントする（Ｓ９０７）。

そして、ＣＰＵ１３１は、インクリメントした変数ＩＤＮＯがＩＤの総数であるＩＤＭＡＸよりも大きくなった場合は、統合されたＩＤ等を考慮して、ＩＤの総数であるＩＤＭＡＸを最新の値に更新して（Ｓ９１０）、本移行処理を終了する。インクリメントした変数ＩＤＮＯがＩＤの総数であるＩＤＭＡＸ以下である場合は、ＣＰＵ１３１は、Ｓ９０４に戻り、インクリメントした変数ＩＤＮＯで示されるＩＤ番号の被写体に対して、同様の処理を行う。

図１０は、図９の移行処理の実行状況を例示した概念図である。なお、図１０において、実線の矢印は、顔検出による被写体の追尾を示し、破線の矢印は、画像相関による被写体の追尾を示している。また、一重線の実線と破線の矩形は、顔検出による被写体位置を示し、二重線の矩形は、画像相関による被写体位置を示している。

図１０の（１）のフレームでは、検出信頼度が高く、顔検出に係る被写体なので、ＩＤ＝０１が特定されている。（２）、（３）、（４）のフレームでは、顔の移動量が小さいので、ＩＤ＝０１が維持されている。

（５）のフレームでは、検出信頼度がＲＴＨ１（ここでは２）以下なので、顔検出処理で顔が検出されることはない。そのため、画像相関による追尾が、ＩＤ＝０１をそのまま引き継いで実行される。（５）、（６）、（７）のフレームも同様に、顔検出処理で顔が検出されることはないが、画像相関による追尾は行われる。なお、（５）、（６）、（７）のフレームでは、顔検出処理で顔が検出されていないため、移行処理は行われない。

（８）のフレームでは、顔検出処理で顔が検出されるが、その顔検出の検出信頼度がＲＴＨ２（ここでは３）よりも低いために、移行処理の条件を満たさず、画像相関による追尾が引き続いて実行される（（９）のフレームも同様）。

（１０）のフレームでは、顔検出の検出信頼度がＲＴＨ２より大きくなっている。このため、顔検出による顔と画像相関による追尾被写体について、位置や大きさの比較が行われて連続条件（条件式Ｅ〜Ｇ）を満たすか否かを判別することにより、同一の被写体であるか否かの判定処理が行われる。

（１０）のフレームでは、顔検出処理で検出された顔については一時的に新たなＩＤが付与されるが、ここで同一の被写体であると判定されると、ＩＤ＝０１が、そのまま、同一であると判定された顔検出の顔のＩＤとして引き継がれる。従って、（１１）、（１２）のフレームでは、顔検出の顔のＩＤをＩＤ＝０１のままにして、顔検出を継続することが可能になる。

このように、追尾被写体と顔検出に係る顔（被写体）が所定の連続条件を満たした場合は、追尾被写体を顔検出に係る顔（被写体）と同一であると判定する。そして、同一の被写体であると判定した被写体（顔）のＩＤとしては、画像相関で用いていたＩＤをそのまま引き継いて使用する。

これにより、複数の顔（特定被写体）がどのような向きで動き回っていても、顔検出処理で検出した特定被写体を的確に追尾し続けることが可能となる。

第１の実施例では、フレームｎ−１での追尾被写体と、フレームｎでの顔検出に係る顔を比較することで、同一被写体を特定していた。これに対し、第２の実施例では、同じフレームｎでの追尾被写体と顔検出に係る顔を比較することで、同一被写体を特定している。

第２の実施例における連続条件は、次のようになる。なお、下記の条件式Ｈ，Ｉ，Ｇは、第１の実施例と同様の検出信頼度、位置、サイズ、総検出数、最大相関差の記述形式に対応するものとなっている。

フレームｎの画像相関追尾被写体ｌ（ｌ＝１〜ＩＤＭＡＸ（ｎ））と、フレームｎの顔検出の顔ｋ＝１〜ＦＭＡＸ（ｎ））が、位置を基準にして同一の被写体であるか否かを判定するための条件式Ｈは、下記の式で示される。
条件式Ｈ＝(|FXP(k,n)-TXP(ｌ,n)|+|FYP(k,n)-TYP(ｌ,n)|)/FW(k,n)<PTH3
また、ＣＰＵ１３１が、フレームｎの画像相関追尾被写体ｌ（ｌ＝１〜ＩＤＭＡＸ（ｎ−１））と、フレームｎの顔検出の顔ｋ（k＝１〜ＦＭＡＸ（ｎ））が、大きさを基準にして同一の顔であるか否かを判断するための条件式Ｉは、下記の式で示される。
条件式Ｉ＝|FW(k,n)-TW(ｌ,n)｜/FW(k,n)<WTH3
また、ＣＰＵ１３１が、上記の判断に先立って、フレームｎにおいて検出された顔ｋの検出信頼度が所定の閾値ＲＴＨ２よりも高いか否課を判断するための条件式Ｇは、第１の実施例と同様である。すなわち、下記の通り、
条件式Ｇ＝RLV(K,n)>RTH2
で示される。

なお、顔検出で決まる顔位置の精度と、画像相関追尾で決まる被写体位置の精度を比較すると、顔検出で決まる顔位置の精度の方が高いために、ここでの各閾値は、ＰＴＨ１＜ＰＴＨ３、ＷＴＨ１＜ＷＴＨ３としている。また、顔検出の検出信頼度に関しては、画像相関検出と顔検出を同一とみなす場合の方が厳しく判断する必要があるために、ＲＴＨ１＞ＲＴＨ２としている。

また、異なるフレームで被写体の同一性を判定するよりも、同一のフレームで被写体の同一性を判定する方が、正確に同一性を判定できるので、ＰＴＨ３＜ＰＴＨ２、ＷＴＨ３＜ＷＴＨ２としている。

なお、条件式Ｈ，Ｉ，Ｄは、連続条件に相当するものである。

第２の実施例における画像相関追尾から顔検出追尾に移行する処理は、図１１のフローチャートに示される。この図１１のフローチャートの処理手順は、Ｓ１１０５、Ｓ１１０６を除いては、１の実施例に係る図９のフローチャートの処理手順と同様なので、ここでは、Ｓ１１０５、Ｓ１１０６のみを説明する。

ＣＰＵ１３１は、顔検出で検出された顔に係るＩＤ番号であれば、ｋ＝ＩＤＮＯの顔検出に係る顔と、ｌ＝１〜ＩＤＭＡＸ（ｎ）の全ての追尾被写体について、条件式Ｈ、条件式Ｉ、条件式Ｇの全てを満たすか否かを判別する（Ｓ１１０５）。すなわち、これまで相関追尾を行った被写体と同一の顔が顔検出処理で検出されたか否かを判別する。

この場合、ＣＰＵ１３１は、条件式Ｈ、条件式Ｉ、条件式Ｇの全てを満たす場合は、変数ＩＤＮＯで示される顔が相関追尾を行った顔（被写体）であると判定する（Ｓ１１０５）。換言すれば、ＣＰＵ１３１は、追尾被写体と顔検出に係る顔（被写体）が所定の連続条件（条件式Ｈ，Ｉ，Ｇ）を満たした場合は、追尾被写体を顔検出に係る顔（被写体）と同一であると判定する。

次に、ＣＰＵ１３１は、Ｓ１１０５において、３回連続して、すなわち、フレームｎ，ｎ−１，ｎ−２の３フレームに亘って連続して、これまで相関追尾を行った被写体と同一の顔が顔検出処理で検出されたと判定したか否かを判別する（Ｓ１１０６）。

その結果、３回連続して、すなわち、フレームｎ，ｎ−１，ｎ−２の３フレームに亘って連続して、今まで相関追尾を行った被写体と同一の顔が顔検出処理で検出されたと判定した場合は、変数ＩＤＮＯのＩＤ番号を当該同一の顔検出の顔のＩＤに引継ぐ（Ｓ９０８）。

今まで相関追尾を行った被写体と同一の顔が顔検出処理で３回連続して検出されなかった場合は、ＣＰＵ１３１は、変数ＩＤＮＯのＩＤ番号を当該同一の顔検出の顔のＩＤに引継がない。

このようにして、複数の被写体が、どのような向きで画面内を動き回っても、顔検出に代表される被写体検出による追尾と、画像相関（フレーム相関）に代表される画像追尾方式の２つの方式を切換えて、同一被写体として的確に追いかけ続けることが可能になる。

なお、上記の第１、第２の実施例では、顔検出と画像相関追尾のブロックは、専用ハードウェアあり、その他のアルゴリズムはＣＰＵ１３１上でのソフトウェアとしていた。しかし、全てをＣＰＵ上のソフトウェアで実現する、或は全てをハードウェアで実現することも可能である。

また、顔検出の方式や画像相関追尾の方式としては、各種の方式を用いることができる。さらに、顔以外の被写体、例えば人間、動物、自動車等の被写体を検出して、画像相関追尾を併用して追尾することも可能である。

また、本発明の目的は、前述した各実施例の機能を実現するようにプログラミングされたソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出し実行することとなる。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した各実施例の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。さらに、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスクも、プログラムコードを供給するための記憶媒体として用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた場合も含まれる。また、そのプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵ等が処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。

本発明の実施例に係る撮像装置の概略構成を示すブロック図である。 画像相関追尾回路での画像相関処理を説明するための概念図である。 画像相関処理の過程で得られる相関値を示す概念図である。 顔検出追尾処理を説明するための概念図である。 顔検出追尾処理を示すフローチャートである。 図５の顔検出追尾処理を複数のフレームに関して繰り返した場合の追尾状況を例示した概念図である。 相関追尾処理を示すフローチャートである。 相関追尾処理を説明するための概念図である。 第１の実施例における相関追尾から顔検出追尾への移行処理を示すフローチャートである。 図９の移行処理を実行した場合の追尾状況を例示した概念図である。 第２の実施例における相関追尾から顔検出追尾への移行処理を示すフローチャートである。

符号の説明

１２１…顔検出回路
１２３…画像相関追尾回路
１３１…ＣＰＵ
１３３…ＲＡＭ
Ａ〜Ｉ…条件式（連続条件）

Claims (12)

1. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
2. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での大きさの差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
3. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さく、且つ、前記追尾被写体と前記特定被写体の撮影画面内での大きさの差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
4. 前記条件を複数のフレームに亘って連続で満たした場合、前記追尾被写体を前記特定被写体と同一と判定する請求項１乃至３の何れか一項に記載の撮像装置。
5. 撮影画面内の被写体を検出して前記被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像において前記被写体検出手段で検出された所定フレーム間の被写体の撮影画面内での位置の差が第１の閾値より小さいときに特定被写体として特定する被写体特定手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での位置の差が第２の閾値より小さい、但し、前記第２の閾値は、前記第１の閾値よりも大きい、という条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
6. 撮影画面内の被写体を検出して前記被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像において前記被写体検出手段で検出された所定フレーム間の被写体の大きさの差が第１の閾値より小さいときに特定被写体として特定する被写体特定手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での大きさの差が第２の閾値より小さい、但し、前記第２の閾値は前記第１の閾値よりも大きい、という条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
7. 撮影画面内の被写体を検出して前記被写体の被写体位置と検出信頼度を出力する被写体検出手段と、動画像において前記被写体検出手段で検出された所定フレーム間の被写体の位置の差が所定の閾値より小さく、又は動画像において前記被写体検出手段で検出された所定フレーム間の被写体の大きさの差が所定の閾値より小さく、且つ前記被写体の検出信頼度が第１の閾値より大きいときに特定被写体として特定する被写体特定手段と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾手段とを有する撮像装置であって、
   前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さい、又は前記追尾被写体と前記特定被写体との撮影画面内での大きさの差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が第２の閾値より大きい、但し、前記第２の閾値は前記第１の閾値よりも小さい、という条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置。
8. 前記条件を複数のフレームに亘って連続で満たすという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定する請求項５乃至７の何れか一項に記載の撮像装置。
9. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出工程と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾工程とを有する撮像装置の制御方法であって、
   前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置の制御方法。
10. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出工程と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾工程とを有する撮像装置の制御方法であって、
    前記追尾被写体と前記特定被写体との撮影画面内での大きさの差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置の制御方法。
11. 撮影画面内の特定被写体を検出して前記特定被写体の被写体位置と検出信頼度を出力する被写体検出工程と、動画像のフレーム間の相関性に基づき任意の被写体を追尾被写体として追尾する被写体追尾工程とを有する撮像装置の制御方法であって、
    前記追尾被写体と前記特定被写体との撮影画面内での位置の差が所定の閾値より小さく、且つ、前記追尾被写体と前記特定被写体との撮影画面内での大きさの差が所定の閾値より小さく、且つ、前記特定被写体の検出信頼度が所定の閾値より大きいという条件を満たしたとき、前記追尾被写体を前記特定被写体と同一と判定することを特徴とする撮像装置の制御方法。
12. 請求項９乃至１１の何れか一項に記載の撮像装置の制御方法をコンピュータが実行できるようにプログラミングされてなるプログラム。

Images