JP5147670B2 - 画像処理装置及び画像処理方法、撮像装置 - Google Patents

Description

本発明は、画像処理装置および画像処理方法、撮像装置に関し、特には動画像中に含まれる被写体を検出するための画像処理装置及び画像処理方法、撮像装置に関する。

画像から特定の被写体（人物、動物、特定の物体など）を検出する画像処理技術は非常に有用である。例えば被写体として人間の顔を検出する画像処理技術は、テレビ会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮など多くの分野で使用することができる。

既にデジタルカメラやデジタルビデオカメラでは、撮影画像から人物の顔を検出し、顔検出結果に基づく露出制御や焦点検出制御を実現させている。

このような、画像中から特定の被写体を検出するための画像処理技術としては、様々な手法が提案されているが、その大半はパターンマッチングに基づく手法である。例えば、画像上の複数の異なる位置で部分画像を切り出し、その部分画像が顔領域の画像であるか否かを判別して、画像上の顔領域を検出する方法が挙げられる。部分画像が顔領域であるか否かは、テンプレートマッチングによる手法や、ニューラル・ネットワークなどの学習手法により顔の特徴を学習させた識別器を用いる手法により判別できる。

いずれの手法においても、部分画像の画像パターンに基づいてその部分画像が被写体領域の画像である確からしさを示す信頼度を算出し、信頼度が所定の閾値を超えた部分画像を被写体領域の画像として検出するのが一般的である。

例えば、特許文献１では、複数の異なる解像度パターンの部分画像から信頼度を算出し、部分画像ごとの信頼度の和に基づいて被写体領域の画像を検出（被写体検出）している。

特許文献２では、被写体として人物の顔を検出し、検出結果に基づいて画像中の顔の位置を検出し、顔に焦点を合わるとともに、顔が最適な露出で撮影されるように自動焦点検出及び自動露出する撮影装置を開示している。

特開２００８−０３３４２４号公報 特開２００５−３１８５５４号公報

パターンマッチングによる被写体検出は、画像中に被写体が含まれる可能性の程度に基づくものであり、検出すべき被写体のみが検出されるわけではない。例えば、被写体として人物の顔を検出する場合、パターンマッチングに基づく、顔らしさの信頼度が、所定の閾値を満たす領域であれば、顔でない領域であっても顔として検出される。

このような誤検出（検出過多）を減少させるため、被写体領域と見なすための信頼度の閾値を厳しく設定すると、被写体領域にもかかわらず閾値を満たさない領域が発生し、被写体の検出率が低下する（検出もれ）。また、閾値を緩く設定すれば、検出すべき被写体とは異なる領域を被写体として検出する誤検出が多発する。つまり、検出もれと誤検出にはトレードオフの関係があり、最適な検出条件を設定することは容易でない。

パターンマッチングの演算量を増やし、検出の信頼性を高めることも考えられるが、デジタルビデオカメラやデジタルカメラなど、演算リソースが限られ、さらに検出のリアルタイム性が求められる装置においては現実的でない。

本発明はこのような従来技術の課題に鑑みなされたものであり、画像から被写体検出を行うための画像処理装置及び画像処理方法、撮像装置において、演算量を抑制しながら、簡便な方法によって被写体検出精度を向上させることを目的とする。

上述の目的は、時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出手段と、異なる画像から被写体検出手段が検出した領域のうち、同一被写体の領域を特定する特定手段と、特定手段が同一被写体の領域と特定した領域について、被写体検出手段が検出した信頼度の履歴を含む被写体データを記録する記録手段と、特定手段が同一被写体の領域と特定した領域のうち、記録手段が記録した信頼度の履歴が、信頼度のレベルに応じて定められた判定基準を満たす領域を、予め定めた被写体の領域と判定する判定手段とを有することを特徴とする画像処理装置によって達成される。

また、上述の目的は、被写体光学像を結像するためのレンズと、レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、本発明に係る画像処理装置と、判定手段が予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有することを特徴とする撮像装置によっても達成される。

また、上述の目的は、撮像装置であって、被写体光学像を結像するためのレンズと、レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、時系列的に隣接する画像の変化量を算出するとともに、変化量が予め定めた変化量を超える場合には、記録手段が記録する被写体データを全て削除する変化検出手段を有する本発明に係る画像処理装置と、判定手段が予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有し、画像処理装置の変化検出手段が、撮像装置の動きまたはレンズの画角変化に関する情報を取得するとともに、これら情報の少なくとも１つが予め定めた閾値を超える場合には、前記変化量が予め定めた変化量を超えるものとして、記録手段が記録する被写体データを全て削除することを特徴とする撮像装置によっても達成される。

また、上述の目的は、画像処理装置が実行する画像処理方法であって、画像処理装置の被写体検出手段が、時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出ステップと、画像処理装置の特定手段が、異なる画像から被写体検出ステップで検出された領域のうち、同一被写体の領域を特定する特定ステップと、画像処理装置の記録手段が、特定ステップで同一被写体の領域と特定された領域について、被写体検出ステップで検出された信頼度の履歴を含む被写体データを記録装置に記録する記録ステップと、画像処理装置の判定手段が、特定ステップで同一被写体の領域と特定された領域のうち、記録手段に記録された信頼度の履歴が、信頼度のレベルに応じて定められた判定基準を満たす領域を、予め定めた被写体の領域と判定する判定ステップとを有することを特徴とする画像処理方法によっても達成される。

このような構成により、本発明によれば、画像から被写体検出を行うための画像処理装置及び画像処理方法において、演算量を抑制しながら、簡便な方法によって被写体検出精度を向上させることができる。

以下、図面を参照して本発明の好適かつ例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。

レンズ１０１により、被写体光学像がＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子１０２の撮像面上に結像される。撮像素子１０２は、入射した光線の強度に応じた電気信号を画素単位で出力する。この電気信号が映像信号である。撮像素子１０２から出力された映像信号は、アナログ信号処理部１０３において相関二重サンプリング（ＣＤＳ）等のアナログ信号処理が行われる。

アナログ信号処理部１０３から出力された映像信号は、Ａ／Ｄ変換部１０４においてデジタルデータの形式に変換され、撮影制御部１０５および画像処理部１０６に入力する。画像処理部１０６では、ガンマ補正、ホワイトバランス処理などの画像処理が行われる。画像処理部１０６は、これら通常の画像処理に加え、後述するように、顔検出部１０９から供給される、画像中に検出された顔領域に関する情報を用いた画像処理も行う。

画像処理部１０６から出力された映像信号は、表示部１０７に送られる。表示部１０７は、例えばＬＣＤや有機ＥＬディスプレイであり、映像信号を表示する。時系列的に連続撮影した画像を逐次表示部１０７に表示することで、表示部１０７を電子ビューファインダ（ＥＶＦ）として機能させることができる。また、映像信号は記録媒体１０８、例えば着脱可能なメモリカードに記録される。記録先はカメラの内蔵メモリであっても、通信可能な接続された外部装置であっても良い。

画像処理部１０６から出力された映像信号は、顔検出部１０９にも供給される。顔検出部１０９は画像中の人物の顔を検出し、被写体の人数と顔領域を特定する。検出方法は公知の顔検出方法を用いる。例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法とニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。認識率向上のために複数の方法を組み合わせて顔認識を行なうのが一般的である。具体的には特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。

顔検出部１０９が検出結果として出力する顔領域の情報としては、検出した人数分の顔領域の位置、大きさ、傾き、信頼度などが挙げられる。ここで、信頼度とは顔検出結果の確からしさを表す値であり、顔検出の処理過程で決定される。

信頼度の算出法はさまざまなものがある。例えば、予め記憶された顔画像の特徴と、顔検出部１０９により検出した顔領域の画像の特徴とを比較して、検出した顔領域の画像が被写体の画像である確率を求め、この確率から信頼度を算出する方法がある。また、予め記憶された顔画像の特徴と、顔検出部１０９によって検出した顔領域の画像の特徴との差を算出し、その差の大きさから信頼度を算出する方法もある。どのような方法で算出された信頼度であっても、信頼度が高ければ誤検出の可能性が少なく、低ければ誤検出の可能性が高いことを示す。

顔検出部１０９の検出結果である顔領域の情報は被写体特定部１１０に送られる。被写体特定部１１０は、時系列的に連続した顔検出結果から、同一の被写体を特定し、被写体情報を顔判定部１１１に送る。顔判定部１１１は、顔検出部１０９から供給される時系列的な顔検出結果に基づいて、信頼性が高い顔領域を顔と判定する。顔として判定された検出結果の情報（撮像画像中の顔領域の位置、大きさなど）は、画像処理部１０６及び撮影制御部１０５に供給される。そして、顔領域の情報を用いた自動焦点検出制御や自動露出制御といった、撮像条件の制御に用いることができる。

撮影制御部１０５は、Ａ／Ｄ変換部１０４から出力された映像信号に基づいて、撮像レンズの図示しない焦点制御機構や露出制御機構を制御する。撮影制御部１０５は、この焦点制御機構や露出制御機構の制御に、顔判定部１１１から供給された検出結果の情報を用いることができる。従って、本実施形態の撮像装置は、撮像画像中の顔領域の情報を考慮した撮影処理を行なう機能を実現できる。具体的には、顔領域を基準とした露出制御、焦点検出制御、フラッシュ制御などを実現することができる。撮影制御部１０５は、撮像素子１０２の出力タイミングや出力画素などの制御を行なう。

（被写体特定処理）
被写体特定部１１０には、顔検出部１０９から顔検出結果として顔領域の情報（撮像画像中の位置や大きさ、信頼度など）が供給される。顔検出部１０９では、過去の顔検出結果を保持したり、利用したりせずに顔検出処理を行う。そのため、被写体特定部１１０は、顔検出部１０９の顔検出結果を時系列的に保持し、時系列的な顔検出結果に基づいて、同一被写体の顔領域を特定する。これにより、被写体追尾が可能になる。

顔領域の位置と大きさを用いて同一被写体を特定する処理について、図２を参照して説明する。
図２は逐次撮像される時系列的に連続する２フレームを示しており、（ｂ）が現在の撮像画像、（ａ）が（ｂ）より１フレーム前の画像を示している。なお、ここではフレーム毎に顔検出を行うものとしているが、数フレームおきに顔検出を行ってもよい。顔検出部１０９によって各フレームで検出された顔領域２０１、２０２、２０３は、顔領域を示す表示（顔枠）によって示されている。

図２（ａ）に示す前フレームで検出された顔領域について、位置を、画像中の座標を用いて(x_t-1 (i), y_t-1 (i))、大きさをs_t-1 (i)と表す。また、現フレームで検出された顔領域については、位置を(x_t (j), y_t (j))、 大きさをs_t (j)と表す。ここで、i、jの値は１からｎの値を取る整数であり、同一フレーム内で検出された顔領域ごとに値が割り振られる。ｎは検出された顔領域の総数を示す。

被写体特定部１１０は、時系列的に連続する顔検出結果において、位置と大きさが、以下の式１の値が０以上となる顔領域を、同一被写体として判定する。

つまり、連続するフレーム間で大きさが同一の顔領域については、前フレームの顔領域の周囲に顔領域と等しい大きさの領域が隣接する範囲に現フレームの顔領域が含まれれば、両者を同一被写体の顔領域と判定する。

また、連続するフレーム間で大きさが異なる顔領域については、２つの顔領域の座標差が、大きさの小さい方の顔を基準として設定した隣接範囲に含まれれば、同一人物と判定する。現フレームの結果を基準として、式１の値が０以上となる前フレームの検出結果が複数個あった場合は、式の値の小さいほうが同一人物として判定される。また、現フレームの結果を基準として、前フレームの検出結果が式１の値で０以上となる結果がなければ、その結果の被写体は新規の被写体としてみなされる。つまり、図２において、フレームｔ−１おける顔領域２０１とフレームｔにおける顔領域２０２は同一の被写体として判定され、フレームｔにおける顔領域２０３は新規に出現した被写体と判定される。

ここで説明した被写体特定方法は一例であり、他の方法を用いて同一の被写体を特定してもよい。例えば、顔検出部１０９から顔の傾きや向きに関する情報が得られるならば、それらを被写体特定部１１０での被写体特定の条件として利用しても良い。また、レンズ１０１のズーム率（焦点距離）、ビデオカメラの移動量、手ぶれ補正のON/OFFといった撮像装置の情報を取得し、それらを被写体特定の条件として利用することもできる。

被写体特定部１１０は、図６に示すような被写体リスト１１２を保持し、顔検出部１０９から検出結果を受け取るごとに被写体リスト１１２を更新する。被写体リスト１１２の詳細については後述するが、個々の顔領域について、位置及び大きさの情報と、信頼度レベルの履歴などが記憶される。

（顔判定処理）
顔判定部１１１では、顔検出部１０９により出力される顔検出結果から、画像処理部１０６及び撮影制御部１０５で有効に利用できる情報を判定し、画像処理部１０６及び撮影制御部１０５へ供給する。つまり、顔判定部１１１は、顔検出部１０９により出力される顔検出結果の中から、信頼性の高い検出結果を取り出し、画像処理部１０６及び撮影制御部１０５へ供給する。

具体的には、顔判定部１１１は、信頼度のレベル（高さ）に応じた継続検出回数または継続検出時間を判定基準として予め保持しておく。そして、被写体特定部１１０が同一被写体と判定した顔領域について、判定基準を満たす顔領域を最終的に顔としての信頼性の高い顔領域と判定する。

つまり、顔判定部１１１は、同一の被写体と判定された顔領域のうち、顔検出部１０９が算出した信頼度のレベルに応じた回数または時間継続して検出されている顔領域を、信頼性の高い顔領域と判定する。ここで、信頼度のレベルは、顔検出部１０９から供給される信頼度そのものであっても、顔検出部１０９から得られる信頼度に対して正規化処理など所定の処理を施した値であってもよい。実際には、顔判定部１１１は、被写体特定部１１０が保持、管理する被写体リスト１１２（図６）を参照し、信頼度レベルの履歴から判定基準を満たす顔領域を顔と判定する。そして、顔判定部１１１は、顔と判定した顔領域の位置や大きさの情報を被写体リスト１１２から読み出して、画像処理部１０６及び撮影制御部１０５へ供給する。

図３に顔検出部１０９により検出された顔領域と、対応する信頼度レベルの例を示す。
本実施形態では、信頼度レベルは１から５の５段階あり、５が最も信頼性が高いものとする。図３に示した例では、顔を正しく検出している顔領域（４０１，４０３，４０４，４０６，４０８，４１０）には信頼度レベルの高いものが多く、顔以外の領域を誤検出した顔領域（４０２，４０５，４０７，４０９）は信頼度レベルの低い結果が多い。しかし、正しく検出されている顔領域でも信頼度レベルの低いもの（顔領域４０３，４０８）や、誤検出された顔領域でも信頼度レベルの高いもの（顔領域４０２，４０７）が含まれている。

従って、１フレームのみから得られる信頼度レベルによって、正しい検出と誤検出を精度良く区別することは難しい。
そこで、本実施形態では、同一被写体の顔領域についての信頼度レベルを経時的に追跡し、個々の被写体の顔領域が真に顔領域であるかどうかを判定する。具体的には上述したように、同一被写体の顔領域と判定された顔領域について、信頼度レベルに応じた判定基準を設け、判定基準を満たした顔領域について真の顔領域であると判定する。判定基準は例えば、ある信頼度レベルが継続して検出された回数や時間であってよい。本実施形態では、顔領域ごとの信頼度レベルの追跡、記録は被写体特定部１１０が行い、判定基準に基づく判定を顔判定部１１１が行う。

図４は、図３において判定基準を適用した例を模式的に示した図である。
図４において、顔枠が実線で示されている顔領域は顔判定部１１１により顔と判定されていることを、顔枠が点線で示されている顔領域は顔判定部１１１により顔と判定されていないことを示している。

図４では、理解及び説明を簡単にするため、信頼度レベル４以上が２フレーム継続したら顔と判定され、それ以外は顔と判定しないという判定基準が設定されているものとする。
フレームｔ−２（図４（ａ））の段階では、どの顔領域も判定基準を満たしていないため、顔領域４０１〜４０３はいずれも顔と判定されておらず、顔枠は点線で示されている。

次の、フレームｔ−１（図４（ｂ））では、顔領域４０４が、同一被写体と判定されている前フレームの顔領域４０１から継続して信頼度レベル５を有していることから顔と判定される。誤検出された顔領域４０５は、前フレームで対応する顔領域４０２では信頼度レベル４であったが、現フレームで信頼度レベルが１に下がったため、顔と判定されていない。また、正しく検出された顔領域４０６は、前フレームで対応する顔領域４０３が信頼度レベル２であったため、この時点では顔と判定されていない。

フレームｔ（図４（ｃ））では、顔領域４０８の信頼度レベルが２に低下したが、既に顔と判定されているため、この時点では依然として顔と判定される。顔領域４１０は、同一被写体と判定されている前フレームの顔領域４０６から継続して信頼度レベル４を有していることからこの時点で顔と判定される。誤検出された顔領域４０９は、信頼度レベル３であるため依然として顔と判定されていない。フレームｔ−１で誤検出された顔領域４０７は、フレームｔにおいて同一被写体と判別される顔領域が存在しないため、顔とは判定されない。

本実施形態の撮像装置における顔判定処理について、図５に示したフローチャートを用いてさらに説明する。
まず、顔検出部１０９が、画像中から人物の顔を検出し、検出した顔領域の各々について、画像中における位置（座標）、大きさ、信頼度などを求める（Ｓ６０１）。本実施形態では、時系列的に連続して得られる画像ごとに顔検出部１０９で顔検出するものとする。

次に、検出された顔領域の１つについて、被写体特定部１１０において、上述した被写体特定法により、現フレームの検出結果を前フレームの検出結果と比較し、同一被写体の顔領域を特定する（Ｓ６０２）。

この判定に基づき、被写体特定部１１０は、図６に示したような被写体リスト１１２の更新もしくは登録を行なう。すなわち、被写体特定部１１０は、現フレームで検出された顔領域のうち、前フレームで検出された顔領域と同一被写体のものと判定されるものについて、被写体リスト１１２に登録済みのデータを更新する（Ｓ６０３）。また、被写体特定部１１０は、前フレームで検出されていたにもかかわらず、現フレームで検出されなかった被写体に関する被写体データは被写体リスト１１２から削除する。

被写体特定部１１０は、被写体データのうち、顔領域の位置、大きさについては、現フレームでの検出結果で書き換えて更新する。また、信頼度レベルの継続検出回数については、現フレームでの信頼度レベルと、判定基準に応じた方法で書き換えて更新する。

例えば、判定基準がある特定の信頼度レベルの継続検出回数であれば、現フレームでの信頼度レベルが前フレームでの信頼度レベルと等しい場合のみ、対応する信頼度レベルの継続検出回数を１増加させる。そして、現フレームでの信頼度レベルが前フレームでの信頼度レベルと異なる場合には、現フレームでの信頼度レベルの継続検出回数を「１」とし、他の信頼度レベルの継続検出回数を「０」とする。

一方、判定基準が、ある信頼度レベル以上の継続検出回数である場合、現フレームでの信頼度レベルと、それ以下の信頼度レベルの継続検出回数を増加させ、現フレームでの信頼度レベルよりも高い信頼性レベルの継続検出回数は全て０とする。

例えば、現フレームでの信頼度レベルが５であれば、全ての信頼度レベルの継続検出回数を増加させる。また、現フレームでの信頼度レベルが３であれば、信頼度レベル１〜３の継続検出回数を増加させ、信頼度レベル４〜５の継続検出回数は０とする。このような更新方法により、個々の信頼度レベル以上の信頼度レベルが継続して検出されている回数を記録することができる。

一方で、被写体特定部１１０は、現フレームで検出された顔領域のうち、前フレームで検出された顔領域と異なる被写体のものについては、新たな被写体ＩＤを付与して被写体リスト１１２に新規の被写体データとして登録する（Ｓ６０４）。

被写体特定部１１０は、顔検出部１０９から供給される、顔領域の位置・大きさ、信頼度レベルと、被写体特定結果とに基づいて、図６の被写体リスト１１２のデータを更新、および登録する。

被写体リスト１１２には、被写体（顔領域）を識別するための被写体ＩＤごとに、顔領域の位置、大きさ、信頼度レベルごとの継続検出回数、顔と判定されたか否かを示す顔判定フラグ、現フレームで登録または更新されたことを示す更新フラグが関連付けられる。
更新フラグはフレーム毎に０にクリアされ、Ｓ６０３の更新もしくはＳ６０４の登録により、更新フラグは１になる。

初期フレームにおける処理時は、被写体リスト１１２のデータがないため、被写体特定部１１０は、検出された顔領域の情報を全て新規の被写体データとして被写体リスト１１２に登録される。２フレーム以降、被写体特定部１１０は被写体リスト１１２中の被写体データと、現フレームの顔検出結果の情報を用いて、被写体判定処理を行う。

顔判定部１１１では、被写体リスト１１２に記録された、各被写体の顔領域の信頼度レベルの履歴、具体的には信頼度レベルに応じた継続検出回数または継続検出時間に基づいて、各被写体の顔領域のうち、顔である可能性の高い顔領域を判定する。

また、本実施形態では、顔判定部１１１で顔として判定された被写体については、その後の検出結果における信頼度がレベルとは無関係に、同一被写体と特定される顔領域が検出されていれば、顔であると判定する。

そのため、顔判定部１１１はまず、現フレームで検出された顔領域が、既に顔と判定されたものかどうかを判定する（Ｓ６０５）。顔判定部１１１は、図６に示した被写体リスト１１２中の顔判定フラグが１であれば、既に顔と判定されており、０であれば顔と判定されていないと判定する。なお、被写体データの登録時における顔判定フラグの値は０とする。

そして、顔判定部１１１は、顔判定フラグが０である顔領域に関して、信頼度レベルの履歴を参照し、予め定めた判定基準を満たすか否かを判定する（Ｓ６０６）。ここでは、信頼度レベルＬに応じた継続検出回数の基準値f（Ｌ）が判定基準として定められており、この判定基準を満たすか否かを判定するものとする。

図７に、信頼度レベルに応じて設定される、顔と判定するのに必要な継続検出回数の基準値ｆ（Ｌ）の例を示す。図７において、横軸は信頼度レベルＬ、縦軸は継続検出回数の基準値ｆ（Ｌ）を示しており、信頼度レベルが高いほど基準値ｆ（Ｌ）が低くなるように設定されている。継続検出回数の代わりに継続検出時間とする場合には、信頼度レベルが高いほど基準値ｆ（Ｌ）が短くなるように設定される。

信頼度レベルＬと継続検出回数の基準値ｆ（Ｌ）とは、線形関係であっても非線形関係であっても良い。また、継続検出回数の基準値ｆ（Ｌ）は、信頼度レベル毎の回数であっても、各信頼度レベル以上の回数であっても良い。

顔判定部１１１は、図６に示した被写体リスト１１２に含まれる顔領域のうち、信頼度レベルに応じた継続検出回数が図７に示した基準値を満たすものを顔として判定し、被写体リスト１１２中の顔判定フラグの値を１にする（Ｓ６０７）。そして、顔判定部１１１は、顔と判定した顔領域の情報を、被写体リスト１１２から読み出して画像処理部１０６や撮影制御部１０５に供給する。

一方、顔判定部１１１は、継続検出回数が基準値を満たしていない顔領域については顔とは判定せず、顔判定フラグは０のままとする。そして、顔判定部１１１は、顔と判定しなかった顔領域の情報は、画像処理部１０６や撮影制御部１０５には供給しない。

上述したＳ６０２からＳ６０７までの処理を、Ｓ６０１における顔検出により検出された各顔領域に対して行なうため、顔判定部１１１は、現フレームで検出された全ての顔領域に対して処理したか否かを判定する（Ｓ６０８）。

そして、顔判定部１１１は、未処理の顔領域が残っている場合、その１つを処理対象としてＳ６０２に処理を戻す。一方、現フレームで検出された全ての顔領域について処理した場合には、顔判定部１１１は処理をＳ６０９に移す。

そして、顔判定部１１１は、被写体リスト１１２中の被写体データに未更新のデータがあれば、前フレームでは検出されたが、現フレームでは検出されなかった被写体のデータであるため、被写体リスト１１２から削除する（Ｓ６０９）。

このように、本実施形態によれば、顔検出処理によって検出された顔領域が顔かどうかを判定する際に、検出されたフレームでの信頼度だけからでなく、信頼度の履歴に基づいた判定を行なうことにより、簡便な方法で顔検出の精度を高めることができる。

（変形例１）
なお、本実施形態においては、前フレームでは検出されたが、現フレームでは検出されなかった被写体のデータは、Ｓ６０９で被写体リスト１１２から削除するものとして説明した。

しかし、実際にはその被写体が存在しているにも係わらず、顔検出部１０９の問題で検出されなかった可能性もある。このような検出漏れによって検出精度が低下することを防ぐため、一度顔として判定された被写体については、所定数のフレームにわたり連続して検出されないことが確認されるまでは被写体データを保持するように構成してもよい。

このような構成を採用した場合の撮像装置における顔判定処理について、図８に示したフローチャートを用いてさらに説明する。
図８のＳ９０１からＳ９０８は上述した図５のＳ６０１からＳ６０８と同様である。Ｓ９０１からＳ９０８の処理により、現フレームで顔検出部１０９に検出された顔領域について、被写体の特定処理及び顔判定処理が行なわれる。

図９に、本変形例で用いる被写体リスト１１２’の例を示す。
図９の被写体リスト１１２’は、図６の被写体リスト１１２の情報に加え、検出されなかった被写体データを保持するフレーム数と、検出されなかった状態で現在までに保持したフレーム数の情報を持つ。保持したフレーム数は、被写体特定部１１０により、同一の被写体が顔検出部１０９で検出されたと判定された場合には、０にクリアされる。

現フレームで検出された全ての顔領域についての顔判定処理が終了すると、顔判定部１１１は、顔判定フラグが１（顔と判定済み）で、未更新の被写体データが存在するか否かを判定する（Ｓ９０９）。

顔判定フラグが１で、未更新の被写体データが存在する場合、顔判定部１１１は対応する「保持したフレーム数」を参照し、「保持するフレーム数」以下かどうか判定する（Ｓ９１０）。

「保持したフレーム数」が「保持するフレーム数」以下であれば、顔判定部１１１は未更新の被写体データを削除せずに、対応する「保持したフレーム数」を増加させることによって更新する（Ｓ９１１）。

一方、「保持したフレーム数」が「保持するフレーム数」を超えている未更新の被写体データについては、顔判定部１１１は更新しない。顔判定部１１１は、顔と判定済みで、かつ未更新の被写体データ全てについて「保持したフレーム数」が「保持するフレーム数」以下か否かの判定処理を行ったことがＳ９０９において確認されるまで、Ｓ９０９〜Ｓ９１１の処理を繰り返し実行する。

その後、顔判定部１１１は、未更新の被写体データを被写体リスト１１２’から削除する（Ｓ９１２）。従って、Ｓ９１２で削除される被写体データは、顔と判定済みの被写体データであって、所定フレーム数連続して検出されなかった顔領域についての被写体データと、顔と判定されておらず、現フレームで検出されなかった顔領域についての被写体データである。

本変形例において保持される、現フレームで検出されなかった顔領域に対する被写体データにおける位置、大きさなどの値は、顔領域が検出されなくなる直前の値であっても、検出されなくなる以前の数フレームでの値からの推定値であってもよい。

また、「保持するフレーム数」の値は、顔領域が検出されなくなる直前に継続して検出されていた信頼度レベルとその継続検出回数に応じて決定することができる。例えば、高い信頼度レベルが多数回継続して検出されていれば、「保持するフレーム数」の値を大きく設定することができる。また、高い信頼度レベルが少数回継続して検出されていた場合や、低い信頼度レベルが検出されていた場合には、「保持するフレーム数」の値を小さく設定することができる。

また、保持するフレーム数の値は、信頼度レベルと継続検出回数に加えて、あるいはそれに代えて、他の条件に基づいて決定することができる。他の条件としては、例えば、被写体リスト中の顔領域の位置や大きさなどであってよい。例えば、顔の位置が画像の端であれば、検出されなくなった要因として顔が画角からはみ出した可能性が高い。そこで、顔の位置が画像の中央付近であれば、保持するフレーム数を多くし、画像の端付近であれば、保持するフレーム数を少なくすることができる。

（変形例２）
本実施形態では、顔判定部１１１において顔判定に用いる判定基準として、信頼度のレベルに応じて設定された継続検出回数または継続検出時間を用いる場合について説明した。しかし、継続検出回数または継続検出時間を、検出された顔領域（被写体）数や、顔領域の移動量などに応じて変化させても良い。

継続検出回数または継続検出時間を、検出された顔領域（被写体）数に応じて変化させる場合の撮像装置における顔判定処理について、図１０に示したフローチャートを用いてさらに説明する。

まず、顔検出部１０９で画像の中から人物の顔を検出する（Ｓ１１０１）。そして、顔検出部１０９は、検出人数をカウントする（Ｓ１１０２）。なお、検出人数のカウントは、各フレームの検出人数でなく、ある一定期間内に含まれる各フレームにおける検出人数の累積値としてもよい。例えば、一度に複数人が通り過ぎるようなことがあると、一時的に検出人数が増加し、判定基準が大きく変動してしまうことになる。そのため、それまで継続して検出された人物の顔が、検出されなくなってしまうという問題が生じる可能性がある。また、顔検出部１０９の検出漏れのたびに、判定基準が変動してしまう可能性がある。そこで、検出人数のカウントを一定期間による検出人数の累積値とすることで、判定基準の変動を抑制することができる。

次に、被写体特定部１１０において、現フレームの検出結果を基準として、前フレームの検出結果を比較し、同一被写体の顔領域を判定する（Ｓ１１０３）。そして、現フレームで前フレームと同一の被写体の顔領域が検出されていれば、被写体特定部１１０は、被写体リスト中の対応する被写体データを更新する（Ｓ１１０４）。

一方で、現フレームにおいて、前フレームで検出されていない被写体の顔領域が検出された場合、被写体特定部１１０は、その顔領域についての情報を新規の被写体データとして被写体リストに登録する（Ｓ１１０５）。

図１１は、本変形例で用いる被写体リスト１１２”を示す。本変形例における被写体リスト１１２”は、図６の被写体リスト１１２の情報に加え、検出人数の情報を持つ。検出人数は、顔検出部１０９から被写体特定部１１０に供給され、被写体データを登録する際に被写体特定部１１０が被写体リスト１１２”に登録する。

顔判定部１１１は、現フレームで検出された顔領域が、既に顔と判定された被写体の顔領域か否かを判定する（Ｓ１１０６）。そして、顔判定部１１１は、顔として判定されていない顔領域に関して、継続検出回数が信頼度レベルＬと検出人数ｎに応じた基準値ｆ（Ｌ，ｎ）を満たすか否かを判定する（Ｓ１１０７）。

顔判定部１１１は、継続検出回数が基準値を満たす顔領域について顔として判定し、被写体リストを更新する（Ｓ１１０８）。
ここで、本変形例においては、Ｓ１１０２でカウントされた検出人数が少なければ、検出頻度を上げるべきであるため、継続検出回数の基準値を少なくなくして、顔の判定基準を緩くする。一方、検出人数が多い場合には、検出頻度を増加させるよりも誤検出の抑制が望まれるため、継続検出回数の基準値を多くし、判定基準を厳しくする。

信頼度レベルと検出人数に応じた継続検出回数の基準値の設定例を図１２に示す。
図１２では、横軸に信頼度レベル、奥行き軸に検出人数のレベルを示し、それらに応じた継続検出回数の基準値を縦軸に示す。図１２の例では、検出人数を所定の閾値によって多い、少ないの２つに分類しているが、より細かく分類してもよい。また、信頼度レベルおよび検出人数と継続検出回数との関係は、線形関係であっても非線形関係であっても良い。

顔判定部１１１は、上述したＳ１１０３からＳ１１０８までの処理をＳ１１０１における顔検出で検出された顔領域の各々に対して実行したか判定する（Ｓ１１０９）。
未処理の顔領域があれば、その１つを対象としてＳ１１０３からの処理を繰り返し実行する。全ての顔領域の処理が終わっていれば、顔判定部１１１は、Ｓ１１１０で、被写体リスト中の被写体データのうち、未更新のデータを削除する。

なお、顔検出部１０９で検出された人数の代わりに、顔判定部１１１で顔として判定された顔領域の数を判定基準に反映させてもよい。また、継続検出回数の代わりに継続検出時間としてもよいことは言うまでもない。

次に、判定基準として用いる継続検出回数または継続検出時間を、検出された顔領域（被写体）数に応じて変化させる場合の撮像装置における顔判定処理について、図１３に示したフローチャートを用いてさらに説明する。

まず、顔検出部１０９により、画像の中から人物の顔を検出する（Ｓ１４０１）。次に、被写体特定部１１０において、現フレームの検出結果を基準として、前フレームの検出結果を比較し、同一被写体の顔領域を判定する（Ｓ１４０２）。

被写体特定部１１０は、現フレームにおいて前フレームと同一被写体と判断される顔領域が検出された場合、その顔領域の検出位置の差から、その被写体の移動量を算出する（Ｓ１４０３）。なお、被写体の移動量は、隣接する２フレーム間の移動量ではなく、隣接する２フレーム間での移動量をある一定期間内に含まれる複数のフレームについて加算した累積値としてもよい。累積値とすることで、同一被写体の誤判定によって一時的にその被写体の移動量が増加したとしても、判定基準が大きく変動してしまうことを抑制することができる。そして、被写体特定部１１０は、被写体リスト中の対応する被写体データを、移動量を含めて更新する（Ｓ１４０４）。

一方で、現フレームにおいて、前フレームで検出されていない被写体の顔領域が検出された場合、被写体特定部１１０は、その顔領域についての情報を新規の被写体データとして被写体リストに登録する（Ｓ１４０５）。新規に登録した際の移動量は０とする。

図１４は、本変形例で用いる被写体リスト１１３を示す。本変形例における被写体リスト１１３は、図６の被写体リスト１１２の情報に加え、移動量の情報を持つ。移動量は、例えば、被写体特定部１１０が、同一被写体と判定した顔領域に対応する被写体データついて登録（更新）する。

顔判定部１１１は、現フレームで検出された顔領域が、既に顔と判定された被写体の顔領域か否かを判定する（Ｓ１４０６）。そして、顔判定部１１１は、顔として判定されていない顔領域に関して、継続検出回数が信頼度レベルＬと各被写体の移動量ｗに応じた基準値ｆ（Ｌ，ｗ）を満たすか否かを判定する（Ｓ１４０７）。

顔判定部１１１は、継続検出回数が基準値を満たす顔領域について顔として判定し、被写体リストを更新する（Ｓ１４０８）。
通常の写真撮影では、移動量が大きい被写体は主被写体である可能性が少なく、移動量が小さい被写体が主被写体である可能性が大きい。そのため、本変形例では、移動量が少ない顔領域については継続検出回数の基準値を少なくして、顔の判定基準を緩くする。一方、移動量が多い顔領域については継続検出回数の基準値を多くして、顔の判定基準を厳しくする。

信頼度レベルと被写体の移動量に応じた継続検出回数の基準値の設定例を図１５に示す。
図１５では、横軸に信頼度レベル、奥行き軸に移動量の大きさを示し、それらに応じた継続検出回数の基準値を縦軸に示す。図１５の例では、移動量を所定の閾値によって大小２つに分類しているが、より細かく分類してもよい。また、信頼度レベルおよび移動量と継続検出回数との関係は、線形関係であっても非線形関係であっても良い。

顔判定部１１１は、上述したＳ１４０２からＳ１４０８までの処理をＳ１４０１における顔検出で検出された顔領域の各々に対して実行したか判定する（Ｓ１４０９）。
未処理の顔領域があれば、その１つを対象としてＳ１４０２からの処理を繰り返し実行する。全ての顔領域の処理が終わっていれば、顔判定部１１１は、Ｓ１４１０で、被写体リスト中の被写体データのうち、未更新のデータを削除する。

なお、被写体の移動量を判定基準に反映する方法としては、連続するフレーム間での移動量もしくは一定期間内における各被写体の移動量の加算値に応じて継続検出回数を変化させる方法に限定されない。例えば、連続するフレーム間での移動量がある閾値を超えた場合に、継続検出回数の基準値を変化させるようにしても良い。

（変形例３）
本実施形態では、未更新の被写体データと判定されるまでは、どの被写体データも被写体リストに保持され続ける。そのため、連続するフレーム間において、撮像モードの変化により画角が大きく変化した場合や、カメラの移動量が大きい場合、被写体特定部１１０が異なる被写体の顔領域を同一被写体の顔領域として特定してしまう恐れがある。被写体の特定を誤ると、最終的な顔判定結果の信頼性が大きく低下する。

これに対応するため、本変形例では、画角や撮影方向の大きな変化など、画像全体が大きく変化した（する）と検出される場合には、被写体リスト内の被写体データを全て削除し、次フレーム以降、新規に被写体データを登録する。

図１６は、本変形例における顔判定処理を説明するためのフローチャートである。
まず、例えば、変化検出手段としての画像処理部１０６において、連続するフレーム間での画像の変化量を算出し、画像全体に大きな変化があったか否かを検出する（Ｓ１７０１）。この変化量は、連続するフレーム間の輝度成分、色成分、またはエッジ成分から算出することができる。そして、画像処理部１０６は、変化量が予め定めた変化量を超える場合には、画像が大きく変化したものと判別する。また、実施形態に係る画像処理装置が撮像装置に適用される場合は、撮影モード（例えばズーム倍率）の変化を検出したり、撮像装置が例えば手ぶれ補正用に有するジャイロセンサーなどから情報を取得したりして、画像全体が大きく変化したかどうか判別してもよい。

画像全体の大きな変化があれば、画像処理部１０６が、被写体リスト内の全ての被写体データを削除する（Ｓ１７０２）。
そして、Ｓ１７０３で顔検出部１０９が顔検出処理を行なう。この時、全ての顔検出結果は、新規の被写体データとして被写体リストに登録される。一方、画像全体の大きな変化がなければ、Ｓ１７０３に移る。図１６のＳ１７０３からＳ１７１１は図５のＳ６０１からＳ６０９と同様であるため説明を省略する。

なお、画像処理部１０６の代わりに、顔検出部１０９で顔検出を行わずに被写体特定部１１０に画像データを供給し、被写体特定部１１０が画像全体の大きな変化を検出するように構成してもよい。

なお、本変形例において、「画像全体の大きな変化」とは、例えばシーンの半分以上が変わるようなカメラの移動や画角変化であったり、一般的なシーンチェンジ検出技術においてシーンチェンジと判別できるような変化であってよい。

（他の実施形態）
上述した実施形態およびその変形例は、本発明に係る画像処理装置を撮像装置に適用し、かつ撮像時の顔判定処理に着目して説明した。しかし、顔判定に用いる画像はリアルタイムに撮影される画像に限定されず、記録済みの画像であっても良いことは理解されよう。従って、上述した実施形態およびその変形例は、動画像の再生時の顔判定処理にも同様に適用可能である。また、上述の変形例は複数を組み合わせて実施することも可能である。

また、被写体検出及び被写体判定の一例として顔検出及び顔判定を説明したが、被写体は人物の顔に限定されず、公知の画像認識技術を適用して画像中から検出可能な任意の物体、生物などであってよいこともまた理解されよう。

さらに、上述の実施形態（変形例を含む。以下同様）は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。

上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。

そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

本発明の実施形態に係る画像処理装置の一例としての撮像装置の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置における、顔領域の位置と大きさを用いて同一被写体を特定する処理について説明する図である。 本発明の実施形態に係る撮像装置において、顔検出部により検出された顔領域と、対応する信頼度レベルの例を示す図である。 図３に示す画像に判定基準を適用した例を模式的に示した図である。 本発明の実施形態に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態に係る撮像装置における被写体リストの例を示す図である。。 本発明の実施形態に係る撮像装置における、信頼度レベルと継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例１に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例１に係る撮像装置における被写体リストの例を示す図である。 本発明の実施形態の変形例２に係る撮像装置における顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例２に係る撮像装置における被写体リストの例を示す図である。 本発明の実施形態の変形例２に係る撮像装置における、信頼度レベルと検出人数に応じた継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例２に係る撮像装置における別の顔判定処理を説明するためのフローチャートである。 本発明の実施形態の変形例２に係る撮像装置における別の被写体リストの例を示す図である。 本発明の実施形態の変形例２に係る撮像装置における、信頼度レベルと被写体移動量に応じた継続検出回数の基準値の設定例を示す図である。 本発明の実施形態の変形例３に係る撮像装置における顔判定処理を説明するためのフローチャートである。

Claims (11)

1. 時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出手段と、
   異なる画像から前記被写体検出手段が検出した領域のうち、同一被写体の領域を特定する特定手段と、
   前記特定手段が同一被写体の領域と特定した領域について、前記被写体検出手段が検出した信頼度の履歴を含む被写体データを記録する記録手段と、
   前記特定手段が同一被写体の領域と特定した領域のうち、前記記録手段が記録した前記信頼度の履歴が、前記信頼度のレベルに応じて定められた判定基準を満たす領域を、前記予め定めた被写体の領域と判定する判定手段とを有することを特徴とする画像処理装置。
2. 前記判定基準が、前記信頼度のレベルに応じた、前記被写体検出手段で継続して前記信頼度が検出された回数または時間であり、信頼度のレベルが高いほど少ない回数または短い時間であることを特徴とする請求項１記載の画像処理装置。
3. 前記判定手段は、前記予め定めた被写体の領域と判定した領域については、当該領域が前記被写体検出手段で検出されている限りは、前記信頼度が低下しても前記予め定めた被写体の領域であると判定することを特徴とする請求項１又は請求項２記載の画像処理装置。
4. 前記特定手段は、前記記録手段に前記信頼度の履歴が記録されている領域のうち、前記被写体検出手段において検出されなかった領域に対応する前記被写体データを削除することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記特定手段は、前記記録手段に前記信頼度の履歴が記録されている領域のうち、前記被写体検出手段において予め定めた画像の数もしくは時間、継続して検出されなかった領域に対応する前記被写体データを削除することを特徴する請求項４記載の画像処理装置。
6. 前記判定基準が、前記信頼度のレベルおよび、前記被写体検出手段において検出された前記領域の数に応じて定められ、前記領域の数が多い場合よりも前記領域の数が少ない場合の方が、前記予め定めた被写体の領域と判定されやすくなるように定められることを特徴とする請求項１乃至請求項５のいずれか１項に記載の画像処理装置。
7. 前記判定基準が、前記信頼度のレベルおよび、前記特定手段が同一被写体の領域と特定した領域の移動量に応じて定められ、前記移動量が大きい領域よりも前記移動量の小さな領域の方が、前記予め定めた被写体の領域と判定されやすくなるように定められることを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 時系列的に隣接する前記画像の変化量を算出するとともに、前記変化量が予め定めた変化量を超える場合には、前記記録手段が記録する前記被写体データを全て削除する変化検出手段をさらに有することを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像処理装置。
9. 被写体光学像を結像するためのレンズと、
   前記レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、
   請求項１乃至請求項８のいずれか１項に記載の画像処理装置と、
   前記判定手段が前記予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有することを特徴とする撮像装置。
10. 撮像装置であって、
    被写体光学像を結像するためのレンズと、
    前記レンズが結像した被写体光学像を逐次撮像し、時系列的に供給される画像を出力する撮像手段と、
    請求項８記載の画像処理装置と、
    前記判定手段が前記予め定めた被写体の領域と判定した領域の情報を用いて撮像条件の制御を行う制御手段とを有し、
    前記画像処理装置の前記変化検出手段が、
    前記撮像装置の動きまたは前記レンズの画角変化に関する情報を取得するとともに、これら情報の少なくとも１つが予め定めた閾値を超える場合には、前記変化量が予め定めた変化量を超えるものとして、前記記録手段が記録する前記被写体データを全て削除することを特徴とする撮像装置。
11. 画像処理装置が実行する画像処理方法であって、
    前記画像処理装置の被写体検出手段が、時系列的に供給される画像から、予め定めた被写体の領域を検出するとともに、検出した領域の信頼度を検出する被写体検出ステップと、
    前記画像処理装置の特定手段が、異なる画像から前記被写体検出ステップで検出された領域のうち、同一被写体の領域を特定する特定ステップと、
    前記画像処理装置の記録手段が、前記特定ステップで同一被写体の領域と特定された領域について、前記被写体検出ステップで検出された前記信頼度の履歴を含む被写体データを記録装置に記録する記録ステップと、
    前記画像処理装置の判定手段が、前記特定ステップで同一被写体の領域と特定された領域のうち、前記記録手段に記録された前記信頼度の履歴が、前記信頼度のレベルに応じて定められた判定基準を満たす領域を、前記予め定めた被写体の領域と判定する判定ステップとを有することを特徴とする画像処理方法。

Images