JP5918998B2 - 画像処理装置、撮像装置、制御方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に画像内の顔領域について、含まれる人物を特定する顔認識技術に関する。

デジタルカメラ等の撮像装置の中には、被写体に含まれる人物の顔を検出する顔検出機能を有するものがある。このような撮像装置は顔検出処理により、例えば人物の顔と判断するパターンが予め定められており、画像内に含まれる該パターンに一致する箇所を、人物の顔として検出することができる。検出された人物の顔は、例えば合焦制御や露出制御において参照される。

また近年では、顔検出処理により検出された人物の顔について、予め登録された顔と一致するか否かを判断する顔認識機能を有する撮像装置もある。撮像装置で行われる顔認識処理は、顔認識の基準となる顔画像あるいは該顔画像の特徴量が登録された顔認識用データを使用して行われる。特許文献１には、顔認識処理において、予め顔認識用データ（顔辞書）が登録されている人物について処理対象の顔画像との類似度を算出し、最も高い類似度を有する人物を該顔画像に含まれる人物として特定する技術が開示されている。

特開２０１１−１６５０８２号公報

一方、顔認識処理では、顔認識用データが登録されている人物の各々について処理対象の顔領域との類似度を算出するため、顔認識用データが登録されている人数に応じた処理時間を要する。さらに、顔検出処理により検出された全ての顔領域について顔認識処理を行う場合、処理時間は検出された顔領域の数に応じて長くなる。順次出力された撮像画像について顔認識処理を行う場合、検出された全ての顔領域についての顔認識結果が得られるまで、新たな顔についての顔認識処理が実行できない。このため、一般的には顔認識処理を行う対象とする顔領域の数は制限される。

また、顔認識処理は、被写体である顔の表情変化や撮影環境の変化によって顔認識結果が安定しないことがある。即ち、表情変化による顔のパーツ形状の変化、あるいは撮影環境の変化による顔の輝度分布変化が生じると、登録されている顔認識用データとの類似度が低減し、所望の顔認識結果が得られないことがある。例えば、１回の顔認識処理で得られた顔認識結果を顔領域に重畳して表示する場合、上述の要因によって顔認識結果が頻繁に切り替わることになり、撮影者に不快感を与える可能性があった。

このため例えば顔領域の位置やサイズに基づいて、順次出力される撮像画像内で同一人物と思われる、即ち画像間で対応関係を有する顔領域を特定する。そして、該顔領域について所定回数連続して同一の顔認識結果が得られた場合に、該顔領域の顔認識結果を確定する方法がとられている。

しかしながら、１つの顔領域について顔認識結果が確定されるまでに複数回の顔認識処理を要する場合、次のような問題がある。例えば処理上限数の顔領域について顔認識処理を行なっている場合、順次出力される撮像画像の各々で、対応関係を有する処理上限数の顔領域が処理対象として設定される。このような状況で、新たな人物が撮影範囲に現れた場合、該人物の顔領域が主被写体とみなされる位置にあったとしても、顔認識処理の処理対象が上限数に達しているため、該人物の顔領域についての顔認識処理を行うことができなかった。

本発明は、上述の問題点に鑑みてなされたものであり、好適な顔領域が顔認識処理の処理対象として選択されやすくする画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備える。
顔認識用データが登録されている人物の特徴量との類似度に基づいて、画像内の顔領域の各々に含まれる人物を特定し、特定した人物を示す情報を顔認識結果として出力する顔認識手段を有する画像処理装置であって、画像を順次取得する取得手段と、取得手段により取得された画像から顔領域を検出する検出手段と、検出手段により検出された顔領域の位置及びサイズの少なくともいずれかに基づく該顔領域の評価値に従って、顔認識手段による顔認識処理を行わせる所定数以下の対象顔領域を、第１のグループと第２のグループとに分類する分類手段と、を有し、顔認識手段は、取得手段により順次取得する画像に対し、第１のグループに属する顔領域、第２のグループに属する顔領域の順で対象顔領域の顔認識処理を実行し、分類手段は、分類後において対象顔領域に検出手段により新たな顔領域が含まれることが検出された場合、該新たな顔領域を第２のグループに分類し、該分類に従って行われた顔認識処理による夫々の顔領域に対応する被写体情報を取得し、該被写体情報に応じて評価値を補正して第１のグループと第２のグループへの分類を再度行うことを特徴とする。

このような構成により本発明によれば、好適な顔領域が顔認識処理の処理対象として選択されやすくすることが可能となる。

本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態に係る認識順決定の流れを説明するための図 本発明の実施形態に係る認識順決定処理を例示したフローチャート 本発明の実施形態に係るサイズ評価値及び位置評価値を説明するための図 本発明の実施形態に係る顔辞書のデータ構造を例示した図

以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、顔認識用データを使用した顔認識処理を実行可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、顔認識用データを使用した顔認識処理を実行することが可能な任意の機器に適用可能である。

また、本明細書において「顔画像」とは、人物が含まれる画像から抽出された、人物の顔領域の画像であるものとする。また「顔辞書」とは、各人物についての１以上の顔画像と各顔画像に含まれる顔領域の特徴量のデータとを含む、顔認識処理におけるマッチング処理に用いられる顔認識用データであるものとして説明する。なお、顔辞書は、含められる顔画像の数が予め定められているものとする。

＜デジタルカメラ１００の構成＞
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。

ＣＰＵ１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはＣＰＵ１０１は、ＲＯＭ１０２に記憶されている認識順決定処理等の動作プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、各ブロックの動作を制御する。

ＲＯＭ１０２は、例えば書き換え可能な不揮発性メモリであり、撮影処理等の動作プログラムに加え、デジタルカメラ１００が有する各ブロックの動作に必要なパラメータ等を記憶する。

ＲＡＭ１０３は、揮発性メモリであり、認識順決定処理等の動作プログラムの展開領域としてだけでなく、デジタルカメラ１００が有する各ブロックの動作において出力された中間データ等を格納する格納領域としても用いられる。

撮像部１０５は、ＣＣＤやＣＭＯＳセンサ等の撮像素子、Ａ／Ｄ変換部等で構成される。撮像部１０５は、光学系１０４により撮像素子上に結像された光学像を光電変換し、さらにＡ／Ｄ変換処理を適用した撮像画像を出力する。なお撮像部１０５は、入力されたアナログ画像信号に対して、サンプリング、ゲイン調整等の処理も実行する。

画像処理部１０６は、撮像部１０５から出力された撮像画像に対して、色補正や色変換等、所定の画像処理を適用する。本実施形態では画像処理部１０６は、入力された撮像画像をＹＵＶ形式の画像に変換する。

顔検出部１０７は、画像処理部１０６によりＹＵＶ形式に変換された画像について、特定の被写体である人物の顔を検出する。具体的には顔検出部１０７は、例えば予め定められた人物の顔を示すパターンを用いたパターンマッチングにより、画像に含まれる顔領域を検出する。そして顔検出部１０７は、検出した顔領域の各々について、画像内における位置及びサイズ（画素数）の情報を出力する。出力された顔領域の位置及びサイズの情報は、ＲＡＭ１０３に記憶される。なお、本実施形態では顔領域は正方形の領域として設定されるものとし、例えば顔領域のサイズは、該領域の１辺の長さとして記憶されていてもよい。

対象顔決定部１０８は、顔検出部１０７により検出された顔領域の中から、後述する顔認識部１０９における顔認識処理を行う対象顔領域を決定する。具体的には対象顔決定部１０８は、まず顔領域の各々について、検出された画像における位置及びサイズの各々について位置評価値（ｅposition）及びサイズ評価値（ｅsize）を算出する。本実施形態では、予め定められた各評価値についての関係式に基づいて、各顔領域の評価値を算出する。図４は、本実施形態における各顔領域のそれぞれの評価値の関係式をグラフで示している。図４（ａ）及び（ｂ）はそれぞれ、顔領域の１辺の長さ[pixel]に対するサイズ評価値と、検出した画像の中心からの距離[pixel]に対する位置評価値を示している。そして対象顔決定部１０８は、得られた位置評価値とサイズ評価値との積を算出し、各領域について領域評価値（ｅ＝ｅposition×ｅsize）を算出する。

本実施形態では対象顔決定部１０８は、このように算出した領域評価値に基づいて、顔認識処理を行う対象顔領域を決定する。対象顔決定部１０８は、基本的には領域評価値の上位５つの領域評価値を有する顔領域を対象顔領域として決定し、領域評価値が高い順に、顔認識処理を行わせる認識順を決定する。なお、本実施形態では、顔領域の評価は各顔領域の位置及びサイズに基づいて決定するものとして説明するが、顔領域の評価方法はこれに限られるものではない。顔領域の評価方法は、例えば各顔領域の位置及びサイズの少なくともいずれかに基づいて決定されてもよい。あるいは、顔検出部１０７が顔領域を検出する際に、その顔領域の顔としての確からしさを示す信頼度も算出し、この信頼度を顔領域の領域評価値の算出時に考慮するようにしてもよい。

顔認識部１０９は、対象顔決定部１０８により決定された対象顔領域について、認識順に従って顔認識処理を実行する。顔認識処理は、口述する記録媒体１１０に記録されている顔認識用データを用いて行われる。具体的には顔認識部１０９は、１つの顔領域について顔認識用データ（顔辞書）に登録されている各人物の特徴量と該顔領域の特徴量とを比較し、その類似度を算出する。類似度は、顔領域の顔画像についての、その人物らしさを示す値である。顔認識部１０９は、顔辞書に登録されている人物のうち最も類似度が高い人物を、該顔領域の顔認識結果として出力する。

記録媒体１１０は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤ等のデジタルカメラ１００に着脱可能に接続される記録装置である。本実施形態では記録媒体１１０には、撮影処理により撮影された画像や、デジタルカメラ１００における顔認識処理で参照される顔辞書が記録される。記録媒体１１０に記録される画像は、画像内に人物が含まれる場合、顔認識処理により得られた人物が顔認識結果として関連付けられて記録される。なお、本実施形態では、顔辞書が記録媒体１１０に記録されているものとして説明するが、本発明の実施はこれに限られるものではない。例えば顔辞書はＲＯＭ１０２等、書き込み可能な領域に格納されていればよい。また顔辞書は、外部装置から受信した際に、ＣＰＵ１０１が所定の記録領域に格納する構成であってもよい。

表示部１１１は、例えば小型ＬＣＤ等のデジタルカメラ１００が有する表示装置である。表示部１１１には、撮像部１０５から出力された撮像画像や、記録媒体１１０に記録された画像等が表示される。なお、顔認識処理により特定された人物が表示されている画像に含まれる場合、例えばその人物名が重畳表示されることにより、顔認識結果をユーザに通知することができる。

操作入力部１１２は、例えば電源ボタンやシャッタボタン等の操作部材を含む、デジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザによる操作部材の操作がなされたことを検出すると、操作内容に対応する制御信号を生成してＣＰＵ１０１に伝送する。

＜認識順決定の流れ＞
ここで、このような構成を有する本実施形態のデジタルカメラ１００において行われる、認識順決定方法の概要について、図２を用いて説明する。

上述したように対象顔決定部１０８で認識順決定のために算出される領域評価値は、顔領域が検出された画像の画像中心に近く、サイズが大きい顔領域ほど高い値となる。対象顔決定部１０８は、領域評価値の降順に上位５つの顔領域を対象顔領域として決定するとともに、領域評価値の降順に顔認識処理を顔認識部１０９に行わせる認識順を決定する。

顔認識部１０９は、決定された認識順に従って各対象顔領域の顔認識処理を開始する。しかしながら、顔認識処理は上述したように顔辞書に登録されている全ての人物について特徴量の類似度の算出を行うため、全ての対象顔領域についての顔認識処理を完了するまでには、例えばライブビュー画面における１フレーム期間を超えることが考えられる。つまり、ライブビュー画面や動画撮影時等、撮像部１０５から順次出力される撮像画像について、含まれる顔画像の顔認識処理を行う場合、顔認識処理中に処理対象となる顔の位置やサイズが変化する可能性がある。このため、１度決められた認識順について顔検出処理を行う場合は、全ての対象顔領域についての顔認識処理が完了した後に顔認識結果を適した位置に重畳できるよう、顔認識処理中も各対象顔領域について対応する顔領域を追跡する必要がある。

一方で、顔認識処理中には、被写体である対象顔領域の人物が撮影範囲外に移動したり、新たに顔認識対象とすべき人物が撮影範囲に現れることがある。即ち、顔認識処理中に対象顔領域を追跡していたとしても、該顔領域の人物が顔認識処理の完了後には存在しない、あるいは顔認識処理を行う程度の重要度を有する被写体ではなくなっている可能性がある。本実施形態では、このような被写体の変化に対応するべく、顔認識処理中も対象顔領域を変更させる方法について説明する。

以下では、例えば図２（ａ）に示されるように、画像２００について顔領域２０１乃至２０５がある場合に、算出された領域評価値に応じて認識順を決定した場合について、顔認識処理中に対象顔領域を変更する例を説明する。図２（ａ）の例では、５つの顔領域は領域評価値の降順で顔領域２０１→顔領域２０２→顔領域２０３→顔領域２０４→顔領域２０５となっており、同様に認識順が設定されている。

本実施形態では、顔認識処理の対象顔領域を領域評価値に応じて、第１のグループ及び第２のグループの２つに分類する。ここで、各グループの切り分けについて以下に説明する。

・第１のグループ：認識順の上位２つの顔領域が分類されるグループ。分類された顔領域は撮影者により主被写体として設定されると予測される顔領域であるため、顔認識処理の成功後、顔認識結果が表示される。また、分類された顔領域は、ＡＦ時には合焦対象の主被写体として選択される。顔認識処理中は分類された顔領域の入れ替え、及び認識順の変更はない。

・第２のグループ：認識順の上位２つを除いた、下位３つの顔領域が分類されるグループ。分類された顔領域は、顔認識処理が成功したとしても顔認識結果の表示は行われない。また、分類された顔領域は、ＡＦ時に合焦対象の被写体としては選択されない。顔認識処理中に分類された顔領域の入れ替え、及び認識順の変更が生じうる。

このように、対象顔領域についての認識順の決定とともに、第１及び第２のグループへの分類を行い、各対象顔領域についての顔認識処理を開始する。

続いて、顔認識処理中に得られた画像２１０について図２（ｂ）に示されるような新たな人物の顔領域２０６が新たに検出された場合、対象顔決定部１０８は顔領域２０６と、第２のグループに属する顔領域２０３乃至２０５の４つの顔領域について新たに領域評価値を算出し、改めて第２のグループに分類する顔領域を決定する。このとき、例えば領域評価値順が顔領域２０３→顔領域２０４→顔領域２０６→顔領域２０５の順であったとすると、図２（ｃ）のように第２のグループには顔領域２０６が分類されて、顔領域２０５は対象顔領域から外される。

また、顔認識処理の完了前は、対象顔領域の第１及び第２のグループへの分類を、顔領域の位置及びサイズを考慮した領域評価値に基づいて決定するものとしたが、顔認識処理の完了後はこれに限られない。

例えば、撮影対象となる被写体には、撮影者本人や撮影者の家族や友人等、撮影時に主被写体として選択されることが撮影者にとって好ましい被写体が存在する。またその他にも、例えば乳児等、一般的に主被写体として設定される可能性が高い被写体が存在する。本実施形態では、主被写体として選択されることが好ましい被写体が撮影範囲に含まれていた場合に、顔領域の位置及びサイズによらず該被写体が主被写体として選択されやすくする。具体的には対象顔決定部１０８は、顔領域の顔認識結果に応じて設定される補正係数（＞１）を領域評価値に乗じ、得られた補正領域評価値（補正評価値）に基づいて、グループ分類、及び次に行われる顔認識処理における認識順の決定を行う。即ち、顔認識処理の結果、主被写体とすべき被写体が撮影範囲に含まれていた場合に、補正領域評価値を用いて該被写体を第１のグループに分類されやすくすることで、主被写体とすべき被写体が主被写体に設定されるよう制御することができる。

なお、本実施形態では顔辞書を以下のような構成とすることで、顔認識した顔領域が主被写体とすべき被写体であるか否かを判断することができる。図５は、本実施形態のデジタルカメラ１００の顔認識処理で用いられる顔辞書のデータ構造を示している。顔辞書は、登録されている人物ごとに１以上の顔画像の特徴量データ及びサムネイル顔画像が含まれており、各顔画像は個人ＩＮＤＥＸデータに関連付けられて管理されている。個人ＩＮＤＥＸデータには、人物ごとに顔認識用データを識別するための登録ＩＤ、顔認識結果として出力される人物名（名前）、人物の生年月日、及びユーザにより任意に設定される家族等のカテゴリー（属性）が含まれている。即ち、顔認識処理が完了後、対象顔領域の各々は、得られた顔認識結果により顔領域の人物の生年月日及び属性が把握される。即ち、対象顔決定部１０８は、該情報により、顔領域の人物が主被写体とすべき被写体であるか否かを判断することができる。本実施形態では、対象顔決定部１０８は、予め設定された、主被写体選択に優先される属性を有する顔領域には補正領域評価値が高くなる補正係数を設定する。また対象顔決定部１０８は、現在日時から所定の期間に生年月日が含まれる顔領域、例えば乳幼児であると思われる顔領域には、補正領域評価値が高くなる補正係数を設定する。このようにすることで、予め特定の被写体を主被写体とすべき被写体として設定し、該被写体が撮影範囲に含まれる場合に、該被写体が主被写体として選択されやすくすることができる。

図２（ｄ）の例では、図２（ｃ）で第２のグループに分類された顔領域２０６が主被写体とすべき被写体であった場合の、顔認識処理完了後に行われるグループ分類を示している。対象顔決定部１０８は、まず顔領域２０１乃至２０４、及び２０６について顔認識結果に応じた補正係数を取得する。このとき、主被写体とすべき被写体と認識された顔領域２０６には、他の顔領域よりも大きい補正係数が設定される。なお、補正係数は通常１より大きい値が設定されるものとして説明するが、顔認識に失敗した顔領域については、補正係数は１として補正領域評価値が設定されるものとする。そして対象顔決定部１０８は、補正領域評価値の降順に上位２つの顔領域２０１及び２０６を第１のグループに分類し、次の顔認識処理における認識順を設定する。またそれ以外の顔領域２０２乃至２０４については、補正領域評価値ではなく、領域評価値の降順に基づいて認識順を設定し、第２のグループに分類する。

＜認識順決定処理＞
このような構成をもつ本実施形態のデジタルカメラ１００の顔認識処理を行う対象顔領域及びその認識順を決定する認識順決定処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本認識順決定処理は、例えば撮像部１０５により撮像された撮像画像が出力される度に開始されるものとして説明する。また本認識順決定処理は、撮像部１０５から出力される撮像画像を順次取得して行われてもよいし、所定フレーム間隔で取得された撮像画像について順次行われてもよい。

Ｓ３０１で、ＣＰＵ１０１は、撮像部１０５により撮像された撮像画像（現在画像）について、顔検出部１０７に顔検出処理を行わせる。具体的にはＣＰＵ１０１は、まず現在画像を画像処理部１０６に伝送し、ＹＵＶ形式の画像に変換させる。そしてＣＰＵ１０１は、ＹＵＶ形式に変換された画像を顔検出部１０７に伝送し、該画像に含まれる顔領域の検出を行わせる。顔検出部１０７は、入力された画像に対して顔検出処理を実行し、検出した各顔領域の位置及びサイズを示す情報をＲＡＭ１０３に格納する。

Ｓ３０２で、ＣＰＵ１０１は、現在画像よりも前に取得された画像（過去画像）が存在する場合は、顔検出部１０７に現在画像から検出させた顔領域について、過去画像から検出された顔領域のうちの対応する顔領域を特定する。具体的にはＣＰＵ１０１は、前のフレームで得られた過去画像が存在する場合、過去画像から検出された顔領域の位置の情報を例えばＲＡＭ１０３から読み出す。またＣＰＵ１０１は、Ｓ３０１で現在画像から検出された顔領域の位置の情報をＲＡＭ１０３から読み出し、過去画像から検出された顔領域との位置関係から、同一の顔が含まれると思われる顔領域の対応付けを行う。

本実施形態では検出された顔領域の各々に、ＣＰＵ１０１は識別情報を付して管理するものとする。各顔領域には、以下の情報が詳細情報として該識別情報に関連付けられて管理される。
・第１のグループあるいは第２のグループに属しているか否かの情報
・設定された認識順を示す情報
・顔認識結果の情報（例えば顔辞書に登録されている人物の登録ＩＤ）

ＣＰＵ１０１は、Ｓ３０１で現在画像から検出された顔領域の各々に、対応する顔領域に関連付けられている詳細情報を関連付けすることにより、対応付けを行う。

Ｓ３０３で、ＣＰＵ１０１は、現在画像検出された顔領域の各々について対象顔決定部１０８に領域評価値を算出させる。

Ｓ３０４で、ＣＰＵ１０１は、顔認識処理の実行中であるか否かを判断する。具体的にはＣＰＵ１０１は、現在画像よりも前に取得された画像から検出された顔領域について、顔認識処理の対象顔領域の認識順が決定され、顔認識部１０９が該認識順に従った顔認識処理を実行しているか否かを判断する。ＣＰＵ１０１は、顔認識処理の実行中であると判断した場合は処理をＳ３０５に移し、実行中ではないと判断した場合は処理をＳ３０７に移す。

Ｓ３０５で、ＣＰＵ１０１は対象顔決定部１０８に、顔認識部１０９で実行されている顔認識処理において設定されている認識順が上位２つの顔領域、即ち第１のグループに既に分類されている顔領域を、再び第１のグループに分類させる。具体的には対象顔決定部１０８は、現在画像から検出された顔領域の各々について、関連付けられている認識順を示す情報を参照する。そして対象顔決定部１０８は認識順が上位２つの顔領域を特定し、第１のグループに属している情報を関連付ける。なお、本ステップにおいて第１のグループに再び分類する顔領域については、設定されている認識順を保持するものとする。

Ｓ３０６で、ＣＰＵ１０１は対象顔決定部１０８に、現在画像から検出された顔領域のうち、第１のグループに分類した顔領域を除いた顔領域について領域評価値の降順に上位３つの顔領域を選択し、第２のグループに分類させる。具体的には対象顔決定部１０８は、領域評価値の降順に選択した上位３つの顔領域について、第２のグループに属している情報、及び領域評価値の降順に従った認識順を示す情報を関連付ける。なお、Ｓ３０５及びＳ３０６において第１及び第２のグループに分類されなかった顔領域についてはいずれのグループにも属さない情報が関連付けられるものとする。

このように顔認識処理の実行中は、Ｓ３０５及びＳ３０６の処理により対象顔領域の決定及び顔認識処理を実行させる認識順が決定される。具体的には上述したように、対象顔決定部１０８は、第１のグループに分類されている顔領域については認識順を変更しない。また対象顔決定部１０８は、新たに検出された顔領域を顔認識対象として含める場合に対応するように、第２のグループについて領域評価値に応じた認識順の変更を行う。

一方、Ｓ３０４で顔認識処理の実行中ではないと判断した場合、ＣＰＵ１０１はＳ３０７で、現在画像から検出された顔領域に、顔認識結果が関連付けられている顔領域が含まれるか否かを判断する。ＣＰＵ１０１は、顔認識結果が関連付けられている顔領域が含まれていると判断した場合は処理をＳ３０８に移し、含まれていないと判断した場合は処理をＳ３１１に移す。

Ｓ３０８で、ＣＰＵ１０１は対象顔決定部１０８に、現在画像から検出された顔領域の各々について、顔認識結果に応じた補正係数を考慮した補正領域評価値を算出させる。

Ｓ３０９で、ＣＰＵ１０１は対象顔決定部１０８に、補正領域評価値の降順に上位２つの顔領域を第１のグループに分類させる。具体的には対象顔決定部１０８は、補正領域評価値の降順に選択した上位２つの顔領域について、第１のグループに属している情報、及び補正領域評価値の降順に従った認識順を示す情報を関連付ける。

Ｓ３１０で、ＣＰＵ１０１は対象顔決定部１０８に、現在画像から検出された顔領域のうち、第１のグループに分類した顔領域を除いた顔領域について領域評価値の降順に上位３つの顔領域を選択し、第２のグループに分類させる。具体的には対象顔決定部１０８は、領域評価値の降順に選択した上位３つの顔領域について、第２のグループに属している情報、及び領域評価値の降順に従った認識順を示す情報を関連付ける。

一方、Ｓ３０７で顔認識結果が関連付けられている顔領域が含まれていないと判断した場合、ＣＰＵ１０１はＳ３１１で、領域評価値の降順に５つの顔領域を対象顔領域として選択し、第１及び第２のグループに分類する。具体的にはＣＰＵ１０１は、対象顔領域のうち、領域評価値の降順に上位２つの顔領域について、第１のグループに属している情報、及び領域評価値の降順に従った認識順を示す情報を関連付ける。またＣＰＵ１０１は、対象顔領域のうち、領域評価値の降順に下位３つの顔領域について、第２のグループに属している情報、及び領域評価値の降順に従った認識順を示す情報を関連付ける。

このように顔認識処理が実行されていない場合は、顔認識結果が顔領域に関連付けられているか否かによって、主被写体となる第１のグループに分類される顔領域が異なる。即ち、顔認識結果が関連付けられている場合は、顔領域に係る被写体を考慮した認識順の決定を行うことで、特定の被写体を主被写体として選択されやすくすることができる。

なお、本実施形態では、顔認識処理中は第１のグループに分類される顔領域の入れ替えを行わないものとして説明したが、第２のグループに分類された顔領域について顔認識結果が得られた後は、第１のグループと第２のグループ間での入れ替えを行なってもよい。

また、本実施形態では顔認識結果が得られている場合は、第１のグループに分類する顔領域を補正領域評価値に基づいて決定するものとして説明した。しかしながら、この場合例えば画像中央に位置する顔領域が第１のグループから除外される可能性があるため、領域評価値の最も高い顔領域については第１のグループに必ず分類されるようにしてもよい。

以上説明したように、本実施形態の画像処理装置は好適な顔領域が顔認識処理の処理対象として選択されやすくする。具体的には画像処理装置は、順次取得した画像から顔領域を検出し、検出した各顔領域の位置及びサイズの少なくともいずれかについて評価値を取得し、評価値に従って、顔認識処理を行う所定数以下の対象顔領域、及び該顔認識処理を行う認識順を決定する。画像処理装置は、決定した認識順に基づいて、対象顔領域を認識順が閾値より小さい顔領域が属する第１のグループと、それ以外の顔領域が属する第２のグループに分類する。そして画像処理装置は、複数の画像に渡って顔認識処理を実行している間に取得した画像について対象顔領域に新たな顔領域が含まれる場合に、該新たな顔領域を第２のグループに分類する。

このようにすることで、主被写体とすべき、評価値の高い被写体を顔認識処理から除外することなく、顔認識処理中に新たに現れた被写体についても動的に顔認識処理に含めることができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 顔認識用データが登録されている人物の特徴量との類似度に基づいて、画像内の顔領域の各々に含まれる人物を特定し、特定した人物を示す情報を顔認識結果として出力する顔認識手段を有する画像処理装置であって、
   画像を順次取得する取得手段と、
   前記取得手段により取得された画像から顔領域を検出する検出手段と、
   前記検出手段により検出された顔領域の位置及びサイズの少なくともいずれかに基づく該顔領域の評価値に従って、前記顔認識手段による顔認識処理を行わせる所定数以下の対象顔領域を、第１のグループと第２のグループとに分類する分類手段と、を有し、
   前記顔認識手段は、前記取得手段により順次取得する画像に対し、前記第１のグループに属する顔領域、前記第２のグループに属する顔領域の順で前記対象顔領域の顔認識処理を実行し、
   前記分類手段は、前記分類後において前記対象顔領域に前記検出手段により新たな顔領域が含まれることが検出された場合、該新たな顔領域を前記第２のグループに分類し、該分類に従って行われた前記顔認識処理による夫々の顔領域に対応する被写体情報を取得し、該被写体情報に応じて前記評価値を補正して前記第１のグループと前記第２のグループへの分類を再度行う
   ことを特徴とする画像処理装置。
2. 前記分類手段は、前記検出手段により検出された顔領域の評価値に基づいて顔認識処理を行わせる認識順を決定し、該認識順において閾値より小さい順位の顔領域を前記第１のグループに分類することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のグループに属する顔領域は主被写体として選択される対象であるのに対し、前記第２のグループに属する顔領域は主被写体として選択される対象ではないことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記画像を表示する表示手段をさらに有し、
   前記第１のグループに属する顔領域は前記顔認識処理の結果が前記表示手段に表示される対象であるのに対し、前記第２のグループに属する顔領域は前記顔認識処理の結果が前記表示手段に表示される対象ではない
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記分類手段は、顔認識処理を実行している間に取得された画像から検出された顔領域について決定された前記対象顔領域に新たな顔領域が含まれる場合に、該新たな顔領域を前記第２のグループに分類する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記分類手段は、顔認識処理を実行している間は、前記第１のグループに属する顔領域の変更を行わないことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 請求項１乃至６のいずれか１項に記載の画像処理装置を有する撮像装置であって、
   前記画像処理装置の前記分類手段により前記第１のグループに分類された顔領域を合焦対象の被写体として選択する手段を有する
   ことを特徴とする撮像装置。
8. 顔認識用データが登録されている人物の特徴量との類似度に基づいて、画像内の顔領域の各々に含まれる人物を特定し、特定した人物を示す情報を顔認識結果として出力する顔認識手段を有する画像処理装置の制御方法であって、
   取得手段が、画像を順次取得する取得工程と、
   検出手段が、前記取得工程において取得された画像から顔領域を検出する検出工程と、
   分類手段が、前記検出工程において検出された顔領域の位置及びサイズの少なくともいずれかに基づく該顔領域の評価値に従って、前記顔認識手段による顔認識処理を行わせる所定数以下の対象顔領域を、第１のグループと第２のグループとに分類する分類工程と、を有し、
   前記顔認識手段は、前記取得工程において順次取得する画像に対し、前記第１のグループに属する顔領域、前記第２のグループに属する顔領域の順で前記対象顔領域の顔認識処理を実行し、
   前記分類手段は前記分類工程において、前記分類後において前記対象顔領域に前記検出工程において新たな顔領域が含まれることが検出された場合、該新たな顔領域を前記第２のグループに分類し、該分類に従って行われた前記顔認識処理による夫々の顔領域に対応する被写体情報を取得し、該被写体情報に応じて前記評価値を補正して前記第１のグループと前記第２のグループへの分類を再度行う
   ことを特徴とする画像処理装置の制御方法。
9. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images